Dataset

ชุดข้อมูล คลาสนามธรรมสาธารณะ
คลาสย่อยโดยตรงที่รู้จัก

แสดงรายการองค์ประกอบอิสระ (ตัวอย่าง) จำนวนมากที่อาจเกิดขึ้น และอนุญาตให้ดำเนินการวนซ้ำและการแปลงในองค์ประกอบเหล่านี้

คอนสตรัคชั่นสาธารณะ

ชุดข้อมูล (Ops tf, ตัวดำเนินการ <?> ตัวแปร, รายการ<Class<? ขยาย TType >> ประเภทเอาต์พุต, รายการ< รูปร่าง > รูปร่างเอาต์พุต)

วิธีการสาธารณะ

ชุดข้อมูล สุดท้าย
แบทช์ (ขนาดแบทช์ยาว, บูลีน dropLastBatch)
จัดกลุ่มองค์ประกอบของชุดข้อมูลนี้เป็นชุด
ชุดข้อมูล สุดท้าย
ชุด (ชุดยาวขนาด)
จัดกลุ่มองค์ประกอบของชุดข้อมูลนี้เป็นชุด
ชุดข้อมูล แบบคงที่
fromTensorSlices (Ops tf, รายการ < ตัวดำเนินการ <?>> เทนเซอร์, รายการ <Class <? ขยาย TType >> ประเภทเอาต์พุต)
สร้าง "ชุดข้อมูล" ในหน่วยความจำซึ่งมีองค์ประกอบเป็นส่วนของเทนเซอร์ที่กำหนด
ปฏิบัติการ
รายการ< รูปร่าง >
getOutputShapes ()
รับรายการรูปร่างสำหรับแต่ละองค์ประกอบของชุดข้อมูลนี้
รายการ<คลาส<? ขยาย TType >>
getOutputTypes ()
รับรายการประเภทเอาต์พุตสำหรับแต่ละองค์ประกอบของชุดข้อมูลนี้
ตัวดำเนินการ <?>
รับตัวแปร ()
รับเทนเซอร์ตัวแปรที่เป็นตัวแทนชุดข้อมูลนี้
ตัววนซ้ำ <รายการ < ตัวถูกดำเนินการ <?>>>
ตัววนซ้ำ ()
สร้างตัววนซ้ำซึ่งจะวนซ้ำชุดข้อมูลนี้ทุกชุดในลักษณะที่กระตือรือร้น
DatasetIterator
makeInitializeableIterator ()
สร้าง `DatasetIterator` ที่สามารถใช้เพื่อวนซ้ำองค์ประกอบของชุดข้อมูลนี้
ชุดข้อมูลIterator
makeOneShotIterator ()
สร้าง `DatasetIterator` ที่สามารถใช้เพื่อวนซ้ำองค์ประกอบของชุดข้อมูลนี้
ชุดข้อมูล
แผนที่ (ฟังก์ชัน <รายการ < ตัวดำเนินการ <?>>, รายการ < ตัวดำเนินการ <?>>> ตัวทำแผนที่)
ส่งคืนชุดข้อมูลใหม่ซึ่งแมปฟังก์ชันกับองค์ประกอบทั้งหมดที่ส่งคืนโดยชุดข้อมูลนี้
ชุดข้อมูล
mapAllComponents (ฟังก์ชัน < ตัวดำเนินการ <?>, ตัวดำเนินการ <?>> ตัวทำแผนที่)
ส่งคืนชุดข้อมูลใหม่ซึ่งแมปฟังก์ชันกับองค์ประกอบทั้งหมดจากชุดข้อมูลนี้ในส่วนประกอบทั้งหมดของแต่ละองค์ประกอบ
ชุดข้อมูล
mapOneComponent (ดัชนี int, ฟังก์ชัน< ตัวดำเนินการ <?>, ตัวดำเนินการ <?>> ตัวทำแผนที่)
ส่งคืนชุดข้อมูลใหม่ซึ่งจับคู่ฟังก์ชันกับองค์ประกอบทั้งหมดจากชุดข้อมูลนี้ในองค์ประกอบเดียวของแต่ละองค์ประกอบ
ชุดข้อมูล สุดท้าย
ข้าม (นับยาว)
ส่งคืน "ชุดข้อมูล" ใหม่ซึ่งจะข้าม "นับ" องค์ประกอบเริ่มต้นจากชุดข้อมูลนี้
ชุดข้อมูล สุดท้าย
ใช้ เวลา (นับยาว)
ส่งคืน "ชุดข้อมูล" ใหม่โดยมีเพียงองค์ประกอบ "จำนวน" แรกจากชุดข้อมูลนี้
ชุดข้อมูล แบบคงที่
textLineDataset (Ops tf, ชื่อไฟล์สตริง, ประเภทการบีบอัดสตริง, ขนาดบัฟเฟอร์ยาว)
ชุดข้อมูล แบบคงที่
tfRecordDataset (Ops tf, ชื่อไฟล์สตริง, ประเภทการบีบอัดสตริง, ขนาดบัฟเฟอร์แบบยาว)
สตริง

วิธีการสืบทอด

คอนสตรัคชั่นสาธารณะ

ชุดข้อมูล สาธารณะ (Ops tf, ตัวดำเนินการ <?> ตัวแปร, รายการ<Class<? ขยาย TType >> ประเภทเอาต์พุต, รายการ< รูปร่าง > รูปร่างเอาต์พุต)

วิธีการสาธารณะ

ชุด ข้อมูล สาธารณะขั้นสุดท้าย (ขนาดชุดยาว, บูลีน dropLastBatch)

จัดกลุ่มองค์ประกอบของชุดข้อมูลนี้เป็นชุด

พารามิเตอร์
ขนาดแบตช์ จำนวนองค์ประกอบที่ต้องการต่อชุด
ปล่อย LastBatch ว่าจะละชุดสุดท้ายออกหรือไม่หากมีองค์ประกอบ "batchSize" น้อยกว่า
การส่งคืน
  • ชุดข้อมูลแบบแบตช์

ชุด ข้อมูล สาธารณะขั้นสุดท้าย (ขนาดชุดยาว)

จัดกลุ่มองค์ประกอบของชุดข้อมูลนี้เป็นชุด รวมชุดสุดท้าย แม้ว่าจะมีองค์ประกอบ "batchSize" น้อยกว่าก็ตาม

พารามิเตอร์
ขนาดแบตช์ จำนวนองค์ประกอบที่ต้องการต่อชุด
การส่งคืน
  • ชุดข้อมูลแบบแบตช์

ชุดข้อมูล คงที่สาธารณะ จาก TensorSlices (Ops tf, List< Operand <?>> เทนเซอร์, List<Class<? ขยาย TType >> outputTypes)

สร้าง "ชุดข้อมูล" ในหน่วยความจำซึ่งมีองค์ประกอบเป็นส่วนของเทนเซอร์ที่กำหนด แต่ละองค์ประกอบของชุดข้อมูลนี้จะเป็น List<Operand<?>> ซึ่งแสดงถึงการแบ่งส่วน (เช่น แบตช์) ของเทนเซอร์ที่ให้มา

พารามิเตอร์
ไม่ ตัวเข้าถึง Ops
เทนเซอร์ รายการ Operand<?> ที่แสดงส่วนประกอบของชุดข้อมูลนี้ (เช่น คุณลักษณะ ป้ายกำกับ)
ประเภทเอาต์พุต รายการคลาสประเภทเทนเซอร์ที่แสดงถึงประเภทข้อมูลของแต่ละองค์ประกอบของชุดข้อมูลนี้
การส่งคืน
  • 'ชุดข้อมูล' ใหม่

Ops สาธารณะ getOpsInstance ()

รายการสาธารณะ < รูปร่าง > getOutputShapes ()

รับรายการรูปร่างสำหรับแต่ละองค์ประกอบของชุดข้อมูลนี้

รายการสาธารณะ<คลาส<? ขยาย TType >> getOutputTypes ()

รับรายการประเภทเอาต์พุตสำหรับแต่ละองค์ประกอบของชุดข้อมูลนี้

ตัวดำเนินการ สาธารณะ <?> getVariant ()

รับเทนเซอร์ตัวแปรที่เป็นตัวแทนชุดข้อมูลนี้

ตัววนซ้ำสาธารณะ <รายการ < ตัวดำเนินการ <?>>> ตัววนซ้ำ ()

สร้างตัววนซ้ำซึ่งจะวนซ้ำชุดข้อมูลนี้ทุกชุดในลักษณะที่กระตือรือร้น แต่ละชุดคือรายการส่วนประกอบที่ส่งคืนเป็นออบเจ็กต์ "เอาต์พุต"

วิธีการนี้เปิดใช้งานสำหรับการวนซ้ำแต่ละครั้งผ่านแบตช์เมื่อทำงานในโหมดกระตือรือร้น สำหรับการวนซ้ำในโหมดกราฟ โปรดดูที่ `makeOneShotIterator`

การส่งคืน
  • ตัววนซ้ำผ่านชุดข้อมูลนี้

DatasetIterator สาธารณะ makeInitializeableIterator ()

สร้าง `DatasetIterator` ที่สามารถใช้เพื่อวนซ้ำองค์ประกอบของชุดข้อมูลนี้

ตัววนซ้ำนี้จะต้องเริ่มต้นด้วยการเรียก `iterator.makeInitializer(ชุดข้อมูล)` ก่อนที่จะดึงองค์ประกอบกลับมาในลูปได้

การส่งคืน
  • `DatasetIterator` ใหม่ตามโครงสร้างของชุดข้อมูลนี้

DatasetIterator สาธารณะ makeOneShotIterator ()

สร้าง `DatasetIterator` ที่สามารถใช้เพื่อวนซ้ำองค์ประกอบของชุดข้อมูลนี้ การใช้ `makeOneShotIterator` ช่วยให้แน่ใจว่าตัววนซ้ำจะเริ่มต้นโดยอัตโนมัติในชุดข้อมูลนี้ ข้าม ในโหมดกราฟ ตัวเริ่มต้น op จะถูกเพิ่มเข้าไปในรายการตัวเริ่มต้นของกราฟ ซึ่งจะต้องทำงานผ่าน `tf.init()`:

อดีต:

     try (Session session = new Session(graph) {
         // Immediately run initializers
         session.run(tf.init());
     }
 

ในโหมดกระตือรือร้น ตัวเริ่มต้นจะทำงานโดยอัตโนมัติอันเป็นผลมาจากการโทรนี้

การส่งคืน
  • `DatasetIterator` ใหม่ตามโครงสร้างของชุดข้อมูลนี้

แผนที่ ชุดข้อมูล สาธารณะ (ฟังก์ชัน <รายการ < ตัวดำเนินการ <?>>, รายการ < ตัวดำเนินการ <?>>> ผู้ทำแผนที่)

ส่งคืนชุดข้อมูลใหม่ซึ่งแมปฟังก์ชันกับองค์ประกอบทั้งหมดที่ส่งคืนโดยชุดข้อมูลนี้

ตัวอย่างเช่น สมมติว่าแต่ละองค์ประกอบเป็น List<Operand<?>> ที่มี 2 คอมโพเนนต์: (ฟีเจอร์, ป้ายกำกับ)

กำลังโทร

dataset.map(components -> {
      Operand<?> features = components.get(0);
      Operand<?> labels   = components.get(1);

      return Arrays.asList(
        tf.math.mul(features, tf.constant(2)),
        tf.math.mul(labels, tf.constant(5))
      );
 );
 }
จะจับคู่ฟังก์ชันเหนือส่วนประกอบ "คุณลักษณะ" และ "ป้ายกำกับ" โดยคูณคุณลักษณะด้วย 2 และคูณป้ายกำกับด้วย 5

พารามิเตอร์
ผู้ทำแผนที่ ฟังก์ชันที่จะใช้กับแต่ละองค์ประกอบของตัววนซ้ำนี้
การส่งคืน
  • ชุดข้อมูลใหม่ที่ใช้ `mapper` กับแต่ละองค์ประกอบของตัววนซ้ำนี้

ชุดข้อมูล สาธารณะ mapAllComponents (ฟังก์ชัน < Operand <?>, Operand <?>> mapper)

ส่งคืนชุดข้อมูลใหม่ซึ่งแมปฟังก์ชันกับองค์ประกอบทั้งหมดจากชุดข้อมูลนี้ในส่วนประกอบทั้งหมดของแต่ละองค์ประกอบ

ตัวอย่างเช่น สมมติว่าแต่ละองค์ประกอบเป็น List<Operand<?>> ที่มี 2 คอมโพเนนต์: (ฟีเจอร์, ป้ายกำกับ)

การเรียก dataset.mapAllComponents(component -> tf.math.mul(component, tf.constant(2))) จะแมปฟังก์ชันกับส่วนประกอบ `features` และ `labels` ของแต่ละองค์ประกอบ โดยคูณพวกมันทั้งหมดด้วย 2

พารามิเตอร์
ผู้ทำแผนที่ ฟังก์ชั่นที่ใช้กับแต่ละส่วนประกอบ
การส่งคืน
  • ชุดข้อมูลใหม่ที่ใช้ `mapper` กับส่วนประกอบทั้งหมดของแต่ละองค์ประกอบ

ชุดข้อมูล สาธารณะ mapOneComponent (ดัชนี int, ฟังก์ชั่น < ตัวดำเนินการ <?>, ตัวดำเนินการ <?>> ผู้ทำแผนที่)

ส่งคืนชุดข้อมูลใหม่ซึ่งจับคู่ฟังก์ชันกับองค์ประกอบทั้งหมดจากชุดข้อมูลนี้ในองค์ประกอบเดียวของแต่ละองค์ประกอบ

ตัวอย่างเช่น สมมติว่าแต่ละองค์ประกอบเป็น List<Operand<?>> ที่มี 2 คอมโพเนนต์: (ฟีเจอร์, ป้ายกำกับ)

การเรียก dataset.mapOneComponent(0, features -> tf.math.mul(features, tf.constant(2))) จะแมปฟังก์ชันเหนือองค์ประกอบ `features` ของแต่ละองค์ประกอบ โดยคูณแต่ละรายการด้วย 2

พารามิเตอร์
ดัชนี ดัชนีของส่วนประกอบที่จะแปลง
ผู้ทำแผนที่ ฟังก์ชันที่ใช้กับส่วนประกอบเป้าหมาย
การส่งคืน
  • ชุดข้อมูลใหม่ที่ใช้ `mapper` กับส่วนประกอบที่ดัชนีที่เลือก

การข้าม ชุดข้อมูล สุดท้ายสาธารณะ (นับแบบยาว)

ส่งคืน "ชุดข้อมูล" ใหม่ซึ่งจะข้าม "นับ" องค์ประกอบเริ่มต้นจากชุดข้อมูลนี้

พารามิเตอร์
นับ จำนวนองค์ประกอบที่จะ "ข้าม" เพื่อสร้างชุดข้อมูลใหม่
การส่งคืน
  • ชุดข้อมูลใหม่ที่มีองค์ประกอบ 'count' ถูกลบออก

ชุดข้อมูล สาธารณะขั้นสุดท้าย ใช้ เวลา (นับยาว)

ส่งคืน "ชุดข้อมูล" ใหม่โดยมีเพียงองค์ประกอบ "จำนวน" แรกจากชุดข้อมูลนี้

พารามิเตอร์
นับ จำนวนองค์ประกอบที่จะ "รับ" จากชุดข้อมูลนี้
การส่งคืน
  • ชุดข้อมูลใหม่ที่มีองค์ประกอบ "นับ" แรกจากชุดข้อมูลนี้

ชุดข้อมูล คงที่สาธารณะ textLineDataset (Ops tf, ชื่อไฟล์สตริง, ประเภทการบีบอัดสตริง, ขนาดบัฟเฟอร์ยาว)

ชุดข้อมูล คงที่สาธารณะ tfRecordDataset (Ops tf, ชื่อไฟล์สตริง, ประเภทการบีบอัดสตริง, ขนาดบัฟเฟอร์ยาว)

สตริงสาธารณะ toString ()