AutoShardDataset คลาสสุดท้ายสาธารณะ
สร้างชุดข้อมูลที่แบ่งส่วนชุดข้อมูลอินพุต
สร้างชุดข้อมูลที่แบ่งส่วนชุดข้อมูลอินพุตตาม num_workers โดยส่งคืนชุดข้อมูลที่แบ่งส่วนสำหรับผู้ปฏิบัติงานที่ดัชนี สิ่งนี้จะพยายามแบ่งชุดข้อมูลโดยอัตโนมัติโดยตรวจสอบกราฟชุดข้อมูลและแทรก shard op ก่อนอินพุตไปยังชุดข้อมูลของผู้อ่าน (เช่น CSVDataset, TFRecordDataset)
ชุดข้อมูลนี้จะทำให้เกิดข้อผิดพลาด NotFound หากเราไม่สามารถแบ่งชุดข้อมูลได้โดยอัตโนมัติ
คลาสที่ซ้อนกัน
| ระดับ | AutoShardDataset ตัวเลือก | แอตทริบิวต์เพิ่มเติมสำหรับ AutoShardDataset | |
ค่าคงที่
| สตริง | OP_NAME | ชื่อของ op นี้ ซึ่งรู้จักกันในชื่อของเอ็นจิ้นหลัก TensorFlow |
วิธีการสาธารณะ
| เอาท์พุต < ชนิด T > | เป็นเอาท์พุต () ส่งกลับค่าแฮนเดิลสัญลักษณ์ของเทนเซอร์ |
| AutoShardDataset.Options แบบคงที่ | autoShardPolicy (autoShardPolicy แบบยาว) |
| ชุดข้อมูล AutoShard แบบคงที่ | สร้าง ( ขอบเขต ขอบเขต ตัวดำเนินการ <?> inputDataset, ตัวดำเนินการ < TInt64 > numWorkers, ตัวดำเนินการ < TInt64 > ดัชนี, รายการ<Class<? ขยาย TType >> ประเภทเอาต์พุต, รายการ< รูปร่าง > รูปร่างเอาต์พุต, ตัวเลือก... ตัวเลือก) วิธีการจากโรงงานเพื่อสร้างคลาสที่ห่อการดำเนินการ AutoShardDataset ใหม่ |
| เอาท์พุต <?> | รับมือ () |
วิธีการสืบทอด
ค่าคงที่
สตริงสุดท้ายแบบคงที่สาธารณะ OP_NAME
ชื่อของ op นี้ ซึ่งรู้จักกันในชื่อของเอ็นจิ้นหลัก TensorFlow
ค่าคงที่: "ชุดข้อมูล AutoShard แบบทดลอง"
วิธีการสาธารณะ
เอาท์ พุท สาธารณะ < TType > asOutput ()
ส่งกลับค่าแฮนเดิลสัญลักษณ์ของเทนเซอร์
อินพุตสำหรับการดำเนินการ TensorFlow คือเอาต์พุตของการดำเนินการ TensorFlow อื่น วิธีการนี้ใช้เพื่อรับหมายเลขอ้างอิงสัญลักษณ์ที่แสดงถึงการคำนวณอินพุต
การสร้าง AutoShardDataset แบบคงที่สาธารณะ (ขอบเขต ขอบเขต , ตัวดำเนินการ <?> inputDataset, ตัวดำเนินการ < TInt64 > numWorkers, ตัวดำเนินการ < TInt64 > ดัชนี, รายการ<Class<? ขยาย TType >> outputTypes, รายการ< รูปร่าง > outputShapes, ตัวเลือก... ตัวเลือก)
วิธีการจากโรงงานเพื่อสร้างคลาสที่ห่อการดำเนินการ AutoShardDataset ใหม่
พารามิเตอร์
| ขอบเขต | ขอบเขตปัจจุบัน |
|---|---|
| ชุดข้อมูลอินพุต | เทนเซอร์ตัวแปรที่แสดงถึงชุดข้อมูลอินพุต |
| numWorkers | สเกลาร์ที่แสดงจำนวนคนทำงานเพื่อกระจายชุดข้อมูลนี้ไป |
| ดัชนี | สเกลาร์ที่แสดงดัชนีของผู้ปฏิบัติงานปัจจุบันจาก num_workers |
| ตัวเลือก | มีค่าแอตทริบิวต์ทางเลือก |
การส่งคืน
- อินสแตนซ์ใหม่ของ AutoShardDataset