ภาพรวมสวนจำลอง

TensorFlow Model Garden มีการนำโมเดลแมชชีนเลิร์นนิง (ML) อันล้ำสมัยมาใช้งานสำหรับการมองเห็นและการประมวลผลภาษาธรรมชาติ (NLP) รวมถึงเครื่องมือเวิร์กโฟลว์เพื่อให้คุณกำหนดค่าและเรียกใช้โมเดลเหล่านั้นบนชุดข้อมูลมาตรฐานได้อย่างรวดเร็ว ไม่ว่าคุณกำลังมองหาการเปรียบเทียบประสิทธิภาพสำหรับโมเดลที่รู้จักกันดี ตรวจสอบผลการวิจัยที่เพิ่งเปิดตัว หรือขยายโมเดลที่มีอยู่ Model Garden สามารถช่วยคุณขับเคลื่อนการวิจัย ML และแอปพลิเคชันของคุณไปข้างหน้า

Model Garden มีแหล่งข้อมูลสำหรับนักพัฒนาแมชชีนเลิร์นนิงดังต่อไปนี้:

• โมเดลอย่างเป็นทางการ สำหรับวิสัยทัศน์และ NLP ดูแลโดยวิศวกรของ Google
• แบบจำลองการวิจัย ที่เผยแพร่เป็นส่วนหนึ่งของงานวิจัยของ ML
• กรอบงานการทดลองฝึกอบรม สำหรับการกำหนดค่าการฝึกอบรมที่เปิดเผยและรวดเร็วของแบบจำลองอย่างเป็นทางการ
• ปฏิบัติการ ML เฉพาะ ทางสำหรับการมองเห็นและการประมวลผลภาษาธรรมชาติ (NLP)
• โมเดลการจัดการลูปการฝึก ด้วย Orbit

ทรัพยากรเหล่านี้สร้างขึ้นเพื่อใช้กับเฟรมเวิร์ก TensorFlow Core และรวมเข้ากับโครงการพัฒนา TensorFlow ที่คุณมีอยู่ นอกจากนี้ ทรัพยากร Model Garden ยังให้สิทธิ์ใช้งาน แบบโอเพ่นซอร์ส อีกด้วย ดังนั้นคุณจึงสามารถขยายและแจกจ่ายแบบจำลองและเครื่องมือต่างๆ ได้อย่างอิสระ

โมเดล ML ที่ใช้งานได้จริงนั้นใช้การคำนวณอย่างเข้มข้นเพื่อฝึกฝนและเรียกใช้ และอาจต้องใช้ตัวเร่งความเร็ว เช่น หน่วยประมวลผลกราฟิก (GPU) และหน่วยประมวลผลเทนเซอร์ (TPU) โมเดลส่วนใหญ่ใน Model Garden ได้รับการฝึกอบรมเกี่ยวกับชุดข้อมูลขนาดใหญ่โดยใช้ TPU อย่างไรก็ตาม คุณสามารถฝึกและเรียกใช้โมเดลเหล่านี้บนโปรเซสเซอร์ GPU และ CPU ได้

โมเดลสวน โมเดล

โมเดลแมชชีนเลิร์นนิงใน Model Garden มีโค้ดแบบเต็มเพื่อให้คุณสามารถทดสอบ ฝึกอบรม หรือฝึกอบรมซ้ำสำหรับการวิจัยและการทดลอง Model Garden ประกอบด้วยโมเดลหลักสองประเภท: โมเดล อย่างเป็นทางการ และ โมเดลการวิจัย

รุ่นอย่างเป็นทางการ

ที่เก็บ โมเดลอย่างเป็นทางการ คือคอลเล็กชันโมเดลที่ล้ำสมัย โดยเน้นที่การมองเห็นและการประมวลผลภาษาธรรมชาติ (NLP) โมเดลเหล่านี้ใช้งานโดยใช้ API ระดับสูงของ TensorFlow 2.x ปัจจุบัน ไลบรารีโมเดลในที่เก็บนี้ได้รับการปรับให้เหมาะสมเพื่อประสิทธิภาพที่รวดเร็วและดูแลโดยวิศวกรของ Google โมเดลอย่างเป็นทางการประกอบด้วยข้อมูลเมตาเพิ่มเติมที่คุณสามารถใช้เพื่อกำหนดค่าการทดสอบอย่างรวดเร็วโดยใช้ เฟรมเวิร์กการทดสอบการฝึกอบรม ของ Model Garden

แบบจำลองการวิจัย

พื้นที่เก็บข้อมูลแบบจำลองการ วิจัย คือชุดของแบบจำลองที่เผยแพร่เป็นแหล่งข้อมูลรหัสสำหรับเอกสารการวิจัย โมเดลเหล่านี้ใช้ทั้ง TensorFlow 1.x และ 2.x ไลบรารีแบบจำลองในโฟลเดอร์การวิจัยได้รับการสนับสนุนโดยเจ้าของรหัสและชุมชนการวิจัย

กรอบการทดลองฝึกอบรม

กรอบงานการทดลองฝึกอบรม Model Garden ช่วยให้คุณรวบรวมและเรียกใช้การทดลองฝึกอบรมได้อย่างรวดเร็วโดยใช้แบบจำลองอย่างเป็นทางการและชุดข้อมูลมาตรฐาน กรอบงานการฝึกอบรมใช้ข้อมูลเมตาเพิ่มเติมที่มาพร้อมกับโมเดลอย่างเป็นทางการของ Model Garden เพื่อให้คุณสามารถกำหนดค่าโมเดลได้อย่างรวดเร็วโดยใช้โมเดลการเขียนโปรแกรมที่เปิดเผย คุณสามารถกำหนดการทดลองฝึกอบรมโดยใช้คำสั่ง Python ใน ไลบรารี TensorFlow Model หรือกำหนดค่าการฝึกโดยใช้ไฟล์การกำหนดค่า YAML เช่น ตัวอย่าง นี้

กรอบงานการฝึกอบรมใช้ tfm.core.base_trainer.ExperimentConfig เป็นอ็อบเจ็กต์การกำหนดค่า ซึ่งประกอบด้วยอ็อบเจ็กต์การกำหนดค่าระดับบนสุดต่อไปนี้:

• runtime : กำหนดฮาร์ดแวร์การประมวลผล กลยุทธ์การกระจาย และการเพิ่มประสิทธิภาพอื่นๆ
• task : กำหนดแบบจำลอง ข้อมูลการฝึก ความสูญเสีย และการเริ่มต้น
• trainer : กำหนดตัวเพิ่มประสิทธิภาพ ลูปการฝึกอบรม ลูปการประเมิน สรุป และจุดตรวจ

สำหรับตัวอย่างที่สมบูรณ์โดยใช้เฟรมเวิร์กการทดลองฝึกอบรม Model Garden โปรดดูที่การ จัดหมวดหมู่รูปภาพด้วยบทช่วยสอน Model Garden สำหรับข้อมูลเกี่ยวกับเฟรมเวิร์กการทดสอบการฝึกอบรม โปรดดู เอกสาร TensorFlow Models API หากคุณกำลังมองหาโซลูชันในการจัดการลูปการฝึกสำหรับการทดลองการฝึกโมเดลของคุณ ลองดู Orbit

ปฏิบัติการ ML เฉพาะทาง

Model Garden มีวิสัยทัศน์และการดำเนินการ NLP มากมายที่ออกแบบมาโดยเฉพาะเพื่อใช้กับโมเดลล้ำสมัยที่ทำงานได้อย่างมีประสิทธิภาพบน GPU และ TPU ตรวจสอบเอกสาร API ไลบรารี TensorFlow Models Vision สำหรับรายการ การดำเนินการ ด้านวิชันเฉพาะทาง ตรวจสอบเอกสาร TensorFlow Models NLP Library API สำหรับรายการ การดำเนินการ NLP ไลบรารีเหล่านี้ยังรวมถึงฟังก์ชันยูทิลิตี้เพิ่มเติมที่ใช้สำหรับการประมวลผลข้อมูลด้วยวิสัยทัศน์และ NLP การฝึกอบรม และการดำเนินการแบบจำลอง

ฝึกวนซ้ำกับ Orbit

เครื่องมือ Orbit เป็นไลบรารี่ที่ยืดหยุ่นและน้ำหนักเบา ออกแบบมาเพื่อให้เขียนลูปการฝึกแบบกำหนดเองใน TensorFlow 2.x ได้ง่ายขึ้น และทำงานได้ดีกับ เฟรมเวิร์กการทดลองการฝึก ของ Model Garden Orbit จัดการงานการฝึกโมเดลทั่วไป เช่น การบันทึกจุดตรวจสอบ การเรียกใช้การประเมินแบบจำลอง และการตั้งค่าการเขียนสรุป มันผสานรวมกับ tf.distribute ได้อย่างราบรื่นและรองรับการทำงานบนอุปกรณ์ประเภทต่างๆ รวมถึงฮาร์ดแวร์ CPU, GPU และ TPU เครื่องมือ Orbit ยังเป็น โอเพ่นซอร์ส อีกด้วย ดังนั้นคุณจึงสามารถขยายและปรับให้เข้ากับความต้องการการฝึกโมเดลของคุณ

โดยทั่วไป คุณจะฝึกโมเดล TensorFlow โดยการเขียน ลูปการฝึกแบบกำหนดเอง หรือใช้ฟังก์ชัน Keras Model.fit ระดับสูง สำหรับโมเดลอย่างง่าย คุณสามารถกำหนดและจัดการลูปการฝึกแบบกำหนดเองด้วยเมธอด TensorFlow ระดับต่ำ เช่น tf.GradientTape หรือ tf.function หรือคุณสามารถใช้ Keras Model.fit ระดับสูง

อย่างไรก็ตาม หากแบบจำลองของคุณซับซ้อนและลูปการฝึกของคุณต้องการการควบคุมหรือการปรับแต่งที่ยืดหยุ่นมากขึ้น คุณควรใช้ Orbit คุณสามารถกำหนดวงรอบการฝึกของคุณได้เกือบทั้งหมดโดยใช้ orbit.AbstractTrainer หรือ orbit.StandardTrainer เรียนรู้เพิ่มเติมเกี่ยวกับเครื่องมือ Orbit ใน เอกสารประกอบ Orbit API