คอมพิวเตอร์วิทัศน์ด้วย TensorFlow

TensorFlow มีเครื่องมือคอมพิวเตอร์วิทัศน์ (CV) และเครื่องมือจำแนกภาพจำนวนหนึ่ง เอกสารนี้จะแนะนำเครื่องมือบางอย่างเหล่านี้และให้ภาพรวมของแหล่งข้อมูลเพื่อช่วยให้คุณเริ่มต้นกับงาน CV ทั่วไป

ห้องสมุดและเครื่องมือด้านวิสัยทัศน์

TensorFlow มีเครื่องมือ CV ผ่านทางไลบรารี Keras ระดับสูงกว่าและโมดูล tf.image ระดับล่าง สำหรับกรณีการใช้งานส่วนใหญ่ ไลบรารี Keras จะสะดวกกว่าทางเลือก TensorFlow ในตัว แต่หากตัวเลือก Keras ไม่เหมาะกับกรณีการใช้งานของคุณ หรือคุณต้องการควบคุมการประมวลผลภาพล่วงหน้าในระดับต่ำ คุณอาจต้องใช้เครื่องมือ TensorFlow ระดับล่าง

KerasCV

หากคุณเพิ่งเริ่มต้นโปรเจ็กต์ CV และคุณไม่แน่ใจว่าต้องใช้ไลบรารีและเครื่องมือใด KerasCV คือจุดเริ่มต้นที่ดี KerasCV คือไลบรารีของส่วนประกอบ CV แบบโมดูลาร์ที่สร้างบน Keras Core KerasCV ประกอบด้วยโมเดล เลเยอร์ หน่วยเมตริก โทรกลับ และเครื่องมืออื่นๆ ที่ขยาย Keras API ระดับสูงสำหรับงาน CV KerasCV API สามารถช่วยในการเพิ่มข้อมูล การจัดหมวดหมู่ การตรวจจับวัตถุ การแบ่งส่วน การสร้างภาพ และเวิร์กโฟลว์ CV ทั่วไปอื่นๆ คุณสามารถใช้ KerasCV เพื่อประกอบไปป์ไลน์การฝึกอบรมและการอนุมานระดับการผลิตที่ล้ำสมัยได้อย่างรวดเร็ว

ยูทิลิตี้ Keras

tf.keras.utils มียูทิลิตีการประมวลผลล่วงหน้ารูปภาพระดับสูงหลายรายการ ตัวอย่างเช่น tf.keras.utils.image_dataset_from_directory จะสร้าง tf.data.Dataset จากไดเรกทอรีของรูปภาพบนดิสก์

tf.image

หาก KerasCV ไม่เหมาะกับกรณีการใช้งานของคุณ คุณสามารถใช้ tf.image และ tf.data เพื่อเขียนไปป์ไลน์หรือเลเยอร์การเพิ่มข้อมูลของคุณเองได้

โมดูล tf.image มีฟังก์ชันต่างๆ สำหรับการประมวลผลภาพ เช่น tf.image.flip_left_right , tf.image.rgb_to_grayscale , tf.image.adjust_brightness , tf.image.central_crop และ tf.image.stateless_random*

tf.data API ช่วยให้คุณสร้างไปป์ไลน์อินพุตที่ซับซ้อนจากชิ้นส่วนที่เรียบง่ายและนำกลับมาใช้ใหม่ได้

ชุดข้อมูล TensorFlow

ชุดข้อมูล TensorFlow คือชุดชุดข้อมูลที่พร้อมใช้งานกับ TensorFlow ชุดข้อมูลจำนวนมาก (เช่น MNIST , Fashion-MNIST และ TF Flowers ) สามารถใช้ในการพัฒนาและทดสอบอัลกอริธึมการมองเห็นของคอมพิวเตอร์

จะเริ่มตรงไหน

แหล่งข้อมูลต่อไปนี้จะช่วยคุณเริ่มต้นใช้งานเครื่องมือ TensorFlow และ Keras CV

• KerasCV : เอกสารและแหล่งข้อมูลสำหรับ KerasCV
• คู่มือนักพัฒนา KerasCV : คำแนะนำในการดำเนินงาน CV ทั่วไปโดยใช้ KerasCV หากคุณยังใหม่กับ KerasCV การจำแนกประเภทด้วย KerasCV เป็นจุดเริ่มต้นที่ดี

• บทช่วยสอน TensorFlow : เอกสารหลักของ TensorFlow (คู่มือนี้) ประกอบด้วยบทช่วยสอน CV และการประมวลผลรูปภาพจำนวนหนึ่ง

  • การจำแนกประเภทพื้นฐาน: จำแนกรูปภาพของเสื้อผ้า : ฝึกโมเดลโครงข่ายประสาทเทียมเพื่อจำแนกรูปภาพของเสื้อผ้า เช่น รองเท้าผ้าใบและเสื้อเชิ้ต

  • โหลดและประมวลผลรูปภาพล่วงหน้า : โหลดและประมวลผลชุดข้อมูลรูปภาพล่วงหน้าได้สามวิธี:

    1. ใช้ยูทิลิตี้การประมวลผลล่วงหน้า Keras ระดับสูงเพื่ออ่านไดเร็กทอรีของรูปภาพบนดิสก์
    2. เขียนไปป์ไลน์อินพุตของคุณเองตั้งแต่เริ่มต้น โดยใช้ tf.data
    3. ดาวน์โหลดชุดข้อมูลจาก แคตตาล็อก ขนาดใหญ่ที่มีอยู่ใน TensorFlow Datasets

  • โหลดข้อมูลวิดีโอ : โหลดและประมวลผลข้อมูลวิดีโอ AVI ล่วงหน้าโดยใช้ ชุดข้อมูลการกระทำของมนุษย์ UCF101

  • Convolutional Neural Network (CNN) : ฝึก Convolutional Neural Network (CNN) อย่างง่ายเพื่อจัด ประเภทอิมเมจ CIFAR โดยใช้ Keras API

  • การจัดหมวดหมู่ภาพ : จำแนกภาพดอกไม้โดยใช้โมเดล tf.keras.Sequential และโหลดข้อมูลโดยใช้ tf.keras.utils.image_dataset_from_directory

  • ถ่ายโอนการเรียนรู้และการปรับแต่ง : จำแนกภาพแมวและสุนัขโดยใช้การเรียนรู้แบบถ่ายโอนจากเครือข่ายที่ผ่านการฝึกอบรมมาแล้ว

  • การเพิ่มข้อมูล : เพิ่มความหลากหลายของชุดการฝึกของคุณโดยใช้การแปลงแบบสุ่ม (แต่สมจริง) เช่น การหมุนภาพ

  • การแบ่งส่วนรูปภาพ : ทำการแบ่งส่วนรูปภาพโดยใช้ U-Net ที่แก้ไขแล้ว

  • การจัดหมวดหมู่วิดีโอด้วยโครงข่ายประสาทเทียมแบบ 3 มิติ : ฝึกโครงข่ายประสาทเทียมแบบ 3 มิติ (CNN) สำหรับการจัดหมวดหมู่วิดีโอโดยใช้ชุดข้อมูลการจดจำการกระทำ UCF101

  • ถ่ายโอนการเรียนรู้สำหรับการจัดหมวดหมู่วิดีโอด้วย MoViNet : ใช้โมเดล MoViNet ที่ได้รับการฝึกอบรมล่วงหน้าและ ชุดข้อมูล UCF101 เพื่อจัดประเภทวิดีโอสำหรับงานการจดจำการกระทำ