TensorFlow Model Garden menyediakan implementasi dari banyak model pembelajaran mesin (ML) canggih untuk penglihatan dan pemrosesan bahasa alami (NLP), serta alat alur kerja untuk memungkinkan Anda mengonfigurasi dan menjalankan model tersebut dengan cepat pada set data standar. Baik Anda ingin membandingkan kinerja untuk model terkenal, memverifikasi hasil penelitian yang baru dirilis, atau memperluas model yang ada, Model Garden dapat membantu Anda memajukan penelitian dan aplikasi ML Anda.
Model Garden menyertakan referensi berikut untuk developer machine learning:
- Model resmi untuk visi dan NLP, dikelola oleh teknisi Google
- Model penelitian diterbitkan sebagai bagian dari makalah penelitian ML
- Kerangka percobaan pelatihan untuk konfigurasi pelatihan deklaratif yang cepat dari model resmi
- Operasi ML khusus untuk penglihatan dan pemrosesan bahasa alami (NLP)
- Model manajemen loop pelatihan dengan Orbit
Resource ini dibuat untuk digunakan dengan framework TensorFlow Core dan diintegrasikan dengan project pengembangan TensorFlow Anda yang sudah ada. Sumber daya Model Garden juga disediakan di bawah lisensi sumber terbuka , sehingga Anda dapat dengan bebas memperluas dan mendistribusikan model dan alat.
Model ML praktis secara komputasi intensif untuk dilatih dan dijalankan, dan mungkin memerlukan akselerator seperti Graphical Processing Unit (GPU) dan Tensor Processing Unit (TPU). Sebagian besar model di Model Garden dilatih pada kumpulan data besar menggunakan TPU. Namun, Anda juga dapat melatih dan menjalankan model ini pada prosesor GPU dan CPU.
Model taman model
Model pembelajaran mesin di Model Garden menyertakan kode lengkap sehingga Anda dapat menguji, melatih, atau melatihnya kembali untuk penelitian dan eksperimen. Model Garden mencakup dua kategori utama model: model resmi dan model penelitian .
Model resmi
Repositori Model Resmi adalah kumpulan model mutakhir, dengan fokus pada visi dan pemrosesan bahasa alami (NLP). Model ini diimplementasikan menggunakan API tingkat tinggi TensorFlow 2.x saat ini. Pustaka model dalam repositori ini dioptimalkan untuk kinerja cepat dan dipelihara secara aktif oleh teknisi Google. Model resmi menyertakan metadata tambahan yang dapat Anda gunakan untuk mengonfigurasi eksperimen dengan cepat menggunakan kerangka eksperimen pelatihan Model Garden.
Model penelitian
Repositori Model Penelitian adalah kumpulan model yang diterbitkan sebagai sumber kode untuk makalah penelitian. Model ini diimplementasikan menggunakan TensorFlow 1.x dan 2.x. Pustaka model di folder riset didukung oleh pemilik kode dan komunitas riset.
Kerangka percobaan pelatihan
Kerangka kerja eksperimen pelatihan Model Garden memungkinkan Anda merakit dan menjalankan eksperimen pelatihan dengan cepat menggunakan model resmi dan set data standarnya. Kerangka kerja pelatihan menggunakan metadata tambahan yang disertakan dengan model resmi Model Garden untuk memungkinkan Anda mengonfigurasi model dengan cepat menggunakan model pemrograman deklaratif. Anda dapat menentukan eksperimen pelatihan menggunakan perintah Python di library Model TensorFlow atau mengonfigurasi pelatihan menggunakan file konfigurasi YAML, seperti contoh ini .
Kerangka kerja pelatihan menggunakan tfm.core.base_trainer.ExperimentConfig sebagai objek konfigurasi, yang berisi objek konfigurasi tingkat atas berikut:
-
runtime: Menentukan perangkat keras pemrosesan, strategi distribusi, dan pengoptimalan kinerja lainnya -
task: Mendefinisikan model, data pelatihan, kerugian, dan inisialisasi -
trainer: Mendefinisikan pengoptimal, putaran pelatihan, putaran evaluasi, ringkasan, dan pos pemeriksaan
Untuk contoh lengkap menggunakan kerangka eksperimen pelatihan Model Garden, lihat tutorial Klasifikasi gambar dengan Model Garden . Untuk informasi tentang kerangka eksperimen pelatihan, lihat dokumentasi API Model TensorFlow . Jika Anda mencari solusi untuk mengelola loop pelatihan untuk eksperimen pelatihan model Anda, lihat Orbit .
Operasi ML khusus
Model Garden berisi banyak operasi visi dan NLP yang dirancang khusus untuk menjalankan model tercanggih yang berjalan secara efisien pada GPU dan TPU. Tinjau dokumen API perpustakaan Visi TensorFlow Models untuk daftar operasi visi khusus. Tinjau dokumen API Perpustakaan NLP Model TensorFlow untuk daftar operasi NLP . Pustaka ini juga menyertakan fungsi utilitas tambahan yang digunakan untuk pemrosesan data visi dan NLP, pelatihan, dan eksekusi model.
Loop pelatihan dengan Orbit
Alat Orbit adalah pustaka fleksibel dan ringan yang dirancang untuk memudahkan penulisan loop pelatihan khusus di TensorFlow 2.x, dan berfungsi baik dengan kerangka kerja eksperimen pelatihan Model Garden . Orbit menangani tugas pelatihan model umum seperti menyimpan pos pemeriksaan, menjalankan evaluasi model, dan menyiapkan penulisan ringkasan. Ini terintegrasi dengan mulus dengan tf.distribute dan mendukung berjalan di berbagai jenis perangkat, termasuk CPU, GPU, dan perangkat keras TPU. Alat Orbit juga open source , sehingga Anda dapat memperluas dan menyesuaikan dengan kebutuhan pelatihan model Anda.
Anda biasanya melatih model TensorFlow dengan menulis loop pelatihan khusus , atau menggunakan fungsi Keras Model.fit tingkat tinggi. Untuk model sederhana, Anda dapat menentukan dan mengelola loop pelatihan khusus dengan metode TensorFlow tingkat rendah seperti tf.GradientTape atau tf.function . Atau, Anda dapat menggunakan Keras Model.fit tingkat tinggi.
Namun, jika model Anda rumit dan loop pelatihan Anda memerlukan kontrol atau penyesuaian yang lebih fleksibel, maka Anda harus menggunakan Orbit. Anda dapat menentukan sebagian besar loop pelatihan Anda dengan kelas orbit.AbstractTrainer atau orbit.StandardTrainer . Pelajari lebih lanjut tentang alat Orbit di dokumentasi Orbit API .