TensorFlow Model Garden, görüntü ve doğal dil işleme (NLP) için birçok son teknoloji makine öğrenimi (ML) modelinin uygulamalarını ve bu modelleri standart veri kümelerinde hızlı bir şekilde yapılandırmanıza ve çalıştırmanıza olanak tanıyan iş akışı araçları sağlar. İster iyi bilinen bir model için performans karşılaştırması yapmak, ister yakın zamanda yayınlanan araştırmaların sonuçlarını doğrulamak veya mevcut modelleri genişletmek istiyorsanız, Model Bahçesi makine öğrenimi araştırmalarınızı ve uygulamalarınızı ileriye taşımanıza yardımcı olabilir.
Model Bahçesi, makine öğrenimi geliştiricileri için aşağıdaki kaynakları içerir:
- Google mühendisleri tarafından sağlanan vizyon ve NLP için resmi modeller
- Makine öğrenimi araştırma makalelerinin bir parçası olarak yayınlanan araştırma modelleri
- Resmi modellerin hızlı, bildirime dayalı eğitim yapılandırması için eğitim deney çerçevesi
- Görme ve doğal dil işleme (NLP) için özel makine öğrenimi operasyonları
- Orbit ile model eğitim döngüsü yönetimi
Bu kaynaklar, TensorFlow Core çerçevesiyle kullanılmak üzere oluşturulmuştur ve mevcut TensorFlow geliştirme projelerinizle bütünleşir. Model Garden kaynakları ayrıca bir açık kaynak lisansı altında sağlanır, böylece modelleri ve araçları özgürce genişletebilir ve dağıtabilirsiniz.
Pratik ML modellerinin eğitilmesi ve çalıştırılması yoğun hesaplama gerektirir ve Grafik İşleme Birimleri (GPU'lar) ve Tensör İşleme Birimleri (TPU'lar) gibi hızlandırıcılar gerektirebilir. Model Garden'daki modellerin çoğu, TPU'lar kullanılarak büyük veri kümeleri üzerinde eğitilmiştir. Ancak bu modelleri GPU ve CPU işlemcilerde de eğitebilir ve çalıştırabilirsiniz.
Model Bahçe modelleri
Model Bahçesi'ndeki makine öğrenimi modelleri, araştırma ve deney için test edebilmeniz, eğitebilmeniz veya yeniden eğitebilmeniz için tam kod içerir. Model Bahçesi iki ana model kategorisi içerir: resmi modeller ve araştırma modelleri .
Resmi modeller
Resmi Modeller deposu, vizyon ve doğal dil işlemeye (NLP) odaklanan son teknoloji modellerden oluşan bir koleksiyondur. Bu modeller, mevcut TensorFlow 2.x üst düzey API'leri kullanılarak uygulanır. Bu havuzdaki model kitaplıkları, hızlı performans için optimize edilmiştir ve Google mühendisleri tarafından etkin bir şekilde korunur. Resmi modeller, Model Garden eğitim deney çerçevesini kullanarak deneyleri hızlı bir şekilde yapılandırmak için kullanabileceğiniz ek meta veriler içerir.
Araştırma modelleri
Araştırma Modelleri deposu, araştırma makaleleri için kod kaynakları olarak yayınlanan bir modeller koleksiyonudur. Bu modeller hem TensorFlow 1.x hem de 2.x kullanılarak uygulanır. Araştırma klasöründeki model kitaplıkları, kod sahipleri ve araştırma topluluğu tarafından desteklenir.
Eğitim deney çerçevesi
Model Garden eğitim deney çerçevesi, resmi modellerini ve standart veri kümelerini kullanarak eğitim deneylerini hızla bir araya getirmenize ve çalıştırmanıza olanak tanır. Eğitim çerçevesi, modelleri bildirime dayalı bir programlama modeli kullanarak hızlı bir şekilde yapılandırmanıza izin vermek için Model Garden'ın resmi modellerinde bulunan ek meta verileri kullanır. TensorFlow Model kitaplığındaki Python komutlarını kullanarak bir eğitim deneyi tanımlayabilir veya bu örnekte olduğu gibi bir YAML yapılandırma dosyası kullanarak eğitimi yapılandırabilirsiniz.
Eğitim çerçevesi, aşağıdaki üst düzey yapılandırma nesnelerini içeren yapılandırma nesnesi olarak tfm.core.base_trainer.ExperimentConfig kullanır:
-
runtime: İşleme donanımını, dağıtım stratejisini ve diğer performans optimizasyonlarını tanımlar -
task: Modeli, eğitim verilerini, kayıpları ve başlatmayı tanımlar -
trainer: Optimize ediciyi, eğitim döngülerini, değerlendirme döngülerini, özetleri ve kontrol noktalarını tanımlar
Model Garden eğitim deney çerçevesini kullanan eksiksiz bir örnek için, Model Garden öğreticisiyle Görüntü sınıflandırmasına bakın. Eğitim deney çerçevesi hakkında bilgi için TensorFlow Modelleri API belgelerine bakın . Model eğitim deneyleriniz için eğitim döngülerini yönetmek için bir çözüm arıyorsanız Orbit'e göz atın.
Uzmanlaşmış makine öğrenimi operasyonları
Model Bahçesi, GPU'larda ve TPU'larda verimli bir şekilde çalışan son teknoloji modelleri yürütmek için özel olarak tasarlanmış birçok vizyon ve NLP işlemi içerir. Özelleştirilmiş görüntü operasyonlarının bir listesi için TensorFlow Modelleri Görüntü kitaplığı API belgelerini inceleyin. NLP işlemlerinin listesi için TensorFlow Modelleri NLP Kitaplığı API belgelerini inceleyin. Bu kitaplıklar ayrıca vizyon ve NLP veri işleme, eğitim ve model yürütme için kullanılan ek yardımcı işlevler içerir.
Orbit ile eğitim döngüleri
Orbit aracı, TensorFlow 2.x'te özel eğitim döngüleri yazmayı kolaylaştırmak için tasarlanmış esnek, hafif bir kitaplıktır ve Model Garden eğitim deney çerçevesiyle iyi çalışır. Orbit, kontrol noktalarını kaydetme, model değerlendirmelerini çalıştırma ve özet yazma ayarlama gibi yaygın model eğitimi görevlerini yerine getirir. tf.distribute ile sorunsuz bir şekilde bütünleşir ve CPU, GPU ve TPU donanımı dahil olmak üzere farklı cihaz türlerinde çalışmayı destekler. Orbit aracı da açık kaynaklıdır , böylece model eğitim ihtiyaçlarınıza göre genişletebilir ve uyarlayabilirsiniz.
Genellikle özel bir eğitim döngüsü yazarak veya yüksek seviyeli Keras Model.fit işlevini kullanarak TensorFlow modellerini eğitirsiniz. Basit modeller için, tf.GradientTape veya tf.function gibi düşük seviyeli TensorFlow yöntemleriyle özel bir eğitim döngüsü tanımlayabilir ve yönetebilirsiniz. Alternatif olarak, üst düzey Model.fit .
Ancak modeliniz karmaşıksa ve eğitim döngünüz daha esnek kontrol veya özelleştirme gerektiriyorsa Orbit'i kullanmalısınız. Eğitim orbit.AbstractTrainer veya orbit.StandardTrainer sınıfına göre tanımlayabilirsiniz. Orbit API belgelerinde Orbit aracı hakkında daha fazla bilgi edinin.