Güncelleme: Haziran 2021

TensorFlow'un Model Optimizasyon Araç Takımı (MOT), TensorFlow modellerini mobil ve IoT cihazlarda çalıştırmak için daha küçük boyutlu, daha iyi performansa ve kabul edilebilir doğruluğa sahip TensorFlow Lite modellerine dönüştürmek/optimize etmek için yaygın olarak kullanılmıştır. Artık TensorFlow SavedModel'i de desteklemek için MOT tekniklerini ve araçlarını TensorFlow Lite'ın ötesine genişletmek için çalışıyoruz.

Aşağıdaki yol haritamızın üst düzey bir genel görünümünü temsil etmektedir. Bu yol haritasının her an değişebileceğini ve aşağıdaki sıralamanın herhangi bir öncelik türünü yansıtmadığını bilmelisiniz. Yol haritamız hakkında yorum yapmanızı ve tartışma grubunda bize geri bildirimde bulunmanızı şiddetle tavsiye ediyoruz.

Niceleme

TensorFlow Lite

  • Belirli katmanları nicelemenin dışında tutmak için seçici eğitim sonrası niceleme.
  • Katman başına niceleme hatası kayıplarını incelemek için niceleme hata ayıklayıcısı.
  • Daha fazla model kapsamı üzerinde kuantizasyona duyarlı eğitimin uygulanması, örneğin TensorFlow Model Garden.
  • Antrenman sonrası dinamik aralık için kalite ve performans iyileştirmeleri. nicemleme.

TensorFlow

  • Eğitim Sonrası Niceleme (bf16 * int8 dinamik aralık).
  • Niceleme Farkındalık Eğitimi ((bf16 * int8 yalnızca sahte nicelik ile ağırlık).
  • Belirli katmanları nicelemenin dışında tutmak için seçici eğitim sonrası niceleme.
  • Katman başına niceleme hatası kayıplarını incelemek için niceleme hata ayıklayıcısı.

Kıtlık

TensorFlow Lite

  • Daha fazla model için seyrek model yürütme desteği.
  • Sparity için hedef bilinçli yazma.
  • Performanslı x86 çekirdekleriyle seyrek işlem kümesini genişletin.

TensorFlow

  • TensorFlow'da yedeklilik desteği.

Basamaklı sıkıştırma teknikleri

  • Niceleme + Tensör Sıkıştırma + Seyreklik: 3 tekniğin birlikte çalıştığını gösterin.

Sıkıştırma

  • Sıkıştırma algoritması geliştiricilerinin, test/kıyaslama için standart bir yol sağlamak da dahil olmak üzere kendi model sıkıştırma algoritmalarını (örneğin Ağırlık Kümeleme) uygulamalarına yardımcı olan tensör sıkıştırma API'si.