Обновлено: июнь 2021 г.

Набор инструментов оптимизации моделей TensorFlow (MOT) широко используется для преобразования/оптимизации моделей TensorFlow в модели TensorFlow Lite с меньшим размером, лучшей производительностью и приемлемой точностью для их запуска на мобильных устройствах и устройствах IoT. Сейчас мы работаем над расширением методов и инструментов MOT за пределы TensorFlow Lite, чтобы они также поддерживали TensorFlow SavedModel.

Ниже представлен общий обзор нашей дорожной карты. Вы должны знать, что эта дорожная карта может измениться в любое время, и приведенный ниже порядок не отражает какой-либо приоритет. Мы настоятельно рекомендуем вам прокомментировать нашу дорожную карту и оставить отзыв в дискуссионной группе .

Квантование

ТензорФлоу Лайт

  • Выборочное квантование после обучения для исключения определенных слоев из квантования.
  • Отладчик квантования для проверки потерь ошибок квантования на каждом слое.
  • Применение обучения с учетом квантования для большего покрытия моделей, например TensorFlow Model Garden.
  • Улучшения качества и производительности динамического диапазона после тренировки. квантование.

Тензорфлоу

  • Квантование после обучения (динамический диапазон bf16 * int8).
  • Обучение с учетом квантования ((bf16 * int8 только вес с поддельным квантованием).
  • Выборочное квантование после обучения для исключения определенных слоев из квантования.
  • Отладчик квантования для проверки потерь ошибок квантования на каждом слое.

Разреженность

ТензорФлоу Лайт

  • Поддержка выполнения разреженной модели для большего количества моделей.
  • Разработка с учетом целевых показателей для Sparsity.
  • Расширьте разреженный набор операций за счет производительных ядер x86.

Тензорфлоу

  • Поддержка Sparity в TensorFlow.

Методы каскадного сжатия

  • Квантование + Тензорное сжатие + Разреженность: продемонстрируйте совместную работу всех трех методов.

Сжатие

  • API тензорного сжатия, помогающий разработчикам алгоритмов сжатия реализовать свои собственные алгоритмы сжатия моделей (например, весовую кластеризацию), включая предоставление стандартного способа тестирования/тестирования.