Совместная оптимизация

_{Поддерживается Arm ML Tooling}

В этом документе представлен обзор экспериментальных API для объединения различных методов оптимизации моделей машинного обучения для развертывания.

Обзор

Совместная оптимизация — это комплексный процесс, включающий в себя различные методы создания модели, которая при развертывании демонстрирует наилучший баланс целевых характеристик, таких как скорость вывода, размер модели и точность.

Идея совместной оптимизации состоит в том, чтобы опираться на отдельные методы, применяя их один за другим для достижения накопленного эффекта оптимизации. Возможны различные комбинации следующих оптимизаций:

• Снижение веса
• Весовая кластеризация

• Квантование

  • Квантование после обучения
  • Обучение с учетом квантования (QAT)

Проблема, которая возникает при попытке объединить эти методы, заключается в том, что применение одного из них обычно уничтожает результаты предыдущего метода, сводя на нет общую выгоду от одновременного применения всех из них; например, кластеризация не сохраняет разреженность, введенную API сокращения. Для решения этой проблемы мы представляем следующие экспериментальные методы совместной оптимизации:

• Кластеризация с сохранением разреженности
• Обучение квантованию с сохранением разреженности (PQAT)
• Обучение с учетом квантования с сохранением кластера (CQAT)
• Обучение квантованию с учетом разреженности и сохранения кластеров

Они предоставляют несколько путей развертывания, которые можно использовать для сжатия модели машинного обучения и использования преимуществ аппаратного ускорения во время вывода. На диаграмме ниже показано несколько путей развертывания, которые можно изучить в поисках модели с желаемыми характеристиками развертывания, где конечные узлы представляют собой модели, готовые к развертыванию, то есть они частично или полностью квантованы и имеют формат tflite. Зеленая заливка обозначает этапы, на которых требуется переобучение/тонкая настройка, а пунктирная красная рамка выделяет этапы совместной оптимизации. Методика получения модели в данном узле указана в соответствующей метке.

Прямой путь развертывания только для квантования (после обучения или QAT) опущен на рисунке выше.

Идея состоит в том, чтобы достичь полностью оптимизированной модели на третьем уровне вышеуказанного дерева развертывания; однако любой из других уровней оптимизации может оказаться удовлетворительным и обеспечить требуемый компромисс между задержкой и точностью вывода, и в этом случае дальнейшая оптимизация не требуется. Рекомендуемый процесс обучения будет заключаться в итеративном прохождении уровней дерева развертывания, применимых к целевому сценарию развертывания, и проверке того, соответствует ли модель требованиям к задержке вывода, и, если нет, использовать соответствующий метод совместной оптимизации для дальнейшего сжатия модели и повторения. до тех пор, пока модель не будет полностью оптимизирована (обрезана, кластеризована и квантована), если это необходимо.

На рисунке ниже показаны графики плотности ядра веса выборки, проходящего через конвейер совместной оптимизации.

Результатом является квантованная модель развертывания с уменьшенным количеством уникальных значений, а также значительным количеством разреженных весов, в зависимости от целевой разреженности, указанной во время обучения. Помимо значительных преимуществ сжатия моделей, специальная аппаратная поддержка может использовать преимущества этих разреженных кластерных моделей для значительного уменьшения задержки вывода.

Полученные результаты

Ниже приведены некоторые результаты по точности и сжатию, которые мы получили при экспериментировании с путями совместной оптимизации PQAT и CQAT.

Обучение с учетом квантования с сохранением разреженности (PQAT)

Обучение с учетом квантования с сохранением кластера (CQAT)

Результаты CQAT и PCQAT для моделей, кластеризованных по каналам

Результаты, приведенные ниже, получены с использованием метода кластеризации по каналам . Они показывают, что если сверточные слои модели кластеризованы по каналам, то точность модели выше. Если ваша модель имеет много сверточных слоев, мы рекомендуем кластеризовать каждый канал. Степень сжатия останется той же, но точность модели будет выше. В наших экспериментах конвейер оптимизации модели представляет собой «кластеризованный -> QAT с сохранением кластера -> квантование после обучения, int8».

Примеры

Комплексные примеры описанных здесь методов совместной оптимизации можно найти в блокнотах с примерами CQAT , PQAT , кластеризации с сохранением разреженности и PCQAT .