Анализ модели TensorFlow

TensorFlow Model Analysis (TFMA) — это библиотека для оценки моделей TensorFlow. Это позволяет пользователям оценивать свои модели на больших объемах данных распределенным образом, используя те же метрики, которые определены в их тренере. Эти метрики можно рассчитать по различным фрагментам данных и визуализировать в блокнотах Jupyter.

Браузер метрик срезов TFMA

Установка

Рекомендуемый способ установки TFMA — использование пакета PyPI :

pip install tensorflow-model-analysis

Собрать TFMA из исходного кода

Для сборки из исходного кода выполните следующие шаги:

Установите протокол по указанной ссылке: protoc

Создайте виртуальную среду, выполнив команды

python3 -m venv <virtualenv_name>
source <virtualenv_name>/bin/activate
pip3 install setuptools wheel
git clone https://github.com/tensorflow/model-analysis.git
cd model-analysis
python3 setup.py bdist_wheel

Это создаст колесо TFMA в каталоге dist. Чтобы установить колесо из каталога dist, выполните команды

cd dist
pip3 install tensorflow_model_analysis-<version>-py3-none-any.whl

Ночные пакеты

TFMA также размещает ночные пакеты по адресу https://pypi-nightly.tensorflow.org в Google Cloud. Чтобы установить последний ночной пакет, используйте следующую команду:

pip install -i https://pypi-nightly.tensorflow.org/simple tensorflow-model-analysis

При этом будут установлены ночные пакеты для основных зависимостей TFMA, таких как метаданные TensorFlow (TFMD), базовые общие библиотеки TFX (TFX-BSL).

В настоящее время TFMA требует, чтобы TensorFlow был установлен, но не имеет явной зависимости от пакета TensorFlow PyPI. Инструкции см. в руководствах по установке TensorFlow .

Чтобы включить визуализацию TFMA в Jupyter Notebook:

  jupyter nbextension enable --py widgetsnbextension
  jupyter nbextension enable --py tensorflow_model_analysis

Юпитер Лаборатория

На момент написания статьи из-за https://github.com/pypa/pip/issues/9187 pip install может никогда не завершиться. В этом случае вам следует вернуть pip к версии 19 вместо 20: pip install "pip<20" .

Использование расширения JupyterLab требует установки зависимостей в командной строке. Вы можете сделать это в консоли пользовательского интерфейса JupyterLab или в командной строке. Это включает в себя отдельную установку любых зависимостей пакета pip и зависимостей плагина JupyterLab labextension, при этом номера версий должны быть совместимыми.

В примерах ниже используется версия 0.27.0. Проверьте доступные версии ниже, чтобы использовать последнюю версию.

Юпитер Лаборатория 1.2.x

pip install tensorflow_model_analysis==0.27.0
jupyter labextension install tensorflow_model_analysis@0.27.0
jupyter labextension install @jupyter-widgets/jupyterlab-manager@1.1

Юпитер Лаборатория 2

pip install tensorflow_model_analysis==0.27.0
jupyter labextension install tensorflow_model_analysis@0.27.0
jupyter labextension install @jupyter-widgets/jupyterlab-manager@2

Поиск неисправностей

Проверьте пакеты пипов:

pip list

Проверьте расширения:

jupyter labextension list

Известные зависимости

Требуется TensorFlow.

Требуется Apache Beam ; это способ поддержки эффективных распределенных вычислений. По умолчанию Apache Beam работает в локальном режиме, но также может работать в распределенном режиме с использованием Google Cloud Dataflow и других средств запуска Apache Beam.

Также требуется Apache Arrow . TFMA использует Arrow для внутреннего представления данных, чтобы использовать векторизованные функции numpy.

Начиная

Инструкции по использованию TFMA см. в руководстве по началу работы .

Совместимые версии

В следующей таблице представлены версии пакета TFMA, совместимые друг с другом. Это определяется нашей системой тестирования, но могут работать и другие непроверенные комбинации.

анализ модели тензорного потока Apache-луч [gcp] Пиарроу тензорный поток тензорный поток-метаданные tfx-bsl
Мастер GitHub 2.47.0 10.0.0 ночью (2.x) 1.15.0 1.15.1
0.46.0 2.47.0 10.0.0 2.15 1.15.0 1.15.1
0.45.0 2.47.0 10.0.0 2.13 1.14.0 1.14.0
0.44.0 2.40.0 6.0.0 2.12 1.13.1 1.13.0
0.43.0 2.40.0 6.0.0 2.11 1.12.0 1.12.0
0.42.0 2.40.0 6.0.0 1,15/2,10 1.11.0 1.11.0
0.41.1 2.40.0 6.0.0 1,15/2,9 1.10.0 1.10.1
0.41.0 2.40.0 6.0.0 1,15/2,9 1.10.0 1.10.1
0.40.0 2.38.0 5.0.0 1,15/2,9 1.9.0 1.9.0
0.39.0 2.38.0 5.0.0 1,15/2,8 1.8.0 1.8.0
0.38.0 2.36.0 5.0.0 1,15/2,8 1.7.0 1.7.0
0.37.0 2.35.0 5.0.0 1,15/2,7 1.6.0 1.6.0
0.36.0 2.34.0 5.0.0 1,15/2,7 1.5.0 1.5.0
0.35.0 2.33.0 5.0.0 1,15/2,6 1.4.0 1.4.0
0.34.1 2.32.0 2.0.0 1,15/2,6 1.2.0 1.3.0
0.34.0 2.31.0 2.0.0 1,15/2,6 1.2.0 1.3.1
0.33.0 2.31.0 2.0.0 1,15/2,5 1.2.0 1.2.0
0.32.1 2.29.0 2.0.0 1,15/2,5 1.1.0 1.1.1
0.32.0 2.29.0 2.0.0 1,15/2,5 1.1.0 1.1.0
0.31.0 2.29.0 2.0.0 1,15/2,5 1.0.0 1.0.0
0.30.0 2.28.0 2.0.0 1,15/2,4 0.30.0 0.30.0
0.29.0 2.28.0 2.0.0 1,15/2,4 0.29.0 0.29.0
0.28.0 2.28.0 2.0.0 1,15/2,4 0.28.0 0.28.0
0.27.0 2.27.0 2.0.0 1,15/2,4 0.27.0 0.27.0
0.26.1 2.28.0 0.17.0 1,15/2,3 0.26.0 0.26.0
0.26.0 2.25.0 0.17.0 1,15/2,3 0.26.0 0.26.0
0.25.0 2.25.0 0.17.0 1,15/2,3 0.25.0 0.25.0
0.24.3 2.24.0 0.17.0 1,15/2,3 0.24.0 0.24.1
0.24.2 2.23.0 0.17.0 1,15/2,3 0.24.0 0.24.0
0.24.1 2.23.0 0.17.0 1,15/2,3 0.24.0 0.24.0
0.24.0 2.23.0 0.17.0 1,15/2,3 0.24.0 0.24.0
0.23.0 2.23.0 0.17.0 1,15/2,3 0.23.0 0.23.0
0.22.2 2.20.0 0.16.0 1,15/2,2 0.22.2 0.22.0
0.22.1 2.20.0 0.16.0 1,15/2,2 0.22.2 0.22.0
0.22.0 2.20.0 0.16.0 1,15/2,2 0.22.0 0.22.0
0.21.6 2.19.0 0.15.0 1,15/2,1 0.21.0 0.21.3
0.21.5 2.19.0 0.15.0 1,15/2,1 0.21.0 0.21.3
0.21.4 2.19.0 0.15.0 1,15/2,1 0.21.0 0.21.3
0.21.3 2.17.0 0.15.0 1,15/2,1 0.21.0 0.21.0
0.21.2 2.17.0 0.15.0 1,15/2,1 0.21.0 0.21.0
0.21.1 2.17.0 0.15.0 1,15/2,1 0.21.0 0.21.0
0.21.0 2.17.0 0.15.0 1,15/2,1 0.21.0 0.21.0
0.15.4 2.16.0 0.15.0 1,15/2,0 н/д 0.15.1
0.15.3 2.16.0 0.15.0 1,15/2,0 н/д 0.15.1
0.15.2 2.16.0 0.15.0 1,15/2,0 н/д 0.15.1
0.15.1 2.16.0 0.15.0 1,15/2,0 н/д 0.15.0
0.15.0 2.16.0 0.15.0 1.15 н/д н/д
0.14.0 2.14.0 н/д 1.14 н/д н/д
0.13.1 2.11.0 н/д 1.13 н/д н/д
0.13.0 2.11.0 н/д 1.13 н/д н/д
0.12.1 2.10.0 н/д 1.12 н/д н/д
0.12.0 2.10.0 н/д 1.12 н/д н/д
0.11.0 2.8.0 н/д 1.11 н/д н/д
0.9.2 2.6.0 н/д 1,9 н/д н/д
0.9.1 2.6.0 н/д 1.10 н/д н/д
0.9.0 2.5.0 н/д 1,9 н/д н/д
0.6.0 2.4.0 н/д 1,6 н/д н/д

Вопросы

Любые вопросы о работе с TFMA направляйте в Stack Overflow, используя тег анализа модели тензорного потока .