TensorFlow Model Analysis (TFMA) — это библиотека для оценки моделей TensorFlow. Это позволяет пользователям оценивать свои модели на больших объемах данных распределенным образом, используя те же метрики, которые определены в их тренере. Эти метрики можно рассчитать по различным фрагментам данных и визуализировать в блокнотах Jupyter.
Установка
Рекомендуемый способ установки TFMA — использование пакета PyPI :
pip install tensorflow-model-analysis
Собрать TFMA из исходного кода
Для сборки из исходного кода выполните следующие шаги:
Установите протокол по указанной ссылке: protoc
Создайте виртуальную среду, выполнив команды
python3 -m venv <virtualenv_name>
source <virtualenv_name>/bin/activate
pip3 install setuptools wheel
git clone https://github.com/tensorflow/model-analysis.git
cd model-analysis
python3 setup.py bdist_wheel
Это создаст колесо TFMA в каталоге dist. Чтобы установить колесо из каталога dist, выполните команды
cd dist
pip3 install tensorflow_model_analysis-<version>-py3-none-any.whl
Ночные пакеты
TFMA также размещает ночные пакеты по адресу https://pypi-nightly.tensorflow.org в Google Cloud. Чтобы установить последний ночной пакет, используйте следующую команду:
pip install -i https://pypi-nightly.tensorflow.org/simple tensorflow-model-analysis
При этом будут установлены ночные пакеты для основных зависимостей TFMA, таких как метаданные TensorFlow (TFMD), базовые общие библиотеки TFX (TFX-BSL).
В настоящее время TFMA требует, чтобы TensorFlow был установлен, но не имеет явной зависимости от пакета TensorFlow PyPI. Инструкции см. в руководствах по установке TensorFlow .
Чтобы включить визуализацию TFMA в Jupyter Notebook:
jupyter nbextension enable --py widgetsnbextension
jupyter nbextension enable --py tensorflow_model_analysis
Юпитер Лаборатория
На момент написания статьи из-за https://github.com/pypa/pip/issues/9187 pip install
может никогда не завершиться. В этом случае вам следует вернуть pip к версии 19 вместо 20: pip install "pip<20"
.
Использование расширения JupyterLab требует установки зависимостей в командной строке. Вы можете сделать это в консоли пользовательского интерфейса JupyterLab или в командной строке. Это включает в себя отдельную установку любых зависимостей пакета pip и зависимостей плагина JupyterLab labextension, при этом номера версий должны быть совместимыми.
В примерах ниже используется версия 0.27.0. Проверьте доступные версии ниже, чтобы использовать последнюю версию.
Юпитер Лаборатория 1.2.x
pip install tensorflow_model_analysis==0.27.0
jupyter labextension install tensorflow_model_analysis@0.27.0
jupyter labextension install @jupyter-widgets/jupyterlab-manager@1.1
Юпитер Лаборатория 2
pip install tensorflow_model_analysis==0.27.0
jupyter labextension install tensorflow_model_analysis@0.27.0
jupyter labextension install @jupyter-widgets/jupyterlab-manager@2
Поиск неисправностей
Проверьте пакеты пипов:
pip list
Проверьте расширения:
jupyter labextension list
Известные зависимости
Требуется TensorFlow.
Требуется Apache Beam ; это способ поддержки эффективных распределенных вычислений. По умолчанию Apache Beam работает в локальном режиме, но также может работать в распределенном режиме с использованием Google Cloud Dataflow и других средств запуска Apache Beam.
Также требуется Apache Arrow . TFMA использует Arrow для внутреннего представления данных, чтобы использовать векторизованные функции numpy.
Начиная
Инструкции по использованию TFMA см. в руководстве по началу работы .
Совместимые версии
В следующей таблице представлены версии пакета TFMA, совместимые друг с другом. Это определяется нашей системой тестирования, но могут работать и другие непроверенные комбинации.
анализ модели тензорного потока | Apache-луч [gcp] | Пиарроу | тензорный поток | тензорный поток-метаданные | tfx-bsl |
---|---|---|---|---|---|
Мастер GitHub | 2.47.0 | 10.0.0 | ночью (2.x) | 1.15.0 | 1.15.1 |
0.46.0 | 2.47.0 | 10.0.0 | 2.15 | 1.15.0 | 1.15.1 |
0.45.0 | 2.47.0 | 10.0.0 | 2.13 | 1.14.0 | 1.14.0 |
0.44.0 | 2.40.0 | 6.0.0 | 2.12 | 1.13.1 | 1.13.0 |
0.43.0 | 2.40.0 | 6.0.0 | 2.11 | 1.12.0 | 1.12.0 |
0.42.0 | 2.40.0 | 6.0.0 | 1,15/2,10 | 1.11.0 | 1.11.0 |
0.41.1 | 2.40.0 | 6.0.0 | 1,15/2,9 | 1.10.0 | 1.10.1 |
0.41.0 | 2.40.0 | 6.0.0 | 1,15/2,9 | 1.10.0 | 1.10.1 |
0.40.0 | 2.38.0 | 5.0.0 | 1,15/2,9 | 1.9.0 | 1.9.0 |
0.39.0 | 2.38.0 | 5.0.0 | 1,15/2,8 | 1.8.0 | 1.8.0 |
0.38.0 | 2.36.0 | 5.0.0 | 1,15/2,8 | 1.7.0 | 1.7.0 |
0.37.0 | 2.35.0 | 5.0.0 | 1,15/2,7 | 1.6.0 | 1.6.0 |
0.36.0 | 2.34.0 | 5.0.0 | 1,15/2,7 | 1.5.0 | 1.5.0 |
0.35.0 | 2.33.0 | 5.0.0 | 1,15/2,6 | 1.4.0 | 1.4.0 |
0.34.1 | 2.32.0 | 2.0.0 | 1,15/2,6 | 1.2.0 | 1.3.0 |
0.34.0 | 2.31.0 | 2.0.0 | 1,15/2,6 | 1.2.0 | 1.3.1 |
0.33.0 | 2.31.0 | 2.0.0 | 1,15/2,5 | 1.2.0 | 1.2.0 |
0.32.1 | 2.29.0 | 2.0.0 | 1,15/2,5 | 1.1.0 | 1.1.1 |
0.32.0 | 2.29.0 | 2.0.0 | 1,15/2,5 | 1.1.0 | 1.1.0 |
0.31.0 | 2.29.0 | 2.0.0 | 1,15/2,5 | 1.0.0 | 1.0.0 |
0.30.0 | 2.28.0 | 2.0.0 | 1,15/2,4 | 0.30.0 | 0.30.0 |
0.29.0 | 2.28.0 | 2.0.0 | 1,15/2,4 | 0.29.0 | 0.29.0 |
0.28.0 | 2.28.0 | 2.0.0 | 1,15/2,4 | 0.28.0 | 0.28.0 |
0.27.0 | 2.27.0 | 2.0.0 | 1,15/2,4 | 0.27.0 | 0.27.0 |
0.26.1 | 2.28.0 | 0.17.0 | 1,15/2,3 | 0.26.0 | 0.26.0 |
0.26.0 | 2.25.0 | 0.17.0 | 1,15/2,3 | 0.26.0 | 0.26.0 |
0.25.0 | 2.25.0 | 0.17.0 | 1,15/2,3 | 0.25.0 | 0.25.0 |
0.24.3 | 2.24.0 | 0.17.0 | 1,15/2,3 | 0.24.0 | 0.24.1 |
0.24.2 | 2.23.0 | 0.17.0 | 1,15/2,3 | 0.24.0 | 0.24.0 |
0.24.1 | 2.23.0 | 0.17.0 | 1,15/2,3 | 0.24.0 | 0.24.0 |
0.24.0 | 2.23.0 | 0.17.0 | 1,15/2,3 | 0.24.0 | 0.24.0 |
0.23.0 | 2.23.0 | 0.17.0 | 1,15/2,3 | 0.23.0 | 0.23.0 |
0.22.2 | 2.20.0 | 0.16.0 | 1,15/2,2 | 0.22.2 | 0.22.0 |
0.22.1 | 2.20.0 | 0.16.0 | 1,15/2,2 | 0.22.2 | 0.22.0 |
0.22.0 | 2.20.0 | 0.16.0 | 1,15/2,2 | 0.22.0 | 0.22.0 |
0.21.6 | 2.19.0 | 0.15.0 | 1,15/2,1 | 0.21.0 | 0.21.3 |
0.21.5 | 2.19.0 | 0.15.0 | 1,15/2,1 | 0.21.0 | 0.21.3 |
0.21.4 | 2.19.0 | 0.15.0 | 1,15/2,1 | 0.21.0 | 0.21.3 |
0.21.3 | 2.17.0 | 0.15.0 | 1,15/2,1 | 0.21.0 | 0.21.0 |
0.21.2 | 2.17.0 | 0.15.0 | 1,15/2,1 | 0.21.0 | 0.21.0 |
0.21.1 | 2.17.0 | 0.15.0 | 1,15/2,1 | 0.21.0 | 0.21.0 |
0.21.0 | 2.17.0 | 0.15.0 | 1,15/2,1 | 0.21.0 | 0.21.0 |
0.15.4 | 2.16.0 | 0.15.0 | 1,15/2,0 | н/д | 0.15.1 |
0.15.3 | 2.16.0 | 0.15.0 | 1,15/2,0 | н/д | 0.15.1 |
0.15.2 | 2.16.0 | 0.15.0 | 1,15/2,0 | н/д | 0.15.1 |
0.15.1 | 2.16.0 | 0.15.0 | 1,15/2,0 | н/д | 0.15.0 |
0.15.0 | 2.16.0 | 0.15.0 | 1.15 | н/д | н/д |
0.14.0 | 2.14.0 | н/д | 1.14 | н/д | н/д |
0.13.1 | 2.11.0 | н/д | 1.13 | н/д | н/д |
0.13.0 | 2.11.0 | н/д | 1.13 | н/д | н/д |
0.12.1 | 2.10.0 | н/д | 1.12 | н/д | н/д |
0.12.0 | 2.10.0 | н/д | 1.12 | н/д | н/д |
0.11.0 | 2.8.0 | н/д | 1.11 | н/д | н/д |
0.9.2 | 2.6.0 | н/д | 1,9 | н/д | н/д |
0.9.1 | 2.6.0 | н/д | 1.10 | н/д | н/д |
0.9.0 | 2.5.0 | н/д | 1,9 | н/д | н/д |
0.6.0 | 2.4.0 | н/д | 1,6 | н/д | н/д |
Вопросы
Любые вопросы о работе с TFMA направляйте в Stack Overflow, используя тег анализа модели тензорного потока .