Análise do modelo TensorFlow

TensorFlow Model Analysis (TFMA) é uma biblioteca para avaliar modelos TensorFlow. Permite aos usuários avaliar seus modelos em grandes quantidades de dados de forma distribuída, usando as mesmas métricas definidas em seu treinador. Essas métricas podem ser calculadas em diferentes fatias de dados e visualizadas em notebooks Jupyter.

Instalação

A forma recomendada de instalar o TFMA é usando o pacote PyPI :

pip install tensorflow-model-analysis

Construir TFMA a partir da fonte

Para construir a partir do código-fonte, siga as seguintes etapas:

Instale o protoc conforme o link mencionado: protoc

Crie um ambiente virtual executando os comandos

python3 -m venv <virtualenv_name>
source <virtualenv_name>/bin/activate
pip3 install setuptools wheel
git clone https://github.com/tensorflow/model-analysis.git
cd model-analysis
python3 setup.py bdist_wheel

Isso construirá a roda do TFMA no diretório dist. Para instalar o wheel do diretório dist execute os comandos

cd dist
pip3 install tensorflow_model_analysis-<version>-py3-none-any.whl

Pacotes noturnos

A TFMA também hospeda pacotes noturnos em https://pypi-nightly.tensorflow.org no Google Cloud. Para instalar o pacote noturno mais recente, use o seguinte comando:

pip install -i https://pypi-nightly.tensorflow.org/simple tensorflow-model-analysis

Isso instalará os pacotes noturnos para as principais dependências do TFMA, como TensorFlow Metadata (TFMD), TFX Basic Shared Libraries (TFX-BSL).

Atualmente, o TFMA exige que o TensorFlow esteja instalado, mas não possui uma dependência explícita do pacote TensorFlow PyPI. Consulte os guias de instalação do TensorFlow para obter instruções.

Para habilitar a visualização do TFMA no Jupyter Notebook:

  jupyter nbextension enable --py widgetsnbextension
  jupyter nbextension enable --py tensorflow_model_analysis

Laboratório Jupyter

No momento em que escrevo, por causa de https://github.com/pypa/pip/issues/9187, pip install pode nunca terminar. Nesse caso, você deve reverter o pip para a versão 19 em vez de 20: pip install "pip<20" .

O uso de uma extensão JupyterLab requer a instalação de dependências na linha de comando. Você pode fazer isso no console da IU do JupyterLab ou na linha de comando. Isso inclui a instalação separada de quaisquer dependências do pacote pip e do plug-in JupyterLab labextension, e os números de versão devem ser compatíveis.

Os exemplos abaixo usam 0.27.0. Verifique as versões disponíveis abaixo para usar as mais recentes.

Laboratório Jupyter 1.2.x

pip install tensorflow_model_analysis==0.27.0
jupyter labextension install tensorflow_model_analysis@0.27.0
jupyter labextension install @jupyter-widgets/jupyterlab-manager@1.1

Laboratório Jupyter 2

pip install tensorflow_model_analysis==0.27.0
jupyter labextension install tensorflow_model_analysis@0.27.0
jupyter labextension install @jupyter-widgets/jupyterlab-manager@2

Solução de problemas

Verifique os pacotes pip:

pip list

Verifique as extensões:

jupyter labextension list

Dependências notáveis

O TensorFlow é obrigatório.

Apache Beam é necessário; é a forma como a computação distribuída eficiente é suportada. Por padrão, o Apache Beam é executado em modo local, mas também pode ser executado em modo distribuído usando o Google Cloud Dataflow e outros executores do Apache Beam .

Apache Arrow também é necessário. TFMA usa Arrow para representar dados internamente para fazer uso de funções numpy vetorizadas.

Começando

Para obter instruções sobre como usar o TFMA, consulte o guia de primeiros passos .

Versões compatíveis

A tabela a seguir mostra as versões do pacote TFMA que são compatíveis entre si. Isto é determinado pela nossa estrutura de testes, mas outras combinações não testadas também podem funcionar.

Questões

Por favor, direcione qualquer dúvida sobre como trabalhar com TFMA para Stack Overflow usando a tag tensorflow-model-análise .