Transformação TensorFlow

TensorFlow Transform é uma biblioteca para pré-processamento de dados com TensorFlow. tf.Transform é útil para dados que requerem passagem completa, como:

• Normalize um valor de entrada por média e desvio padrão.
• Converta strings em inteiros gerando um vocabulário sobre todos os valores de entrada.
• Converta números flutuantes em inteiros atribuindo-os a intervalos com base na distribuição de dados observada.

O TensorFlow tem suporte integrado para manipulações em um único exemplo ou em um lote de exemplos. tf.Transform estende esses recursos para oferecer suporte a passagens completas nos dados de exemplo.

A saída de tf.Transform é exportada como um gráfico do TensorFlow para uso em treinamento e veiculação. Usar o mesmo gráfico para treinamento e saque pode evitar distorções, pois as mesmas transformações são aplicadas em ambos os estágios.

Para uma introdução ao tf.Transform , consulte a seção tf.Transform da palestra do TFX Dev Summit no TFX ( link ).

Instalação

O pacote PyPI tensorflow-transform é a maneira recomendada de instalar tf.Transform :

pip install tensorflow-transform

Construa o TFT a partir da fonte

Para compilar a partir do código-fonte, siga as seguintes etapas: Crie um ambiente virtual executando os comandos

python3 -m venv <virtualenv_name>
source <virtualenv_name>/bin/activate
pip3 install setuptools wheel
git clone https://github.com/tensorflow/transform.git
cd transform
python3 setup.py bdist_wheel

Isso criará a roda TFT no diretório dist. Para instalar o wheel do diretório dist execute os comandos

cd dist
pip3 install tensorflow_transform-<version>-py3-none-any.whl

Pacotes noturnos

O TFT também hospeda pacotes noturnos em https://pypi-nightly.tensorflow.org no Google Cloud. Para instalar o pacote noturno mais recente, use o seguinte comando:

pip install --extra-index-url https://pypi-nightly.tensorflow.org/simple tensorflow-transform

Isso instalará os pacotes noturnos para as principais dependências do TFT, como TensorFlow Metadata (TFMD), TFX Basic Shared Libraries (TFX-BSL).

Dependências notáveis

O TensorFlow é obrigatório.

Apache Beam é necessário; é a forma como a computação distribuída eficiente é suportada. Por padrão, o Apache Beam é executado em modo local, mas também pode ser executado em modo distribuído usando o Google Cloud Dataflow e outros executores do Apache Beam .

Apache Arrow também é necessário. O TFT usa Arrow para representar dados internamente, a fim de fazer uso de funções numpy vetorizadas.

Versões compatíveis

A tabela a seguir mostra as versões do pacote tf.Transform que são compatíveis entre si. Isto é determinado pela nossa estrutura de testes, mas outras combinações não testadas também podem funcionar.

Questões

Direcione qualquer dúvida sobre como trabalhar com tf.Transform para Stack Overflow usando a tag tensorflow-transform .