TensorFlow Text proporciona una colección de clases y operaciones relacionadas con texto listas para usar con TensorFlow 2.0. La biblioteca puede realizar el preprocesamiento regularmente requerido por los modelos basados en texto e incluye otras características útiles para el modelado de secuencias que no proporciona el núcleo de TensorFlow.
El beneficio de utilizar estas operaciones en el preprocesamiento de texto es que se realizan en el gráfico de TensorFlow. No necesita preocuparse de que la tokenización en el entrenamiento sea diferente de la tokenización en la inferencia o de la gestión de scripts de preprocesamiento.
Instalar texto de TensorFlow
Instalar usando pip
Al instalar TF Text con pip install, tenga en cuenta la versión de TensorFlow que está ejecutando, ya que debe especificar la versión correspondiente de TF Text.
pip install -U tensorflow-text==<version>
Construir desde la fuente
TensorFlow Text debe compilarse en el mismo entorno que TensorFlow. Por lo tanto, si crea TF Text manualmente, se recomienda encarecidamente que también cree TensorFlow.
Si compila en MacOS, debe tener instalado coreutils. Probablemente sea más fácil hacerlo con Homebrew. Primero, compila TensorFlow desde el código fuente .
Clona el repositorio de TF Text.
git clone https://github.com/tensorflow/text.git
Finalmente, ejecute el script de compilación para crear un paquete pip.
./oss_scripts/run_build.sh