КерасНЛП
Самый простой способ начать обработку текста в TensorFlow — использовать KerasNLP, библиотеку обработки естественного языка, которая предоставляет модульные компоненты с самыми современными предустановленными весами и архитектурой. Вы можете использовать компоненты KerasNLP «из коробки» или настроить их по мере необходимости. KerasNLP уделяет особое внимание вычислениям в графе для всех рабочих процессов, поэтому вы можете рассчитывать на простоту производства с использованием экосистемы TensorFlow.
Чтобы установить KerasNLP, см. Установка .
Текст TensorFlow
Пакет tensorflow_text предоставляет коллекцию классов и операций, связанных с текстом, готовых к использованию с TensorFlow. Библиотека может выполнять предварительную обработку, регулярно необходимую для текстовых моделей, и включает в себя другие функции, полезные для моделирования последовательностей, не предусмотренные ядром TensorFlow.
Подробности установки см. в руководстве
Модели TensorFlow — НЛП
Репозиторий TensorFlow Models предоставляет реализации современных моделей (SOTA). Пакет pip tensorflow-models-official включает в себя множество высокоуровневых функций и классов для построения моделей SOTA NLP, включая nlp.layers , nlp.losses , nlp.models и nlp.tasks .
Вы можете установить пакет с помощью pip :
$ pip install tensorflow-models-official # For the latest release
$ #or
$ pip install tf-models-nightly # For the nightly build
Функциональность NLP доступна в подмодуле tfm.nlp .
import tensorflow_models as tfm
tfm.nlp