Справочник API для текстовых библиотек и библиотек NLP. Справочник API для текстовых библиотек и библиотек NLP.

КерасНЛП

Справочник по API

Самый простой способ начать обработку текста в TensorFlow — использовать KerasNLP, библиотеку обработки естественного языка, которая предоставляет модульные компоненты с самыми современными предустановленными весами и архитектурой. Вы можете использовать компоненты KerasNLP «из коробки» или настроить их по мере необходимости. KerasNLP уделяет особое внимание вычислениям в графе для всех рабочих процессов, поэтому вы можете рассчитывать на простоту производства с использованием экосистемы TensorFlow.

Чтобы установить KerasNLP, см. Установка .

Текст TensorFlow

Справочник по API

Пакет tensorflow_text предоставляет коллекцию классов и операций, связанных с текстом, готовых к использованию с TensorFlow. Библиотека может выполнять предварительную обработку, регулярно необходимую для текстовых моделей, и включает в себя другие функции, полезные для моделирования последовательностей, не предусмотренные ядром TensorFlow.

Подробности установки см. в руководстве

Модели TensorFlow — НЛП

Справочник по API

Репозиторий TensorFlow Models предоставляет реализации современных моделей (SOTA). Пакет tensorflow-models-official pip включает в себя множество высокоуровневых функций и классов для построения моделей SOTA NLP, включая nlp.layers , nlp.losses , nlp.models и nlp.tasks .

Вы можете установить пакет с помощью pip :

$ pip install tensorflow-models-official  # For the latest release
$ #or
$ pip install tf-models-nightly # For the nightly build

Функциональность NLP доступна в подмодуле tfm.nlp .

import tensorflow_models as tfm
tfm.nlp