KerasNLP
Najłatwiejszym sposobem rozpoczęcia przetwarzania tekstu w TensorFlow jest użycie KerasNLP, biblioteki przetwarzania języka naturalnego, która zapewnia modułowe komponenty z najnowocześniejszymi, wstępnie ustawionymi wagami i architekturami. Możesz użyć komponentów KerasNLP od razu po wyjęciu z pudełka lub dostosować je w razie potrzeby. KerasNLP kładzie nacisk na obliczenia na wykresie dla wszystkich przepływów pracy, więc możesz spodziewać się łatwej produkcji przy użyciu ekosystemu TensorFlow.
Aby zainstalować KerasNLP, zobacz Instalacja .
Tekst TensorFlow
Pakiet tensorflow_text zapewnia kolekcję klas i operacji związanych z tekstem, gotowych do użycia z TensorFlow. Biblioteka może przeprowadzać przetwarzanie wstępne wymagane regularnie w modelach tekstowych i zawiera inne funkcje przydatne do modelowania sekwencji, których nie zapewnia podstawowy TensorFlow.
Szczegóły dotyczące instalacji można znaleźć w przewodniku
Modele TensorFlow – NLP
Repozytorium TensorFlow Models zapewnia implementacje najnowocześniejszych modeli (SOTA). tensorflow-models-official pip zawiera wiele funkcji i klas wysokiego poziomu do budowania modeli SOTA NLP, w tym nlp.layers , nlp.losses , nlp.models i nlp.tasks .
Możesz zainstalować pakiet za pomocą pip :
$ pip install tensorflow-models-official # For the latest release
$ #or
$ pip install tf-models-nightly # For the nightly build
Funkcjonalność NLP dostępna jest w podmodule tfm.nlp .
import tensorflow_models as tfm
tfm.nlp