TensorFlow Text udostępnia zbiór klas i operacji związanych z tekstem, gotowych do użycia w TensorFlow 2.0. Biblioteka może przeprowadzać przetwarzanie wstępne wymagane regularnie w modelach tekstowych i zawiera inne funkcje przydatne do modelowania sekwencji, których nie zapewnia podstawowy TensorFlow.
Zaletą korzystania z tych operacji we wstępnym przetwarzaniu tekstu jest to, że są one wykonywane na wykresie TensorFlow. Nie musisz się martwić, że tokenizacja podczas szkolenia będzie inna niż tokenizacja przy wnioskowaniu lub zarządzaniu skryptami przetwarzania wstępnego.
Zainstaluj tekst TensorFlow
Zainstaluj za pomocą pip
Podczas instalowania TF Text za pomocą pip install zwróć uwagę na wersję TensorFlow, z której korzystasz, ponieważ powinieneś określić odpowiednią wersję TF Text.
pip install -U tensorflow-text==<version>
Kompiluj ze źródła
Tekst TensorFlow musi być zbudowany w tym samym środowisku co TensorFlow. Dlatego też, jeśli ręcznie tworzysz tekst TF, zdecydowanie zaleca się zbudowanie również TensorFlow.
Jeśli budujesz na MacOS, musisz mieć zainstalowany coreutils. Prawdopodobnie najłatwiej jest to zrobić w Homebrew. Najpierw zbuduj TensorFlow ze źródła .
Sklonuj repozytorium TF Text.
git clone https://github.com/tensorflow/text.git
Na koniec uruchom skrypt kompilacji, aby utworzyć pakiet pip.
./oss_scripts/run_build.sh