TensorFlow Text fornisce una raccolta di classi e operazioni correlate al testo pronte per l'uso con TensorFlow 2.0. La libreria può eseguire la preelaborazione regolarmente richiesta dai modelli basati su testo e include altre funzionalità utili per la modellazione di sequenze non fornite dal core TensorFlow.
Il vantaggio di utilizzare queste operazioni nella preelaborazione del testo è che vengono eseguite nel grafico TensorFlow. Non è necessario preoccuparsi che la tokenizzazione nell'addestramento sia diversa dalla tokenizzazione nell'inferenza o nella gestione degli script di preelaborazione.
Installa TensorFlow Text
Installa utilizzando pip
Quando installi TF Text con pip install, prendi nota della versione di TensorFlow in esecuzione, poiché dovresti specificare la versione corrispondente di TF Text.
pip install -U tensorflow-text==<version>
Costruisci dalla fonte
TensorFlow Text deve essere creato nello stesso ambiente di TensorFlow. Pertanto, se crei manualmente TF Text, ti consigliamo vivamente di creare anche TensorFlow.
Se si utilizza MacOS, è necessario che sia installato coreutils. Probabilmente è più semplice farlo con Homebrew. Innanzitutto, crea TensorFlow dal sorgente .
Clona il repository Testo TF.
git clone https://github.com/tensorflow/text.git
Infine, esegui lo script build per creare un pacchetto pip.
./oss_scripts/run_build.sh