I tutorial sull'elaborazione del testo di TensorFlow forniscono istruzioni dettagliate per la risoluzione di problemi comuni di elaborazione del testo e del linguaggio naturale (NLP).
TensorFlow offre due soluzioni per l'elaborazione del testo e del linguaggio naturale: KerasNLP e TensorFlow Text. KerasNLP è una libreria NLP di alto livello che include tutti i più recenti modelli basati su Transformer e utilità di tokenizzazione di livello inferiore. È la soluzione consigliata per la maggior parte dei casi d'uso della PNL.
Se hai bisogno di accedere a strumenti di elaborazione del testo di livello inferiore, puoi utilizzare TensorFlow Text. TensorFlow Text fornisce una raccolta di operazioni e librerie per aiutarti a lavorare con l'input in forma di testo come stringhe di testo non elaborate o documenti.
KerasNLP
- Guida introduttiva a KerasNLP : impara KerasNLP eseguendo l'analisi dei sentimenti a livelli progressivi di complessità, dall'utilizzo di un modello pre-addestrato alla creazione del tuo Transformer da zero.
Generazione del testo
- Generazione di testo con un RNN : genera testo utilizzando un RNN basato sui caratteri e un set di dati della scrittura di Shakespeare.
- Traduzione automatica neurale con attenzione : addestra un modello da sequenza a sequenza (seq2seq) per la traduzione dallo spagnolo all'inglese.
- Traduzione automatica neurale con Transformer e Keras : crea e addestra un modello Transformer da sequenza a sequenza per tradurre il portoghese in inglese.
- Didascalie delle immagini con attenzione visiva : genera didascalie delle immagini utilizzando un modello Transformer-decoder costruito con livelli di attenzione.
Classificazione del testo
- Classifica il testo con BERT : Ottimizza BERT per eseguire l'analisi del sentiment su un set di dati di recensioni di film IMDb in testo semplice.
- Classificazione del testo con un RNN : addestra un RNN per eseguire l'analisi del sentiment sulle recensioni dei film di IMDb.
- TF.Text Metrics : scopri le metriche disponibili tramite TensorFlow Text. La libreria contiene implementazioni di metriche di somiglianza del testo come ROUGE-L, che possono essere utilizzate per la valutazione automatica dei modelli di generazione del testo.
PNL con BERT
- Risolvi le attività di GLUE utilizzando BERT su TPU : scopri come ottimizzare BERT per le attività dal benchmark GLUE .
- Ottimizzazione di un modello BERT : Ottimizza un modello BERT utilizzando TensorFlow Model Garden .
- Deep Language Learning consapevole dell'incertezza con BERT-SNGP : applica SNGP a un'attività di comprensione del linguaggio naturale (NLU). Basandosi su un codificatore BERT, migliorerai la capacità del modello NLU di rilevare query fuori ambito.
Incorporamenti
- Incorporamenti di parole : addestra i tuoi incorporamenti di parole utilizzando un semplice modello Keras per un'attività di classificazione dei sentimenti, quindi visualizzali utilizzando il proiettore di incorporamento .
- Matrice del livello di incorporamento a caldo : informazioni su come "avviare a caldo" l'addestramento per un modello di classificazione del sentimento del testo.
- word2vec : addestra un modello word2vec su un piccolo set di dati e visualizza gli incorporamenti addestrati nel proiettore di incorporamento .