Przewodnik po przetwarzaniu tekstu TensorFlow dokumentuje biblioteki i przepływy pracy dla przetwarzania języka naturalnego (NLP) i wprowadza ważne koncepcje dotyczące pracy z tekstem.
KerasNLP
KerasNLP to biblioteka wysokiego poziomu przetwarzania języka naturalnego (NLP), która zawiera wszystkie najnowsze modele oparte na Transformer, a także narzędzia tokenizacji niższego poziomu. Jest to zalecane rozwiązanie dla większości przypadków użycia NLP.
- Pierwsze kroki z KerasNLP : Naucz się KerasNLP, przeprowadzając analizę nastrojów na kolejnych poziomach złożoności, od korzystania z wstępnie wytrenowanego modelu po zbudowanie własnego Transformera od podstaw.
tf.strings
Moduł tf.strings zapewnia operacje do pracy z tensorami ciągów.
- Ciągi znaków Unicode : Reprezentuj ciągi znaków Unicode w TensorFlow i manipuluj nimi przy użyciu odpowiedników standardowych operacji ciągów w standardzie Unicode.
Tekst TensorFlow
Jeśli potrzebujesz dostępu do narzędzi do przetwarzania tekstu niższego poziomu, możesz użyć TensorFlow Text. TensorFlow Text zapewnia zbiór operacji i bibliotek, które pomogą Ci pracować z danymi wejściowymi w formie tekstowej, takiej jak nieprzetworzone ciągi tekstowe lub dokumenty.
- Wprowadzenie do TensorFlow Text : Dowiedz się, jak zainstalować TensorFlow Text lub zbudować go ze źródła.
- Konwertowanie operatorów TensorFlow Text na TensorFlow Lite : Konwertuj model TensorFlow Text na TensorFlow Lite w celu wdrożenia na urządzeniach mobilnych, wbudowanych i IoT.
Wstępne przetwarzanie
- Przetwarzanie wstępne BERT z tekstem TF : Użyj operacji wstępnego przetwarzania tekstu TensorFlow, aby przekształcić dane tekstowe w dane wejściowe dla BERT.
- Tokenizacja za pomocą tekstu TF : zapoznaj się z opcjami tokenizacji zapewnianymi przez TensorFlow Text. Dowiedz się, kiedy możesz chcieć użyć jednej opcji zamiast innej i jak te tokenizery są wywoływane z poziomu Twojego modelu.
- Tokenizery słów podrzędnych : wygeneruj słownik słów podrzędnych z zestawu danych i użyj go do zbudowania
text.BertTokenizerze słownika.
Modele TensorFlow – NLP
Biblioteka TensorFlow Models — NLP udostępnia prymitywy Keras, które można łączyć w modele oparte na transformatorach, oraz klasy rusztowań, które umożliwiają łatwe eksperymentowanie z nowatorskimi architekturami.
- Wprowadzenie do biblioteki TensorFlow Models NLP : Twórz modele oparte na Transformer do typowych zadań NLP, w tym wstępnego uczenia, etykietowania zakresu i klasyfikacji, używając bloków konstrukcyjnych z biblioteki modelowania NLP .
- Dostosowywanie enkodera transformatora : Dostosuj
tfm.nlp.networks.EncoderScaffold, dwukierunkowe rusztowanie sieciowe enkodera oparte na transformatorach, aby zastosować nowe architektury sieciowe.