KerasNLP
Cara termudah untuk mulai memproses teks di TensorFlow adalah dengan menggunakan KerasNLP, sebuah pustaka pemrosesan bahasa alami yang menyediakan komponen modular dengan bobot dan arsitektur preset yang canggih. Anda dapat menggunakan komponen KerasNLP secara langsung atau menyesuaikannya sesuai kebutuhan. KerasNLP menekankan komputasi dalam grafik untuk semua alur kerja, sehingga Anda dapat mengharapkan produksi yang mudah menggunakan ekosistem TensorFlow.
Untuk menginstal KerasNLP, lihat Instalasi .
Teks TensorFlow
Paket tensorflow_text menyediakan kumpulan kelas dan operasi terkait teks yang siap digunakan dengan TensorFlow. Library ini dapat melakukan prapemrosesan secara rutin yang diperlukan oleh model berbasis teks, dan menyertakan fitur lain yang berguna untuk pemodelan urutan yang tidak disediakan oleh inti TensorFlow.
Untuk detail pemasangan, lihat panduan ini
Model TensorFlow - NLP
Repositori TensorFlow Models menyediakan implementasi model tercanggih (SOTA). Paket pip tensorflow-models-official mencakup banyak fungsi dan kelas tingkat tinggi untuk membangun model SOTA NLP termasuk nlp.layers , nlp.losses , nlp.models dan nlp.tasks .
Anda dapat menginstal paket dengan pip :
$ pip install tensorflow-models-official # For the latest release
$ #or
$ pip install tf-models-nightly # For the nightly build
Fungsionalitas NLP tersedia di submodul tfm.nlp .
import tensorflow_models as tfm
tfm.nlp