KerasNLP
הדרך הקלה ביותר להתחיל בעיבוד טקסט ב-TensorFlow היא להשתמש ב-KerasNLP, ספריית עיבוד שפה טבעית המספקת רכיבים מודולריים עם משקלים וארכיטקטורות מוגדרות מראש עדכניות. אתה יכול להשתמש ברכיבי KerasNLP מחוץ לקופסה או להתאים אותם לפי הצורך. KerasNLP מדגישה חישוב בגרף עבור כל זרימות העבודה, כך שתוכל לצפות לייצור קל באמצעות מערכת האקולוגית של TensorFlow.
להתקנת KerasNLP, ראה התקנה .
טקסט TensorFlow
חבילת tensorflow_text מספקת אוסף של שיעורים ואופציות הקשורות לטקסט המוכנות לשימוש עם TensorFlow. הספרייה יכולה לבצע את העיבוד המקדים הנדרש באופן קבוע על ידי מודלים מבוססי טקסט, וכוללת תכונות אחרות שימושיות עבור דוגמנות רצף שאינן מסופקות על ידי הליבה TensorFlow.
לפרטי התקנה, עיין במדריך
TensorFlow Models - NLP
מאגר המודלים של TensorFlow מספק יישומים של מודלים חדישים (SOTA). חבילת ה- tensorflow-models-official pip כוללת פונקציות ושיעורים רבים ברמה גבוהה לבניית מודלים של SOTA NLP כולל nlp.layers , nlp.losses , nlp.models ו- nlp.tasks .
אתה יכול להתקין את החבילה עם pip :
$ pip install tensorflow-models-official # For the latest release
$ #or
$ pip install tf-models-nightly # For the nightly build
פונקציונליות ה-NLP זמינה בתת-מודול tfm.nlp .
import tensorflow_models as tfm
tfm.nlp