דף זה מתאר חתימות נפוצות שיש ליישם על ידי מודולים בפורמט TF1 Hub עבור משימות המקבלות קלט טקסט. ( לפורמט TF2 SavedModel , ראה את ה- API האנלוגי של SavedModel .)
וקטור תכונת טקסט
מודול וקטור של תכונת טקסט יוצר ייצוג וקטור צפוף מתכונות טקסט. הוא מקבל אצווה של מחרוזות של צורה [batch_size]
וממפה אותן ל- float32
tensor של צורה [batch_size, N]
. זה נקרא לעתים קרובות הטבעת טקסט בממד N
שימוש בסיסי
embed = hub.Module("path/to/module")
representations = embed([
"A long sentence.",
"single-word",
"http://example.com"])
שימוש בעמודות תכונה
feature_columns = [
hub.text_embedding_column("comment", "path/to/module", trainable=False),
]
input_fn = tf.estimator.inputs.numpy_input_fn(features, labels, shuffle=True)
estimator = tf.estimator.DNNClassifier(hidden_units, feature_columns)
estimator.train(input_fn, max_steps=100)
הערות
מודולים הוכשרו מראש על תחומים ו/או משימות שונות, ולכן לא כל מודול וקטור של תכונת טקסט יתאים לבעיה שלך. למשל: מודולים מסוימים יכלו להיות מאומנים בשפה אחת.
ממשק זה אינו מאפשר כוונון עדין של ייצוג הטקסט ב-TPUs, מכיוון שהוא מחייב את המודול להפעיל הן את עיבוד המחרוזות והן את המשתנים הניתנים לאימון בו-זמנית.