पाठ के लिए सामान्य हस्ताक्षर

यह पृष्ठ सामान्य हस्ताक्षरों का वर्णन करता है जिन्हें टेक्स्ट इनपुट स्वीकार करने वाले कार्यों के लिए TF1 हब प्रारूप में मॉड्यूल द्वारा कार्यान्वित किया जाना चाहिए। ( TF2 SavedModel प्रारूप के लिए, अनुरूप SavedModel API देखें।)

टेक्स्ट फ़ीचर वेक्टर

एक टेक्स्ट फ़ीचर वेक्टर मॉड्यूल टेक्स्ट फ़ीचर से सघन वेक्टर प्रतिनिधित्व बनाता है। यह [batch_size] आकार के तारों के एक बैच को स्वीकार करता है और उन्हें [batch_size, N] आकार के float32 टेंसर पर मैप करता है। इसे अक्सर आयाम N में टेक्स्ट एम्बेडिंग कहा जाता है।

बुनियादी उपयोग

  embed = hub.Module("path/to/module")
  representations = embed([
      "A long sentence.",
      "single-word",
      "http://example.com"])

फ़ीचर कॉलम का उपयोग

    feature_columns = [
      hub.text_embedding_column("comment", "path/to/module", trainable=False),
    ]
    input_fn = tf.estimator.inputs.numpy_input_fn(features, labels, shuffle=True)
    estimator = tf.estimator.DNNClassifier(hidden_units, feature_columns)
    estimator.train(input_fn, max_steps=100)

टिप्पणियाँ

मॉड्यूल को विभिन्न डोमेन और/या कार्यों पर पूर्व-प्रशिक्षित किया गया है, और इसलिए प्रत्येक टेक्स्ट फ़ीचर वेक्टर मॉड्यूल आपकी समस्या के लिए उपयुक्त नहीं होगा। उदाहरण के लिए: कुछ मॉड्यूल को एक ही भाषा में प्रशिक्षित किया जा सकता था।

यह इंटरफ़ेस टीपीयू पर पाठ प्रतिनिधित्व को ठीक-ठीक करने की अनुमति नहीं देता है, क्योंकि इसके लिए मॉड्यूल को एक ही समय में स्ट्रिंग प्रोसेसिंग और प्रशिक्षित चर दोनों को तुरंत चालू करने की आवश्यकता होती है।