ลายเซ็นทั่วไปสำหรับข้อความ

หน้านี้อธิบายลายเซ็นทั่วไปที่ควรนำไปใช้โดยโมดูลใน รูปแบบ TF1 Hub สำหรับงานที่ยอมรับการป้อนข้อความ (สำหรับ รูปแบบ TF2 SavedModel โปรดดูที่ SavedModel API ที่คล้ายคลึงกัน)

เวกเตอร์คุณลักษณะข้อความ

โมดูล เวกเตอร์คุณลักษณะข้อความ สร้างการแสดงเวกเตอร์หนาแน่นจากคุณลักษณะข้อความ ยอมรับชุดของสตริงที่มีรูปร่าง [batch_size] และแมปพวกมันกับเทนเซอร์รูปร่าง float32 [batch_size, N] ซึ่งมักเรียกว่า การฝังข้อความ ในมิติ N

การใช้งานขั้นพื้นฐาน

  embed = hub.Module("path/to/module")
  representations = embed([
      "A long sentence.",
      "single-word",
      "http://example.com"])

การใช้งานคอลัมน์คุณลักษณะ

    feature_columns = [
      hub.text_embedding_column("comment", "path/to/module", trainable=False),
    ]
    input_fn = tf.estimator.inputs.numpy_input_fn(features, labels, shuffle=True)
    estimator = tf.estimator.DNNClassifier(hidden_units, feature_columns)
    estimator.train(input_fn, max_steps=100)

หมายเหตุ

โมดูลได้รับการฝึกอบรมล่วงหน้าในโดเมนและ/หรืองานที่แตกต่างกัน ดังนั้นโมดูลเวกเตอร์ฟีเจอร์ข้อความบางโมดูลอาจไม่เหมาะกับปัญหาของคุณ เช่น บางโมดูลอาจได้รับการฝึกอบรมในภาษาเดียว

อินเทอร์เฟซนี้ไม่อนุญาตให้ปรับแต่งการแสดงข้อความบน TPU อย่างละเอียด เนื่องจากต้องใช้โมดูลในการสร้างอินสแตนซ์ทั้งการประมวลผลสตริงและตัวแปรที่ฝึกได้ในเวลาเดียวกัน