Typowe podpisy dla tekstu

Na tej stronie opisano typowe podpisy, które powinny być implementowane przez moduły w formacie TF1 Hub dla zadań akceptujących wprowadzanie tekstu. (W przypadku formatu TF2 SavedModel zobacz analogiczny interfejs API SavedModel .)

Wektor funkcji tekstu

Moduł wektora cech tekstowych tworzy gęstą reprezentację wektorową na podstawie cech tekstowych. Akceptuje partię ciągów o kształcie [batch_size] i odwzorowuje je na tensor float32 o kształcie [batch_size, N] . Nazywa się to często osadzaniem tekstu w wymiarze N

Podstawowe użycie

  embed = hub.Module("path/to/module")
  representations = embed([
      "A long sentence.",
      "single-word",
      "http://example.com"])

Użycie kolumny funkcji

    feature_columns = [
      hub.text_embedding_column("comment", "path/to/module", trainable=False),
    ]
    input_fn = tf.estimator.inputs.numpy_input_fn(features, labels, shuffle=True)
    estimator = tf.estimator.DNNClassifier(hidden_units, feature_columns)
    estimator.train(input_fn, max_steps=100)

Notatki

Moduły zostały wstępnie przeszkolone w różnych domenach i/lub zadaniach, dlatego nie każdy moduł wektorów funkcji tekstowych będzie odpowiedni dla Twojego problemu. Np.: niektóre moduły mogły zostać przeszkolone w zakresie jednego języka.

Ten interfejs nie pozwala na precyzyjne dostrajanie reprezentacji tekstu w TPU, ponieważ wymaga, aby moduł jednocześnie tworzył instancje przetwarzania ciągów znaków i zmiennych możliwych do wytrenowania.