Text | TensorFlow

適用於 TensorFlow 的文字處理工具

import tensorflow as tf
import tensorflow_text as tf_text

def preprocess(vocab_table, example_text):

  # Normalize text
  tf_text.normalize_utf8(example_text)

  # Tokenize into words
  word_tokenizer = tf_text.WhitespaceTokenizer()
  tokens = word_tokenizer.tokenize(example_text)

  # Tokenize into subwords
  subword_tokenizer = tf_text.WordpieceTokenizer(
       lookup_table, token_out_type=tf.int64)
  subtokens = subword_tokenizer.tokenize(tokens).merge_dims(1, -1)

  # Apply padding
  padded_inputs = tf_text.pad_model_inputs(subtokens, max_seq_length=16)
  return padded_inputs

在筆記本中執行

TensorFlow 為您提供豐富的運算和程式庫，協助您以文字的形式處理輸入內容，例如原始文字字串或文件。這些程式庫能按照文字型模型的要求定期執行預先處理作業，還提供其他適合用來建立序列模型的實用功能。

您可以從 TensorFlow 圖形內部擷取強大的語法和語意文字特徵，做為類神經網路的輸入內容。

若使用 TensorFlow 圖形整合預先處理作業，能享有下列好處：