テンソルフロー::作戦::文字列Nグラム

不規則な文字列データから ngram を作成します。

まとめ

この演算は、文字列のみを含む 1 つの不規則な次元を持つ不規則なテンソルを受け入れ、その文字列の ngram を含む 1 つの不規則な次元を持つ不規則なテンソルを、最も内側の軸に沿って結合して出力します。

引数:

• スコープ:スコープオブジェクト
• data: ngram を作成する不規則な文字列テンソルの値テンソル。 1D 文字列テンソルである必要があります。
• data_splits: Ngram を作成する不規則な文字列テンソルの分割テンソル。
• separator: トークンの要素の間に追加する文字列。区切り文字を使用しない場合は「」を使用します。
• ngram_widths: 作成する ngram のサイズ。
• left_pad: ngram シーケンスの左側をパディングするために使用する文字列。 Pad_width != 0 の場合にのみ使用されます。
• right_pad: ngram シーケンスの右側をパディングするために使用する文字列。 Pad_width != 0 の場合にのみ使用されます。
• Pad_width: 各シーケンスの両側に追加するパディング要素の数。この値に関係なく、パディングが「ngram_widths」-1 より大きくなることはないことに注意してください。 pad_width=-1の場合、 max(ngram_widths)-1要素を追加します。

戻り値:

• Output ngrams: 出力 ngrams 不規則テンソルの値テンソル。
• Output ngrams_splits: 出力 ngrams 不規則テンソルの分割テンソル。

パブリック属性

::tensorflow::Output ngrams

::tensorflow::Output ngrams_splits

Operation operation

 StringNGrams(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input data,
  ::tensorflow::Input data_splits,
  StringPiece separator,
  const gtl::ArraySlice< int > & ngram_widths,
  StringPiece left_pad,
  StringPiece right_pad,
  int64 pad_width,
  bool preserve_short_sequences
)