テンソルフロー::作戦::文字列分割

delimiterに基づいてinputの要素をSparseTensorに分割します。

まとめ

N をソースのサイズとします (通常、N はバッチ サイズになります)。 delimiterに基づいてinputの各要素を分割し、分割されたトークンを含むSparseTensorを返します。空のトークンは無視されます。

delimiter空にすることも、分割された文字列にすることもできます。 delimiterが空の文字列の場合、 inputの各要素は、UTF-8 マルチバイト シーケンスの分割を含め、個別のシングルバイト文字列に分割されます。それ以外の場合、 delimiterのすべての文字が分割点になる可能性があります。

例: N = 2、input[0] が 'hello world'、input[1] が 'ab c' の場合、出力は次のようになります。

インデックス = [0, 0; 0、1; 1、0; 1、1; 1, 2] 形状 = [2, 3] 値 = ['hello', 'world', 'a', 'b', 'c']

引数:

• スコープ:スコープオブジェクト
• 入力: 1-D。分割する文字列。
• 区切り文字: 0-D。区切り文字（バイト）、または空の文字列。

オプションの属性 ( Attrsを参照):

• Skip_empty: bool 。 Trueの場合、結果から空の文字列をスキップします。

戻り値:

• Outputインデックス: スパース テンソルのインデックスを表す int64 の密行列。
• Output値: 分割された値に対応する文字列のベクトル。
• Output形状: スパース テンソルの形状を表す int64 の長さ 2 ベクトル。最初の値は N、2 番目の値は 1 つの入力エントリ内のトークンの最大数です。

パブリック属性

::tensorflow::Output indices

Operation operation

::tensorflow::Output shape

::tensorflow::Output values

 StringSplit(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input input,
  ::tensorflow::Input delimiter
)

 StringSplit(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input input,
  ::tensorflow::Input delimiter,
  const StringSplit::Attrs & attrs
)

Attrs SkipEmpty(
  bool x
)