przepływ tensorowy:: ops:: StringNGrams

Tworzy ngramy z danych w postaci nierównych ciągów.

Streszczenie

Ta operacja akceptuje nierówny tensor z 1 nierównym wymiarem zawierającym tylko ciągi znaków i generuje nierówny tensor z 1 nierównym wymiarem zawierającym ngramy tego ciągu, połączone wzdłuż najbardziej wewnętrznej osi.

Argumenty:

• zakres: Obiekt Scope
• dane: Tensor wartości tensora strun nierównych, z którego będą tworzone ngramy. Musi to być tensor struny 1D.
• data_splits: Tensor podziału tensora nierównych strun, z którego można utworzyć ngramy.
• separator: ciąg znaków do dołączenia pomiędzy elementami tokenu. Użyj „” bez separatora.
• ngram_widths: Rozmiary ngramów do utworzenia.
• left_pad: Ciąg znaków używany do dopełnienia lewej strony sekwencji ngram. Używane tylko, jeśli pad_width != 0.
• prawy_pad: ciąg znaków używany do dopełnienia prawej strony sekwencji ngram. Używane tylko, jeśli pad_width != 0.
• pad_width: Liczba elementów dopełniających, które należy dodać po każdej stronie każdej sekwencji. Należy pamiętać, że dopełnienie nigdy nie będzie większe niż „ngram_widths”-1 niezależnie od tej wartości. Jeśli pad_width=-1 , dodaj elementy max(ngram_widths)-1 .

Zwroty:

• Output ngrams: Tensor wartości wyjściowego ngramów nierównego tensora.
• Output ngrams_splits: Tensor podziału wyjściowego ngrams tensora nierównego.

Atrybuty publiczne

::tensorflow::Output ngrams

::tensorflow::Output ngrams_splits

Operation operation

 StringNGrams(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input data,
  ::tensorflow::Input data_splits,
  StringPiece separator,
  const gtl::ArraySlice< int > & ngram_widths,
  StringPiece left_pad,
  StringPiece right_pad,
  int64 pad_width,
  bool preserve_short_sequences
)