flux tensoriel : : opérations : : ChaîneNGrams

Crée des ngrammes à partir de données de chaîne irrégulières.

Résumé

Cette opération accepte un tenseur irrégulier avec 1 dimension irrégulière contenant uniquement des chaînes et génère un tenseur irrégulier avec 1 dimension irrégulière contenant des ngrammes de cette chaîne, joints le long de l'axe le plus intérieur.

Arguments :

• scope : un objet Scope
• data : Le tenseur des valeurs du tenseur de chaîne irrégulière à partir duquel créer des ngrammes. Doit être un tenseur de chaîne 1D.
• data_splits : le tenseur de division du tenseur de chaîne irrégulière à partir duquel créer des ngrammes.
• séparateur : la chaîne à ajouter entre les éléments du jeton. Utilisez "" pour aucun séparateur.
• ngram_widths : Les tailles des ngrammes à créer.
• left_pad : La chaîne à utiliser pour compléter le côté gauche de la séquence ngram. Utilisé uniquement si pad_width != 0.
• right_pad : La chaîne à utiliser pour compléter le côté droit de la séquence ngram. Utilisé uniquement si pad_width != 0.
• pad_width : le nombre d'éléments de remplissage à ajouter de chaque côté de chaque séquence. Notez que le remplissage ne sera jamais supérieur à 'ngram_widths'-1 quelle que soit cette valeur. Si pad_width=-1 , ajoutez des éléments max(ngram_widths)-1 .

Retours :

• Ngrammes Output : le tenseur des valeurs du tenseur irrégulier des ngrammes de sortie.
• Output ngrams_splits : Le tenseur de division du tenseur irrégulier des ngrams de sortie.

Attributs publics

::tensorflow::Output ngrams

::tensorflow::Output ngrams_splits

Operation operation

 StringNGrams(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input data,
  ::tensorflow::Input data_splits,
  StringPiece separator,
  const gtl::ArraySlice< int > & ngram_widths,
  StringPiece left_pad,
  StringPiece right_pad,
  int64 pad_width,
  bool preserve_short_sequences
)