tensorflow :: operaciones :: StringNGrams

Crea ngrams a partir de datos de cadenas irregulares.

Resumen

Esta operación acepta un tensor irregular con 1 dimensión irregular que contiene solo cadenas y genera un tensor irregular con 1 dimensión irregular que contiene ngrams de esa cadena, unidos a lo largo del eje más interno.

Argumentos:

• alcance: un objeto de alcance
• datos: el tensor de valores del tensor de cadena irregular del que se forman ngramas. Debe ser un tensor de cadena 1D.
• data_splits: el tensor de divisiones del tensor de cadena irregular para hacer ngrams.
• separador: la cadena que se agregará entre los elementos del token. Utilice "" para ningún separador.
• ngram_widths: Los tamaños de los ngrams a crear.
• left_pad: la cadena que se utilizará para rellenar el lado izquierdo de la secuencia ngram. Solo se usa si pad_width! = 0.
• right_pad: La cadena que se utilizará para rellenar el lado derecho de la secuencia ngram. Solo se usa si pad_width! = 0.
• pad_width: el número de elementos de relleno para agregar a cada lado de cada secuencia. Tenga en cuenta que el relleno nunca será mayor que 'ngram_widths'-1 independientemente de este valor. Si pad_width=-1 , agregue max(ngram_widths)-1 elementos.

Devoluciones:

• Ngrams de Output : el tensor de valores del tensor irregular de ngrams de salida.
• Output ngrams_splits: el tensor de divisiones del tensor irregular de ngrams de salida.

Atributos públicos

::tensorflow::Output ngrams

::tensorflow::Output ngrams_splits

Operation operation

 StringNGrams(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input data,
  ::tensorflow::Input data_splits,
  StringPiece separator,
  const gtl::ArraySlice< int > & ngram_widths,
  StringPiece left_pad,
  StringPiece right_pad,
  int64 pad_width,
  bool preserve_short_sequences
)