flujo tensor:: operaciones:: StringNGrams

Crea ngramas a partir de datos de cadenas irregulares.

Resumen

Esta operación acepta un tensor irregular con 1 dimensión irregular que contiene solo cadenas y genera un tensor irregular con 1 dimensión irregular que contiene ngramas de esa cadena, unidos a lo largo del eje más interno.

Argumentos:

• alcance: un objeto de alcance
• datos: El tensor de valores del tensor de cuerda irregular del que se van a formar ngramas. Debe ser un tensor de cuerda 1D.
• data_splits: el tensor de divisiones del tensor de cuerda irregular para formar ngramas.
• separador: la cadena que se agregará entre los elementos del token. Utilice "" sin separador.
• ngram_widths: los tamaños de los ngrams a crear.
• left_pad: la cadena que se utilizará para rellenar el lado izquierdo de la secuencia de ngram. Solo se usa si pad_width! = 0.
• right_pad: la cadena que se utilizará para rellenar el lado derecho de la secuencia de ngram. Solo se usa si pad_width! = 0.
• pad_width: el número de elementos de relleno que se agregarán a cada lado de cada secuencia. Tenga en cuenta que el relleno nunca será mayor que 'ngram_widths'-1 independientemente de este valor. Si pad_width=-1 , agregue max(ngram_widths)-1 elementos.

Devoluciones:

• Ngramas Output : el tensor de valores del tensor irregular de ngramas de salida.
• Output ngrams_splits: el tensor de división del tensor irregular de ngrams de salida.

Atributos públicos

::tensorflow::Output ngrams

::tensorflow::Output ngrams_splits

Operation operation

 StringNGrams(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input data,
  ::tensorflow::Input data_splits,
  StringPiece separator,
  const gtl::ArraySlice< int > & ngram_widths,
  StringPiece left_pad,
  StringPiece right_pad,
  int64 pad_width,
  bool preserve_short_sequences
)