StringNGrams

classe final pública StringNGrams

Cria ngrams a partir de dados de string irregulares.

Esta operação aceita um tensor irregular com 1 dimensão irregular contendo apenas strings e gera um tensor irregular com 1 dimensão irregular contendo ngramas dessa string, unidos ao longo do eixo mais interno.

Métodos Públicos

estático <T estende número> StringNGrams <T>
create (Escopo do escopo , Operando <String> dados, Operando <T> dataSplits, Separador de string, List<Long> ngramWidths, String leftPad, String rightPad, Long padWidth, Boolean preserveShortSequences)
Método de fábrica para criar uma classe que envolve uma nova operação StringNGrams.
Saída <String>
ngramas ()
O tensor de valores do tensor irregular de ngrams de saída.
Saída <T>
ngramasSplits ()
O tensor de divisão do tensor irregular de ngrams de saída.

Métodos herdados

Métodos Públicos

public static StringNGrams <T> create ( Escopo de escopo , Operando <String> dados, Operando <T> dataSplits, Separador de string, List<Long> ngramWidths, String leftPad, String rightPad, Long padWidth, Boolean preserveShortSequences)

Método de fábrica para criar uma classe que envolve uma nova operação StringNGrams.

Parâmetros
escopo escopo atual
dados O tensor de valores do tensor de string irregular do qual fazer ngrams. Deve ser um tensor de string 1D.
divisão de dados O tensor de divisão do tensor de string irregular para fazer ngrams.
separador A string a ser anexada entre os elementos do token. Use "" para nenhum separador.
ngramWidths Os tamanhos dos ngrams a serem criados.
leftPad A string a ser usada para preencher o lado esquerdo da sequência ngram. Usado apenas se pad_width! = 0.
direitoPad A string a ser usada para preencher o lado direito da sequência ngram. Usado apenas se pad_width! = 0.
padWidth O número de elementos de preenchimento a serem adicionados a cada lado de cada sequência. Observe que o preenchimento nunca será maior que 'ngram_widths'-1, independentemente deste valor. Se `pad_width=-1`, adicione elementos `max(ngram_widths)-1`.
Devoluções
  • uma nova instância de StringNGrams

Saída pública <String> ngrams ()

O tensor de valores do tensor irregular de ngrams de saída.

Saída pública <T> ngramsSplits ()

O tensor de divisão do tensor irregular de ngrams de saída.