aliran tensor:: operasi:: StringNGram

Membuat ngram dari data string yang tidak rata.

Ringkasan

Operasi ini menerima tensor kasar dengan 1 dimensi kasar yang hanya berisi string dan mengeluarkan tensor kasar dengan 1 dimensi kasar yang berisi ngram string tersebut, digabungkan di sepanjang sumbu terdalam.

Argumen:

• ruang lingkup: Objek Lingkup
• data: Nilai tensor dari tensor string kasar yang akan dijadikan ngram. Harus berupa tensor string 1D.
• data_splits: Tensor pemisah dari tensor string yang tidak rata untuk menghasilkan ngram.
• pemisah: String yang akan ditambahkan di antara elemen token. Gunakan "" tanpa pemisah.
• ngram_widths: Ukuran ngram yang akan dibuat.
• left_pad: String yang digunakan untuk mengisi sisi kiri urutan ngram. Hanya digunakan jika pad_width != 0.
• right_pad: String yang digunakan untuk mengisi sisi kanan urutan ngram. Hanya digunakan jika pad_width != 0.
• pad_width: Jumlah elemen padding yang akan ditambahkan ke setiap sisi setiap urutan. Perhatikan bahwa padding tidak akan pernah lebih besar dari 'ngram_widths'-1 berapa pun nilainya. Jika pad_width=-1 , tambahkan elemen max(ngram_widths)-1 .

Pengembalian:

• Ngram Output : Nilai tensor dari ngram keluaran tensor acak-acakan.
• Output ngrams_splits: Tensor split dari tensor compang-camping ngrams keluaran.

Atribut publik

::tensorflow::Output ngrams

::tensorflow::Output ngrams_splits

Operation operation

 StringNGrams(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input data,
  ::tensorflow::Input data_splits,
  StringPiece separator,
  const gtl::ArraySlice< int > & ngram_widths,
  StringPiece left_pad,
  StringPiece right_pad,
  int64 pad_width,
  bool preserve_short_sequences
)