tensor akışı:: işlem:: StringNGram'lar

Düzensiz dize verilerinden ngramlar oluşturur.

Özet

Bu op, yalnızca dizeler içeren 1 düzensiz boyuta sahip düzensiz bir tensör kabul eder ve en içteki eksen boyunca birleştirilmiş, o dizenin ngramlarını içeren 1 düzensiz boyuta sahip düzensiz bir tensör çıktısı alır.

Argümanlar:

• kapsam: Bir Kapsam nesnesi
• veri: Ngramların oluşturulacağı düzensiz dize tensörünün değer tensörü. 1D dize tensörü olmalı.
• data_splits: Ngramların oluşturulacağı düzensiz dize tensörünün tensörünü böler.
• ayırıcı: Belirtecin öğeleri arasına eklenecek dize. Ayırıcı olmaması için "" kullanın.
• ngram_widths: Oluşturulacak ngramların boyutları.
• left_pad: Ngram dizisinin sol tarafını doldurmak için kullanılacak dize. Yalnızca pad_width != 0 ise kullanılır.
• right_pad: Ngram dizisinin sağ tarafını doldurmak için kullanılacak dize. Yalnızca pad_width != 0 ise kullanılır.
• pad_width: Her dizinin her bir tarafına eklenecek dolgu öğelerinin sayısı. Bu değerden bağımsız olarak dolgunun hiçbir zaman 'ngram_widths'-1'den büyük olmayacağını unutmayın. pad_width=-1 ise max(ngram_widths)-1 öğelerini ekleyin.

İade:

• Output ngramları: Çıkış ngramlarının değer tensörü düzensiz tensördür.
• Output ngrams_splits: Çıkış ngramlarının düzensiz tensörünün bölünme tensörü.

Genel özellikler

::tensorflow::Output ngrams

::tensorflow::Output ngrams_splits

Operation operation

 StringNGrams(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input data,
  ::tensorflow::Input data_splits,
  StringPiece separator,
  const gtl::ArraySlice< int > & ngram_widths,
  StringPiece left_pad,
  StringPiece right_pad,
  int64 pad_width,
  bool preserve_short_sequences
)