przepływ tensorowy:: ops:: Rozdzielenie ciągu

Podziel elementy input na podstawie delimiter na SparseTensor .

Streszczenie

Niech N będzie rozmiarem źródła (zwykle N będzie rozmiarem partii). Podziel każdy element input na podstawie delimiter i zwróć SparseTensor zawierający podzielone tokeny. Puste tokeny są ignorowane.

delimiter może być pusty lub może być ciągiem podzielonych znaków. Jeśli delimiter jest pustym ciągiem, każdy element input jest dzielony na indywidualne ciągi znaków jednobajtowych, łącznie z dzieleniem sekwencji wielobajtowych UTF-8. W przeciwnym razie każdy znak delimiter jest potencjalnym punktem podziału.

Na przykład: N = 2, wejście [0] to „witaj świecie”, a wejście [1] to „ab c”, wówczas wyjście będzie

indeksy = [0, 0; 0, 1; 1, 0; 1, 1; 1, 2] kształt = [2, 3] wartości = ['cześć', 'świat', 'a', 'b', 'c']

Argumenty:

• zakres: Obiekt Scope
• wejście: 1-D. Struny do podziału.
• ogranicznik: 0-D. Znaki rozdzielające (bajty) lub pusty ciąg.

Opcjonalne atrybuty (patrz Attrs ):

• skip_empty: bool . Jeśli True , pomiń puste ciągi z wyniku.

Zwroty:

• Indeksy Output : gęsta macierz int64 reprezentująca indeksy tensora rzadkiego.
• Wartości Output : wektor ciągów odpowiadający rozdzielonym wartościom.
• Kształt Output : wektor int64 o długości 2 reprezentujący kształt tensora rzadkiego, gdzie pierwsza wartość to N, a druga wartość to maksymalna liczba tokenów w pojedynczym wpisie wejściowym.

Atrybuty publiczne

::tensorflow::Output indices

Operation operation

::tensorflow::Output shape

::tensorflow::Output values

 StringSplit(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input input,
  ::tensorflow::Input delimiter
)

 StringSplit(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input input,
  ::tensorflow::Input delimiter,
  const StringSplit::Attrs & attrs
)

Attrs SkipEmpty(
  bool x
)