тензорный поток:: опс:: StringSplit

Разделите элементы input на основе delimiter в SparseTensor .

Краткое содержание

Пусть N — размер источника (обычно N — размер партии). Разделите каждый элемент input на основе delimiter и верните SparseTensor , содержащий разделенные токены. Пустые токены игнорируются.

delimiter может быть пустым или представлять собой строку разделенных символов. Если delimiter представляет собой пустую строку, каждый элемент input разбивается на отдельные однобайтовые строки символов, включая разделение многобайтовых последовательностей UTF-8. В противном случае каждый символ delimiter является потенциальной точкой разделения.

Например: N = 2, input[0] — «привет, мир», а input[1] — «ab c», тогда вывод будет таким:

индексы = [0, 0; 0, 1; 1, 0; 1, 1; 1, 2] shape = [2, 3] значения = ['привет', 'мир', 'a', 'b', 'c']

Аргументы:

• область: объект области.
• вход: 1-D. Строки для разделения.
• разделитель: 0-D. Символы-разделители (байты) или пустая строка.

Необязательные атрибуты (см. Attrs ):

• skip_empty: bool . Если True , пропустите пустые строки из результата.

Возврат:

• Output индексы: плотная матрица int64, представляющая индексы разреженного тензора.
• Output значения: вектор строк, соответствующий разделенным значениям.
• Output форма: вектор длины 2 типа int64, представляющий форму разреженного тензора, где первое значение — N, а второе значение — максимальное количество токенов в одной входной записи.

Публичные атрибуты

::tensorflow::Output indices

Operation operation

::tensorflow::Output shape

::tensorflow::Output values

 StringSplit(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input input,
  ::tensorflow::Input delimiter
)

 StringSplit(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input input,
  ::tensorflow::Input delimiter,
  const StringSplit::Attrs & attrs
)

Attrs SkipEmpty(
  bool x
)