텐서플로우:: 작전:: 문자열 Ngram

비정형 문자열 데이터에서 ngram을 생성합니다.

요약

이 작업은 문자열만 포함하는 1개의 비정형 차원이 있는 비정형 텐서를 허용하고 가장 안쪽 축을 따라 결합된 해당 문자열의 ngram을 포함하는 1개의 비정형 차원을 포함하는 비정형 텐서를 출력합니다.

인수:

• 범위: 범위 개체
• data: ngram을 만들 비정형 문자열 텐서의 값 텐서입니다. 1D 문자열 텐서여야 합니다.
• data_splits: ngram을 만들기 위한 비정형 문자열 텐서의 분할 텐서입니다.
• 구분 기호: 토큰 요소 사이에 추가할 문자열입니다. 구분 기호가 없으면 ""를 사용하세요.
• ngram_widths: 생성할 ngram의 크기입니다.
• left_pad: ngram 시퀀스의 왼쪽을 채우는 데 사용할 문자열입니다. pad_width != 0인 경우에만 사용됩니다.
• right_pad: ngram 시퀀스의 오른쪽을 채우는 데 사용할 문자열입니다. pad_width != 0인 경우에만 사용됩니다.
• pad_width: 각 시퀀스의 각 측면에 추가할 패딩 요소 수입니다. 패딩은 이 값에 관계없이 'ngram_widths'-1보다 클 수 없습니다. pad_width=-1 인 경우 max(ngram_widths)-1 요소를 추가합니다.

보고:

• Output ngrams: 출력 ngram 비정형 텐서의 값 텐서입니다.
• Output ngrams_splits: 출력 ngrams 비정형 텐서의 분할 텐서입니다.

공개 속성

::tensorflow::Output ngrams

::tensorflow::Output ngrams_splits

Operation operation

 StringNGrams(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input data,
  ::tensorflow::Input data_splits,
  StringPiece separator,
  const gtl::ArraySlice< int > & ngram_widths,
  StringPiece left_pad,
  StringPiece right_pad,
  int64 pad_width,
  bool preserve_short_sequences
)