tensorflow :: ops :: UnicodeTranscode

Transcodifique o texto de entrada de uma codificação de origem para uma codificação de destino.

Resumo

A entrada é um tensor de string de qualquer formato. A saída é um tensor de string da mesma forma que contém as strings transcodificadas. As strings de saída são sempre Unicode válidas. Se a entrada contiver posições de codificação inválidas, o atributo errors definirá a política de como lidar com eles. Se a política de tratamento de erros padrão for usada, a formatação inválida será substituída na saída pelo replacement_char . Se a política de erros for ignore , todas as posições de codificação inválidas na entrada serão ignoradas e não serão incluídas na saída. Se for definido como strict , qualquer formatação inválida resultará em um erro InvalidArgument.

Esta operação pode ser usada com output_encoding = input_encoding para impor a formatação correta das entradas, mesmo se já estiverem na codificação desejada.

Se a entrada for prefixada por uma Marca de Ordem de Byte necessária para determinar a codificação (por exemplo, se a codificação for UTF-16 e o ​​BOM indicar big-endian), esse BOM será consumido e não emitido na saída. Se a codificação de entrada for marcada com um endianness explícito (por exemplo, UTF-16-BE), então o BOM é interpretado como um espaço sem quebra e é preservado na saída (incluindo sempre para UTF-8).

O resultado final é que, se a entrada for marcada como um endianness explícito, a transcodificação será fiel a todos os pontos de código na fonte. Se não estiver marcado com um endianness explícito, o BOM não será considerado parte da própria string, mas como metadados e, portanto, não será preservado na saída.

Argumentos:

• escopo: um objeto Scope
• entrada: o texto a ser processado. Pode ter qualquer formato.
• input_encoding: codificação de texto das strings de entrada. Esta é qualquer uma das codificações suportadas pelos conversores algorítmicos ICU UCNV. Exemplos: "UTF-16", "US ASCII", "UTF-8" .
• output_encoding: a codificação Unicode a ser usada na saída. Deve ser "UTF-8", "UTF-16-BE", "UTF-32-BE" . As codificações multibyte serão big-endian.

Atributos opcionais (consulte Attrs ):

• erros: política de tratamento de erros quando uma formatação inválida é encontrada na entrada. O valor de 'estrito' fará com que a operação produza um erro InvalidArgument em qualquer formatação de entrada inválida. Um valor de 'replace' (o padrão) fará com que a operação substitua qualquer formatação inválida na entrada pelo ponto de código replacement_char . Um valor de 'ignorar' fará com que a operação ignore qualquer formatação inválida na entrada e não produza nenhum caractere de saída correspondente.
• Substituição_char: O ponto de código do caractere de substituição a ser usado no lugar de qualquer formatação inválida na entrada quando errors='replace' . Qualquer ponto de código Unicode válido pode ser usado. O valor padrão é o caractere de substituição Unicode padrão é 0xFFFD ou U + 65533.)

Observe que, para UTF-8, passar um caractere de substituição expressável em 1 byte, como '', preservará o alinhamento da string com a origem, pois os bytes inválidos serão substituídos por uma substituição de 1 byte. Para UTF-16-BE e UTF-16-LE, qualquer caractere de substituição de 1 ou 2 bytes preservará o alinhamento de bytes com a fonte.

• replace_control_characters: Se deve substituir os caracteres de controle C0 (00-1F) com o replacement_char . O padrão é falso.

Retorna:

• Output : um tensor de string contendo texto unicode codificado usando output_encoding .

Atributos públicos

Operation operation

::tensorflow::Output output

 UnicodeTranscode(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input input,
  StringPiece input_encoding,
  StringPiece output_encoding
)

 UnicodeTranscode(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input input,
  StringPiece input_encoding,
  StringPiece output_encoding,
  const UnicodeTranscode::Attrs & attrs
)

::tensorflow::Node * node() const 

 operator::tensorflow::Input() const 

 operator::tensorflow::Output() const 

Attrs Errors(
  StringPiece x
)

Attrs ReplaceControlCharacters(
  bool x
)

Attrs ReplacementChar(
  int64 x
)