tensör akışı:: işlem:: UnicodeTranskod

Giriş metnini kaynak kodlamasından hedef kodlamaya dönüştürün.

Özet

Giriş herhangi bir şekle sahip bir dize tensörüdür. Çıktı, kodu dönüştürülmüş dizeleri içeren aynı şekle sahip bir dize tensörüdür. Çıkış dizeleri her zaman geçerli unicode'dur. Giriş geçersiz kodlama konumları içeriyorsa, errors özelliği bunlarla nasıl başa çıkılacağına ilişkin politikayı belirler. Varsayılan hata işleme ilkesi kullanılırsa, çıktıda geçersiz biçimlendirme, replacement_char ile değiştirilecektir. Hata politikası ignore , girişteki tüm geçersiz kodlama konumları atlanır ve çıkışa dahil edilmez. Eğer strict olarak ayarlanırsa geçersiz biçimlendirme InvalidArgument hatasıyla sonuçlanacaktır.

Bu işlem, girdiler zaten istenen kodlamada olsa bile, girdiler için doğru biçimlendirmeyi uygulamak amacıyla output_encoding = input_encoding ile birlikte kullanılabilir.

Girişin önüne kodlamayı belirlemek için gereken bir Bayt Sırası İşareti eklenirse (örneğin, kodlama UTF-16 ise ve BOM big-endian'ı gösteriyorsa), o zaman bu Malzeme Listesi tüketilecek ve çıkışa aktarılmayacaktır. Giriş kodlaması açık bir endianness ile işaretlenmişse (örn. UTF-16-BE), malzeme listesi bölünemez bir boşluk olarak yorumlanır ve çıktıda korunur (her zaman UTF-8 için dahil).

Sonuçta, eğer girdi açık bir endianness olarak işaretlenmişse, kod dönüştürmenin kaynaktaki tüm kod noktalarına sadık kalması sağlanır. Açık bir endianness ile işaretlenmemişse, Malzeme Listesi dizenin kendisinin bir parçası olarak değil, meta veri olarak kabul edilir ve bu nedenle çıktıda korunmaz.

Örnekler:

tf.strings.unicode_transcode(["Merhaba", "TensorFlow", "2.x"], "UTF-8", "UTF-16-BE") tf.strings.unicode_transcode(["A", "B", "C"], "US ASCII", "UTF-8").numpy() array([b'A', b'B', b' C'], dtype=nesne)

Argümanlar:

• kapsam: Bir Kapsam nesnesi
• giriş: İşlenecek metin. Herhangi bir şekle sahip olabilir.
• input_encoding: Giriş dizelerinin metin kodlaması. Bu, ICU ucnv algoritmik dönüştürücüleri tarafından desteklenen kodlamalardan herhangi biridir. Örnekler: "UTF-16", "US ASCII", "UTF-8" .
• Output_encoding: Çıktıda kullanılacak unicode kodlama. "UTF-8", "UTF-16-BE", "UTF-32-BE" den biri olmalıdır. Çok baytlı kodlamalar büyük endian olacaktır.

İsteğe bağlı özellikler (bkz. Attrs ):

• hatalar: Girişte geçersiz biçimlendirme bulunduğunda hata işleme politikası. 'Strict' değeri, işlemin herhangi bir geçersiz giriş biçimlendirmesinde InvalidArgument hatası üretmesine neden olur. 'Değiştir' değeri (varsayılan), işlemin girişteki geçersiz biçimlendirmeyi replacement_char kod noktasıyla değiştirmesine neden olur. 'Yoksay' değeri, işlemin girdideki herhangi bir geçersiz biçimlendirmeyi atlamasına ve buna karşılık gelen bir çıktı karakteri üretmemesine neden olur.
• replacement_char: errors='replace' olduğunda girişteki geçersiz biçimlendirmenin yerine kullanılacak yedek karakter kod noktası. Geçerli herhangi bir unicode kod noktası kullanılabilir. Varsayılan değer, varsayılan unicode değiştirme karakterinin 0xFFFD veya U+65533 olmasıdır.)

UTF-8 için, ' ' gibi 1 bayt olarak ifade edilebilen bir değiştirme karakterinin iletilmesinin, geçersiz baytlar 1 baytlık bir değiştirmeyle değiştirileceği için kaynağa yönelik dize hizalamasını koruyacağını unutmayın. UTF-16-BE ve UTF-16-LE için, herhangi bir 1 veya 2 baytlık değiştirme karakteri, baytın kaynağa göre hizalamasını koruyacaktır.

• replacement_control_characters: C0 kontrol karakterlerinin (00-1F) replacement_char ile değiştirilip değiştirilmeyeceği. Varsayılan yanlıştır.

İade:

• Output : output_encoding kullanılarak kodlanmış unicode metni içeren bir dize tensörü.

Genel özellikler

Operation operation

::tensorflow::Output output

 UnicodeTranscode(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input input,
  StringPiece input_encoding,
  StringPiece output_encoding
)

 UnicodeTranscode(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input input,
  StringPiece input_encoding,
  StringPiece output_encoding,
  const UnicodeTranscode::Attrs & attrs
)

::tensorflow::Node * node() const 

 operator::tensorflow::Input() const 

 operator::tensorflow::Output() const 

Attrs Errors(
  StringPiece x
)

Attrs ReplaceControlCharacters(
  bool x
)

Attrs ReplacementChar(
  int64 x
)