UnicodeTranscode

একটি উৎস এনকোডিং থেকে একটি গন্তব্য এনকোডিং এ ইনপুট পাঠ্য ট্রান্সকোড করুন।

ইনপুট হল যেকোনো আকৃতির একটি স্ট্রিং টেনসর। আউটপুট হল একই আকৃতির একটি স্ট্রিং টেনসর যাতে ট্রান্সকোড করা স্ট্রিং থাকে। আউটপুট স্ট্রিং সবসময় বৈধ ইউনিকোড. যদি ইনপুটে অবৈধ এনকোডিং অবস্থান থাকে, তাহলে 'ত্রুটি' অ্যাট্রিবিউট তাদের মোকাবেলা করার নীতি নির্ধারণ করে। যদি ডিফল্ট ত্রুটি-হ্যান্ডলিং নীতি ব্যবহার করা হয়, তাহলে অবৈধ বিন্যাস আউটপুটে `প্রতিস্থাপন_চার` দ্বারা প্রতিস্থাপিত হবে। যদি ত্রুটি নীতি 'উপেক্ষা' করতে হয়, তাহলে ইনপুটে যেকোনও অবৈধ এনকোডিং পজিশন বাদ দেওয়া হয় এবং আউটপুটে অন্তর্ভুক্ত করা হয় না। যদি এটি `কঠোর` তে সেট করা হয় তাহলে কোনো অবৈধ বিন্যাস একটি InvalidArgument ত্রুটির কারণ হবে৷

এই ক্রিয়াকলাপটি `আউটপুট_এনকোডিং = ইনপুট_এনকোডিং` এর সাথে ব্যবহার করা যেতে পারে ইনপুটগুলির জন্য সঠিক বিন্যাস প্রয়োগ করতে এমনকি যদি সেগুলি ইতিমধ্যেই পছন্দসই এনকোডিংয়ে থাকে।

যদি ইনপুটটি এনকোডিং নির্ধারণের জন্য প্রয়োজনীয় বাইট অর্ডার মার্ক দ্বারা প্রিফিক্স করা হয় (যেমন যদি এনকোডিংটি UTF-16 হয় এবং BOM বিগ-এন্ডিয়ান নির্দেশ করে), তাহলে সেই BOM ব্যবহার করা হবে এবং আউটপুটে নির্গত হবে না। যদি ইনপুট এনকোডিং একটি সুস্পষ্ট endianness (যেমন UTF-16-BE) দ্বারা চিহ্নিত করা হয়, তাহলে BOM-কে একটি নন-ব্রেকিং-স্পেস হিসাবে ব্যাখ্যা করা হয় এবং আউটপুটে সংরক্ষণ করা হয় (ইউটিএফ-8-এর জন্য সর্বদা সহ)।

শেষ ফলাফল হল যে যদি ইনপুটটি একটি সুস্পষ্ট endianness হিসাবে চিহ্নিত করা হয় তবে ট্রান্সকোডিং উৎসের সমস্ত কোডপয়েন্টের জন্য বিশ্বস্ত। যদি এটি একটি সুস্পষ্ট endianness সঙ্গে চিহ্নিত না হয়, BOM নিজেই স্ট্রিং এর অংশ হিসাবে বিবেচিত হয় না কিন্তু মেটাডেটা হিসাবে, এবং তাই আউটপুটে সংরক্ষিত হয় না।

উদাহরণ:

>>> tf.strings.unicode_transcode(["Hello", "TensorFlow", "2.x"], "UTF-8", "UTF-16-BE") >>> tf.strings.unicode_transcode(["A", "B", "C"], "US ASCII", "UTF-8").numpy() অ্যারে([b'A', b'B' , b'C'], dtype=object)