ExampleValidator পাইপলাইন কম্পোনেন্ট প্রশিক্ষণ এবং ডেটা পরিবেশনের ক্ষেত্রে অসামঞ্জস্যতা চিহ্নিত করে। এটি ডেটাতে বিভিন্ন শ্রেণীর অসঙ্গতি সনাক্ত করতে পারে। উদাহরণস্বরূপ এটি করতে পারে:
- একটি স্কিমার সাথে ডেটা পরিসংখ্যান তুলনা করে বৈধতা পরীক্ষা করে যা ব্যবহারকারীর প্রত্যাশাকে কোড করে।
- প্রশিক্ষণ এবং পরিবেশন ডেটা তুলনা করে প্রশিক্ষণ-সার্ভিং স্কু সনাক্ত করুন।
- ডেটার একটি সিরিজ দেখে ডেটা ড্রিফ্ট সনাক্ত করুন।
- একটি SQL-ভিত্তিক কনফিগারেশন ব্যবহার করে কাস্টম বৈধতা সম্পাদন করুন।
ExampleValidator পাইপলাইন উপাদান একটি স্কিমার বিরুদ্ধে StatisticsGen পাইপলাইন উপাদান দ্বারা গণনা করা ডেটা পরিসংখ্যান তুলনা করে উদাহরণের ডেটাতে যেকোন অসঙ্গতি সনাক্ত করে। অনুমানকৃত স্কিমা বৈশিষ্ট্যগুলিকে কোডিফাই করে যা ইনপুট ডেটা সন্তুষ্ট হবে বলে আশা করা হয় এবং বিকাশকারী দ্বারা সংশোধন করা যেতে পারে।
- খরচ: একটি SchemaGen উপাদান থেকে একটি স্কিমা, এবং একটি StatisticsGen উপাদান থেকে পরিসংখ্যান৷
- নির্গত: বৈধতা ফলাফল
ExampleValidator এবং TensorFlow ডেটা যাচাইকরণ
ExampleValidator আপনার ইনপুট ডেটা যাচাই করার জন্য TensorFlow ডেটা যাচাইকরণের ব্যাপক ব্যবহার করে।
ExampleValidator উপাদান ব্যবহার করে
একটি ExampleValidator পাইপলাইন উপাদান সাধারণত স্থাপন করা খুব সহজ এবং সামান্য কাস্টমাইজেশন প্রয়োজন। সাধারণ কোড এই মত দেখায়:
validate_stats = ExampleValidator(
statistics=statistics_gen.outputs['statistics'],
schema=schema_gen.outputs['schema']
)
ExampleValidator API রেফারেন্সে আরও বিশদ পাওয়া যায়।