TFDV SQL का उपयोग करके कस्टम डेटा सत्यापन का समर्थन करता है। आप वैलिडेट_स्टैटिस्टिक्स या कस्टम_वैलिडेट_स्टैटिस्टिक्स का उपयोग करके कस्टम डेटा सत्यापन चला सकते हैं। कस्टम सत्यापन के साथ मानक, स्कीमा-आधारित डेटा सत्यापन चलाने के लिए validate_statistics का उपयोग करें। केवल कस्टम सत्यापन चलाने के लिए custom_validate_statistics का उपयोग करें।
कस्टम डेटा सत्यापन कॉन्फ़िगर करना
चलाने के लिए कस्टम सत्यापन को परिभाषित करने के लिए CustomValidationConfig का उपयोग करें। प्रत्येक सत्यापन के लिए, एक SQL अभिव्यक्ति प्रदान करें, जो एक बूलियन मान लौटाता है। प्रत्येक SQL अभिव्यक्ति निर्दिष्ट सुविधा के सारांश आँकड़ों के विरुद्ध चलाई जाती है। यदि अभिव्यक्ति झूठी आती है, तो TFDV प्रदान की गई गंभीरता और विसंगति विवरण का उपयोग करके एक कस्टम विसंगति उत्पन्न करता है।
आप कस्टम सत्यापन कॉन्फ़िगर कर सकते हैं जो व्यक्तिगत सुविधाओं या फीचर जोड़े के विरुद्ध चलते हैं। प्रत्येक सुविधा के लिए, उपयोग करने के लिए डेटासेट (यानी, स्लाइस) और फीचर पथ दोनों निर्दिष्ट करें, हालांकि यदि आप डिफ़ॉल्ट स्लाइस (यानी, सभी उदाहरण) को मान्य करना चाहते हैं तो आप डेटासेट नाम को खाली छोड़ सकते हैं। एकल फ़ीचर सत्यापन के लिए, फ़ीचर आँकड़े feature के लिए बाध्य हैं। फ़ीचर जोड़ी सत्यापन के लिए, परीक्षण फ़ीचर आँकड़े feature_test से बंधे हैं और आधार फ़ीचर आँकड़े feature_base से बंधे हैं। उदाहरण प्रश्नों के लिए नीचे दिया गया अनुभाग देखें।
यदि कोई कस्टम सत्यापन किसी विसंगति को ट्रिगर करता है, तो TFDV विसंगति के कारण(कारणों) के साथ एक विसंगति प्रोटो लौटाएगा। प्रत्येक कारण में एक संक्षिप्त विवरण होगा, जो उपयोगकर्ता द्वारा कॉन्फ़िगर किया गया है, और उस क्वेरी के साथ एक विवरण होगा जो विसंगति का कारण बना, डेटासेट नाम जिस पर क्वेरी चलाई गई थी, और बेस फीचर पथ (यदि फीचर-जोड़ी सत्यापन चल रहा है)। कस्टम सत्यापन के उदाहरण परिणामों के लिए नीचे दिया गया अनुभाग देखें।
उदाहरण कॉन्फ़िगरेशन के लिए CustomValidationConfig प्रोटो में दस्तावेज़ देखें।