TFDV, SQL kullanarak özel veri doğrulamayı destekler. validate_statistics veyacustom_validate_statistics kullanarak özel veri doğrulamayı çalıştırabilirsiniz. Özel doğrulamanın yanı sıra standart, şema tabanlı veri doğrulamayı çalıştırmak için validate_statistics kullanın. Yalnızca özel doğrulamayı çalıştırmak custom_validate_statistics kullanın.
Özel Veri Doğrulamayı Yapılandırma
Çalıştırılacak özel doğrulamaları tanımlamak için CustomValidationConfig'i kullanın. Her doğrulama için bir boole değeri döndüren bir SQL ifadesi sağlayın. Her SQL ifadesi, belirtilen özelliğe ilişkin özet istatistiklere göre çalıştırılır. İfade false değerini döndürürse TFDV, sağlanan önem derecesini ve anormallik açıklamasını kullanarak özel bir anormallik oluşturur.
Bireysel özelliklere veya özellik çiftlerine karşı çalışan özel doğrulamalar yapılandırabilirsiniz. Her özellik için, hem veri kümesini (yani dilim) hem de kullanılacak özellik yolunu belirtin; ancak varsayılan dilimi (yani tüm örnekleri) doğrulamak istiyorsanız veri kümesi adını boş bırakabilirsiniz. Tek özellik doğrulamaları için özellik istatistikleri, feature öğesine bağlıdır. Özellik çifti doğrulamaları için, test özelliği istatistikleri feature_test ve temel özellik istatistikleri feature_base bağlıdır. Örnek sorgular için aşağıdaki bölüme bakın.
Özel bir doğrulama bir anormalliği tetiklerse TFDV, anormalliğin nedenlerini içeren bir Anomaliler protokolü döndürür. Her nedenin, kullanıcı tarafından yapılandırılan kısa bir açıklaması ve anormalliğe neden olan sorguyu, sorgunun çalıştırıldığı veri kümesi adlarını ve temel özellik yolunu (özellik çifti doğrulaması çalıştırılıyorsa) içeren bir açıklaması olacaktır. Özel doğrulamanın örnek sonuçları için aşağıdaki bölüme bakın.
Örnek yapılandırmalar için CustomValidationConfig protokolündeki belgelere bakın.