การตรวจสอบข้อมูลที่กำหนดเอง

TFDV รองรับการตรวจสอบข้อมูลแบบกำหนดเองโดยใช้ SQL คุณสามารถเรียกใช้การตรวจสอบข้อมูลที่กำหนดเองได้โดยใช้ validate_statistics หรือ custom_validate_statistics ใช้ validate_statistics เพื่อดำเนินการตรวจสอบข้อมูลแบบมาตรฐานตามสคีมา ควบคู่ไปกับการตรวจสอบแบบกำหนดเอง ใช้ custom_validate_statistics เพื่อเรียกใช้การตรวจสอบความถูกต้องที่กำหนดเองเท่านั้น

การกำหนดค่าการตรวจสอบข้อมูลที่กำหนดเอง

ใช้ CustomValidationConfig เพื่อกำหนดการตรวจสอบความถูกต้องที่กำหนดเองเพื่อรัน สำหรับการตรวจสอบแต่ละครั้ง ให้ระบุนิพจน์ SQL ซึ่งส่งคืนค่าบูลีน แต่ละนิพจน์ SQL จะรันกับสถิติสรุปสำหรับคุณลักษณะที่ระบุ หากนิพจน์ส่งคืนค่าเท็จ TFDV จะสร้างความผิดปกติที่กำหนดเองโดยใช้คำอธิบายความรุนแรงและความผิดปกติที่ให้ไว้

คุณสามารถกำหนดค่าการตรวจสอบความถูกต้องแบบกำหนดเองที่ทำงานกับคุณลักษณะแต่ละรายการหรือคู่คุณลักษณะได้ สำหรับแต่ละคุณลักษณะ ให้ระบุทั้งชุดข้อมูล (เช่น ชิ้น) และเส้นทางคุณลักษณะที่จะใช้ แม้ว่าคุณอาจปล่อยให้ชื่อชุดข้อมูลว่างไว้ได้หากคุณต้องการตรวจสอบความถูกต้องของชิ้นเริ่มต้น (เช่น ตัวอย่างทั้งหมด) สำหรับการตรวจสอบคุณลักษณะเดียว สถิติของคุณลักษณะจะเชื่อมโยงกับ feature สำหรับการตรวจสอบคู่คุณลักษณะ สถิติคุณลักษณะการทดสอบจะเชื่อมโยงกับ feature_test และสถิติคุณลักษณะพื้นฐานจะเชื่อมโยงกับ feature_base ดูส่วนด้านล่างสำหรับตัวอย่างข้อความค้นหา

หากการตรวจสอบที่กำหนดเองทำให้เกิดความผิดปกติ TFDV จะส่งกลับโปรโตคอล Anomalies พร้อมเหตุผลของความผิดปกติ เหตุผลแต่ละข้อจะมีคำอธิบายสั้นๆ ซึ่งผู้ใช้กำหนดค่าไว้ และคำอธิบายเกี่ยวกับการสืบค้นที่ทำให้เกิดความผิดปกติ ชื่อชุดข้อมูลที่เรียกใช้การสืบค้น และเส้นทางคุณลักษณะพื้นฐาน (หากเรียกใช้การตรวจสอบความถูกต้องของคู่คุณลักษณะ) ดูส่วนด้านล่างสำหรับตัวอย่างผลลัพธ์ของการตรวจสอบแบบกำหนดเอง

ดู เอกสารประกอบ ใน CustomValidationConfig proto สำหรับตัวอย่างการกำหนดค่า