Thành phần quy trình exampleValidator xác định các điểm bất thường trong quá trình đào tạo và cung cấp dữ liệu. Nó có thể phát hiện các loại bất thường khác nhau trong dữ liệu. Ví dụ: nó có thể:
- thực hiện kiểm tra tính hợp lệ bằng cách so sánh số liệu thống kê dữ liệu với lược đồ mã hóa các kỳ vọng của người dùng.
- phát hiện độ lệch phục vụ đào tạo bằng cách so sánh dữ liệu đào tạo và phục vụ.
- phát hiện sự trôi dạt dữ liệu bằng cách xem xét một loạt dữ liệu.
- thực hiện xác thực tùy chỉnh bằng cách sử dụng cấu hình dựa trên SQL.
Thành phần đường dẫn exampleValidator xác định mọi điểm bất thường trong dữ liệu mẫu bằng cách so sánh số liệu thống kê dữ liệu được tính toán bởi thành phần đường dẫn StatsGen với một lược đồ. Lược đồ được suy luận mã hóa các thuộc tính mà dữ liệu đầu vào dự kiến sẽ đáp ứng và nhà phát triển có thể sửa đổi.
- Tiêu thụ: Một lược đồ từ thành phần SchemaGen và số liệu thống kê từ thành phần StatsGen.
- Phát ra: Kết quả xác thực
Xác thực dữ liệu Ví dụValidator và TensorFlow
Ví dụValidator sử dụng rộng rãi Xác thực dữ liệu TensorFlow để xác thực dữ liệu đầu vào của bạn.
Sử dụng Thành phần Ví dụValidator
Thành phần quy trình exampleValidator thường rất dễ triển khai và yêu cầu ít tùy chỉnh. Mã điển hình trông như thế này:
validate_stats = ExampleValidator(
statistics=statistics_gen.outputs['statistics'],
schema=schema_gen.outputs['schema']
)
Thông tin chi tiết hơn có sẵn trong tài liệu tham khảo API exampleValidator .