Komponent potoku PrzykładValidator identyfikuje anomalie w danych szkoleniowych i udostępniających. Potrafi wykryć różne klasy anomalii w danych. Może na przykład:
- przeprowadzać weryfikację ważności poprzez porównanie statystyk danych ze schematem, który kodyfikuje oczekiwania użytkownika.
- wykrywać odchylenia w zakresie szkolenia i obsługi, porównując dane dotyczące szkolenia i udostępniania.
- wykryć dryf danych, patrząc na serię danych.
- przeprowadzaj niestandardowe walidacje przy użyciu konfiguracji opartej na języku SQL.
Komponent potoku PrzykładValidator identyfikuje wszelkie anomalie w przykładowych danych, porównując statystyki danych obliczone przez komponent potoku StatisticsGen ze schematem. Wywnioskowany schemat koduje właściwości, które mają spełniać dane wejściowe i które mogą być modyfikowane przez programistę.
- Zużywa: schemat ze składnika SchemaGen i statystyki ze składnika StatisticsGen.
- Emisje: Wyniki walidacji
Walidacja danych exampleValidator i TensorFlow
PrzykładValidator w szerokim zakresie wykorzystuje weryfikację danych TensorFlow do sprawdzania poprawności danych wejściowych.
Korzystanie ze składnika exampleValidator
Komponent potoku PrzykładValidator jest zazwyczaj bardzo łatwy do wdrożenia i wymaga niewielkiego dostosowywania. Typowy kod wygląda następująco:
validate_stats = ExampleValidator(
statistics=statistics_gen.outputs['statistics'],
schema=schema_gen.outputs['schema']
)
Więcej szczegółów można znaleźć w dokumentacji API SampleValidator .