Компонент конвейера exampleValidator выявляет аномалии в обучении и обслуживании данных. Он может обнаруживать различные классы аномалий в данных. Например, он может:
- выполнять проверки достоверности, сравнивая статистику данных со схемой, которая кодифицирует ожидания пользователя.
- обнаружить несоответствие между обучением и обслуживанием путем сравнения данных обучения и обслуживания.
- обнаружить дрейф данных, просматривая серию данных.
- выполнять пользовательские проверки с использованием конфигурации на основе SQL.
Компонент конвейера SampleValidator выявляет любые аномалии в данных примера, сравнивая статистику данных, вычисленную компонентом конвейера СтатистикаGen, со схемой. Выведенная схема кодифицирует свойства, которым, как ожидается, будут соответствовать входные данные, и может быть изменена разработчиком.
- Потребляет: схему из компонента SchemaGen и статистику из компонентаStatisticsGen.
- Выдает: результаты проверки
Пример валидатора и проверка данных TensorFlow
exampleValidator широко использует проверку данных TensorFlow для проверки входных данных.
Использование компонента exampleValidator
Компонент конвейера exampleValidator обычно очень прост в развертывании и требует незначительной настройки. Типичный код выглядит так:
validate_stats = ExampleValidator(
statistics=statistics_gen.outputs['statistics'],
schema=schema_gen.outputs['schema']
)
Более подробная информация доступна в справочнике по API SampleValidator .