Компонент конвейера exampleValidator TFX

Компонент конвейера exampleValidator выявляет аномалии в обучении и обслуживании данных. Он может обнаруживать различные классы аномалий в данных. Например, он может:

  1. выполнять проверки достоверности, сравнивая статистику данных со схемой, которая кодифицирует ожидания пользователя.
  2. обнаружить несоответствие между обучением и обслуживанием путем сравнения данных обучения и обслуживания.
  3. обнаружить дрейф данных, просматривая серию данных.
  4. выполнять пользовательские проверки с использованием конфигурации на основе SQL.

Компонент конвейера SampleValidator выявляет любые аномалии в данных примера, сравнивая статистику данных, вычисленную компонентом конвейера СтатистикаGen, со схемой. Выведенная схема кодифицирует свойства, которым, как ожидается, будут соответствовать входные данные, и может быть изменена разработчиком.

  • Потребляет: схему из компонента SchemaGen и статистику из компонентаStatisticsGen.
  • Выдает: результаты проверки

Пример валидатора и проверка данных TensorFlow

exampleValidator широко использует проверку данных TensorFlow для проверки входных данных.

Использование компонента exampleValidator

Компонент конвейера exampleValidator обычно очень прост в развертывании и требует незначительной настройки. Типичный код выглядит так:

validate_stats = ExampleValidator(
      statistics=statistics_gen.outputs['statistics'],
      schema=schema_gen.outputs['schema']
      )

Более подробная информация доступна в справочнике по API SampleValidator .