TFDV admite la validación de datos personalizados mediante SQL. Puede ejecutar una validación de datos personalizada mediante validate_statistics o custom_validate_statistics . Use validate_statistics para ejecutar la validación de datos estándar basada en esquemas junto con la validación personalizada. Use custom_validate_statistics para ejecutar solo la validación personalizada.
Configuración de la validación de datos personalizados
Use CustomValidationConfig para definir validaciones personalizadas para ejecutar. Para cada validación, proporcione una expresión SQL, que devuelve un valor booleano. Cada expresión SQL se ejecuta con las estadísticas de resumen de la función especificada. Si la expresión devuelve falso, TFDV genera una anomalía personalizada utilizando la gravedad y la descripción de la anomalía proporcionadas.
Puede configurar validaciones personalizadas que se ejecuten en funciones individuales o pares de funciones. Para cada característica, especifique tanto el conjunto de datos (es decir, el sector) como la ruta de la característica que se utilizará, aunque puede dejar el nombre del conjunto de datos en blanco si desea validar el sector predeterminado (es decir, todos los ejemplos). Para las validaciones de funciones individuales, las estadísticas de funciones están vinculadas a la feature . Para validaciones de pares de características, las estadísticas de características de prueba están vinculadas a feature_test y las estadísticas de características base están vinculadas a feature_base . Consulte la sección a continuación para ver ejemplos de consultas.
Si una validación personalizada desencadena una anomalía, TFDV devolverá un prototipo de anomalías con los motivos de la anomalía. Cada motivo tendrá una breve descripción, configurada por el usuario, y una descripción con la consulta que causó la anomalía, los nombres de los conjuntos de datos en los que se ejecutó la consulta y la ruta de función base (si se ejecuta una validación de pares de funciones). Consulte la sección a continuación para obtener ejemplos de resultados de validación personalizada.
Consulte la documentación en el CustomValidationConfig para ver configuraciones de ejemplo.