TFDV suporta validação de dados personalizada usando SQL. Você pode executar a validação de dados customizada usando valid_statistics ou custom_validate_statistics . Use validate_statistics para executar a validação de dados padrão baseada em esquema junto com a validação personalizada. Use custom_validate_statistics para executar apenas validação personalizada.
Configurando validação de dados personalizados
Use CustomValidationConfig para definir validações customizadas a serem executadas. Para cada validação, forneça uma expressão SQL, que retorne um valor booleano. Cada expressão SQL é executada nas estatísticas resumidas do recurso especificado. Se a expressão retornar falso, o TFDV gerará uma anomalia personalizada usando a gravidade e a descrição da anomalia fornecidas.
Você pode configurar validações personalizadas executadas em recursos individuais ou pares de recursos. Para cada recurso, especifique o conjunto de dados (ou seja, fatia) e o caminho do recurso a ser usado, embora você possa deixar o nome do conjunto de dados em branco se quiser validar a fatia padrão (ou seja, todos os exemplos). Para validações de recurso único, as estatísticas do recurso estão vinculadas a feature . Para validações de pares de recursos, as estatísticas do recurso de teste estão vinculadas a feature_test e as estatísticas do recurso base estão vinculadas a feature_base . Consulte a seção abaixo para exemplos de consultas.
Se uma validação personalizada acionar uma anomalia, o TFDV retornará um proto de Anomalias com o(s) motivo(s) da anomalia. Cada motivo terá uma breve descrição, que é configurada pelo usuário, e uma descrição com a consulta que causou a anomalia, os nomes dos conjuntos de dados nos quais a consulta foi executada e o caminho do recurso base (se estiver executando uma validação de par de recursos). Consulte a seção abaixo para ver exemplos de resultados de validação personalizada.
Consulte a documentação no proto CustomValidationConfig para obter exemplos de configurações.