TFDV supporta la convalida dei dati personalizzata utilizzando SQL. È possibile eseguire la convalida dei dati personalizzata utilizzando validate_statistics o custom_validate_statistics . Utilizza validate_statistics per eseguire la convalida dei dati standard basata su schema insieme alla convalida personalizzata. Utilizza custom_validate_statistics per eseguire solo la convalida personalizzata.
Configurazione della convalida dei dati personalizzata
Utilizzare CustomValidationConfig per definire le convalide personalizzate da eseguire. Per ogni convalida, fornire un'espressione SQL che restituisce un valore booleano. Ogni espressione SQL viene eseguita rispetto alle statistiche di riepilogo per la funzionalità specificata. Se l'espressione restituisce false, TFDV genera un'anomalia personalizzata utilizzando la gravità e la descrizione dell'anomalia fornite.
È possibile configurare convalide personalizzate da eseguire su singole funzionalità o coppie di funzionalità. Per ciascuna funzionalità, specificare sia il set di dati (ovvero la sezione) che il percorso della funzionalità da utilizzare, anche se è possibile lasciare vuoto il nome del set di dati se si desidera convalidare la sezione predefinita (ovvero tutti gli esempi). Per le convalide di funzionalità singole, le statistiche delle funzionalità sono legate a feature . Per le convalide delle coppie di funzionalità, le statistiche della funzionalità di test sono associate a feature_test e le statistiche della funzionalità di base sono associate a feature_base . Consulta la sezione seguente per query di esempio.
Se una convalida personalizzata attiva un'anomalia, TFDV restituirà un protocollo Anomalie con i motivi dell'anomalia. Ogni motivo avrà una breve descrizione, configurata dall'utente, e una descrizione con la query che ha causato l'anomalia, i nomi dei set di dati su cui è stata eseguita la query e il percorso della funzionalità di base (se si esegue una convalida della coppia di funzionalità). Consulta la sezione seguente per esempi di risultati della convalida personalizzata.
Consulta la documentazione nel protocollo CustomValidationConfig per configurazioni di esempio.