MinDiff è una tecnica di riparazione del modello che cerca di equalizzare due distribuzioni. In pratica, può essere utilizzato per bilanciare i tassi di errore tra diverse sezioni dei dati penalizzando le differenze distributive.
In genere, si applica MinDiff quando si tenta di garantire l'equità del gruppo, ad esempio riducendo al minimo la differenza nel tasso di falsi positivi (FPR) o nel tasso di falsi negativi (FNR) tra una sezione di dati appartenente a una classe sensibile e una sezione con prestazioni migliori. Per una discussione approfondita sulle metriche di equità, rivedere la letteratura su questo argomento. 1 2 3
Come funziona MinDiff?
Dati due serie di esempi dal nostro set di dati, MinDiff penalizza il modello durante l'addestramento per le differenze nella distribuzione dei punteggi tra i due set. Meno distinguibili sono i due set in base ai punteggi di previsione, minore sarà la penalità che verrà applicata.
La penalità viene applicata aggiungendo una componente alla perdita che il modello utilizza per l'addestramento. Può essere pensato come una misura della differenza nella distribuzione delle previsioni del modello. Mentre il modello si allena, cerca di minimizzare la penalità avvicinando le distribuzioni, come mostrato nei grafici sottostanti.
L'applicazione di MinDiff può comportare dei compromessi rispetto alle prestazioni dell'attività originale. MinDiff può essere efficace senza deteriorare le prestazioni oltre le esigenze del prodotto, ma la decisione di trovare un equilibrio tra prestazioni ed efficacia di MinDiff dovrebbe essere presa deliberatamente dal proprietario del prodotto. Per esempi che mostrano come implementare MinDiff, vedere il notebook del case study sulla correzione del modello .
Risorse
Per un'esercitazione sull'applicazione di MinDiff a un modello di classificazione del testo, vedere MinDiff Keras notebook .
Per un post di blog su MinDiff sul blog TensorFlow, vedere Applicazione di MinDiff per migliorare il post di blog del modello .
Per la libreria completa di Model Remediation, consulta il repository Github di model-remediation .
Dwork, C., Hardt, M., Pitassi, T., Reingold, O., Zemel, R. (2011). Equità attraverso la consapevolezza. ↩
Hardt, M., Price, E., Srebro, N. (2016). Pari opportunità nell’apprendimento supervisionato. ↩
Chouldechova, A. (2016). Previsione equa con impatti disparati: uno studio sui pregiudizi negli strumenti di previsione della recidività. ↩