MinDiff é uma técnica de remediação de modelo que busca equalizar duas distribuições. Na prática, pode ser usado para equilibrar as taxas de erro em diferentes fatias dos seus dados, penalizando as diferenças de distribuição.
Normalmente, você aplica MinDiff ao tentar garantir a justiça do grupo, como minimizar a diferença na taxa de falsos positivos (FPR) ou na taxa de falsos negativos (FNR) entre uma fatia de dados pertencente a uma classe sensível e uma fatia de melhor desempenho. Para uma discussão aprofundada sobre métricas de justiça, revise a literatura sobre esse assunto. 1 2 3
Como funciona o MinDiff?
Dados dois conjuntos de exemplos do nosso conjunto de dados, o MinDiff penaliza o modelo durante o treinamento pelas diferenças na distribuição de pontuações entre os dois conjuntos. Quanto menos distinguíveis forem os dois conjuntos com base nas pontuações de previsão, menor será a penalidade que será aplicada.
A penalidade é aplicada adicionando um componente à perda que o modelo está usando para treinamento. Pode ser pensado como uma medida da diferença na distribuição das previsões do modelo. À medida que o modelo treina, ele tenta minimizar a penalidade aproximando as distribuições, conforme mostrado nos gráficos abaixo.
A aplicação do MinDiff pode trazer compensações em relação ao desempenho na tarefa original. O MinDiff pode ser eficaz sem deteriorar o desempenho além das necessidades do produto, mas a decisão de equilibrar o desempenho e a eficácia do MinDiff deve ser tomada deliberadamente pelo proprietário do produto. Para obter exemplos que mostram como implementar o MinDiff, consulte o caderno de estudo de caso de remediação de modelo .
Recursos
Para obter um tutorial sobre como aplicar MinDiff em um modelo de classificação de texto, consulte MinDiff Keras notebook .
Para uma postagem de blog sobre MinDiff no blog do TensorFlow, consulte Aplicando MinDiff para melhorar a postagem de blog do modelo .
Para obter a biblioteca completa de remediação de modelo, consulte o repositório Github de remediação de modelo .
Dwork, C., Hardt, M., Pitassi, T., Reingold, O., Zemel, R. (2011). Justiça por meio da conscientização. ↩
Hardt, M., Preço, E., Srebro, N. (2016). Igualdade de oportunidades na aprendizagem supervisionada. ↩
Chouldechova, A. (2016). Previsão justa com impacto díspar: Um estudo de viés em instrumentos de previsão de reincidência. ↩