Fairness Indicadores para TensorBoard permite fácil cálculo de métricas de justiça comumente identificados para classificadores binários e multiclasse. Com o plug-in, você pode visualizar avaliações de imparcialidade para suas corridas e comparar facilmente o desempenho entre os grupos.
Em particular, os indicadores de imparcialidade para TensorBoard permitem que você avalie e visualize o desempenho do modelo, dividido em grupos definidos de usuários. Sinta-se confiante sobre seus resultados com intervalos de confiança e avaliações em vários limites.
Muitas ferramentas existentes para avaliar questões de justiça não funcionam bem em conjuntos de dados e modelos de grande escala. No Google, é importante para nós ter ferramentas que possam funcionar em sistemas de bilhões de usuários. Fairness Indicadores lhe permitirá avaliar em qualquer tamanho de caso de uso, no ambiente TensorBoard ou em Colab .
Requisitos
Para instalar indicadores de imparcialidade para TensorBoard, execute:
python3 -m virtualenv ~/tensorboard_demo
source ~/tensorboard_demo/bin/activate
pip install --upgrade pip
pip install fairness_indicators
pip install tensorboard-plugin-fairness-indicators
Demo
Se você quiser testar Fairness Indicadores em TensorBoard, você pode baixar amostra resultados da avaliação Análise TensorFlow Modelo (eval_config.json, métricas e arquivos de parcelas) e uma demo.py utilitário a partir do Google Cloud Platform, aqui usando seguinte comando.
pip install gsutil
gsutil cp -r gs://tensorboard_plugin_fairness_indicators/ .
Navegue até o diretório que contém os arquivos baixados.
cd tensorboard_plugin_fairness_indicators
Estes dados de avaliação baseia-se no Civil Comentários conjunto de dados , calculados de Tensorflow Modelo de Análise de model_eval_lib biblioteca. Ele também contém um arquivo de dados de resumo do TensorBoard de amostra para referência.
O demo.py utilitário grava um arquivo resumo TensorBoard de dados, que será lido por TensorBoard para tornar o painel Fairness Indicators (Veja o TensorBoard tutorial para mais informações sobre arquivos de dados resumo).
Bandeiras para ser usado com o demo.py utilitário:
-
--logdir: Diretório onde TensorBoard vai escrever o resumo -
--eval_result_output_dir: Diretório contendo os resultados da avaliação avaliadas por TFMA (baixado na última etapa)
Execute o demo.py utilitário para escrever o resumo dos resultados no diretório log:
python demo.py --logdir=. --eval_result_output_dir=.
Execute o TensorBoard:
tensorboard --logdir=.
Isso iniciará uma instância local. Depois que a instância local for iniciada, um link será exibido para o terminal. Abra o link em seu navegador para visualizar o painel de indicadores de imparcialidade.
Demo Colab
Fairness_Indicators_TensorBoard_Plugin_Example_Colab.ipynb contém uma demonstração end-to-end para treinar e avaliar um modelo e visualizar os resultados da avaliação justiça em TensorBoard.
Uso
Para usar os indicadores de justiça com seus próprios dados e avaliações:
Treinar um novo modelo e avaliar usando
tensorflow_model_analysis.run_model_analysisoutensorflow_model_analysis.ExtractEvaluateAndWriteResultAPI em model_eval_lib . Para trechos de código sobre como fazer isso, consulte os Indicadores de Equidade CoLab aqui .Escrever Fairness Resumo de Indicadores usando
tensorboard_plugin_fairness_indicators.summary_v2API.writer = tf.summary.create_file_writer(<logdir>) with writer.as_default(): summary_v2.FairnessIndicators(<eval_result_dir>, step=1) writer.close()Execute o TensorBoard
-
tensorboard --logdir=<logdir> - Selecione a nova execução de avaliação usando o menu suspenso no lado esquerdo do painel para visualizar os resultados.
-