Evaluación de modelos con el panel de indicadores de equidad [Beta]

Los indicadores de equidad TensorBoard permite un fácil cálculo de la métrica de equidad comúnmente identificados para clasificadores binarios y multiclase. Con el complemento, puede visualizar evaluaciones de equidad para sus carreras y comparar fácilmente el rendimiento entre grupos.

En particular, los indicadores de equidad para TensorBoard le permiten evaluar y visualizar el rendimiento del modelo, dividido en grupos definidos de usuarios. Siéntase seguro de sus resultados con intervalos de confianza y evaluaciones en múltiples umbrales.

Muchas de las herramientas existentes para evaluar las preocupaciones sobre la equidad no funcionan bien en conjuntos de datos y modelos a gran escala. En Google, es importante para nosotros tener herramientas que puedan funcionar en sistemas de mil millones de usuarios. Los indicadores de equidad le permitirá evaluar a través de cualquier tamaño de caso de uso, en el entorno o en TensorBoard Colab .

Requisitos

Para instalar los indicadores de equidad para TensorBoard, ejecute:

python3 -m virtualenv ~/tensorboard_demo
source ~/tensorboard_demo/bin/activate
pip install --upgrade pip
pip install fairness_indicators
pip install tensorboard-plugin-fairness-indicators

Manifestación

Si quieres poner a prueba Justicia Los indicadores en TensorBoard, se puede descargar resultados de la muestra TensorFlow modelo de análisis de evaluación (eval_config.json, métricas y archivos parcelas) y un demo.py utilidad de Google Cloud Platform, aquí usando los siguientes comandos.

pip install gsutil
gsutil cp -r gs://tensorboard_plugin_fairness_indicators/ .

Navegue al directorio que contiene los archivos descargados.

cd tensorboard_plugin_fairness_indicators

Estos datos de evaluación se basa en la Civil Comentarios conjunto de datos , calculada usando Tensorflow del Modelo de Análisis model_eval_lib biblioteca. También contiene un archivo de datos de resumen de TensorBoard de muestra como referencia.

El demo.py utilidad escribe un archivo de resumen TensorBoard de datos, que será leído por TensorBoard para hacer el tablero de instrumentos Indicadores Fairness (Véase la TensorBoard tutorial para obtener más información sobre los archivos de datos de resumen).

Banderas para ser utilizado con el demo.py utilidad:

• --logdir : Directorio donde TensorBoard escribirá el resumen
• --eval_result_output_dir : Directorio que contiene los resultados de evaluación evaluados por TFMA (descargado en la ultima etapa)

Ejecutar el demo.py utilidad para escribir los resultados resumidos en el directorio de registro:

python demo.py --logdir=. --eval_result_output_dir=.

Ejecute TensorBoard:

tensorboard --logdir=.

Esto iniciará una instancia local. Una vez iniciada la instancia local, se mostrará un enlace a la terminal. Abra el enlace en su navegador para ver el panel de indicadores de equidad.

Demo Colab

Fairness_Indicators_TensorBoard_Plugin_Example_Colab.ipynb contiene una demostración de extremo a extremo para entrenar y evaluar un modelo y visualizar resultados de la evaluación equidad en TensorBoard.

Uso

Para utilizar los indicadores de equidad con sus propios datos y evaluaciones:

1. Entrenar a un nuevo modelo y evaluar el uso de tensorflow_model_analysis.run_model_analysis o tensorflow_model_analysis.ExtractEvaluateAndWriteResult API en model_eval_lib . Para fragmentos de código sobre cómo hacerlo, consulte los Indicadores de Justicia Los CoLab aquí .

2. Escribe Indicadores Fairness Resumen utilizando tensorboard_plugin_fairness_indicators.summary_v2 API.

   writer = tf.summary.create_file_writer(<logdir>)
   with writer.as_default():
       summary_v2.FairnessIndicators(<eval_result_dir>, step=1)
   writer.close()
   

3. Ejecutar TensorBoard

   • tensorboard --logdir=<logdir>
   • Seleccione la nueva ejecución de evaluación usando el menú desplegable en el lado izquierdo del tablero para visualizar los resultados.