 عرض على TensorFlow.org |  تشغيل في Google Colab |  عرض على جيثب |  تحميل دفتر |  انظر نموذج TF Hub |
ملخص
مؤشرات الإنصاف هو مجموعة من الأدوات التي بنيت على رأس TensorFlow تحليل نموذج (TFMA) التي تمكن التقييم الدوري لمقاييس العدالة في خطوط الأنابيب المنتج. TFMA هي مكتبة لتقييم نماذج التعلم الآلي TensorFlow وغير TensorFlow. يسمح لك بتقييم النماذج الخاصة بك على كميات كبيرة من البيانات بطريقة موزعة ، وحساب الرسم البياني والمقاييس الأخرى على شرائح مختلفة من البيانات ، وتصورها في دفاتر الملاحظات.
يتم حزم مؤشرات الإنصاف مع TensorFlow التحقق من صحة البيانات (TFDV) و أداة ماذا لو . يتيح لك استخدام مؤشرات الإنصاف:
- قم بتقييم أداء النموذج ، مقسمًا عبر مجموعات محددة من المستخدمين
- اكتساب الثقة بشأن النتائج مع فترات الثقة والتقييمات على عتبات متعددة
- تقييم توزيع مجموعات البيانات
- تعمق في الشرائح الفردية لاستكشاف الأسباب الجذرية وفرص التحسين
في هذه المفكرة، سوف تستخدم مؤشرات الإنصاف لإصلاح قضايا الإنصاف في نموذج كنت تدريب باستخدام التعليقات المدني مجموعة البيانات . مشاهدة هذا الفيديو لمزيد من التفاصيل والسياق على السيناريو في العالم الحقيقي وهذا هو على أساسها هي أيضا واحدة من الدوافع الأساسية لخلق مؤشرات الإنصاف.
مجموعة البيانات
في هذه المفكرة، سوف تعمل مع التعليقات المدني مجموعة البيانات ، جعلت ما يقرب من 2 مليون تصريحات علنية العامة من قبل المدنية التعليقات منصة في عام 2017 للبحث المستمر. وقد رعت هذا الجهد بانوراما ، الذي استضافت مسابقات على Kaggle للمساعدة على تصنيف تعليقات السامة وكذلك تقليل غير مقصودة نموذج التحيز.
يحتوي كل تعليق نصي فردي في مجموعة البيانات على ملصق سمية ، بحيث يكون الملصق 1 إذا كان التعليق سامًا و 0 إذا كان التعليق غير سام. ضمن البيانات ، يتم تصنيف مجموعة فرعية من التعليقات بمجموعة متنوعة من سمات الهوية ، بما في ذلك فئات الجنس والتوجه الجنسي والدين والعرق أو العرق.
يثبت
تثبيت fairness-indicators و witwidget .
pip install -q -U pip==20.2pip install -q fairness-indicatorspip install -q witwidget
يجب إعادة تشغيل Colab runtime بعد التثبيت. حدد وقت التشغيل> إعادة وقت التشغيل من القائمة Colab.
لا تتابع بقية هذا البرنامج التعليمي بدون إعادة تشغيل وقت التشغيل أولاً.
استيراد جميع المكتبات الأخرى المطلوبة.
import os
import tempfile
import apache_beam as beam
import numpy as np
import pandas as pd
from datetime import datetime
import pprint
from google.protobuf import text_format
import tensorflow_hub as hub
import tensorflow as tf
import tensorflow_model_analysis as tfma
import tensorflow_data_validation as tfdv
from tfx_bsl.tfxio import tensor_adapter
from tfx_bsl.tfxio import tf_example_record
from tensorflow_model_analysis.addons.fairness.post_export_metrics import fairness_indicators
from tensorflow_model_analysis.addons.fairness.view import widget_view
from fairness_indicators.tutorial_utils import util
from witwidget.notebook.visualization import WitConfigBuilder
from witwidget.notebook.visualization import WitWidget
from tensorflow_metadata.proto.v0 import schema_pb2
تحميل وتحليل البيانات
بشكل افتراضي ، يقوم هذا الكمبيوتر الدفتري بتنزيل إصدار مُعالج مسبقًا من مجموعة البيانات هذه ، ولكن يمكنك استخدام مجموعة البيانات الأصلية وإعادة تشغيل خطوات المعالجة إذا كنت ترغب في ذلك. في مجموعة البيانات الأصلية ، يتم تصنيف كل تعليق بالنسبة المئوية للمقيمين الذين يعتقدون أن تعليقًا يتوافق مع هوية معينة. على سبيل المثال ، يمكن تسمية تعليق بما يلي: {male: 0.3، female: 1.0، transgender: 0.0، heterosexual: 0.8، homosexual_gay_or_lesbian: 1.0}. هويات بدرجة أقل من 0.5. لذلك سيتم تحويل المثال أعلاه إلى ما يلي: للمقيمين الذين اعتقدوا أن تعليقًا يتوافق مع هوية معينة. على سبيل المثال ، سيتم تصنيف التعليق بما يلي: {gender: [female]، sexual_orientation: [heterosexual، homosexual_gay_or_lesbian]}
download_original_data = False
if download_original_data:
train_tf_file = tf.keras.utils.get_file('train_tf.tfrecord',
'https://storage.googleapis.com/civil_comments_dataset/train_tf.tfrecord')
validate_tf_file = tf.keras.utils.get_file('validate_tf.tfrecord',
'https://storage.googleapis.com/civil_comments_dataset/validate_tf.tfrecord')
# The identity terms list will be grouped together by their categories
# (see 'IDENTITY_COLUMNS') on threshould 0.5. Only the identity term column,
# text column and label column will be kept after processing.
train_tf_file = util.convert_comments_data(train_tf_file)
validate_tf_file = util.convert_comments_data(validate_tf_file)
else:
train_tf_file = tf.keras.utils.get_file('train_tf_processed.tfrecord',
'https://storage.googleapis.com/civil_comments_dataset/train_tf_processed.tfrecord')
validate_tf_file = tf.keras.utils.get_file('validate_tf_processed.tfrecord',
'https://storage.googleapis.com/civil_comments_dataset/validate_tf_processed.tfrecord')
استخدم TFDV لتحليل البيانات وإيجاد المشاكل المحتملة فيها ، مثل القيم المفقودة واختلالات البيانات ، والتي يمكن أن تؤدي إلى تفاوتات في الإنصاف.
stats = tfdv.generate_statistics_from_tfrecord(data_location=train_tf_file)
tfdv.visualize_statistics(stats)
WARNING:apache_beam.runners.interactive.interactive_environment:Dependencies required for Interactive Beam PCollection visualization are not available, please use: `pip install apache-beam[interactive]` to install necessary dependencies to enable all data visualization features. WARNING:root:Make sure that locally built Python SDK docker image has Python 3.7 interpreter. WARNING:apache_beam.io.tfrecordio:Couldn't find python-snappy so the implementation of _TFRecordUtil._masked_crc32c is not as fast as it could be. WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.7/site-packages/tensorflow_data_validation/utils/stats_util.py:247: tf_record_iterator (from tensorflow.python.lib.io.tf_record) is deprecated and will be removed in a future version. Instructions for updating: Use eager execution and: `tf.data.TFRecordDataset(path)` WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.7/site-packages/tensorflow_data_validation/utils/stats_util.py:247: tf_record_iterator (from tensorflow.python.lib.io.tf_record) is deprecated and will be removed in a future version. Instructions for updating: Use eager execution and: `tf.data.TFRecordDataset(path)`
يظهر TFDV أن هناك بعض الاختلالات الهامة في البيانات التي يمكن أن تؤدي إلى نتائج نموذجية متحيزة.
تسمية السمية (القيمة التي تنبأ بها النموذج) غير متوازنة. 8٪ فقط من الأمثلة في مجموعة التدريب سامة ، مما يعني أن المصنف يمكن أن يحصل على دقة 92٪ من خلال توقع أن جميع التعليقات غير سامة.
في المجالات المتعلقة بشروط الهوية ، فقط 6.6 ألف من 1.08 مليون (0.61٪) من الأمثلة التدريبية تتعامل مع المثلية الجنسية ، وتلك المتعلقة بالازدواجية هي أكثر ندرة. يشير هذا إلى أن الأداء في هذه الشرائح قد يتأثر بسبب نقص بيانات التدريب.
تحضير البيانات
تحديد خريطة المعالم لتحليل البيانات. وسيكون لكل سبيل المثال لديها التسمية، نص التعليق، والهوية يتميز sexual orientation ، gender ، religion ، race ، و disability التي ترتبط مع النص.
BASE_DIR = tempfile.gettempdir()
TEXT_FEATURE = 'comment_text'
LABEL = 'toxicity'
FEATURE_MAP = {
# Label:
LABEL: tf.io.FixedLenFeature([], tf.float32),
# Text:
TEXT_FEATURE: tf.io.FixedLenFeature([], tf.string),
# Identities:
'sexual_orientation':tf.io.VarLenFeature(tf.string),
'gender':tf.io.VarLenFeature(tf.string),
'religion':tf.io.VarLenFeature(tf.string),
'race':tf.io.VarLenFeature(tf.string),
'disability':tf.io.VarLenFeature(tf.string),
}
بعد ذلك ، قم بإعداد وظيفة إدخال لتغذية البيانات في النموذج. أضف عمودًا للوزن لكل مثال وقم بزيادة أهمية الأمثلة السامة لمراعاة عدم توازن الفئة الذي تم تحديده بواسطة TFDV. استخدم ميزات الهوية فقط أثناء مرحلة التقييم ، حيث يتم إدخال التعليقات فقط في النموذج أثناء التدريب.
def train_input_fn():
def parse_function(serialized):
parsed_example = tf.io.parse_single_example(
serialized=serialized, features=FEATURE_MAP)
# Adds a weight column to deal with unbalanced classes.
parsed_example['weight'] = tf.add(parsed_example[LABEL], 0.1)
return (parsed_example,
parsed_example[LABEL])
train_dataset = tf.data.TFRecordDataset(
filenames=[train_tf_file]).map(parse_function).batch(512)
return train_dataset
تدريب النموذج
إنشاء وتدريب نموذج التعلم العميق على البيانات.
model_dir = os.path.join(BASE_DIR, 'train', datetime.now().strftime(
"%Y%m%d-%H%M%S"))
embedded_text_feature_column = hub.text_embedding_column(
key=TEXT_FEATURE,
module_spec='https://tfhub.dev/google/nnlm-en-dim128/1')
classifier = tf.estimator.DNNClassifier(
hidden_units=[500, 100],
weight_column='weight',
feature_columns=[embedded_text_feature_column],
optimizer=tf.keras.optimizers.Adagrad(learning_rate=0.003),
loss_reduction=tf.losses.Reduction.SUM,
n_classes=2,
model_dir=model_dir)
classifier.train(input_fn=train_input_fn, steps=1000)
INFO:tensorflow:Using default config.
INFO:tensorflow:Using default config.
INFO:tensorflow:Using config: {'_model_dir': '/tmp/train/20210923-205025', '_tf_random_seed': None, '_save_summary_steps': 100, '_save_checkpoints_steps': None, '_save_checkpoints_secs': 600, '_session_config': allow_soft_placement: true
graph_options {
rewrite_options {
meta_optimizer_iterations: ONE
}
}
, '_keep_checkpoint_max': 5, '_keep_checkpoint_every_n_hours': 10000, '_log_step_count_steps': 100, '_train_distribute': None, '_device_fn': None, '_protocol': None, '_eval_distribute': None, '_experimental_distribute': None, '_experimental_max_worker_delay_secs': None, '_session_creation_timeout_secs': 7200, '_checkpoint_save_graph_def': True, '_service': None, '_cluster_spec': ClusterSpec({}), '_task_type': 'worker', '_task_id': 0, '_global_id_in_cluster': 0, '_master': '', '_evaluation_master': '', '_is_chief': True, '_num_ps_replicas': 0, '_num_worker_replicas': 1}
INFO:tensorflow:Using config: {'_model_dir': '/tmp/train/20210923-205025', '_tf_random_seed': None, '_save_summary_steps': 100, '_save_checkpoints_steps': None, '_save_checkpoints_secs': 600, '_session_config': allow_soft_placement: true
graph_options {
rewrite_options {
meta_optimizer_iterations: ONE
}
}
, '_keep_checkpoint_max': 5, '_keep_checkpoint_every_n_hours': 10000, '_log_step_count_steps': 100, '_train_distribute': None, '_device_fn': None, '_protocol': None, '_eval_distribute': None, '_experimental_distribute': None, '_experimental_max_worker_delay_secs': None, '_session_creation_timeout_secs': 7200, '_checkpoint_save_graph_def': True, '_service': None, '_cluster_spec': ClusterSpec({}), '_task_type': 'worker', '_task_id': 0, '_global_id_in_cluster': 0, '_master': '', '_evaluation_master': '', '_is_chief': True, '_num_ps_replicas': 0, '_num_worker_replicas': 1}
WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.7/site-packages/tensorflow/python/training/training_util.py:236: Variable.initialized_value (from tensorflow.python.ops.variables) is deprecated and will be removed in a future version.
Instructions for updating:
Use Variable.read_value. Variables in 2.X are initialized automatically both in eager and graph (inside tf.defun) contexts.
WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.7/site-packages/tensorflow/python/training/training_util.py:236: Variable.initialized_value (from tensorflow.python.ops.variables) is deprecated and will be removed in a future version.
Instructions for updating:
Use Variable.read_value. Variables in 2.X are initialized automatically both in eager and graph (inside tf.defun) contexts.
INFO:tensorflow:Calling model_fn.
INFO:tensorflow:Calling model_fn.
INFO:tensorflow:Saver not created because there are no variables in the graph to restore
2021-09-23 20:50:26.540914: W tensorflow/core/common_runtime/graph_constructor.cc:1511] Importing a graph with a lower producer version 26 into an existing graph with producer version 808. Shape inference will have run different parts of the graph with different producer versions.
INFO:tensorflow:Saver not created because there are no variables in the graph to restore
WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.7/site-packages/tensorflow_estimator/python/estimator/head/base_head.py:512: NumericColumn._get_dense_tensor (from tensorflow.python.feature_column.feature_column_v2) is deprecated and will be removed in a future version.
Instructions for updating:
The old _FeatureColumn APIs are being deprecated. Please use the new FeatureColumn APIs instead.
WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.7/site-packages/tensorflow_estimator/python/estimator/head/base_head.py:512: NumericColumn._get_dense_tensor (from tensorflow.python.feature_column.feature_column_v2) is deprecated and will be removed in a future version.
Instructions for updating:
The old _FeatureColumn APIs are being deprecated. Please use the new FeatureColumn APIs instead.
WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.7/site-packages/tensorflow/python/feature_column/feature_column.py:2192: NumericColumn._transform_feature (from tensorflow.python.feature_column.feature_column_v2) is deprecated and will be removed in a future version.
Instructions for updating:
The old _FeatureColumn APIs are being deprecated. Please use the new FeatureColumn APIs instead.
WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.7/site-packages/tensorflow/python/feature_column/feature_column.py:2192: NumericColumn._transform_feature (from tensorflow.python.feature_column.feature_column_v2) is deprecated and will be removed in a future version.
Instructions for updating:
The old _FeatureColumn APIs are being deprecated. Please use the new FeatureColumn APIs instead.
WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.7/site-packages/keras/optimizer_v2/adagrad.py:84: calling Constant.__init__ (from tensorflow.python.ops.init_ops) with dtype is deprecated and will be removed in a future version.
Instructions for updating:
Call initializer instance with the dtype argument instead of passing it to the constructor
WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.7/site-packages/keras/optimizer_v2/adagrad.py:84: calling Constant.__init__ (from tensorflow.python.ops.init_ops) with dtype is deprecated and will be removed in a future version.
Instructions for updating:
Call initializer instance with the dtype argument instead of passing it to the constructor
INFO:tensorflow:Done calling model_fn.
INFO:tensorflow:Done calling model_fn.
INFO:tensorflow:Create CheckpointSaverHook.
INFO:tensorflow:Create CheckpointSaverHook.
INFO:tensorflow:Graph was finalized.
INFO:tensorflow:Graph was finalized.
INFO:tensorflow:Running local_init_op.
INFO:tensorflow:Running local_init_op.
INFO:tensorflow:Done running local_init_op.
INFO:tensorflow:Done running local_init_op.
INFO:tensorflow:Calling checkpoint listeners before saving checkpoint 0...
INFO:tensorflow:Calling checkpoint listeners before saving checkpoint 0...
INFO:tensorflow:Saving checkpoints for 0 into /tmp/train/20210923-205025/model.ckpt.
INFO:tensorflow:Saving checkpoints for 0 into /tmp/train/20210923-205025/model.ckpt.
INFO:tensorflow:Calling checkpoint listeners after saving checkpoint 0...
INFO:tensorflow:Calling checkpoint listeners after saving checkpoint 0...
INFO:tensorflow:loss = 59.34932, step = 0
INFO:tensorflow:loss = 59.34932, step = 0
INFO:tensorflow:global_step/sec: 108.435
INFO:tensorflow:global_step/sec: 108.435
INFO:tensorflow:loss = 56.416668, step = 100 (0.924 sec)
INFO:tensorflow:loss = 56.416668, step = 100 (0.924 sec)
INFO:tensorflow:global_step/sec: 116.367
INFO:tensorflow:global_step/sec: 116.367
INFO:tensorflow:loss = 47.250374, step = 200 (0.859 sec)
INFO:tensorflow:loss = 47.250374, step = 200 (0.859 sec)
INFO:tensorflow:global_step/sec: 116.333
INFO:tensorflow:global_step/sec: 116.333
INFO:tensorflow:loss = 55.81682, step = 300 (0.860 sec)
INFO:tensorflow:loss = 55.81682, step = 300 (0.860 sec)
INFO:tensorflow:global_step/sec: 116.844
INFO:tensorflow:global_step/sec: 116.844
INFO:tensorflow:loss = 55.814293, step = 400 (0.856 sec)
INFO:tensorflow:loss = 55.814293, step = 400 (0.856 sec)
INFO:tensorflow:global_step/sec: 114.434
INFO:tensorflow:global_step/sec: 114.434
INFO:tensorflow:loss = 41.805046, step = 500 (0.874 sec)
INFO:tensorflow:loss = 41.805046, step = 500 (0.874 sec)
INFO:tensorflow:global_step/sec: 115.693
INFO:tensorflow:global_step/sec: 115.693
INFO:tensorflow:loss = 45.53726, step = 600 (0.864 sec)
INFO:tensorflow:loss = 45.53726, step = 600 (0.864 sec)
INFO:tensorflow:global_step/sec: 115.772
INFO:tensorflow:global_step/sec: 115.772
INFO:tensorflow:loss = 51.17028, step = 700 (0.864 sec)
INFO:tensorflow:loss = 51.17028, step = 700 (0.864 sec)
INFO:tensorflow:global_step/sec: 116.131
INFO:tensorflow:global_step/sec: 116.131
INFO:tensorflow:loss = 47.696205, step = 800 (0.861 sec)
INFO:tensorflow:loss = 47.696205, step = 800 (0.861 sec)
INFO:tensorflow:global_step/sec: 115.609
INFO:tensorflow:global_step/sec: 115.609
INFO:tensorflow:loss = 47.800926, step = 900 (0.865 sec)
INFO:tensorflow:loss = 47.800926, step = 900 (0.865 sec)
INFO:tensorflow:Calling checkpoint listeners before saving checkpoint 1000...
INFO:tensorflow:Calling checkpoint listeners before saving checkpoint 1000...
INFO:tensorflow:Saving checkpoints for 1000 into /tmp/train/20210923-205025/model.ckpt.
INFO:tensorflow:Saving checkpoints for 1000 into /tmp/train/20210923-205025/model.ckpt.
INFO:tensorflow:Calling checkpoint listeners after saving checkpoint 1000...
INFO:tensorflow:Calling checkpoint listeners after saving checkpoint 1000...
INFO:tensorflow:Loss for final step: 50.67367.
INFO:tensorflow:Loss for final step: 50.67367.
<tensorflow_estimator.python.estimator.canned.dnn.DNNClassifierV2 at 0x7f113351ebd0>
حلل النموذج
بعد الحصول على النموذج المدرب ، قم بتحليله لحساب مقاييس الإنصاف باستخدام TFMA ومؤشرات الإنصاف. تبدأ عن طريق تصدير النموذج بوصفه SavedModel .
تصدير SavedModel
def eval_input_receiver_fn():
serialized_tf_example = tf.compat.v1.placeholder(
dtype=tf.string, shape=[None], name='input_example_placeholder')
# This *must* be a dictionary containing a single key 'examples', which
# points to the input placeholder.
receiver_tensors = {'examples': serialized_tf_example}
features = tf.io.parse_example(serialized_tf_example, FEATURE_MAP)
features['weight'] = tf.ones_like(features[LABEL])
return tfma.export.EvalInputReceiver(
features=features,
receiver_tensors=receiver_tensors,
labels=features[LABEL])
tfma_export_dir = tfma.export.export_eval_savedmodel(
estimator=classifier,
export_dir_base=os.path.join(BASE_DIR, 'tfma_eval_model'),
eval_input_receiver_fn=eval_input_receiver_fn)
WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.7/site-packages/tensorflow_model_analysis/eval_saved_model/encoding.py:141: build_tensor_info (from tensorflow.python.saved_model.utils_impl) is deprecated and will be removed in a future version. Instructions for updating: This function will only be available through the v1 compatibility library as tf.compat.v1.saved_model.utils.build_tensor_info or tf.compat.v1.saved_model.build_tensor_info. WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.7/site-packages/tensorflow_model_analysis/eval_saved_model/encoding.py:141: build_tensor_info (from tensorflow.python.saved_model.utils_impl) is deprecated and will be removed in a future version. Instructions for updating: This function will only be available through the v1 compatibility library as tf.compat.v1.saved_model.utils.build_tensor_info or tf.compat.v1.saved_model.build_tensor_info. INFO:tensorflow:Calling model_fn. INFO:tensorflow:Calling model_fn. INFO:tensorflow:Saver not created because there are no variables in the graph to restore 2021-09-23 20:50:39.359797: W tensorflow/core/common_runtime/graph_constructor.cc:1511] Importing a graph with a lower producer version 26 into an existing graph with producer version 808. Shape inference will have run different parts of the graph with different producer versions. INFO:tensorflow:Saver not created because there are no variables in the graph to restore INFO:tensorflow:Done calling model_fn. INFO:tensorflow:Done calling model_fn. INFO:tensorflow:Signatures INCLUDED in export for Classify: None INFO:tensorflow:Signatures INCLUDED in export for Classify: None INFO:tensorflow:Signatures INCLUDED in export for Regress: None INFO:tensorflow:Signatures INCLUDED in export for Regress: None INFO:tensorflow:Signatures INCLUDED in export for Predict: None INFO:tensorflow:Signatures INCLUDED in export for Predict: None INFO:tensorflow:Signatures INCLUDED in export for Train: None INFO:tensorflow:Signatures INCLUDED in export for Train: None INFO:tensorflow:Signatures INCLUDED in export for Eval: ['eval'] INFO:tensorflow:Signatures INCLUDED in export for Eval: ['eval'] WARNING:tensorflow:Export includes no default signature! WARNING:tensorflow:Export includes no default signature! INFO:tensorflow:Restoring parameters from /tmp/train/20210923-205025/model.ckpt-1000 INFO:tensorflow:Restoring parameters from /tmp/train/20210923-205025/model.ckpt-1000 INFO:tensorflow:Assets added to graph. INFO:tensorflow:Assets added to graph. INFO:tensorflow:Assets written to: /tmp/tfma_eval_model/temp-1632430239/assets INFO:tensorflow:Assets written to: /tmp/tfma_eval_model/temp-1632430239/assets INFO:tensorflow:SavedModel written to: /tmp/tfma_eval_model/temp-1632430239/saved_model.pb INFO:tensorflow:SavedModel written to: /tmp/tfma_eval_model/temp-1632430239/saved_model.pb
حساب مقاييس الإنصاف
حدد الهوية التي تريد حساب المقاييس لها وما إذا كنت تريد التشغيل بفواصل زمنية ثقة باستخدام القائمة المنسدلة في اللوحة على اليمين.
خيارات حساب مؤشرات الإنصاف
tfma_eval_result_path = os.path.join(BASE_DIR, 'tfma_eval_result')
slice_selection = 'sexual_orientation'
print(f'Slice selection: {slice_selection}')
compute_confidence_intervals = False
print(f'Compute confidence intervals: {compute_confidence_intervals}')
# Define slices that you want the evaluation to run on.
eval_config_pbtxt = """
model_specs {
label_key: "%s"
}
metrics_specs {
metrics {
class_name: "FairnessIndicators"
config: '{ "thresholds": [0.1, 0.3, 0.5, 0.7, 0.9] }'
}
}
slicing_specs {} # overall slice
slicing_specs {
feature_keys: ["%s"]
}
options {
compute_confidence_intervals { value: %s }
disabled_outputs { values: "analysis" }
}
""" % (LABEL, slice_selection, compute_confidence_intervals)
eval_config = text_format.Parse(eval_config_pbtxt, tfma.EvalConfig())
eval_shared_model = tfma.default_eval_shared_model(
eval_saved_model_path=tfma_export_dir)
schema = text_format.Parse(
"""
tensor_representation_group {
key: ""
value {
tensor_representation {
key: "comment_text"
value {
dense_tensor {
column_name: "comment_text"
shape {}
}
}
}
}
}
feature {
name: "comment_text"
type: BYTES
}
feature {
name: "toxicity"
type: FLOAT
}
feature {
name: "sexual_orientation"
type: BYTES
}
feature {
name: "gender"
type: BYTES
}
feature {
name: "religion"
type: BYTES
}
feature {
name: "race"
type: BYTES
}
feature {
name: "disability"
type: BYTES
}
""", schema_pb2.Schema())
tfxio = tf_example_record.TFExampleRecord(
file_pattern=validate_tf_file,
schema=schema,
raw_record_column_name=tfma.ARROW_INPUT_COLUMN)
tensor_adapter_config = tensor_adapter.TensorAdapterConfig(
arrow_schema=tfxio.ArrowSchema(),
tensor_representations=tfxio.TensorRepresentations())
with beam.Pipeline() as pipeline:
(pipeline
| 'ReadFromTFRecordToArrow' >> tfxio.BeamSource()
| 'ExtractEvaluateAndWriteResults' >> tfma.ExtractEvaluateAndWriteResults(
eval_config=eval_config,
eval_shared_model=eval_shared_model,
output_path=tfma_eval_result_path,
tensor_adapter_config=tensor_adapter_config))
eval_result = tfma.load_eval_result(output_path=tfma_eval_result_path)
Slice selection: sexual_orientation Compute confidence intervals: False WARNING:root:Make sure that locally built Python SDK docker image has Python 3.7 interpreter. WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.7/site-packages/tensorflow_model_analysis/eval_saved_model/load.py:169: load (from tensorflow.python.saved_model.loader_impl) is deprecated and will be removed in a future version. Instructions for updating: This function will only be available through the v1 compatibility library as tf.compat.v1.saved_model.loader.load or tf.compat.v1.saved_model.load. There will be a new function for importing SavedModels in Tensorflow 2.0. WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.7/site-packages/tensorflow_model_analysis/eval_saved_model/load.py:169: load (from tensorflow.python.saved_model.loader_impl) is deprecated and will be removed in a future version. Instructions for updating: This function will only be available through the v1 compatibility library as tf.compat.v1.saved_model.loader.load or tf.compat.v1.saved_model.load. There will be a new function for importing SavedModels in Tensorflow 2.0. INFO:tensorflow:Restoring parameters from /tmp/tfma_eval_model/1632430239/variables/variables INFO:tensorflow:Restoring parameters from /tmp/tfma_eval_model/1632430239/variables/variables WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.7/site-packages/tensorflow_model_analysis/eval_saved_model/graph_ref.py:189: get_tensor_from_tensor_info (from tensorflow.python.saved_model.utils_impl) is deprecated and will be removed in a future version. Instructions for updating: This function will only be available through the v1 compatibility library as tf.compat.v1.saved_model.utils.get_tensor_from_tensor_info or tf.compat.v1.saved_model.get_tensor_from_tensor_info. WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.7/site-packages/tensorflow_model_analysis/eval_saved_model/graph_ref.py:189: get_tensor_from_tensor_info (from tensorflow.python.saved_model.utils_impl) is deprecated and will be removed in a future version. Instructions for updating: This function will only be available through the v1 compatibility library as tf.compat.v1.saved_model.utils.get_tensor_from_tensor_info or tf.compat.v1.saved_model.get_tensor_from_tensor_info. WARNING:apache_beam.io.filebasedsink:Deleting 1 existing files in target path matching: WARNING:apache_beam.io.filebasedsink:Deleting 1 existing files in target path matching: WARNING:apache_beam.io.filebasedsink:Deleting 1 existing files in target path matching:
تصور البيانات باستخدام أداة ماذا لو
في هذا القسم ، ستستخدم الواجهة المرئية التفاعلية لأداة What-If Tool لاستكشاف البيانات ومعالجتها على المستوى الجزئي.
تمثل كل نقطة في مخطط التبعثر على اللوحة اليمنى أحد الأمثلة الموجودة في المجموعة الفرعية التي تم تحميلها في الأداة. انقر فوق إحدى النقاط للاطلاع على تفاصيل حول هذا المثال المحدد في اللوحة اليمنى. يتم عرض نص التعليق ، وسمية الحقيقة الأساسية ، والهويات القابلة للتطبيق. في الجزء السفلي من هذه اللوحة اليمنى ، ترى نتائج الاستدلال من النموذج الذي قمت بتدريبه للتو.
تعديل نص المثال ومن ثم انقر فوق الزر تشغيل الاستدلال لعرض كيف تسببت التغييرات التنبؤ سمية ينظر إلى التغيير.
DEFAULT_MAX_EXAMPLES = 1000
# Load 100000 examples in memory. When first rendered,
# What-If Tool should only display 1000 of these due to browser constraints.
def wit_dataset(file, num_examples=100000):
dataset = tf.data.TFRecordDataset(
filenames=[file]).take(num_examples)
return [tf.train.Example.FromString(d.numpy()) for d in dataset]
wit_data = wit_dataset(train_tf_file)
config_builder = WitConfigBuilder(wit_data[:DEFAULT_MAX_EXAMPLES]).set_estimator_and_feature_spec(
classifier, FEATURE_MAP).set_label_vocab(['non-toxicity', LABEL]).set_target_feature(LABEL)
wit = WitWidget(config_builder)
تقديم مؤشرات الإنصاف
عرض أداة مؤشرات الإنصاف مع نتائج التقييم المصدرة.
أدناه سترى مخططات شريطية تعرض أداء كل شريحة من البيانات في المقاييس المحددة. يمكنك ضبط شريحة المقارنة الأساسية وكذلك الحد (العتبات) المعروضة باستخدام القوائم المنسدلة في الجزء العلوي من التمثيل البصري.
تم دمج عنصر واجهة مستخدم مؤشر الإنصاف مع أداة What-If المقدمة أعلاه. إذا حددت شريحة واحدة من البيانات في المخطط الشريطي ، فسيتم تحديث أداة What-If لتعرض لك أمثلة من الشريحة المحددة. عندما تعيد تحميل البيانات في أداة ماذا لو أعلاه، محاولة تعديل اللون بواسطة سمية. يمكن أن يمنحك هذا فهمًا مرئيًا لتوازن السمية للأمثلة حسب الشريحة.
event_handlers={'slice-selected':
wit.create_selection_callback(wit_data, DEFAULT_MAX_EXAMPLES)}
widget_view.render_fairness_indicator(eval_result=eval_result,
slicing_column=slice_selection,
event_handlers=event_handlers
)
FairnessIndicatorViewer(slicingMetrics=[{'sliceValue': 'Overall', 'slice': 'Overall', 'metrics': {'prediction/…
من خلال مجموعة البيانات والمهمة هذه ، يمكن أن تؤدي المعدلات السلبية الخاطئة والإيجابية الزائفة الأعلى بشكل منهجي لهويات معينة إلى عواقب سلبية. على سبيل المثال ، في نظام تعديل المحتوى ، يمكن أن يؤدي المعدل الإيجابي الخاطئ الأعلى من الإجمالي لمجموعة معينة إلى إسكات تلك الأصوات. وبالتالي ، من المهم تقييم هذه الأنواع من المعايير بانتظام أثناء تطوير النماذج وتحسينها ، واستخدام أدوات مثل مؤشرات الإنصاف و TFDV و WIT للمساعدة في إلقاء الضوء على المشكلات المحتملة. بمجرد تحديد مشكلات الإنصاف ، يمكنك تجربة مصادر بيانات جديدة أو موازنة البيانات أو أساليب أخرى لتحسين الأداء في المجموعات ضعيفة الأداء.
انظر هنا لمزيد من المعلومات والإرشادات حول كيفية استخدام المؤشرات الإنصاف.
استخدام نتائج تقييم الإنصاف
و eval_result الكائن، أصدرت أعلاه في render_fairness_indicator() ، وقد API الخاصة به التي يمكنك الاستفادة منها لقراءة النتائج TFMA في البرامج الخاصة بك.
احصل على شرائح ومقاييس تم تقييمها
استخدام get_slice_names() و get_metric_names() للحصول على شرائح والمقاييس تقييمها، على التوالي.
pp = pprint.PrettyPrinter()
print("Slices:")
pp.pprint(eval_result.get_slice_names())
print("\nMetrics:")
pp.pprint(eval_result.get_metric_names())
Slices:
[(),
(('sexual_orientation', 'homosexual_gay_or_lesbian'),),
(('sexual_orientation', 'heterosexual'),),
(('sexual_orientation', 'bisexual'),),
(('sexual_orientation', 'other_sexual_orientation'),)]
Metrics:
['fairness_indicators_metrics/negative_rate@0.1',
'fairness_indicators_metrics/positive_rate@0.7',
'fairness_indicators_metrics/false_discovery_rate@0.9',
'fairness_indicators_metrics/false_negative_rate@0.3',
'fairness_indicators_metrics/false_omission_rate@0.1',
'accuracy',
'fairness_indicators_metrics/false_discovery_rate@0.7',
'fairness_indicators_metrics/false_negative_rate@0.7',
'label/mean',
'fairness_indicators_metrics/true_positive_rate@0.5',
'fairness_indicators_metrics/false_positive_rate@0.1',
'recall',
'fairness_indicators_metrics/false_omission_rate@0.7',
'fairness_indicators_metrics/false_positive_rate@0.7',
'auc_precision_recall',
'fairness_indicators_metrics/negative_rate@0.7',
'fairness_indicators_metrics/negative_rate@0.3',
'fairness_indicators_metrics/false_discovery_rate@0.3',
'fairness_indicators_metrics/true_negative_rate@0.9',
'fairness_indicators_metrics/false_omission_rate@0.3',
'fairness_indicators_metrics/false_negative_rate@0.1',
'fairness_indicators_metrics/true_negative_rate@0.3',
'fairness_indicators_metrics/true_positive_rate@0.7',
'fairness_indicators_metrics/false_positive_rate@0.3',
'fairness_indicators_metrics/true_positive_rate@0.1',
'fairness_indicators_metrics/true_positive_rate@0.9',
'fairness_indicators_metrics/false_negative_rate@0.9',
'fairness_indicators_metrics/positive_rate@0.5',
'fairness_indicators_metrics/positive_rate@0.9',
'fairness_indicators_metrics/negative_rate@0.9',
'fairness_indicators_metrics/true_negative_rate@0.1',
'fairness_indicators_metrics/false_omission_rate@0.5',
'post_export_metrics/example_count',
'fairness_indicators_metrics/false_omission_rate@0.9',
'fairness_indicators_metrics/negative_rate@0.5',
'fairness_indicators_metrics/false_positive_rate@0.5',
'fairness_indicators_metrics/positive_rate@0.3',
'prediction/mean',
'accuracy_baseline',
'fairness_indicators_metrics/true_negative_rate@0.5',
'fairness_indicators_metrics/false_discovery_rate@0.5',
'fairness_indicators_metrics/false_discovery_rate@0.1',
'precision',
'fairness_indicators_metrics/false_positive_rate@0.9',
'fairness_indicators_metrics/true_positive_rate@0.3',
'auc',
'average_loss',
'fairness_indicators_metrics/positive_rate@0.1',
'fairness_indicators_metrics/false_negative_rate@0.5',
'fairness_indicators_metrics/true_negative_rate@0.7']
استخدام get_metrics_for_slice() للحصول على قياسات لشريحة معينة باعتبارها القاموس رسم الخرائط أسماء متري إلى القيم متري .
baseline_slice = ()
heterosexual_slice = (('sexual_orientation', 'heterosexual'),)
print("Baseline metric values:")
pp.pprint(eval_result.get_metrics_for_slice(baseline_slice))
print("\nHeterosexual metric values:")
pp.pprint(eval_result.get_metrics_for_slice(heterosexual_slice))
Baseline metric values:
{'accuracy': {'doubleValue': 0.7174859642982483},
'accuracy_baseline': {'doubleValue': 0.9198060631752014},
'auc': {'doubleValue': 0.796409547328949},
'auc_precision_recall': {'doubleValue': 0.3000231087207794},
'average_loss': {'doubleValue': 0.5615971088409424},
'fairness_indicators_metrics/false_discovery_rate@0.1': {'doubleValue': 0.9139404145348933},
'fairness_indicators_metrics/false_discovery_rate@0.3': {'doubleValue': 0.8796606156634021},
'fairness_indicators_metrics/false_discovery_rate@0.5': {'doubleValue': 0.816806708107944},
'fairness_indicators_metrics/false_discovery_rate@0.7': {'doubleValue': 0.7090802784427505},
'fairness_indicators_metrics/false_discovery_rate@0.9': {'doubleValue': 0.4814937210839392},
'fairness_indicators_metrics/false_negative_rate@0.1': {'doubleValue': 0.006079867348348763},
'fairness_indicators_metrics/false_negative_rate@0.3': {'doubleValue': 0.08696628437197734},
'fairness_indicators_metrics/false_negative_rate@0.5': {'doubleValue': 0.2705713693519414},
'fairness_indicators_metrics/false_negative_rate@0.7': {'doubleValue': 0.5445108470360647},
'fairness_indicators_metrics/false_negative_rate@0.9': {'doubleValue': 0.891598728755009},
'fairness_indicators_metrics/false_omission_rate@0.1': {'doubleValue': 0.006604499315158452},
'fairness_indicators_metrics/false_omission_rate@0.3': {'doubleValue': 0.017811407791031682},
'fairness_indicators_metrics/false_omission_rate@0.5': {'doubleValue': 0.03187681488249431},
'fairness_indicators_metrics/false_omission_rate@0.7': {'doubleValue': 0.04993640137936933},
'fairness_indicators_metrics/false_omission_rate@0.9': {'doubleValue': 0.07271999842219298},
'fairness_indicators_metrics/false_positive_rate@0.1': {'doubleValue': 0.9202700382800194},
'fairness_indicators_metrics/false_positive_rate@0.3': {'doubleValue': 0.5818879187535954},
'fairness_indicators_metrics/false_positive_rate@0.5': {'doubleValue': 0.28355525303665063},
'fairness_indicators_metrics/false_positive_rate@0.7': {'doubleValue': 0.09679333307231039},
'fairness_indicators_metrics/false_positive_rate@0.9': {'doubleValue': 0.00877639469079322},
'fairness_indicators_metrics/negative_rate@0.1': {'doubleValue': 0.07382367199944595},
'fairness_indicators_metrics/negative_rate@0.3': {'doubleValue': 0.39155620195304386},
'fairness_indicators_metrics/negative_rate@0.5': {'doubleValue': 0.6806884133250225},
'fairness_indicators_metrics/negative_rate@0.7': {'doubleValue': 0.8744414433132488},
'fairness_indicators_metrics/negative_rate@0.9': {'doubleValue': 0.9832342960038783},
'fairness_indicators_metrics/positive_rate@0.1': {'doubleValue': 0.926176328000554},
'fairness_indicators_metrics/positive_rate@0.3': {'doubleValue': 0.6084437980469561},
'fairness_indicators_metrics/positive_rate@0.5': {'doubleValue': 0.3193115866749775},
'fairness_indicators_metrics/positive_rate@0.7': {'doubleValue': 0.12555855668675117},
'fairness_indicators_metrics/positive_rate@0.9': {'doubleValue': 0.016765703996121616},
'fairness_indicators_metrics/true_negative_rate@0.1': {'doubleValue': 0.0797299617199806},
'fairness_indicators_metrics/true_negative_rate@0.3': {'doubleValue': 0.41811208124640464},
'fairness_indicators_metrics/true_negative_rate@0.5': {'doubleValue': 0.7164447469633494},
'fairness_indicators_metrics/true_negative_rate@0.7': {'doubleValue': 0.9032066669276896},
'fairness_indicators_metrics/true_negative_rate@0.9': {'doubleValue': 0.9912236053092068},
'fairness_indicators_metrics/true_positive_rate@0.1': {'doubleValue': 0.9939201326516512},
'fairness_indicators_metrics/true_positive_rate@0.3': {'doubleValue': 0.9130337156280227},
'fairness_indicators_metrics/true_positive_rate@0.5': {'doubleValue': 0.7294286306480586},
'fairness_indicators_metrics/true_positive_rate@0.7': {'doubleValue': 0.45548915296393533},
'fairness_indicators_metrics/true_positive_rate@0.9': {'doubleValue': 0.10840127124499102},
'label/mean': {'doubleValue': 0.08019392192363739},
'post_export_metrics/example_count': {'doubleValue': 721950.0},
'precision': {'doubleValue': 0.18319329619407654},
'prediction/mean': {'doubleValue': 0.3998037576675415},
'recall': {'doubleValue': 0.7294286489486694} }
Heterosexual metric values:
{'accuracy': {'doubleValue': 0.5203251838684082},
'accuracy_baseline': {'doubleValue': 0.7601625919342041},
'auc': {'doubleValue': 0.6672822833061218},
'auc_precision_recall': {'doubleValue': 0.4065391719341278},
'average_loss': {'doubleValue': 0.8273133039474487},
'fairness_indicators_metrics/false_discovery_rate@0.1': {'doubleValue': 0.7541666666666667},
'fairness_indicators_metrics/false_discovery_rate@0.3': {'doubleValue': 0.7272727272727273},
'fairness_indicators_metrics/false_discovery_rate@0.5': {'doubleValue': 0.7062937062937062},
'fairness_indicators_metrics/false_discovery_rate@0.7': {'doubleValue': 0.655367231638418},
'fairness_indicators_metrics/false_discovery_rate@0.9': {'doubleValue': 0.4473684210526316},
'fairness_indicators_metrics/false_negative_rate@0.1': {'doubleValue': 0.0},
'fairness_indicators_metrics/false_negative_rate@0.3': {'doubleValue': 0.0847457627118644},
'fairness_indicators_metrics/false_negative_rate@0.5': {'doubleValue': 0.288135593220339},
'fairness_indicators_metrics/false_negative_rate@0.7': {'doubleValue': 0.4830508474576271},
'fairness_indicators_metrics/false_negative_rate@0.9': {'doubleValue': 0.8220338983050848},
'fairness_indicators_metrics/false_omission_rate@0.1': {'doubleValue': 0.0},
'fairness_indicators_metrics/false_omission_rate@0.3': {'doubleValue': 0.10416666666666667},
'fairness_indicators_metrics/false_omission_rate@0.5': {'doubleValue': 0.1650485436893204},
'fairness_indicators_metrics/false_omission_rate@0.7': {'doubleValue': 0.18095238095238095},
'fairness_indicators_metrics/false_omission_rate@0.9': {'doubleValue': 0.21365638766519823},
'fairness_indicators_metrics/false_positive_rate@0.1': {'doubleValue': 0.9679144385026738},
'fairness_indicators_metrics/false_positive_rate@0.3': {'doubleValue': 0.7700534759358288},
'fairness_indicators_metrics/false_positive_rate@0.5': {'doubleValue': 0.5401069518716578},
'fairness_indicators_metrics/false_positive_rate@0.7': {'doubleValue': 0.31016042780748665},
'fairness_indicators_metrics/false_positive_rate@0.9': {'doubleValue': 0.045454545454545456},
'fairness_indicators_metrics/negative_rate@0.1': {'doubleValue': 0.024390243902439025},
'fairness_indicators_metrics/negative_rate@0.3': {'doubleValue': 0.1951219512195122},
'fairness_indicators_metrics/negative_rate@0.5': {'doubleValue': 0.4186991869918699},
'fairness_indicators_metrics/negative_rate@0.7': {'doubleValue': 0.6402439024390244},
'fairness_indicators_metrics/negative_rate@0.9': {'doubleValue': 0.9227642276422764},
'fairness_indicators_metrics/positive_rate@0.1': {'doubleValue': 0.975609756097561},
'fairness_indicators_metrics/positive_rate@0.3': {'doubleValue': 0.8048780487804879},
'fairness_indicators_metrics/positive_rate@0.5': {'doubleValue': 0.5813008130081301},
'fairness_indicators_metrics/positive_rate@0.7': {'doubleValue': 0.3597560975609756},
'fairness_indicators_metrics/positive_rate@0.9': {'doubleValue': 0.07723577235772358},
'fairness_indicators_metrics/true_negative_rate@0.1': {'doubleValue': 0.03208556149732621},
'fairness_indicators_metrics/true_negative_rate@0.3': {'doubleValue': 0.22994652406417113},
'fairness_indicators_metrics/true_negative_rate@0.5': {'doubleValue': 0.45989304812834225},
'fairness_indicators_metrics/true_negative_rate@0.7': {'doubleValue': 0.6898395721925134},
'fairness_indicators_metrics/true_negative_rate@0.9': {'doubleValue': 0.9545454545454546},
'fairness_indicators_metrics/true_positive_rate@0.1': {'doubleValue': 1.0},
'fairness_indicators_metrics/true_positive_rate@0.3': {'doubleValue': 0.9152542372881356},
'fairness_indicators_metrics/true_positive_rate@0.5': {'doubleValue': 0.711864406779661},
'fairness_indicators_metrics/true_positive_rate@0.7': {'doubleValue': 0.5169491525423728},
'fairness_indicators_metrics/true_positive_rate@0.9': {'doubleValue': 0.17796610169491525},
'label/mean': {'doubleValue': 0.2398373931646347},
'post_export_metrics/example_count': {'doubleValue': 492.0},
'precision': {'doubleValue': 0.2937062978744507},
'prediction/mean': {'doubleValue': 0.5578703880310059},
'recall': {'doubleValue': 0.7118644118309021} }
استخدام get_metrics_for_all_slices() للحصول على قياسات لجميع شرائح كما تعيين القاموس كل شريحة إلى مقاييس المقابلة قاموس تحصل عليها من تشغيل get_metrics_for_slice() على ذلك.
pp.pprint(eval_result.get_metrics_for_all_slices())
{(): {'accuracy': {'doubleValue': 0.7174859642982483},
'accuracy_baseline': {'doubleValue': 0.9198060631752014},
'auc': {'doubleValue': 0.796409547328949},
'auc_precision_recall': {'doubleValue': 0.3000231087207794},
'average_loss': {'doubleValue': 0.5615971088409424},
'fairness_indicators_metrics/false_discovery_rate@0.1': {'doubleValue': 0.9139404145348933},
'fairness_indicators_metrics/false_discovery_rate@0.3': {'doubleValue': 0.8796606156634021},
'fairness_indicators_metrics/false_discovery_rate@0.5': {'doubleValue': 0.816806708107944},
'fairness_indicators_metrics/false_discovery_rate@0.7': {'doubleValue': 0.7090802784427505},
'fairness_indicators_metrics/false_discovery_rate@0.9': {'doubleValue': 0.4814937210839392},
'fairness_indicators_metrics/false_negative_rate@0.1': {'doubleValue': 0.006079867348348763},
'fairness_indicators_metrics/false_negative_rate@0.3': {'doubleValue': 0.08696628437197734},
'fairness_indicators_metrics/false_negative_rate@0.5': {'doubleValue': 0.2705713693519414},
'fairness_indicators_metrics/false_negative_rate@0.7': {'doubleValue': 0.5445108470360647},
'fairness_indicators_metrics/false_negative_rate@0.9': {'doubleValue': 0.891598728755009},
'fairness_indicators_metrics/false_omission_rate@0.1': {'doubleValue': 0.006604499315158452},
'fairness_indicators_metrics/false_omission_rate@0.3': {'doubleValue': 0.017811407791031682},
'fairness_indicators_metrics/false_omission_rate@0.5': {'doubleValue': 0.03187681488249431},
'fairness_indicators_metrics/false_omission_rate@0.7': {'doubleValue': 0.04993640137936933},
'fairness_indicators_metrics/false_omission_rate@0.9': {'doubleValue': 0.07271999842219298},
'fairness_indicators_metrics/false_positive_rate@0.1': {'doubleValue': 0.9202700382800194},
'fairness_indicators_metrics/false_positive_rate@0.3': {'doubleValue': 0.5818879187535954},
'fairness_indicators_metrics/false_positive_rate@0.5': {'doubleValue': 0.28355525303665063},
'fairness_indicators_metrics/false_positive_rate@0.7': {'doubleValue': 0.09679333307231039},
'fairness_indicators_metrics/false_positive_rate@0.9': {'doubleValue': 0.00877639469079322},
'fairness_indicators_metrics/negative_rate@0.1': {'doubleValue': 0.07382367199944595},
'fairness_indicators_metrics/negative_rate@0.3': {'doubleValue': 0.39155620195304386},
'fairness_indicators_metrics/negative_rate@0.5': {'doubleValue': 0.6806884133250225},
'fairness_indicators_metrics/negative_rate@0.7': {'doubleValue': 0.8744414433132488},
'fairness_indicators_metrics/negative_rate@0.9': {'doubleValue': 0.9832342960038783},
'fairness_indicators_metrics/positive_rate@0.1': {'doubleValue': 0.926176328000554},
'fairness_indicators_metrics/positive_rate@0.3': {'doubleValue': 0.6084437980469561},
'fairness_indicators_metrics/positive_rate@0.5': {'doubleValue': 0.3193115866749775},
'fairness_indicators_metrics/positive_rate@0.7': {'doubleValue': 0.12555855668675117},
'fairness_indicators_metrics/positive_rate@0.9': {'doubleValue': 0.016765703996121616},
'fairness_indicators_metrics/true_negative_rate@0.1': {'doubleValue': 0.0797299617199806},
'fairness_indicators_metrics/true_negative_rate@0.3': {'doubleValue': 0.41811208124640464},
'fairness_indicators_metrics/true_negative_rate@0.5': {'doubleValue': 0.7164447469633494},
'fairness_indicators_metrics/true_negative_rate@0.7': {'doubleValue': 0.9032066669276896},
'fairness_indicators_metrics/true_negative_rate@0.9': {'doubleValue': 0.9912236053092068},
'fairness_indicators_metrics/true_positive_rate@0.1': {'doubleValue': 0.9939201326516512},
'fairness_indicators_metrics/true_positive_rate@0.3': {'doubleValue': 0.9130337156280227},
'fairness_indicators_metrics/true_positive_rate@0.5': {'doubleValue': 0.7294286306480586},
'fairness_indicators_metrics/true_positive_rate@0.7': {'doubleValue': 0.45548915296393533},
'fairness_indicators_metrics/true_positive_rate@0.9': {'doubleValue': 0.10840127124499102},
'label/mean': {'doubleValue': 0.08019392192363739},
'post_export_metrics/example_count': {'doubleValue': 721950.0},
'precision': {'doubleValue': 0.18319329619407654},
'prediction/mean': {'doubleValue': 0.3998037576675415},
'recall': {'doubleValue': 0.7294286489486694} },
(('sexual_orientation', 'bisexual'),): {'accuracy': {'doubleValue': 0.5258620977401733},
'accuracy_baseline': {'doubleValue': 0.8017241358757019},
'auc': {'doubleValue': 0.6252922415733337},
'auc_precision_recall': {'doubleValue': 0.3546649217605591},
'average_loss': {'doubleValue': 0.7461641430854797},
'fairness_indicators_metrics/false_discovery_rate@0.1': {'doubleValue': 0.7870370370370371},
'fairness_indicators_metrics/false_discovery_rate@0.3': {'doubleValue': 0.7816091954022989},
'fairness_indicators_metrics/false_discovery_rate@0.5': {'doubleValue': 0.7666666666666667},
'fairness_indicators_metrics/false_discovery_rate@0.7': {'doubleValue': 0.7037037037037037},
'fairness_indicators_metrics/false_discovery_rate@0.9': {'doubleValue': 0.0},
'fairness_indicators_metrics/false_negative_rate@0.1': {'doubleValue': 0.0},
'fairness_indicators_metrics/false_negative_rate@0.3': {'doubleValue': 0.17391304347826086},
'fairness_indicators_metrics/false_negative_rate@0.5': {'doubleValue': 0.391304347826087},
'fairness_indicators_metrics/false_negative_rate@0.7': {'doubleValue': 0.6521739130434783},
'fairness_indicators_metrics/false_negative_rate@0.9': {'doubleValue': 0.9130434782608695},
'fairness_indicators_metrics/false_omission_rate@0.1': {'doubleValue': 0.0},
'fairness_indicators_metrics/false_omission_rate@0.3': {'doubleValue': 0.13793103448275862},
'fairness_indicators_metrics/false_omission_rate@0.5': {'doubleValue': 0.16071428571428573},
'fairness_indicators_metrics/false_omission_rate@0.7': {'doubleValue': 0.16853932584269662},
'fairness_indicators_metrics/false_omission_rate@0.9': {'doubleValue': 0.18421052631578946},
'fairness_indicators_metrics/false_positive_rate@0.1': {'doubleValue': 0.9139784946236559},
'fairness_indicators_metrics/false_positive_rate@0.3': {'doubleValue': 0.7311827956989247},
'fairness_indicators_metrics/false_positive_rate@0.5': {'doubleValue': 0.4946236559139785},
'fairness_indicators_metrics/false_positive_rate@0.7': {'doubleValue': 0.20430107526881722},
'fairness_indicators_metrics/false_positive_rate@0.9': {'doubleValue': 0.0},
'fairness_indicators_metrics/negative_rate@0.1': {'doubleValue': 0.06896551724137931},
'fairness_indicators_metrics/negative_rate@0.3': {'doubleValue': 0.25},
'fairness_indicators_metrics/negative_rate@0.5': {'doubleValue': 0.4827586206896552},
'fairness_indicators_metrics/negative_rate@0.7': {'doubleValue': 0.7672413793103449},
'fairness_indicators_metrics/negative_rate@0.9': {'doubleValue': 0.9827586206896551},
'fairness_indicators_metrics/positive_rate@0.1': {'doubleValue': 0.9310344827586207},
'fairness_indicators_metrics/positive_rate@0.3': {'doubleValue': 0.75},
'fairness_indicators_metrics/positive_rate@0.5': {'doubleValue': 0.5172413793103449},
'fairness_indicators_metrics/positive_rate@0.7': {'doubleValue': 0.23275862068965517},
'fairness_indicators_metrics/positive_rate@0.9': {'doubleValue': 0.017241379310344827},
'fairness_indicators_metrics/true_negative_rate@0.1': {'doubleValue': 0.08602150537634409},
'fairness_indicators_metrics/true_negative_rate@0.3': {'doubleValue': 0.26881720430107525},
'fairness_indicators_metrics/true_negative_rate@0.5': {'doubleValue': 0.5053763440860215},
'fairness_indicators_metrics/true_negative_rate@0.7': {'doubleValue': 0.7956989247311828},
'fairness_indicators_metrics/true_negative_rate@0.9': {'doubleValue': 1.0},
'fairness_indicators_metrics/true_positive_rate@0.1': {'doubleValue': 1.0},
'fairness_indicators_metrics/true_positive_rate@0.3': {'doubleValue': 0.8260869565217391},
'fairness_indicators_metrics/true_positive_rate@0.5': {'doubleValue': 0.6086956521739131},
'fairness_indicators_metrics/true_positive_rate@0.7': {'doubleValue': 0.34782608695652173},
'fairness_indicators_metrics/true_positive_rate@0.9': {'doubleValue': 0.08695652173913043},
'label/mean': {'doubleValue': 0.1982758641242981},
'post_export_metrics/example_count': {'doubleValue': 116.0},
'precision': {'doubleValue': 0.23333333432674408},
'prediction/mean': {'doubleValue': 0.4908219575881958},
'recall': {'doubleValue': 0.6086956262588501} },
(('sexual_orientation', 'heterosexual'),): {'accuracy': {'doubleValue': 0.5203251838684082},
'accuracy_baseline': {'doubleValue': 0.7601625919342041},
'auc': {'doubleValue': 0.6672822833061218},
'auc_precision_recall': {'doubleValue': 0.4065391719341278},
'average_loss': {'doubleValue': 0.8273133039474487},
'fairness_indicators_metrics/false_discovery_rate@0.1': {'doubleValue': 0.7541666666666667},
'fairness_indicators_metrics/false_discovery_rate@0.3': {'doubleValue': 0.7272727272727273},
'fairness_indicators_metrics/false_discovery_rate@0.5': {'doubleValue': 0.7062937062937062},
'fairness_indicators_metrics/false_discovery_rate@0.7': {'doubleValue': 0.655367231638418},
'fairness_indicators_metrics/false_discovery_rate@0.9': {'doubleValue': 0.4473684210526316},
'fairness_indicators_metrics/false_negative_rate@0.1': {'doubleValue': 0.0},
'fairness_indicators_metrics/false_negative_rate@0.3': {'doubleValue': 0.0847457627118644},
'fairness_indicators_metrics/false_negative_rate@0.5': {'doubleValue': 0.288135593220339},
'fairness_indicators_metrics/false_negative_rate@0.7': {'doubleValue': 0.4830508474576271},
'fairness_indicators_metrics/false_negative_rate@0.9': {'doubleValue': 0.8220338983050848},
'fairness_indicators_metrics/false_omission_rate@0.1': {'doubleValue': 0.0},
'fairness_indicators_metrics/false_omission_rate@0.3': {'doubleValue': 0.10416666666666667},
'fairness_indicators_metrics/false_omission_rate@0.5': {'doubleValue': 0.1650485436893204},
'fairness_indicators_metrics/false_omission_rate@0.7': {'doubleValue': 0.18095238095238095},
'fairness_indicators_metrics/false_omission_rate@0.9': {'doubleValue': 0.21365638766519823},
'fairness_indicators_metrics/false_positive_rate@0.1': {'doubleValue': 0.9679144385026738},
'fairness_indicators_metrics/false_positive_rate@0.3': {'doubleValue': 0.7700534759358288},
'fairness_indicators_metrics/false_positive_rate@0.5': {'doubleValue': 0.5401069518716578},
'fairness_indicators_metrics/false_positive_rate@0.7': {'doubleValue': 0.31016042780748665},
'fairness_indicators_metrics/false_positive_rate@0.9': {'doubleValue': 0.045454545454545456},
'fairness_indicators_metrics/negative_rate@0.1': {'doubleValue': 0.024390243902439025},
'fairness_indicators_metrics/negative_rate@0.3': {'doubleValue': 0.1951219512195122},
'fairness_indicators_metrics/negative_rate@0.5': {'doubleValue': 0.4186991869918699},
'fairness_indicators_metrics/negative_rate@0.7': {'doubleValue': 0.6402439024390244},
'fairness_indicators_metrics/negative_rate@0.9': {'doubleValue': 0.9227642276422764},
'fairness_indicators_metrics/positive_rate@0.1': {'doubleValue': 0.975609756097561},
'fairness_indicators_metrics/positive_rate@0.3': {'doubleValue': 0.8048780487804879},
'fairness_indicators_metrics/positive_rate@0.5': {'doubleValue': 0.5813008130081301},
'fairness_indicators_metrics/positive_rate@0.7': {'doubleValue': 0.3597560975609756},
'fairness_indicators_metrics/positive_rate@0.9': {'doubleValue': 0.07723577235772358},
'fairness_indicators_metrics/true_negative_rate@0.1': {'doubleValue': 0.03208556149732621},
'fairness_indicators_metrics/true_negative_rate@0.3': {'doubleValue': 0.22994652406417113},
'fairness_indicators_metrics/true_negative_rate@0.5': {'doubleValue': 0.45989304812834225},
'fairness_indicators_metrics/true_negative_rate@0.7': {'doubleValue': 0.6898395721925134},
'fairness_indicators_metrics/true_negative_rate@0.9': {'doubleValue': 0.9545454545454546},
'fairness_indicators_metrics/true_positive_rate@0.1': {'doubleValue': 1.0},
'fairness_indicators_metrics/true_positive_rate@0.3': {'doubleValue': 0.9152542372881356},
'fairness_indicators_metrics/true_positive_rate@0.5': {'doubleValue': 0.711864406779661},
'fairness_indicators_metrics/true_positive_rate@0.7': {'doubleValue': 0.5169491525423728},
'fairness_indicators_metrics/true_positive_rate@0.9': {'doubleValue': 0.17796610169491525},
'label/mean': {'doubleValue': 0.2398373931646347},
'post_export_metrics/example_count': {'doubleValue': 492.0},
'precision': {'doubleValue': 0.2937062978744507},
'prediction/mean': {'doubleValue': 0.5578703880310059},
'recall': {'doubleValue': 0.7118644118309021} },
(('sexual_orientation', 'homosexual_gay_or_lesbian'),): {'accuracy': {'doubleValue': 0.5851936340332031},
'accuracy_baseline': {'doubleValue': 0.7182232141494751},
'auc': {'doubleValue': 0.7057511806488037},
'auc_precision_recall': {'doubleValue': 0.469566285610199},
'average_loss': {'doubleValue': 0.7369641661643982},
'fairness_indicators_metrics/false_discovery_rate@0.1': {'doubleValue': 0.7107050831576481},
'fairness_indicators_metrics/false_discovery_rate@0.3': {'doubleValue': 0.6717557251908397},
'fairness_indicators_metrics/false_discovery_rate@0.5': {'doubleValue': 0.6172690763052209},
'fairness_indicators_metrics/false_discovery_rate@0.7': {'doubleValue': 0.5427319211102994},
'fairness_indicators_metrics/false_discovery_rate@0.9': {'doubleValue': 0.4092664092664093},
'fairness_indicators_metrics/false_negative_rate@0.1': {'doubleValue': 0.0016168148746968471},
'fairness_indicators_metrics/false_negative_rate@0.3': {'doubleValue': 0.06143896523848019},
'fairness_indicators_metrics/false_negative_rate@0.5': {'doubleValue': 0.22958771220695232},
'fairness_indicators_metrics/false_negative_rate@0.7': {'doubleValue': 0.4939369442198868},
'fairness_indicators_metrics/false_negative_rate@0.9': {'doubleValue': 0.8763136620856912},
'fairness_indicators_metrics/false_omission_rate@0.1': {'doubleValue': 0.01652892561983471},
'fairness_indicators_metrics/false_omission_rate@0.3': {'doubleValue': 0.08909730363423213},
'fairness_indicators_metrics/false_omission_rate@0.5': {'doubleValue': 0.14947368421052631},
'fairness_indicators_metrics/false_omission_rate@0.7': {'doubleValue': 0.20225091029460443},
'fairness_indicators_metrics/false_omission_rate@0.9': {'doubleValue': 0.2624061970467199},
'fairness_indicators_metrics/false_positive_rate@0.1': {'doubleValue': 0.9622581668252458},
'fairness_indicators_metrics/false_positive_rate@0.3': {'doubleValue': 0.7535680304471931},
'fairness_indicators_metrics/false_positive_rate@0.5': {'doubleValue': 0.4874722486520774},
'fairness_indicators_metrics/false_positive_rate@0.7': {'doubleValue': 0.2356485886457342},
'fairness_indicators_metrics/false_positive_rate@0.9': {'doubleValue': 0.03361877576910879},
'fairness_indicators_metrics/negative_rate@0.1': {'doubleValue': 0.0275626423690205},
'fairness_indicators_metrics/negative_rate@0.3': {'doubleValue': 0.19430523917995443},
'fairness_indicators_metrics/negative_rate@0.5': {'doubleValue': 0.4328018223234624},
'fairness_indicators_metrics/negative_rate@0.7': {'doubleValue': 0.6881548974943053},
'fairness_indicators_metrics/negative_rate@0.9': {'doubleValue': 0.941002277904328},
'fairness_indicators_metrics/positive_rate@0.1': {'doubleValue': 0.9724373576309795},
'fairness_indicators_metrics/positive_rate@0.3': {'doubleValue': 0.8056947608200455},
'fairness_indicators_metrics/positive_rate@0.5': {'doubleValue': 0.5671981776765376},
'fairness_indicators_metrics/positive_rate@0.7': {'doubleValue': 0.31184510250569475},
'fairness_indicators_metrics/positive_rate@0.9': {'doubleValue': 0.05899772209567198},
'fairness_indicators_metrics/true_negative_rate@0.1': {'doubleValue': 0.0377418331747542},
'fairness_indicators_metrics/true_negative_rate@0.3': {'doubleValue': 0.24643196955280686},
'fairness_indicators_metrics/true_negative_rate@0.5': {'doubleValue': 0.5125277513479226},
'fairness_indicators_metrics/true_negative_rate@0.7': {'doubleValue': 0.7643514113542658},
'fairness_indicators_metrics/true_negative_rate@0.9': {'doubleValue': 0.9663812242308912},
'fairness_indicators_metrics/true_positive_rate@0.1': {'doubleValue': 0.9983831851253031},
'fairness_indicators_metrics/true_positive_rate@0.3': {'doubleValue': 0.9385610347615198},
'fairness_indicators_metrics/true_positive_rate@0.5': {'doubleValue': 0.7704122877930477},
'fairness_indicators_metrics/true_positive_rate@0.7': {'doubleValue': 0.5060630557801131},
'fairness_indicators_metrics/true_positive_rate@0.9': {'doubleValue': 0.12368633791430882},
'label/mean': {'doubleValue': 0.2817767560482025},
'post_export_metrics/example_count': {'doubleValue': 4390.0},
'precision': {'doubleValue': 0.3827309310436249},
'prediction/mean': {'doubleValue': 0.5428739786148071},
'recall': {'doubleValue': 0.770412266254425} },
(('sexual_orientation', 'other_sexual_orientation'),): {'accuracy': {'doubleValue': 0.6000000238418579},
'accuracy_baseline': {'doubleValue': 0.800000011920929},
'auc': {'doubleValue': 1.0},
'auc_precision_recall': {'doubleValue': 1.0},
'average_loss': {'doubleValue': 0.7521011829376221},
'fairness_indicators_metrics/false_discovery_rate@0.1': {'doubleValue': 0.8},
'fairness_indicators_metrics/false_discovery_rate@0.3': {'doubleValue': 0.75},
'fairness_indicators_metrics/false_discovery_rate@0.5': {'doubleValue': 0.6666666666666666},
'fairness_indicators_metrics/false_discovery_rate@0.7': {'doubleValue': 0.5},
'fairness_indicators_metrics/false_discovery_rate@0.9': {'doubleValue': 0.0},
'fairness_indicators_metrics/false_negative_rate@0.1': {'doubleValue': 0.0},
'fairness_indicators_metrics/false_negative_rate@0.3': {'doubleValue': 0.0},
'fairness_indicators_metrics/false_negative_rate@0.5': {'doubleValue': 0.0},
'fairness_indicators_metrics/false_negative_rate@0.7': {'doubleValue': 0.0},
'fairness_indicators_metrics/false_negative_rate@0.9': {'doubleValue': 0.0},
'fairness_indicators_metrics/false_omission_rate@0.1': {'doubleValue': 'NaN'},
'fairness_indicators_metrics/false_omission_rate@0.3': {'doubleValue': 0.0},
'fairness_indicators_metrics/false_omission_rate@0.5': {'doubleValue': 0.0},
'fairness_indicators_metrics/false_omission_rate@0.7': {'doubleValue': 0.0},
'fairness_indicators_metrics/false_omission_rate@0.9': {'doubleValue': 0.0},
'fairness_indicators_metrics/false_positive_rate@0.1': {'doubleValue': 1.0},
'fairness_indicators_metrics/false_positive_rate@0.3': {'doubleValue': 0.75},
'fairness_indicators_metrics/false_positive_rate@0.5': {'doubleValue': 0.5},
'fairness_indicators_metrics/false_positive_rate@0.7': {'doubleValue': 0.25},
'fairness_indicators_metrics/false_positive_rate@0.9': {'doubleValue': 0.0},
'fairness_indicators_metrics/negative_rate@0.1': {'doubleValue': 0.0},
'fairness_indicators_metrics/negative_rate@0.3': {'doubleValue': 0.2},
'fairness_indicators_metrics/negative_rate@0.5': {'doubleValue': 0.4},
'fairness_indicators_metrics/negative_rate@0.7': {'doubleValue': 0.6},
'fairness_indicators_metrics/negative_rate@0.9': {'doubleValue': 0.8},
'fairness_indicators_metrics/positive_rate@0.1': {'doubleValue': 1.0},
'fairness_indicators_metrics/positive_rate@0.3': {'doubleValue': 0.8},
'fairness_indicators_metrics/positive_rate@0.5': {'doubleValue': 0.6},
'fairness_indicators_metrics/positive_rate@0.7': {'doubleValue': 0.4},
'fairness_indicators_metrics/positive_rate@0.9': {'doubleValue': 0.2},
'fairness_indicators_metrics/true_negative_rate@0.1': {'doubleValue': 0.0},
'fairness_indicators_metrics/true_negative_rate@0.3': {'doubleValue': 0.25},
'fairness_indicators_metrics/true_negative_rate@0.5': {'doubleValue': 0.5},
'fairness_indicators_metrics/true_negative_rate@0.7': {'doubleValue': 0.75},
'fairness_indicators_metrics/true_negative_rate@0.9': {'doubleValue': 1.0},
'fairness_indicators_metrics/true_positive_rate@0.1': {'doubleValue': 1.0},
'fairness_indicators_metrics/true_positive_rate@0.3': {'doubleValue': 1.0},
'fairness_indicators_metrics/true_positive_rate@0.5': {'doubleValue': 1.0},
'fairness_indicators_metrics/true_positive_rate@0.7': {'doubleValue': 1.0},
'fairness_indicators_metrics/true_positive_rate@0.9': {'doubleValue': 1.0},
'label/mean': {'doubleValue': 0.20000000298023224},
'post_export_metrics/example_count': {'doubleValue': 5.0},
'precision': {'doubleValue': 0.3333333432674408},
'prediction/mean': {'doubleValue': 0.6101843118667603},
'recall': {'doubleValue': 1.0} } }