ارزیابی مدل‌ها با داشبورد شاخص‌های انصاف [بتا]

شاخص های انصاف

Fairness Indicators for TensorBoard محاسبات آسان معیارهای انصاف را برای طبقه‌بندی‌کننده‌های باینری و چند کلاسه ممکن می‌سازد. با این افزونه، می توانید ارزیابی های عادلانه را برای اجراهای خود تجسم کنید و به راحتی عملکرد را در گروه ها مقایسه کنید.

به طور خاص، Fairness Indicators برای TensorBoard به شما امکان می‌دهد عملکرد مدل را در گروه‌های مشخصی از کاربران ارزیابی و تجسم کنید. با فواصل اطمینان و ارزیابی در آستانه های متعدد نسبت به نتایج خود مطمئن باشید.

بسیاری از ابزارهای موجود برای ارزیابی نگرانی های انصاف در مجموعه داده ها و مدل های مقیاس بزرگ به خوبی کار نمی کنند. در گوگل برای ما مهم است که ابزارهایی داشته باشیم که بتوانند روی سیستم های میلیارد کاربر کار کنند. نشانگرهای انصاف به شما این امکان را می دهد که در هر اندازه مورد استفاده، در محیط TensorBoard یا در Colab ارزیابی کنید.

الزامات

برای نصب Fairness Indicators برای TensorBoard، اجرا کنید: 

python3 -m virtualenv ~/tensorboard_demo
source ~/tensorboard_demo/bin/activate
pip install --upgrade pip
pip install fairness_indicators
pip install tensorboard-plugin-fairness-indicators

نسخه ی نمایشی

اگر می‌خواهید شاخص‌های انصاف را در TensorBoard آزمایش کنید، می‌توانید نمونه نتایج ارزیابی مدل TensorFlow (eval_config.json، فایل‌های متریک و نمودارها) و یک ابزار demo.py را از Google Cloud Platform با استفاده از دستور زیر دانلود کنید.

pip install gsutil
gsutil cp -r gs://tensorboard_plugin_fairness_indicators/ .

به دایرکتوری حاوی فایل های دانلود شده بروید.

cd tensorboard_plugin_fairness_indicators

این داده های ارزیابی بر اساس مجموعه داده های Civil Comments است که با استفاده از کتابخانه model_eval_lib Tensorflow's Model Analysis محاسبه شده است. همچنین شامل یک نمونه فایل داده خلاصه TensorBoard برای مرجع است.

ابزار demo.py یک فایل داده خلاصه TensorBoard می نویسد که توسط TensorBoard برای نمایش داشبورد Fairness Indicators خوانده می شود (برای اطلاعات بیشتر در مورد فایل های داده خلاصه به آموزش TensorBoard مراجعه کنید).

پرچم هایی برای استفاده با ابزار demo.py :

  • --logdir : دایرکتوری که TensorBoard خلاصه را می نویسد
  • --eval_result_output_dir : فهرست حاوی نتایج ارزیابی ارزیابی شده توسط TFMA (دانلود در مرحله آخر)

ابزار demo.py را برای نوشتن نتایج خلاصه در فهرست ورود به سیستم اجرا کنید:

python demo.py --logdir=. --eval_result_output_dir=.

اجرای TensorBoard:

tensorboard --logdir=.

این یک نمونه محلی را شروع می کند. پس از شروع نمونه محلی، پیوندی به ترمینال نمایش داده می شود. برای مشاهده داشبورد Fairness Indicators پیوند را در مرورگر خود باز کنید.

دمو کولب

Fairness_Indicators_TensorBoard_Plugin_Example_Colab.ipynb شامل یک نسخه آزمایشی سرتاسر برای آموزش و ارزیابی یک مدل و تجسم نتایج ارزیابی عادلانه در TensorBoard است.

استفاده

برای استفاده از شاخص های انصاف با داده ها و ارزیابی های خود:

  1. یک مدل جدید آموزش دهید و با استفاده از tensorflow_model_analysis.run_model_analysis یا tensorflow_model_analysis.ExtractEvaluateAndWriteResult API در model_eval_lib ارزیابی کنید. برای تکه‌های کد در مورد نحوه انجام این کار، Fairness Indicators colab را اینجا ببینید.

  2. با استفاده از tensorboard_plugin_fairness_indicators.summary_v2 API خلاصه Fairness Indicators را بنویسید.

    writer = tf.summary.create_file_writer(<logdir>)
with writer.as_default():
    summary_v2.FairnessIndicators(<eval_result_dir>, step=1)
writer.close()

  3. TensorBoard را اجرا کنید

    • tensorboard --logdir=<logdir>
    • اجرای ارزیابی جدید را با استفاده از منوی کشویی در سمت چپ داشبورد برای تجسم نتایج انتخاب کنید.