Đánh giá các mô hình bằng Bảng điều khiển chỉ số công bằng [Beta]

Chỉ số công bằng

Chỉ báo công bằng cho TensorBoard cho phép dễ dàng tính toán các số liệu công bằng thường được xác định cho các bộ phân loại nhị phân và đa lớp . Với plugin này, bạn có thể trực quan hóa các đánh giá công bằng cho các lần chạy của mình và dễ dàng so sánh hiệu suất giữa các nhóm.

Đặc biệt, Chỉ báo công bằng cho TensorBoard cho phép bạn đánh giá và trực quan hóa hiệu suất của mô hình, được chia thành các nhóm người dùng được xác định. Cảm thấy tự tin về kết quả của mình với khoảng tin cậy và đánh giá ở nhiều ngưỡng.

Nhiều công cụ hiện có để đánh giá mối quan tâm về tính công bằng không hoạt động tốt trên các bộ dữ liệu và mô hình quy mô lớn. Tại Google, điều quan trọng là chúng tôi phải có những công cụ có thể hoạt động trên các hệ thống có hàng tỷ người dùng. Chỉ báo công bằng sẽ cho phép bạn đánh giá trên mọi quy mô trường hợp sử dụng, trong môi trường TensorBoard hoặc trong Colab .

Yêu cầu

Để cài đặt Chỉ báo công bằng cho TensorBoard, hãy chạy: 

python3 -m virtualenv ~/tensorboard_demo
source ~/tensorboard_demo/bin/activate
pip install --upgrade pip
pip install fairness_indicators
pip install tensorboard-plugin-fairness-indicators

Thử nghiệm

Nếu muốn kiểm tra các Chỉ báo công bằng trong TensorBoard, bạn có thể tải xuống các kết quả đánh giá mẫu Phân tích mô hình TensorFlow (eval_config.json, các tệp số liệu và biểu đồ) và tiện ích demo.py từ Google Cloud Platform, tại đây bằng cách sử dụng lệnh sau.

pip install gsutil
gsutil cp -r gs://tensorboard_plugin_fairness_indicators/ .

Điều hướng đến thư mục chứa các tập tin đã tải xuống.

cd tensorboard_plugin_fairness_indicators

Dữ liệu đánh giá này dựa trên tập dữ liệu Civil Comments , được tính toán bằng thư viện model_eval_lib của Tensorflow Model Analysis. Nó cũng chứa một tệp dữ liệu tóm tắt TensorBoard mẫu để tham khảo.

Tiện ích demo.py ghi tệp dữ liệu tóm tắt TensorBoard, tệp này sẽ được TensorBoard đọc để hiển thị bảng thông tin Chỉ báo công bằng (Xem hướng dẫn TensorBoard để biết thêm thông tin về các tệp dữ liệu tóm tắt).

Các cờ được sử dụng với tiện ích demo.py :

  • --logdir : Thư mục nơi TensorBoard sẽ viết tóm tắt
  • --eval_result_output_dir : Thư mục chứa kết quả đánh giá được TFMA đánh giá (được tải xuống ở bước cuối cùng)

Chạy tiện ích demo.py để ghi kết quả tóm tắt vào thư mục log:

python demo.py --logdir=. --eval_result_output_dir=.

Chạy TensorBoard:

tensorboard --logdir=.

Điều này sẽ bắt đầu một phiên bản cục bộ. Sau khi phiên bản cục bộ được khởi động, một liên kết sẽ được hiển thị tới thiết bị đầu cuối. Mở liên kết trong trình duyệt của bạn để xem bảng điều khiển Chỉ báo công bằng.

Bản thử nghiệm Colab

Fairness_Indicators_TensorBoard_Plugin_Example_Colab.ipynb chứa bản demo toàn diện để đào tạo và đánh giá mô hình cũng như trực quan hóa kết quả đánh giá tính công bằng trong TensorBoard.

Cách sử dụng

Để sử dụng Chỉ số Công bằng với dữ liệu và đánh giá của riêng bạn:

  1. Huấn luyện một mô hình mới và đánh giá bằng cách sử dụng tensorflow_model_analysis.run_model_analysis hoặc tensorflow_model_analysis.ExtractEvaluateAndWriteResult API trong model_eval_lib . Để biết các đoạn mã về cách thực hiện việc này, hãy xem phần cộng tác về Chỉ báo công bằng tại đây .

  2. Viết Tóm tắt về Chỉ số Công bằng bằng cách sử dụng API tensorboard_plugin_fairness_indicators.summary_v2 .

    writer = tf.summary.create_file_writer(<logdir>)
with writer.as_default():
    summary_v2.FairnessIndicators(<eval_result_dir>, step=1)
writer.close()

  3. Chạy TensorBoard

    • tensorboard --logdir=<logdir>
    • Chọn lần chạy đánh giá mới bằng cách sử dụng trình đơn thả xuống ở phía bên trái của bảng thông tin để trực quan hóa kết quả.