瞭解如何使用 TensorFlow,將 Responsible AI 的做法整合至機器學習工作流程

TensorFlow 透過提供機器學習社群一系列的資源與工具,協助落實 Responsible AI 的理念與做法。

什麼是 Responsible AI?

AI 發展提供了新機會,可以用來解決現實世界中具有挑戰性的問題,於此同時也引發新的疑問,讓我們思考如何能有效建構可以造福所有人的 AI 系統。

建議的 AI 最佳做法

設計 AI 系統時應遵循軟體開發最佳做法,並且採用以人為本的方法運用機器學習技術

公平性

隨著 AI 對於各領域和社會的影響逐漸增加,建立公平且可包容所有人的系統至關重要

可解釋性

我們必須瞭解及信任 AI 系統,才能確保系統能夠如預期般運作

隱私權

利用機密資料訓練模型時,需要妥善保護隱私權

安全性

辨識潛在威脅有助於維持 AI 系統安全

機器學習工作流程中的 Responsible AI

可在機器學習工作流程中的每個步驟納入 Responsible AI 的做法。以下是每個階段要考量的一些重要問題。

我的機器學習系統是為誰而設計?

使用者實際體驗系統的方式,對於評估 機器學習系統預測、建議及決策的真實作用十分重要。請務必 在 開發過程中,儘早取得各類型使用者提出的意見。

我使用的資料集是否具有充分代表性?

你的資料取樣方式是否可代表使用者 (例如:將用於 所有年齡層,但你只有銀髮族的訓練資料) ,以及是否符合現實環境情況 (例如:將使用一整年,但你只有 夏季的訓練資料)?

我的資料中存在現實環境偏誤/人類認知偏誤嗎?

資料中的潛在偏誤可能會形成複雜的回饋循環, 加深既有的刻板印象。

我應該使用什麼方法訓練模型?

使用可在模型中建構公平性、可解釋性、隱私和 安全性的訓練方法。

我的模型成效如何?

針對現實環境裡的各類 使用者、用途和使用情境,評估使用者體驗。先進行 Dogfood 測試並從中疊代, 然後在發布後持續執行測試作業。

是否存在複雜的回饋循環?

即使整體系統設計經過悉心規劃, 以機器學習為基礎的模型在套用到 真實的動態資料時,很少能夠完美運作。當實際使用的產品發生問題時,請思考 該問題是否與任何弱勢族群議題相呼應,並考量 短期和長期解決方案對於該問題的影響。

適用於 TensorFlow 的 Responsible AI 工具

TensorFlow 生態系統擁有一整套工具和資源,可協助解決部分上述問題。

步驟 1

界定問題

使用下列資源,設計出蘊含 Responsible AI 原則的模型。

People + AI Research (PAIR) Guidebook

進一步瞭解 AI 開發流程和重要注意事項。

PAIR Explorables

透過互動式視覺化呈現的方式,探索 Responsible AI 的關鍵問題與概念。

步驟 2

建構及準備資料

使用下列工具檢查資料,找出潛在偏誤。

Know Your Data (Beta)

以互動式的方式調查資料集以提升資料品質,並減少公平性和偏見的問題。

TF Data Validation

分析及轉換資料以偵測問題,並設計出更多有效的特徵集。

資料卡

為資料集建立資訊公開報告。

孟克膚色量表 (MST)

更多元包容的開放授權膚色量表,讓你的資料收集和模型建構需求更加可靠並更具包容性。

步驟 3

建構及訓練模型

使用下列工具訓練包含隱私權保護、可解釋技巧及更多內容的模型。

TF Model Remediation

訓練機器學習模型以獲得更公正的成果。

TF Privacy

訓練機器學習模型時兼顧隱私權保護。

TF Federated

使用聯合學習技巧訓練機器學習模型。

TF Constrained Optimization

最佳化受不平等限制的問題。

TF Lattice

實作具有彈性、受控制、可解釋且以 Lattice 為基礎的模型。

步驟 4

評估模型

使用下列工具偵錯、評估並以視覺化的方式呈現模型效能。

公平性指標

為二進位檔和多類別分類器評估常用的公平性指標。

TF Model Analysis

以分散方式評估模型,並根據不同資料部分進行運算。

What-If Tool

檢查、評估及比較機器學習模型。

Language Interpretability Tool

以視覺化方式呈現 NLP 模型以便理解。

Explainable AI

開發具有可解釋性的共融式機器學習模型。

TF Privacy Tests

評估分類模型的隱私屬性。

TensorBoard

測量機器學習工作流程,並以視覺化的方式呈現。

步驟 5

部署及監控

使用下列工具追蹤及溝通模型的情境和詳細資料。

Model Card 工具包

輕鬆使用 Model Card 工具包建立模型卡。

機器學習中繼資料

記錄和擷取有關機器學習開發人員和數據資料學家工作流程的中繼資料。

Model Card

採用結構化方法整理機器學習的重要內容。

社群資源

瞭解社群動態並探索參與方式。

Google 群眾外包

協助讓 Google 產品更具多元包容特質,可以完整呈現你慣用的語言、所在地區和所屬文化。

Responsible AI DevPost Challenge

我們請參與者使用 TensorFlow 2.2 建構蘊含 Responsible AI 原則的模型或應用程式。如要查看優勝者及其他精彩的專案,請參閱圖片庫。

Responsible AI with TensorFlow (TF Dev Summit '20)

介紹一個可讓你思考機器學習、公平性和隱私權的架構。