MinDiff เป็นเทคนิคการแก้ไขแบบจำลองที่พยายามทำให้การแจกแจงทั้งสองเท่ากัน ในทางปฏิบัติ สามารถใช้เพื่อสร้างสมดุลระหว่างอัตราข้อผิดพลาดในส่วนต่างๆ ของข้อมูลของคุณ โดยการลงโทษความแตกต่างในการแจกแจง
โดยทั่วไป คุณจะใช้ MinDiff เมื่อพยายามรับประกันความยุติธรรมของกลุ่ม เช่น การลดความแตกต่างในอัตราบวกลวง (FPR) หรืออัตราลบลวง (FNR) ระหว่างส่วนของข้อมูลที่เป็นของคลาสที่ละเอียดอ่อนและส่วนแบ่งที่มีประสิทธิภาพดีกว่า สำหรับการอภิปรายเชิงลึกเกี่ยวกับตัวชี้วัดความเป็นธรรม โปรดทบทวนวรรณกรรมในหัวข้อนี้ 1 2 3
MinDiff ทำงานอย่างไร?
จากตัวอย่างสองชุดจากชุดข้อมูลของเรา MinDiff จะลงโทษโมเดลระหว่างการฝึกอบรมสำหรับความแตกต่างในการกระจายคะแนนระหว่างสองชุด ยิ่งทั้งสองชุดมีความแตกต่างได้น้อยกว่าจะขึ้นอยู่กับคะแนนการทำนาย บทลงโทษที่จะนำมาใช้ก็จะยิ่งน้อยลงเท่านั้น
การปรับโทษจะใช้โดยการเพิ่มส่วนประกอบให้กับการสูญเสียที่แบบจำลองใช้สำหรับการฝึก ถือได้ว่าเป็นการวัดความแตกต่างในการกระจายตัวของการทำนายแบบจำลอง ในขณะที่โมเดลรถไฟจะพยายามลดการลงโทษโดยนำการแจกแจงมาใกล้กันมากขึ้น ดังที่แสดงในกราฟด้านล่าง
การใช้ MinDiff อาจมาพร้อมกับข้อดีข้อเสียในแง่ของประสิทธิภาพในงานเดิม MinDiff สามารถมีประสิทธิผลในขณะที่ไม่ทำให้ประสิทธิภาพลดลงเกินความต้องการของผลิตภัณฑ์ แต่การตัดสินใจสร้างสมดุลระหว่างประสิทธิภาพและประสิทธิผลของ MinDiff ควรกระทำโดยเจตนาโดยเจ้าของผลิตภัณฑ์ สำหรับตัวอย่างที่แสดงวิธีนำ MinDiff ไปใช้ โปรดดู สมุดบันทึกกรณีศึกษาการแก้ไขแบบจำลอง
ทรัพยากร
สำหรับบทช่วยสอนเกี่ยวกับการใช้ MinDiff กับโมเดลการจัดหมวดหมู่ข้อความ โปรดดู สมุดบันทึก MinDiff Keras
สำหรับโพสต์บนบล็อกบน MinDiff บนบล็อก TensorFlow โปรดดู การใช้ MinDiff เพื่อปรับปรุงโพสต์บล็อกโมเดล
สำหรับไลบรารี Model Remediation แบบเต็ม โปรดดูที่ repo Github สำหรับการแก้ไขโมเดล
Dwork, C., Hardt, M., Pitassi, T., Reingold, O., Zemel, R. (2011) ความเป็นธรรมผ่านการตระหนักรู้ ↩
Hardt, M., ราคา, E., Srebro, N. (2016) ความเท่าเทียมกันของโอกาสในการเรียนรู้แบบมีผู้สอน ↩
Couldechova, A. (2016) การทำนายอย่างยุติธรรมและผลกระทบที่แตกต่างกัน: การศึกษาอคติในเครื่องมือทำนายการกระทำผิดซ้ำ ↩