ข้อกำหนดของ MinDiff

ฉันควรใช้ MinDiff เมื่อใด

ใช้ MinDiff ในกรณีที่โมเดลของคุณทำงานได้ดีโดยทั่วไป แต่ก่อให้เกิดข้อผิดพลาดที่เป็นอันตรายบ่อยกว่าในตัวอย่างของกลุ่มที่มีความละเอียดอ่อน และคุณต้องการปิดช่องว่างด้านประสิทธิภาพ กลุ่มความสนใจที่ละเอียดอ่อนอาจแตกต่างกันไปขึ้นอยู่กับกรณีการใช้งานของคุณ แต่มักจะรวมถึงชั้นเรียนที่ได้รับการคุ้มครอง เช่น เชื้อชาติ ศาสนา เพศ รสนิยมทางเพศ และอื่นๆ ตลอดทั้งเอกสารนี้ เราจะใช้ "กลุ่มที่ละเอียดอ่อน" เพื่ออ้างถึงชุดตัวอย่างใดๆ ที่เป็นของคลาสที่ได้รับการป้องกัน

มีเงื่อนไขหลักสองประการสำหรับการใช้ MinDiff เพื่อจัดการกับส่วนของข้อมูลที่มีประสิทธิภาพต่ำกว่าเกณฑ์:

• คุณได้ปรับแต่งและประเมินโมเดลของคุณแล้ว โดยระบุเมตริกที่แสดงส่วนข้อมูลที่มีประสิทธิภาพต่ำกว่าปกติ จะต้องดำเนินการนี้ ก่อนที่ จะใช้การแก้ไขแบบจำลอง
• คุณมีหรือสามารถรับตัวอย่างที่มีป้ายกำกับที่เกี่ยวข้องซึ่งอยู่ในกลุ่มที่มีประสิทธิภาพต่ำกว่าเกณฑ์ในจำนวนเพียงพอ (รายละเอียดเพิ่มเติมด้านล่าง)

MinDiff เป็นหนึ่งในเทคนิคมากมายในการแก้ไขพฤติกรรมที่ไม่เท่าเทียมกัน โดยเฉพาะอย่างยิ่ง นี่อาจเป็นทางเลือกที่ดีเมื่อคุณพยายามทำให้ประสิทธิภาพระหว่างกลุ่มเท่าเทียมกันโดยตรง MinDiff สามารถใช้ร่วมกับแนวทางอื่นๆ ได้ เช่น การเพิ่มข้อมูลและอื่นๆ ซึ่งอาจนำไปสู่ผลลัพธ์ที่ดีกว่า อย่างไรก็ตาม หากคุณต้องการจัดลำดับความสำคัญว่าจะลงทุนในเทคนิคใด คุณก็ควรทำตามความต้องการผลิตภัณฑ์ของคุณ

เมื่อใช้ MinDiff คุณอาจเห็นว่าประสิทธิภาพลดลงหรือเปลี่ยนแปลงเล็กน้อยสำหรับกลุ่มที่มีประสิทธิภาพดีที่สุดของคุณ เนื่องจากกลุ่มที่มีประสิทธิภาพต่ำกว่าได้รับการปรับปรุง ข้อดีข้อเสียนี้เป็นสิ่งที่คาดหวัง และควรได้รับการประเมินในบริบทของข้อกำหนดผลิตภัณฑ์ของคุณ ในทางปฏิบัติ เรามักจะเห็นว่า MinDiff ไม่ได้ทำให้สไลซ์ที่มีประสิทธิภาพสูงสุดลดลงต่ำกว่าระดับที่ยอมรับได้ แต่นี่เป็นการตัดสินใจเฉพาะการใช้งานและเป็นการตัดสินใจโดยเจ้าของผลิตภัณฑ์

ฉันสามารถใช้ MinDiff กับรุ่นใดได้บ้าง

MinDiff ได้รับการพิสูจน์แล้วว่ามีประสิทธิภาพอย่างต่อเนื่องเมื่อนำไปใช้กับ ตัวแยกประเภทไบนารี การปรับเปลี่ยนวิธีการสำหรับการใช้งานอื่นๆ สามารถทำได้ แต่ยังไม่ได้รับการทดสอบอย่างสมบูรณ์ มีการทำงานบางอย่างเพื่อแสดงความสำเร็จในงานการจำแนกประเภทหลายรายการและการจัดอันดับ ¹ แต่การใช้ MinDiff กับแบบจำลองเหล่านี้หรือประเภทอื่น ๆ ควรได้รับการพิจารณาว่าเป็นการทดลอง

ฉันสามารถใช้ MinDiff กับตัวชี้วัดใดได้บ้าง

MinDiff อาจเป็นวิธีแก้ปัญหาที่ดีเมื่อตัวชี้วัดที่คุณพยายามทำให้เท่ากันระหว่างกลุ่มคือ อัตราผลบวกลวง (FPR) หรือ อัตราผลลบลวง (FNR) แต่อาจใช้ได้กับตัวชี้วัดอื่นๆ ตามกฎทั่วไป MinDiff อาจทำงานได้เมื่อการวัดที่คุณกำหนดเป้าหมายเป็นผลมาจากความแตกต่างในการกระจายคะแนนระหว่างตัวอย่างที่เป็นของกลุ่มที่ละเอียดอ่อนและตัวอย่างที่ไม่ได้อยู่ในกลุ่มที่ละเอียดอ่อน

การสร้างชุดข้อมูล MinDiff ของคุณ

เมื่อเตรียมฝึกกับ MinDiff คุณจะต้องเตรียมชุดข้อมูลแยกกันสามชุด เช่นเดียวกับการฝึกอบรมปกติ ชุดข้อมูล MinDiff ของคุณควรเป็นตัวแทนของผู้ใช้ที่โมเดลของคุณให้บริการ MinDiff อาจทำงานได้หากไม่มีสิ่งนี้ แต่คุณควรใช้ความระมัดระวังเป็นพิเศษในกรณีเช่นนี้

สมมติว่าคุณกำลังพยายามปรับปรุง FPR ของโมเดลของคุณสำหรับตัวอย่างที่เป็นของคลาสที่ละเอียดอ่อน คุณจะต้อง:

1. ชุดการฝึกดั้งเดิม - ชุดข้อมูลดั้งเดิมที่ใช้สำหรับการฝึกโมเดลพื้นฐานของคุณ
2. ชุดที่ละเอียดอ่อนของ MinDiff - ชุดข้อมูลของตัวอย่างที่อยู่ในคลาสที่ละเอียดอ่อนซึ่งมีป้ายกำกับความจริงที่เป็นลบ เท่านั้น ตัวอย่างเหล่านี้จะใช้สำหรับการคำนวณการสูญเสีย MinDiff เท่านั้น
3. ชุดที่ไม่ละเอียดอ่อนของ MinDiff - ชุดข้อมูลของตัวอย่าง ที่ไม่ได้ อยู่ในคลาสที่ละเอียดอ่อนซึ่งมีป้ายกำกับความจริงที่เป็นลบ เท่านั้น ตัวอย่างเหล่านี้จะใช้สำหรับการคำนวณการสูญเสีย MinDiff เท่านั้น

เมื่อใช้ไลบรารี คุณจะรวมชุดข้อมูลทั้งสามชุดนี้ให้เป็นชุดข้อมูลเดียว ซึ่งจะทำหน้าที่เป็นชุดการฝึกใหม่ของคุณ

การเลือกตัวอย่างสำหรับ MinDiff

ตัวอย่างข้างต้นอาจดูเหมือนขัดกับสัญชาตญาณในการแยกชุดตัวอย่างที่มีป้ายกำกับ เชิงลบ หากคุณคำนึงถึงความแตกต่างใน อัตราบวกลวง เป็นหลัก อย่างไรก็ตาม โปรดจำไว้ว่าการทำนายผลบวกลวงนั้นมาจากตัวอย่างที่มีป้ายกำกับเชิงลบซึ่งจัดประเภทไม่ถูกต้องว่าเป็นผลบวก

เมื่อรวบรวมข้อมูลของคุณสำหรับ MinDiff คุณควรเลือกตัวอย่างที่เห็นความแตกต่างในประสิทธิภาพได้ชัดเจน ในตัวอย่างของเราข้างต้น นี่หมายถึงการเลือกตัวอย่างที่มีป้ายกำกับเชิงลบเพื่อจัดการกับ FPR หากเราสนใจที่จะกำหนดเป้าหมาย FNR เราจะต้องเลือกตัวอย่างที่มีป้ายกำกับเชิงบวก

ฉันต้องการข้อมูลจำนวนเท่าใด

เป็นคำถามที่ดี--ขึ้นอยู่กับกรณีการใช้งานของคุณ! ขึ้นอยู่กับสถาปัตยกรรมโมเดล การกระจายข้อมูล และการกำหนดค่า MinDiff จำนวนข้อมูลที่ต้องการอาจแตกต่างกันอย่างมาก ในแอปพลิเคชันที่ผ่านมา เราได้เห็น MinDiff ทำงานได้ดีกับตัวอย่าง 5,000 ตัวอย่างในชุดการฝึก MinDiff แต่ละชุด (ชุดที่ 2 และ 3 ในส่วนก่อนหน้า) เมื่อมีข้อมูลน้อยลง ก็มีความเสี่ยงเพิ่มขึ้นที่ประสิทธิภาพจะลดลง แต่อาจน้อยหรือยอมรับได้ภายในขอบเขตข้อจำกัดด้านการผลิตของคุณ หลังจากใช้ MinDiff คุณจะต้องประเมินผลลัพธ์ของคุณอย่างละเอียดเพื่อให้แน่ใจว่ามีประสิทธิภาพที่ยอมรับได้ หากข้อมูลเหล่านี้ไม่น่าเชื่อถือ หรือไม่เป็นไปตามความคาดหวังด้านประสิทธิภาพ คุณอาจต้องพิจารณารวบรวมข้อมูลเพิ่มเติม

เมื่อใดที่ MinDiff ไม่ เหมาะกับฉัน?

MinDiff เป็นเทคนิคอันทรงพลังที่สามารถให้ผลลัพธ์ที่น่าประทับใจ แต่ไม่ได้หมายความว่าเป็นวิธีที่เหมาะสมสำหรับทุกสถานการณ์ การใช้มันอย่างไม่ได้ตั้งใจไม่ได้รับประกันว่าคุณจะได้รับวิธีแก้ปัญหาที่เพียงพอ

นอกเหนือจากข้อกำหนดที่กล่าวถึงข้างต้น มีหลายกรณีที่ MinDiff อาจเป็นไปได้ในทางเทคนิค แต่ไม่เหมาะสม คุณควรออกแบบเวิร์กโฟลว์ ML ของคุณตามแนวทางปฏิบัติที่แนะนำเสมอ ตัวอย่างเช่น หากงานโมเดลของคุณมีการกำหนดไว้ไม่ดี ผลิตภัณฑ์ต้องการความไม่ชัดเจน หรือป้ายกำกับตัวอย่างของคุณบิดเบือนมากเกินไป คุณควรจัดลำดับความสำคัญในการแก้ไขปัญหาเหล่านี้ ในทำนองเดียวกัน หากคุณไม่มีคำจำกัดความที่ชัดเจนของกลุ่มที่ละเอียดอ่อน หรือไม่สามารถระบุได้อย่างน่าเชื่อถือว่าตัวอย่างอยู่ในกลุ่มที่ละเอียดอ่อนหรือไม่ คุณจะไม่สามารถใช้ MinDiff ได้อย่างมีประสิทธิภาพ

ในระดับที่สูงกว่า คุณควรพิจารณาเสมอว่าผลิตภัณฑ์ของคุณมีการใช้งาน ML อย่างเหมาะสมหรือไม่ หากเป็นเช่นนั้น ให้พิจารณาเวกเตอร์ที่เป็นไปได้สำหรับอันตรายที่ผู้ใช้สร้างขึ้น การแสวงหา ML ที่มีความรับผิดชอบนั้นเป็นความพยายามที่หลากหลายซึ่งมีจุดมุ่งหมายเพื่อคาดการณ์อันตรายที่อาจเกิดขึ้นในวงกว้าง MinDiff สามารถช่วยบรรเทาปัญหาเหล่านี้บางส่วนได้ แต่ผลลัพธ์ทั้งหมดสมควรได้รับการพิจารณาอย่างรอบคอบ

¹ Beutel A., Chen, J., Doshi, T., Qian, H., Wei, L., Wu, Y., Heldt, L., Zhao, Z., Hong, L., Chi, E., กู๊ดโรว์, ซี. (2019). ความเป็นธรรมในการจัดอันดับข้อเสนอแนะผ่านการเปรียบเทียบแบบคู่