मुझे मिनडिफ़ का उपयोग कब करना चाहिए?
ऐसे मामलों में मिनडिफ़ लागू करें जहां आपका मॉडल आम तौर पर अच्छा प्रदर्शन करता है, लेकिन संवेदनशील समूह से संबंधित उदाहरणों पर अधिक बार हानिकारक त्रुटियां उत्पन्न करता है, और आप प्रदर्शन अंतर को बंद करना चाहते हैं। रुचि के संवेदनशील समूह आपके उपयोग के मामले के आधार पर भिन्न हो सकते हैं, लेकिन अक्सर इसमें नस्ल, धर्म, लिंग, यौन अभिविन्यास और बहुत कुछ जैसे संरक्षित वर्ग शामिल होते हैं। इस पूरे दस्तावेज़ में, हम संरक्षित वर्ग से संबंधित उदाहरणों के किसी भी सेट को संदर्भित करने के लिए "संवेदनशील समूह" का उपयोग करेंगे।
डेटा के खराब प्रदर्शन वाले स्लाइस को संबोधित करने के लिए MinDiff का उपयोग करने के लिए दो प्राथमिक शर्तें हैं:
- आपने पहले ही अपने मॉडल को ट्यून और मूल्यांकन कर लिया है, और ऐसे मेट्रिक्स की पहचान की है जो डेटा के खराब प्रदर्शन वाले स्लाइस दिखाते हैं। मॉडल उपचार लागू करने से पहले यह अवश्य किया जाना चाहिए।
- आपके पास खराब प्रदर्शन करने वाले समूह से संबंधित पर्याप्त संख्या में प्रासंगिक लेबल वाले उदाहरण हैं या प्राप्त कर सकते हैं (अधिक जानकारी नीचे दी गई है)।
असमान व्यवहार को सुधारने के लिए मिनडिफ़ कई तकनीकों में से एक है। विशेष रूप से, जब आप समूहों के बीच प्रदर्शन को सीधे बराबर करने का प्रयास कर रहे हों तो यह एक अच्छा विकल्प हो सकता है। MinDiff का उपयोग अन्य तरीकों, जैसे डेटा वृद्धि और अन्य के साथ किया जा सकता है, जिससे बेहतर परिणाम मिल सकते हैं। हालाँकि, यदि आपको यह प्राथमिकता देने की आवश्यकता है कि किस तकनीक में निवेश करना है, तो आपको अपने उत्पाद की ज़रूरतों के अनुसार ऐसा करना चाहिए।
मिनडिफ़ लागू करते समय, आप अपने सर्वश्रेष्ठ प्रदर्शन करने वाले समूहों के प्रदर्शन में गिरावट या थोड़ा बदलाव देख सकते हैं, क्योंकि आपके खराब प्रदर्शन करने वाले समूहों में सुधार होता है। यह समझौता अपेक्षित है और इसका मूल्यांकन आपकी उत्पाद आवश्यकताओं के संदर्भ में किया जाना चाहिए। व्यवहार में, हमने अक्सर देखा है कि मिनडिफ़ शीर्ष प्रदर्शन करने वाले स्लाइस को स्वीकार्य स्तर से नीचे नहीं गिराता है, लेकिन यह एप्लिकेशन-विशिष्ट है और उत्पाद स्वामी द्वारा निर्णय लेने की आवश्यकता है।
मैं किस प्रकार के मॉडल पर MinDiff लागू कर सकता हूँ?
बाइनरी क्लासिफायर पर लागू होने पर मिनडिफ़ को लगातार प्रभावी दिखाया गया है। अन्य अनुप्रयोगों के लिए विधि को अपनाना संभव है, लेकिन इसका पूरी तरह से परीक्षण नहीं किया गया है। बहु-वर्गीकरण और रैंकिंग कार्यों में सफलता दिखाने के लिए कुछ काम किए गए हैं लेकिन इन या अन्य प्रकार के मॉडलों पर मिनडिफ़ के किसी भी उपयोग को प्रयोगात्मक माना जाना चाहिए।
मैं किन मेट्रिक्स पर मिनडिफ़ लागू कर सकता हूँ?
MinDiff एक अच्छा समाधान हो सकता है जब आप जिस मीट्रिक को समूहों में बराबर करने का प्रयास कर रहे हैं वह गलत सकारात्मक दर (FPR) , या गलत नकारात्मक दर (FNR) है , लेकिन यह अन्य मैट्रिक्स के लिए काम कर सकता है। एक सामान्य नियम के रूप में, मिनडिफ़ तब काम कर सकता है जब आप जिस मीट्रिक को लक्षित कर रहे हैं वह संवेदनशील समूह से संबंधित उदाहरणों और संवेदनशील समूह से संबंधित नहीं होने वाले उदाहरणों के बीच स्कोर वितरण में अंतर का परिणाम है।
अपना मिनडिफ़ डेटासेट बनाना
मिनडिफ़ के साथ प्रशिक्षण की तैयारी करते समय, आपको तीन अलग-अलग डेटासेट तैयार करने की आवश्यकता होगी। नियमित प्रशिक्षण की तरह, आपका मिनडिफ़ डेटासेट उन उपयोगकर्ताओं का प्रतिनिधि होना चाहिए जिन्हें आपका मॉडल सेवा प्रदान करता है। MinDiff इसके बिना काम कर सकता है लेकिन आपको ऐसे मामलों में अतिरिक्त सावधानी बरतनी चाहिए।
यह मानते हुए कि आप संवेदनशील वर्ग से संबंधित उदाहरणों के लिए अपने मॉडल की एफपीआर में सुधार करने का प्रयास कर रहे हैं, आपको इसकी आवश्यकता होगी:
- मूल प्रशिक्षण सेट - मूल डेटासेट जिसका उपयोग आपके बेसलाइन मॉडल के प्रशिक्षण के लिए किया गया था
- मिनडिफ़ संवेदनशील सेट - केवल नकारात्मक जमीनी सच्चाई वाले लेबल के साथ संवेदनशील वर्ग से संबंधित उदाहरणों का एक डेटासेट। इन उदाहरणों का उपयोग केवल मिनडिफ़ हानि की गणना के लिए किया जाएगा।
- मिनडिफ़ गैर-संवेदनशील सेट - उदाहरणों का एक डेटासेट जो केवल नकारात्मक जमीनी सच्चाई वाले लेबल के साथ संवेदनशील वर्ग से संबंधित नहीं है। इन उदाहरणों का उपयोग केवल मिनडिफ़ हानि की गणना के लिए किया जाएगा।
लाइब्रेरी का उपयोग करते समय, आप इन तीनों डेटासेट को एक ही डेटासेट में जोड़ देंगे, जो आपके नए प्रशिक्षण सेट के रूप में काम करेगा।
मिनडिफ़ के लिए उदाहरण चुनना
यदि आप मुख्य रूप से गलत सकारात्मक दर में असमानताओं को लेकर चिंतित हैं तो ऊपर दिए गए उदाहरण में नकारात्मक रूप से लेबल किए गए उदाहरणों के सेट तैयार करना उल्टा लग सकता है। हालाँकि, याद रखें कि एक गलत सकारात्मक भविष्यवाणी एक नकारात्मक लेबल वाले उदाहरण से आती है जिसे गलत तरीके से सकारात्मक के रूप में वर्गीकृत किया गया है।
मिनडिफ के लिए अपना डेटा एकत्र करते समय, आपको ऐसे उदाहरण चुनना चाहिए जहां प्रदर्शन में असमानता स्पष्ट हो। उपरोक्त हमारे उदाहरण में, इसका मतलब एफपीआर को संबोधित करने के लिए नकारात्मक लेबल वाले उदाहरण चुनना है। यदि हम एफएनआर को लक्षित करने में रुचि रखते, तो हमें सकारात्मक रूप से लेबल किए गए उदाहरण चुनने की आवश्यकता होती।
मुझे कितना डेटा चाहिए?
अच्छा प्रश्न--यह आपके उपयोग के मामले पर निर्भर करता है! आपके मॉडल आर्किटेक्चर, डेटा वितरण और मिनडिफ़ कॉन्फ़िगरेशन के आधार पर, आवश्यक डेटा की मात्रा काफी भिन्न हो सकती है। पिछले अनुप्रयोगों में, हमने प्रत्येक मिनडिफ़ प्रशिक्षण सेट (पिछले अनुभाग में सेट 2 और 3) में 5,000 उदाहरणों के साथ मिनडिफ़ को अच्छी तरह से काम करते देखा है। कम डेटा के साथ, कम प्रदर्शन का जोखिम बढ़ जाता है, लेकिन यह आपके उत्पादन बाधाओं की सीमा के भीतर न्यूनतम या स्वीकार्य हो सकता है। मिनडिफ़ लागू करने के बाद, आपको स्वीकार्य प्रदर्शन सुनिश्चित करने के लिए अपने परिणामों का गहन मूल्यांकन करने की आवश्यकता होगी। यदि वे अविश्वसनीय हैं, या प्रदर्शन अपेक्षाओं को पूरा नहीं करते हैं, तो भी आप अधिक डेटा एकत्र करने पर विचार कर सकते हैं।
मिनडिफ़ मेरे लिए कब सही नहीं है?
मिनडिफ़ एक शक्तिशाली तकनीक है जो प्रभावशाली परिणाम प्रदान कर सकती है, लेकिन इसका मतलब यह नहीं है कि यह सभी स्थितियों के लिए सही तरीका है। इसे बेतरतीब ढंग से लागू करने से यह गारंटी नहीं मिलती कि आप पर्याप्त समाधान प्राप्त कर लेंगे।
ऊपर चर्चा की गई आवश्यकताओं के अलावा, ऐसे मामले भी हैं जहां मिनडिफ़ तकनीकी रूप से व्यवहार्य हो सकता है, लेकिन उपयुक्त नहीं है। आपको अपने एमएल वर्कफ़्लो को हमेशा ज्ञात अनुशंसित प्रथाओं के अनुसार डिज़ाइन करना चाहिए। उदाहरण के लिए, यदि आपका मॉडल कार्य खराब परिभाषित है, उत्पाद की आवश्यकता अस्पष्ट है, या आपके उदाहरण लेबल अत्यधिक तिरछे हैं, तो आपको इन मुद्दों को संबोधित करने को प्राथमिकता देनी चाहिए। इसी तरह, यदि आपके पास संवेदनशील समूह की स्पष्ट परिभाषा नहीं है, या आप विश्वसनीय रूप से यह निर्धारित करने में असमर्थ हैं कि उदाहरण संवेदनशील समूह से संबंधित हैं या नहीं, तो आप मिनडिफ़ को प्रभावी ढंग से लागू नहीं कर पाएंगे।
उच्च स्तर पर, आपको हमेशा इस बात पर विचार करना चाहिए कि क्या आपका उत्पाद एमएल के लिए बिल्कुल उपयुक्त है। यदि ऐसा है, तो इससे उपयोगकर्ता को होने वाले नुकसान के संभावित कारकों पर विचार करें। जिम्मेदार एमएल का अनुसरण एक बहुआयामी प्रयास है जिसका उद्देश्य संभावित नुकसान की एक विस्तृत श्रृंखला का पूर्वानुमान लगाना है; मिनडिफ़ इनमें से कुछ को कम करने में मदद कर सकता है, लेकिन सभी परिणामों पर सावधानीपूर्वक विचार करने की आवश्यकता है।
1 ब्यूटेल ए., चेन, जे., दोशी, टी., कियान, एच., वेई, एल., वू, वाई., हेल्ड्ट, एल., झाओ, जेड., होंग, एल., ची, ई., गुडरो, सी. (2019)। जोड़ीवार तुलनाओं के माध्यम से अनुशंसा रैंकिंग में निष्पक्षता।