אינדיקטורים להוגנות הם כלי שימושי להערכת מסווגים בינאריים ורב-מעמדיים לצורך הגינות. בסופו של דבר, אנו מקווים להרחיב את הכלי הזה, בשיתוף עם כולכם, כדי להעריך עוד יותר שיקולים.
זכור כי הערכה כמותית היא רק חלק אחד בהערכת חווית משתמש רחבה יותר. התחל במחשבה על ההקשרים השונים דרכם משתמש עשוי לחוות את המוצר שלך. מי הם סוגי המשתמשים השונים שהמוצר שלך צפוי לשרת? מי עוד עשוי להיות מושפע מהחוויה?
כאשר בוחנים את ההשפעה של AI על אנשים, חשוב תמיד לזכור שהחברות האנושיות הן מורכבות ביותר! הבנת אנשים, וזהותם החברתית, המבנים החברתיים והמערכות התרבותיות הם כל אחד תחומי מחקר פתוחים עצומים בפני עצמם. לזרוק את המורכבות של הבדלים בין-תרבותיים ברחבי העולם, ולקבל אפילו דריסת רגל בהבנת ההשפעה החברתית יכולה להיות מאתגרת. במידת האפשר, מומלץ להתייעץ עם מומחי תחום מתאימים, שעשויים לכלול מדעני חברה, סוציו-בלשנים ואנתרופולוגים תרבותיים, וכן עם חברי האוכלוסיות שעליהן תופעל הטכנולוגיה.
מודל בודד, למשל, מודל הרעילות שאנו ממנפים ב- colab לדוגמה , יכול לשמש בהקשרים רבים ושונים. מודל רעילות שנפרס באתר כדי לסנן הערות פוגעניות, למשל, הוא מקרה שימוש שונה מאוד מהמודל שנפרס בממשק משתמש אינטרנט לדוגמה שבו משתמשים יכולים להקליד משפט ולראות איזה ציון נותן המודל. בהתאם למקרה השימוש, ולאופן שבו המשתמשים חווים את חיזוי המודל, למוצר שלך יהיו סיכונים, השפעות והזדמנויות שונות ואולי תרצה להעריך לשיקולי הוגנות שונים.
השאלות שלמעלה הן הבסיס לאילו שיקולים אתיים, כולל הגינות, כדאי לקחת בחשבון בעת תכנון ופיתוח המוצר המבוסס על ML שלך. שאלות אלו גם מניעה אילו מדדים ואיזה קבוצות משתמשים כדאי להשתמש בכלי כדי להעריך.
לפני שצולל יותר, הנה שלושה משאבים מומלצים לתחילת העבודה:
- המדריך People + AI לעיצוב AI ממוקד באדם: ספר הדרכה זה הוא משאב נהדר לשאלות ולהיבטים שיש לזכור בעת תכנון מוצר מבוסס למידת מכונה. בעוד שיצרנו ספר הדרכה זה מתוך מחשבה על מעצבים, רבים מהעקרונות יעזרו לענות על שאלות כמו זו שהועלתה לעיל.
- לקחי ההגינות שלנו : ההרצאה הזו ב-Google I/O דנה בלקחים שלמדנו במטרה שלנו לבנות ולעצב מוצרים מכילים.
- קורס מזורז ML: הוגנות : קורס מזורז ML כולל חלק של 70 דקות המוקדש לזיהוי והערכת חששות מהוגנות
אז למה להסתכל על פרוסות בודדות? הערכה על פני פרוסות בודדות חשובה שכן מדדים כלליים חזקים יכולים לטשטש ביצועים גרועים עבור קבוצות מסוימות. באופן דומה, ביצועים טובים עבור מדד מסוים (דיוק, AUC) לא תמיד מתורגם לביצועים מקובלים עבור מדדים אחרים (שיעור חיובי שגוי, שיעור שלילי שגוי) שחשובים באותה מידה בהערכת הזדמנויות ונזק למשתמשים.
הסעיפים שלהלן יעברו על כמה מההיבטים שיש לקחת בחשבון.
לפי אילו קבוצות עלי לחתוך?
באופן כללי, נוהג טוב הוא לחתוך לפי כמה קבוצות שיכולות להיות מושפעות מהמוצר שלך, מכיוון שלעולם אין לדעת מתי הביצועים עשויים להשתנות עבור אחת מהשנייה. עם זאת, אם אינך בטוח, חשב על המשתמשים השונים שעשויים להיות מעורבים במוצר שלך, וכיצד הם עשויים להיות מושפעים. קחו בחשבון, במיוחד, פרוסות הקשורות למאפיינים רגישים כמו גזע, מוצא אתני, מגדר, לאום, הכנסה, נטייה מינית ומצב נכות.
מה אם אין לי נתונים מסומנים עבור הפרוסות שאני רוצה לחקור?
שאלה טובה. אנו יודעים שלמערכי נתונים רבים אין תוויות אמת למאפייני זהות בודדים.
אם אתה מוצא את עצמך במצב זה, אנו ממליצים על מספר גישות:
- זהה אם יש לך תכונות שעשויות לתת לך קצת תובנות לגבי הביצועים בין הקבוצות. לדוגמה, גיאוגרפיה אף שאינה שווה ערך למוצא אתני וגזע, עשויה לעזור לך לחשוף דפוסים שונים בביצועים
- זהה אם יש מערכי נתונים ציבוריים מייצגים שעשויים להיות מיפויים היטב לבעיה שלך. אתה יכול למצוא מגוון של מערכי נתונים מגוונים וכוללים באתר Google AI , הכוללים בין היתר Project Respect , Inclusive Images ו- Open Images Extended .
- נצל כללים או מסווגים, כאשר רלוונטי, כדי לתייג את הנתונים שלך עם תכונות אובייקטיביות ברמת פני השטח. לדוגמה, אתה יכול לתייג טקסט לגבי האם יש מונח זהות במשפט או אין. זכור כי למסווגים יש אתגרים משלהם, ואם לא תיזהרו, עשויים להכניס גם שכבה נוספת של הטיה. היה ברור לגבי מה המסווג שלך בעצם מסווג. לדוגמה, מסווג גיל בתמונות הוא למעשה מסווג גיל נתפס . בנוסף, במידת האפשר, למנף תכונות ברמת פני השטח שניתן לזהות באופן אובייקטיבי בנתונים. למשל, לא מומלץ לבנות סיווג תמונות לגזע או למוצא אתני, כי אלו אינן תכונות ויזואליות שניתן להגדיר בתמונה. סביר להניח שמסווג יקלוט פרוקסי או סטריאוטיפים. במקום זאת, בניית מסווג לגוון העור עשויה להיות דרך מתאימה יותר לתיוג ולהעריך תמונה. לבסוף, ודא דיוק גבוה עבור מסווגים המסמנים תכונות כאלה.
- מצא נתונים מייצגים נוספים המסומנים בתווית
הקפד תמיד להעריך על מערכי נתונים מרובים ומגוונים.
אם נתוני ההערכה שלך אינם מייצגים במידה מספקת את בסיס המשתמשים שלך, או את סוגי הנתונים שסביר להיתקל בהם, אתה עלול לקבל מדדי הוגנות טובים בצורה מטעה. באופן דומה, ביצועי מודל גבוהים במערך נתונים אחד אינם מבטיחים ביצועים גבוהים באחרים.
זכור שתתי קבוצות אינן תמיד הדרך הטובה ביותר לסווג אנשים.
אנשים הם רב-ממדיים ושייכים ליותר מקבוצה אחת, אפילו בתוך מימד אחד - קחו בחשבון מישהו שהוא רב-גזעי, או שייך למספר קבוצות גזעיות. כמו כן, בעוד שמדדים כלליים עבור קבוצה גזעית נתונה עשויים להיראות שוויוניים, אינטראקציות מסוימות, כגון גזע ומגדר יחד עשויות להראות הטיה לא מכוונת. יתר על כן, לתת-קבוצות רבות יש גבולות מטושטשים אשר כל הזמן נמשכים מחדש.
מתי בדקתי מספיק פרוסות, ואיך אני יודע אילו פרוסות לבדוק?
אנו מכירים בכך שיש מספר עצום של קבוצות או פרוסות שעשויות להיות רלוונטיות לבדיקה, ובמידת האפשר, אנו ממליצים לחתוך ולהעריך מגוון מגוון ורחב של פרוסות ולאחר מכן לצלול לעומק שבו אתה מזהה הזדמנויות לשיפור. חשוב גם להכיר בכך שלמרות שאולי לא תראה חששות בפרוסות שבדקת, זה לא אומר שהמוצר שלך עובד עבור כל המשתמשים, וקבלת משוב ובדיקות מגוונות למשתמשים חשובה כדי להבטיח שאתה מזהה כל הזמן חדשים הזדמנויות.
כדי להתחיל, אנו ממליצים לחשוב על מקרה השימוש הספציפי שלך ועל הדרכים השונות שבהן המשתמשים עשויים לעסוק במוצר שלך. כיצד עשויות להיות למשתמשים שונים חוויות שונות? מה זה אומר לגבי פרוסות שאתה צריך להעריך? איסוף משוב ממשתמשים מגוונים עשוי גם להדגיש פרוסות פוטנציאליות לתעדוף.
באילו מדדים עלי לבחור?
כשאתה בוחר אילו מדדים להעריך עבור המערכת שלך, שקול מי יתנסה במודל שלך, כיצד הוא יחוו וההשפעות של חוויה זו.
לדוגמה, כיצד המודל שלך מעניק לאנשים יותר כבוד או אוטונומיה, או משפיע באופן חיובי על רווחתם הרגשית, הפיזית או הכלכלית? לעומת זאת, כיצד תחזיות המודל שלך יכולות להפחית את כבודם או האוטונומיה של אנשים, או להשפיע לרעה על רווחתם הרגשית, הפיזית או הכלכלית?
באופן כללי, אנו ממליצים לחתוך את כל מדדי הביצועים הקיימים שלך כתרגול טוב. אנו ממליצים גם להעריך את המדדים שלך על פני מספר ספים כדי להבין כיצד הסף יכול להשפיע על הביצועים עבור קבוצות שונות.
בנוסף, אם יש תווית חזויה שהיא באופן אחיד "טוב" או "רע", שקול לדווח (עבור כל תת-קבוצה) את הקצב שבו תווית זו צפויה. לדוגמה, תווית "טוב" תהיה תווית שהתחזית שלה מעניקה לאדם גישה למשאב כלשהו, או מאפשרת לו לבצע פעולה כלשהי.
מדדי הוגנות קריטיים לסיווג
כאשר חושבים על מודל סיווג, חשבו על ההשפעות של טעויות (ההבדלים בין התווית "אמת הקרקע" בפועל, לבין התווית מהמודל). אם שגיאות מסוימות עשויות להוות יותר הזדמנויות או נזק למשתמשים שלך, הקפד להעריך את שיעורי השגיאות הללו על פני קבוצות משתמשים. שיעורי שגיאה אלו מוגדרים להלן, במדדים הנתמכים כיום על ידי גרסת הביטא של אינדיקטורים ההוגנות.
במהלך השנה הבאה, אנו מקווים לפרסם תיאורי מקרה של מקרי שימוש שונים והמדדים הקשורים אליהם, כך שנוכל להדגיש טוב יותר מתי מדדים שונים עשויים להיות המתאימים ביותר.
מדדים זמינים היום במחווני הוגנות
שיעור חיובי / שיעור שלילי
- הגדרה: אחוז נקודות הנתונים המסווגות כחיוביות או שליליות, ללא תלות באמיתות הקרקע
- מתייחס ל: זוגיות דמוגרפית ושוויון תוצאות, כאשר זהות בין תת-קבוצות
- מתי להשתמש במדד זה: מקרי שימוש בהוגנות שבהם חשוב להחזיק באחוזים סופיים שווים של קבוצות
שיעור חיובי אמיתי / שיעור שלילי כוזב
- הגדרה: אחוז נקודות הנתונים החיוביות (כפי שסומנו באמיתות היסוד) המסווגות כחיוביות, או אחוז נקודות הנתונים החיוביות המסווגות באופן שגוי כשליליות
- מתייחס ל: שוויון הזדמנויות (עבור המעמד החיובי), כאשר שווה בין תתי קבוצות
- מתי להשתמש במדד זה: שימוש בהגינות במקרים שבהם חשוב שאותו אחוז מהמועמדים המתאימים ידורג חיובי בכל קבוצה. זה מומלץ לרוב במקרים של סיווג תוצאות חיוביות, כגון בקשות להלוואה, קבלה לבית הספר, או אם התוכן הוא ידידותי לילדים
שיעור שלילי אמיתי / שיעור חיובי כוזב
- הגדרה: אחוז נקודות הנתונים השליליות (כפי שמסווגות באמיתות היסוד) המסווגות נכון כשליליות, או אחוז נקודות הנתונים השליליות המסווגות באופן שגוי כחיוביות
- מתייחס ל: שוויון הזדמנויות (עבור המעמד השלילי), כאשר הוא שווה בין תת-קבוצות
- מתי להשתמש במדד זה: שימוש בהגינות במקרים שבהם שיעורי שגיאות (או סיווג שגוי של משהו כחיובי) מדאיגים יותר מאשר סיווג החיוביות. זה נפוץ בעיקר במקרים של התעללות, שבהם חיוביות מובילות לרוב לפעולות שליליות. אלה חשובים גם עבור טכנולוגיות ניתוח פנים כגון זיהוי פנים או תכונות פנים
דיוק ו-AUC
- מתייחס ל: Parity Predictive, כאשר שווה בין תת-קבוצות
- מתי להשתמש במדדים אלה: מקרים שבהם דיוק המשימה הוא קריטי ביותר (לא בהכרח בכיוון נתון), כגון זיהוי פנים או מקבץ פנים
שיעור גילוי כוזב
- הגדרה: אחוז נקודות הנתונים השליליות (כפי שסומנו באמיתות היסוד) המסווגות באופן שגוי כחיוביות מתוך כל נקודות הנתונים המסווגות כחיוביות. זה גם היפוך של PPV
- מתייחס ל: Parity Predictive (הידוע גם ככיול), כאשר שווה בין תת-קבוצות
- מתי להשתמש במדד זה: מקרים שבהם חלק מהתחזיות החיוביות הנכונות צריך להיות שווה בין תת-קבוצות
שיעור השמטות כוזב
- הגדרה: אחוז נקודות הנתונים החיוביות (כפי שסומנו באמיתות היסוד) המסווגות באופן שגוי כשליליות מתוך כל נקודות הנתונים המסווגות כשליליות. זה גם היפוך של NPV
- מתייחס ל: Parity Predictive (הידוע גם ככיול), כאשר שווה בין תת-קבוצות
- מתי להשתמש במדד זה: מקרים שבהם חלק מהתחזיות השליליות הנכונות צריך להיות שווה בתתי קבוצות
קצב היפוך כללי / קצב היפוך חיזוי חיובי לשלילי / קצב היפוך חיזוי שלילי לחיובי
- הגדרה: ההסתברות שהסווג נותן חיזוי שונה אם תכונת הזהות בתכונה נתונה השתנתה.
- מתייחס ל: הוגנות נגדית
- מתי להשתמש במדד זה: בעת קביעה אם החיזוי של המודל משתנה כאשר התכונות הרגישות שאליהן מתייחסים בדוגמה מוסרות או מוחלפות. אם כן, שקול להשתמש בטכניקת Counterfactual Logit Pairing בספריית Tensorflow Model Remediation.
ספירת סיבובים / חיזוי חיובי לשלילי ספירת סיבובים / ספירת סיבובים שלילי לחיובית *
- הגדרה: מספר הפעמים שהמסווג נותן תחזית שונה אם מונח הזהות בדוגמה נתונה היה שונה.
- מתייחס ל: הוגנות נגדית
- מתי להשתמש במדד זה: בעת קביעה אם החיזוי של המודל משתנה כאשר התכונות הרגישות שאליהן מתייחסים בדוגמה מוסרות או מוחלפות. אם כן, שקול להשתמש בטכניקת Counterfactual Logit Pairing בספריית Tensorflow Model Remediation.
דוגמאות לאילו מדדים לבחור
- כישלון שיטתי בזיהוי פנים באפליקציית מצלמה יכול להוביל לחוויית משתמש שלילית עבור קבוצות משתמשים מסוימות. במקרה זה, שלילי שווא במערכת זיהוי פנים עלולים להוביל לכשל במוצר, בעוד ש-false positive (זיהוי פנים כשאין) עלול להוות מטרד קל למשתמש. לפיכך, הערכה וצמצום השיעור השלילי הכוזב חשוב למקרה שימוש זה.
- סימון לא הוגן של הערות טקסט מאנשים מסוימים כ"ספאם" או "רעילות גבוהה" במערכת ניהול מוביל להשתיק קולות מסוימים. מצד אחד, שיעור חיובי כוזב גבוה מוביל לצנזורה לא הוגנת. מצד שני, שיעור שלילי כוזב גבוה עלול להוביל לריבוי של תוכן רעיל מקבוצות מסוימות, מה שעלול גם לפגוע במשתמש וגם להוות נזק ייצוגי לאותן קבוצות. לפיכך, חשוב לקחת בחשבון את שני המדדים, בנוסף למדדים שלוקחים בחשבון את כל סוגי השגיאות כמו דיוק או AUC.
אינך רואה את המדדים שאתה מחפש?
עקוב אחר התיעוד כאן כדי להוסיף מדד מותאם אישית משלך.
הערות אחרונות
פער במדדים בין שתי קבוצות יכול להוות סימן לכך שהמודל שלך עשוי להיות בעל הטיות לא הוגנות . עליך לפרש את התוצאות שלך בהתאם למקרה השימוש שלך. עם זאת, הסימן הראשון לכך שאתה עשוי להתייחס לקבוצה אחת של משתמשים בצורה לא הוגנת הוא כאשר המדדים בין קבוצת המשתמשים הזו לסך הכל שלך שונים באופן משמעותי. הקפד לקחת בחשבון מרווחי סמך כאשר אתה מסתכל על ההבדלים הללו. כאשר יש לך מעט מדי דוגמאות בפרוסה מסוימת, ייתכן שההבדל בין המדדים אינו מדויק.
השגת שוויון בין קבוצות על מדדי הוגנות לא אומר שהמודל הוגן. המערכות מורכבות ביותר, והשגת שוויון באחד (או אפילו בכולם) מהמדדים שסופקו אינה יכולה להבטיח הוגנות.
יש להפעיל הערכות הוגנות לאורך תהליך הפיתוח ולאחר ההשקה (לא יום לפני ההשקה). בדיוק כמו ששיפור המוצר שלך הוא תהליך מתמשך ונתון להתאמה על סמך משוב מהמשתמשים והשוק, כך שהמוצר שלך הוגן ושוויוני דורש תשומת לב מתמשכת. ככל שהיבטים שונים של המודל משתנים, כגון נתוני אימון, תשומות ממודלים אחרים או העיצוב עצמו, מדדי הוגנות עשויים להשתנות. "ניקוי הסרגל" פעם אחת לא מספיק כדי להבטיח שכל הרכיבים המקיימים אינטראקציה נשארו שלמים לאורך זמן.
יש לבצע בדיקות יריבות עבור דוגמאות נדירות וזדוניות. הערכות הוגנות לא נועדו להחליף בדיקות יריבות. הגנה נוספת מפני דוגמאות נדירות וממוקדות היא חיונית שכן דוגמאות אלו כנראה לא יבואו לידי ביטוי בנתוני הדרכה או הערכה.