הכלי What-If (WIT) מספק ממשק קל לשימוש להרחבת ההבנה של מודלים של סיווג קופסה שחורה ורגרסיה ML. עם התוסף, אתה יכול לבצע הסקת מסקנות על סט גדול של דוגמאות ולהמחיש מיד את התוצאות במגוון דרכים. בנוסף, ניתן לערוך דוגמאות באופן ידני או פרוגרמטי ולהפעיל מחדש את המודל כדי לראות את תוצאות השינויים. הוא מכיל כלים לחקירת ביצועי מודל והגינות ביחס לקבוצות משנה של מערך נתונים.
מטרת הכלי היא לתת לאנשים דרך פשוטה, אינטואיטיבית ועוצמתית לחקור ולחקור מודלים של ML מאומנים באמצעות ממשק ויזואלי ללא צורך בקוד.
ניתן לגשת לכלי דרך TensorBoard או ישירות במחברת Jupyter או Colab. לפרטים מעמיקים נוספים, הדגמות, הדרכה ומידע ספציפי לשימוש ב-WIT במצב מחברת, ראה אתר What-If Tool .
דרישות
כדי להשתמש ב-WIT ב-TensorBoard, יש צורך בשני דברים:
- יש להגיש את המודל/ים שברצונך לחקור באמצעות TensorFlow Serving באמצעות ה-API לסיווג, נסיגה או חיזוי.
- מערך הנתונים שיש להסיק מהמודלים חייב להיות בקובץ TFRecord הנגיש על ידי שרת האינטרנט של TensorBoard.
נוֹהָג
בעת פתיחת לוח המחוונים What-If Tool ב-TensorBoard, תראה מסך הגדרה שבו אתה מספק את המארח והיציאה של שרת הדגם, שם הדגם המוגש, סוג הדגם והנתיב לקובץ TFRecords אל לִטעוֹן. לאחר מילוי מידע זה ולחיצה על "קבל", WIT יטען את מערך הנתונים ויפעיל הסקה עם המודל, ויציג את התוצאות.
לפרטים על המאפיינים השונים של WIT וכיצד הם יכולים לסייע בהבנת מודלים וחקירות הגינות, ראה את ההליכה באתר What-If Tool .
מודל הדגמה ומערך נתונים
אם אתה רוצה לבדוק WIT ב-TensorBoard עם מודל מאומן מראש, אתה יכול להוריד ולפתוח מודל ומערך נתונים מאומנים מראש מ https://storage.googleapis.com/what-if-tool-resources/uci-census -demo/uci-census-demo.zip המודל הוא מודל סיווג בינארי המשתמש במערך הנתונים של UCI Census כדי לחזות אם אדם מרוויח יותר מ-$50ka בשנה. משימת נתונים ומשימת חיזוי זו משמשת לעתים קרובות במודלים של למידת מכונה ובמחקר הוגנות.
הגדר את משתנה הסביבה MODEL_PATH למיקום ספריית הדגמים המתקבלת במחשב שלך.
התקן את docker ואת TensorFlow Serving בהתאם לתיעוד הרשמי .
שרת את המודל באמצעות docker דרך docker run -p 8500:8500 --mount type=bind,source=${MODEL_PATH},target=/models/uci_income -e MODEL_NAME=uci_income -t tensorflow/serving . שים לב שייתכן שתצטרך להפעיל את הפקודה עם sudo בהתאם להגדרות ה-docker שלך.
כעת הפעל את לוח הטנסור והשתמש בתפריט הנפתח של לוח המחוונים כדי לנווט אל הכלי What-If.
במסך ההגדרה, הגדר את כתובת ההסקה ל-"localhost:8500", את שם הדגם ל-"uci_income" ואת הנתיב לדוגמאות לנתיב המלא לקובץ adult.tfrecord שהורד, ולאחר מכן לחץ על "קבל".
כמה דברים שכדאי לנסות עם הכלי מה-אם בהדגמה זו כוללים:
- עריכת נקודת נתונים בודדת ורואה את השינוי שנוצר בהסקת ההסקה.
- בחינת הקשר בין תכונות בודדות במערך הנתונים לבין תוצאות ההסקה של המודל באמצעות עלילות תלות חלקיות.
- חיתוך מערך הנתונים לקבוצות משנה והשוואת הביצועים בין פרוסות.
למבט מעמיק על תכונות הכלי, עיין בהדרכה של What-If Tool .
שימו לב לתכונת האמת הבסיסית במערך הנתונים שהמודל הזה מנסה לחזות נקראת "יעד", כך שכאשר משתמשים בכרטיסייה "ביצועים והוגנות", "יעד" הוא מה שתרצו לציין בתפריט הנפתח של תכונת אמת הקרקע.