ניתוח מודל TensorFlow

TensorFlow Model Analysis (TFMA) היא ספרייה להערכת מודלים של TensorFlow. זה מאפשר למשתמשים להעריך את המודלים שלהם על כמויות גדולות של נתונים בצורה מבוזרת, תוך שימוש באותם מדדים שהוגדרו במאמן שלהם. ניתן לחשב מדדים אלו על פני פרוסות נתונים שונות ולהמחיש אותם במחברות של Jupyter.

דפדפן מדדי חיתוך TFMA

הַתקָנָה

הדרך המומלצת להתקנת TFMA היא שימוש בחבילת PyPI :

pip install tensorflow-model-analysis

בניית TFMA ממקור

כדי לבנות ממקור בצע את השלבים הבאים:

התקן את הפרוטוק לפי הקישור שהוזכר: protoc

צור סביבה וירטואלית על ידי הפעלת הפקודות

python3 -m venv <virtualenv_name>
source <virtualenv_name>/bin/activate
pip3 install setuptools wheel
git clone https://github.com/tensorflow/model-analysis.git
cd model-analysis
python3 setup.py bdist_wheel

זה יבנה את גלגל TFMA בספריית dist. כדי להתקין את הגלגל מתוך ספריית dist הפעל את הפקודות

cd dist
pip3 install tensorflow_model_analysis-<version>-py3-none-any.whl

חבילות לילה

TFMA מארח גם חבילות לילה בכתובת https://pypi-nightly.tensorflow.org ב-Google Cloud. כדי להתקין את החבילה הלילית האחרונה, השתמש בפקודה הבאה:

pip install -i https://pypi-nightly.tensorflow.org/simple tensorflow-model-analysis

זה יתקין את החבילות הליליות עבור התלות העיקריות של TFMA כגון TensorFlow Metadata (TFMD), TFX Basic Shared Libraries (TFX-BSL).

נכון לעכשיו, TFMA דורש כי TensorFlow מותקן אך אין לה תלות מפורשת בחבילת TensorFlow PyPI. עיין במדריכי ההתקנה של TensorFlow לקבלת הוראות.

כדי להפעיל הדמיית TFMA ב-Jupyter Notebook:

  jupyter nbextension enable --py widgetsnbextension
  jupyter nbextension enable --py tensorflow_model_analysis

מעבדת ג'ופיטר

נכון לכתיבת שורות אלו, בגלל https://github.com/pypa/pip/issues/9187, ייתכן pip install לעולם לא תסתיים. במקרה זה, עליך להחזיר את pip לגרסה 19 במקום 20: pip install "pip<20" .

שימוש בתוסף JupyterLab דורש התקנת תלות בשורת הפקודה. אתה יכול לעשות זאת בתוך המסוף בממשק המשתמש של JupyterLab או בשורת הפקודה. זה כולל התקנה בנפרד של כל התלות בחבילת pip ותלות של תוסף labextension JupyterLab, ומספרי הגרסה חייבים להיות תואמים.

הדוגמאות שלהלן משתמשות ב-0.27.0. בדוק את הגרסאות הזמינות למטה כדי להשתמש בגרסה העדכנית ביותר.

Jupyter Lab 1.2.x 

pip install tensorflow_model_analysis==0.27.0
jupyter labextension install tensorflow_model_analysis@0.27.0
jupyter labextension install @jupyter-widgets/jupyterlab-manager@1.1

Jupyter Lab 2 

pip install tensorflow_model_analysis==0.27.0
jupyter labextension install tensorflow_model_analysis@0.27.0
jupyter labextension install @jupyter-widgets/jupyterlab-manager@2

פתרון בעיות

בדוק חבילות pip:

pip list

בדוק הרחבות:

jupyter labextension list

תלות בולטת

נדרש TensorFlow.

נדרשת Apache Beam ; זו הדרך שבה נתמך חישוב מבוזר יעיל. כברירת מחדל, Apache Beam פועל במצב מקומי אך יכול לפעול גם במצב מבוזר באמצעות Google Cloud Dataflow ורצפי Apache Beam אחרים.

נדרש גם חץ אפאצ'י . TFMA משתמש בחץ כדי לייצג נתונים פנימית על מנת לעשות שימוש בפונקציות numpy מוקטורות.

תחילת העבודה

להנחיות לשימוש ב-TFMA, עיין במדריך התחלת העבודה .

גרסאות תואמות

הטבלה הבאה היא גרסאות חבילת TFMA התואמות זו לזו. זה נקבע על ידי מסגרת הבדיקה שלנו, אך שילובים אחרים שטרם נבדקו עשויים לעבוד גם הם.

tensorflow-מודל-ניתוח apache-beam[gcp] פירו זרימת טנסור tensorflow-metadata tfx-bsl
מאסטר GitHub 2.47.0 10.0.0 מדי לילה (2.x) 1.15.0 1.15.1
0.46.0 2.47.0 10.0.0 2.15 1.15.0 1.15.1
0.45.0 2.47.0 10.0.0 2.13 1.14.0 1.14.0
0.44.0 2.40.0 6.0.0 2.12 1.13.1 1.13.0
0.43.0 2.40.0 6.0.0 2.11 1.12.0 1.12.0
0.42.0 2.40.0 6.0.0 1.15 / 2.10 1.11.0 1.11.0
0.41.1 2.40.0 6.0.0 1.15 / 2.9 1.10.0 1.10.1
0.41.0 2.40.0 6.0.0 1.15 / 2.9 1.10.0 1.10.1
0.40.0 2.38.0 5.0.0 1.15 / 2.9 1.9.0 1.9.0
0.39.0 2.38.0 5.0.0 1.15 / 2.8 1.8.0 1.8.0
0.38.0 2.36.0 5.0.0 1.15 / 2.8 1.7.0 1.7.0
0.37.0 2.35.0 5.0.0 1.15 / 2.7 1.6.0 1.6.0
0.36.0 2.34.0 5.0.0 1.15 / 2.7 1.5.0 1.5.0
0.35.0 2.33.0 5.0.0 1.15 / 2.6 1.4.0 1.4.0
0.34.1 2.32.0 2.0.0 1.15 / 2.6 1.2.0 1.3.0
0.34.0 2.31.0 2.0.0 1.15 / 2.6 1.2.0 1.3.1
0.33.0 2.31.0 2.0.0 1.15 / 2.5 1.2.0 1.2.0
0.32.1 2.29.0 2.0.0 1.15 / 2.5 1.1.0 1.1.1
0.32.0 2.29.0 2.0.0 1.15 / 2.5 1.1.0 1.1.0
0.31.0 2.29.0 2.0.0 1.15 / 2.5 1.0.0 1.0.0
0.30.0 2.28.0 2.0.0 1.15 / 2.4 0.30.0 0.30.0
0.29.0 2.28.0 2.0.0 1.15 / 2.4 0.29.0 0.29.0
0.28.0 2.28.0 2.0.0 1.15 / 2.4 0.28.0 0.28.0
0.27.0 2.27.0 2.0.0 1.15 / 2.4 0.27.0 0.27.0
0.26.1 2.28.0 0.17.0 1.15 / 2.3 0.26.0 0.26.0
0.26.0 2.25.0 0.17.0 1.15 / 2.3 0.26.0 0.26.0
0.25.0 2.25.0 0.17.0 1.15 / 2.3 0.25.0 0.25.0
0.24.3 2.24.0 0.17.0 1.15 / 2.3 0.24.0 0.24.1
0.24.2 2.23.0 0.17.0 1.15 / 2.3 0.24.0 0.24.0
0.24.1 2.23.0 0.17.0 1.15 / 2.3 0.24.0 0.24.0
0.24.0 2.23.0 0.17.0 1.15 / 2.3 0.24.0 0.24.0
0.23.0 2.23.0 0.17.0 1.15 / 2.3 0.23.0 0.23.0
0.22.2 2.20.0 0.16.0 1.15 / 2.2 0.22.2 0.22.0
0.22.1 2.20.0 0.16.0 1.15 / 2.2 0.22.2 0.22.0
0.22.0 2.20.0 0.16.0 1.15 / 2.2 0.22.0 0.22.0
0.21.6 2.19.0 0.15.0 1.15 / 2.1 0.21.0 0.21.3
0.21.5 2.19.0 0.15.0 1.15 / 2.1 0.21.0 0.21.3
0.21.4 2.19.0 0.15.0 1.15 / 2.1 0.21.0 0.21.3
0.21.3 2.17.0 0.15.0 1.15 / 2.1 0.21.0 0.21.0
0.21.2 2.17.0 0.15.0 1.15 / 2.1 0.21.0 0.21.0
0.21.1 2.17.0 0.15.0 1.15 / 2.1 0.21.0 0.21.0
0.21.0 2.17.0 0.15.0 1.15 / 2.1 0.21.0 0.21.0
0.15.4 2.16.0 0.15.0 1.15 / 2.0 לא 0.15.1
0.15.3 2.16.0 0.15.0 1.15 / 2.0 לא 0.15.1
0.15.2 2.16.0 0.15.0 1.15 / 2.0 לא 0.15.1
0.15.1 2.16.0 0.15.0 1.15 / 2.0 לא 0.15.0
0.15.0 2.16.0 0.15.0 1.15 לא לא
0.14.0 2.14.0 לא 1.14 לא לא
0.13.1 2.11.0 לא 1.13 לא לא
0.13.0 2.11.0 לא 1.13 לא לא
0.12.1 2.10.0 לא 1.12 לא לא
0.12.0 2.10.0 לא 1.12 לא לא
0.11.0 2.8.0 לא 1.11 לא לא
0.9.2 2.6.0 לא 1.9 לא לא
0.9.1 2.6.0 לא 1.10 לא לא
0.9.0 2.5.0 לא 1.9 לא לא
0.6.0 2.4.0 לא 1.6 לא לא

שאלות

אנא הפנה כל שאלה בנוגע לעבודה עם TFMA ל- Stack Overflow באמצעות תג tensorflow-model-analysis .