تحليل نموذج TensorFlow

تحليل نموذج TensorFlow (TFMA) عبارة عن مكتبة لتقييم نماذج TensorFlow. فهو يسمح للمستخدمين بتقييم نماذجهم على كميات كبيرة من البيانات بطريقة موزعة، باستخدام نفس المقاييس المحددة في مدربهم. يمكن حساب هذه المقاييس عبر شرائح مختلفة من البيانات وتصورها في دفاتر ملاحظات Jupyter.

متصفح مقاييس التقطيع TFMA

تثبيت

الطريقة الموصى بها لتثبيت TFMA هي استخدام حزمة PyPI :

pip install tensorflow-model-analysis

بناء TFMA من المصدر

للبناء من المصدر اتبع الخطوات التالية:

قم بتثبيت البروتوك حسب الرابط المذكور: protoc

إنشاء بيئة افتراضية عن طريق تشغيل الأوامر

python3 -m venv <virtualenv_name>
source <virtualenv_name>/bin/activate
pip3 install setuptools wheel
git clone https://github.com/tensorflow/model-analysis.git
cd model-analysis
python3 setup.py bdist_wheel

سيؤدي هذا إلى بناء عجلة TFMA في دليل التوزيع. لتثبيت العجلة من دليل dist، قم بتشغيل الأوامر

cd dist
pip3 install tensorflow_model_analysis-<version>-py3-none-any.whl

الحزم الليلية

تستضيف TFMA أيضًا حزمًا ليلية على https://pypi-nightly.tensorflow.org على Google Cloud. لتثبيت أحدث حزمة ليلية، يرجى استخدام الأمر التالي:

pip install -i https://pypi-nightly.tensorflow.org/simple tensorflow-model-analysis

سيؤدي هذا إلى تثبيت الحزم الليلية للتبعيات الرئيسية لـ TFMA مثل TensorFlow Metadata (TFMD)، ومكتبات TFX الأساسية المشتركة (TFX-BSL).

حاليًا، يتطلب TFMA تثبيت TensorFlow ولكن ليس لديه تبعية صريحة على حزمة TensorFlow PyPI. راجع أدلة تثبيت TensorFlow للحصول على التعليمات.

لتمكين تصور TFMA في Jupyter Notebook:

  jupyter nbextension enable --py widgetsnbextension
  jupyter nbextension enable --py tensorflow_model_analysis

مختبر جوبيتر

حتى وقت كتابة هذا التقرير، بسبب https://github.com/pypa/pip/issues/9187، قد لا ينتهي pip install أبدًا. في هذه الحالة، يجب عليك إرجاع النقطة إلى الإصدار 19 بدلاً من 20: pip install "pip<20" .

يتطلب استخدام ملحق JupyterLab تثبيت التبعيات في سطر الأوامر. يمكنك القيام بذلك داخل وحدة التحكم في واجهة مستخدم JupyterLab أو في سطر الأوامر. يتضمن ذلك التثبيت بشكل منفصل لأي تبعيات حزمة pip وتبعيات البرنامج المساعد JupyterLab labextension، ويجب أن تكون أرقام الإصدارات متوافقة.

تستخدم الأمثلة أدناه 0.27.0. تحقق من الإصدارات المتاحة أدناه لاستخدام الأحدث.

جوبيتر لاب 1.2.x 

pip install tensorflow_model_analysis==0.27.0
jupyter labextension install tensorflow_model_analysis@0.27.0
jupyter labextension install @jupyter-widgets/jupyterlab-manager@1.1

مختبر جوبيتر 2 

pip install tensorflow_model_analysis==0.27.0
jupyter labextension install tensorflow_model_analysis@0.27.0
jupyter labextension install @jupyter-widgets/jupyterlab-manager@2

استكشاف الأخطاء وإصلاحها

التحقق من حزم النقطة:

pip list

التحقق من الإضافات:

jupyter labextension list

التبعيات البارزة

مطلوب TensorFlow.

مطلوب شعاع أباتشي ؛ إنها الطريقة التي يتم بها دعم الحساب الموزع الفعال. افتراضيًا، يعمل Apache Beam في الوضع المحلي ولكن يمكن تشغيله أيضًا في الوضع الموزع باستخدام Google Cloud Dataflow ومشغلات Apache Beam الأخرى.

سهم Apache مطلوب أيضًا. يستخدم TFMA السهم لتمثيل البيانات داخليًا من أجل الاستفادة من الوظائف العددية الموجهة.

ابدء

للحصول على إرشادات حول استخدام TFMA، راجع دليل البدء .

الإصدارات المتوافقة

الجدول التالي هو إصدارات حزمة TFMA المتوافقة مع بعضها البعض. يتم تحديد ذلك من خلال إطار الاختبار الخاص بنا، ولكن قد تعمل مجموعات أخرى لم يتم اختبارها أيضًا.

تحليل نموذج تدفق التوتر شعاع أباتشي[gcp] بيارو com.tensorflow البيانات الوصفية لـ Tensorflow tfx-bsl
سيد جيثب 2.47.0 10.0.0 ليلا (2.x) 1.15.0 1.15.1
0.46.0 2.47.0 10.0.0 2.15 1.15.0 1.15.1
0.45.0 2.47.0 10.0.0 2.13 1.14.0 1.14.0
0.44.0 2.40.0 6.0.0 2.12 1.13.1 1.13.0
0.43.0 2.40.0 6.0.0 2.11 1.12.0 1.12.0
0.42.0 2.40.0 6.0.0 1.15 / 2.10 1.11.0 1.11.0
0.41.1 2.40.0 6.0.0 1.15 / 2.9 1.10.0 1.10.1
0.41.0 2.40.0 6.0.0 1.15 / 2.9 1.10.0 1.10.1
0.40.0 2.38.0 5.0.0 1.15 / 2.9 1.9.0 1.9.0
0.39.0 2.38.0 5.0.0 1.15 / 2.8 1.8.0 1.8.0
0.38.0 2.36.0 5.0.0 1.15 / 2.8 1.7.0 1.7.0
0.37.0 2.35.0 5.0.0 1.15 / 2.7 1.6.0 1.6.0
0.36.0 2.34.0 5.0.0 1.15 / 2.7 1.5.0 1.5.0
0.35.0 2.33.0 5.0.0 1.15 / 2.6 1.4.0 1.4.0
0.34.1 2.32.0 2.0.0 1.15 / 2.6 1.2.0 1.3.0
0.34.0 2.31.0 2.0.0 1.15 / 2.6 1.2.0 1.3.1
0.33.0 2.31.0 2.0.0 1.15 / 2.5 1.2.0 1.2.0
0.32.1 2.29.0 2.0.0 1.15 / 2.5 1.1.0 1.1.1
0.32.0 2.29.0 2.0.0 1.15 / 2.5 1.1.0 1.1.0
0.31.0 2.29.0 2.0.0 1.15 / 2.5 1.0.0 1.0.0
0.30.0 2.28.0 2.0.0 1.15 / 2.4 0.30.0 0.30.0
0.29.0 2.28.0 2.0.0 1.15 / 2.4 0.29.0 0.29.0
0.28.0 2.28.0 2.0.0 1.15 / 2.4 0.28.0 0.28.0
0.27.0 2.27.0 2.0.0 1.15 / 2.4 0.27.0 0.27.0
0.26.1 2.28.0 0.17.0 1.15 / 2.3 0.26.0 0.26.0
0.26.0 2.25.0 0.17.0 1.15 / 2.3 0.26.0 0.26.0
0.25.0 2.25.0 0.17.0 1.15 / 2.3 0.25.0 0.25.0
0.24.3 2.24.0 0.17.0 1.15 / 2.3 0.24.0 0.24.1
0.24.2 2.23.0 0.17.0 1.15 / 2.3 0.24.0 0.24.0
0.24.1 2.23.0 0.17.0 1.15 / 2.3 0.24.0 0.24.0
0.24.0 2.23.0 0.17.0 1.15 / 2.3 0.24.0 0.24.0
0.23.0 2.23.0 0.17.0 1.15 / 2.3 0.23.0 0.23.0
0.22.2 2.20.0 0.16.0 1.15 / 2.2 0.22.2 0.22.0
0.22.1 2.20.0 0.16.0 1.15 / 2.2 0.22.2 0.22.0
0.22.0 2.20.0 0.16.0 1.15 / 2.2 0.22.0 0.22.0
0.21.6 2.19.0 0.15.0 1.15 / 2.1 0.21.0 0.21.3
0.21.5 2.19.0 0.15.0 1.15 / 2.1 0.21.0 0.21.3
0.21.4 2.19.0 0.15.0 1.15 / 2.1 0.21.0 0.21.3
0.21.3 2.17.0 0.15.0 1.15 / 2.1 0.21.0 0.21.0
0.21.2 2.17.0 0.15.0 1.15 / 2.1 0.21.0 0.21.0
0.21.1 2.17.0 0.15.0 1.15 / 2.1 0.21.0 0.21.0
0.21.0 2.17.0 0.15.0 1.15 / 2.1 0.21.0 0.21.0
0.15.4 2.16.0 0.15.0 1.15 / 2.0 غير متوفر 0.15.1
0.15.3 2.16.0 0.15.0 1.15 / 2.0 غير متوفر 0.15.1
0.15.2 2.16.0 0.15.0 1.15 / 2.0 غير متوفر 0.15.1
0.15.1 2.16.0 0.15.0 1.15 / 2.0 غير متوفر 0.15.0
0.15.0 2.16.0 0.15.0 1.15 غير متوفر غير متوفر
0.14.0 2.14.0 غير متوفر 1.14 غير متوفر غير متوفر
0.13.1 2.11.0 غير متوفر 1.13 غير متوفر غير متوفر
0.13.0 2.11.0 غير متوفر 1.13 غير متوفر غير متوفر
0.12.1 2.10.0 غير متوفر 1.12 غير متوفر غير متوفر
0.12.0 2.10.0 غير متوفر 1.12 غير متوفر غير متوفر
0.11.0 2.8.0 غير متوفر 1.11 غير متوفر غير متوفر
0.9.2 2.6.0 غير متوفر 1.9 غير متوفر غير متوفر
0.9.1 2.6.0 غير متوفر 1.10 غير متوفر غير متوفر
0.9.0 2.5.0 غير متوفر 1.9 غير متوفر غير متوفر
0.6.0 2.4.0 غير متوفر 1.6 غير متوفر غير متوفر

أسئلة

يرجى توجيه أي أسئلة حول العمل مع TFMA إلى Stack Overflow باستخدام علامة تحليل نموذج Tensorflow .