TensorFlow Transform היא ספרייה לעיבוד מוקדם של נתונים עם TensorFlow. tf.Transform שימושי עבור נתונים הדורשים מעבר מלא, כגון:
- נרמל ערך קלט לפי ממוצע וסטיית תקן.
- המרת מחרוזות למספרים שלמים על ידי יצירת אוצר מילים על כל ערכי הקלט.
- המר צפים למספרים שלמים על ידי הקצאתם לדליים בהתבסס על התפלגות הנתונים הנצפית.
ל-TensorFlow יש תמיכה מובנית במניפולציות על דוגמה אחת או אצווה של דוגמאות. tf.Transform מרחיב את היכולות הללו כדי לתמוך במעבר מלא על נתוני הדוגמה.
הפלט של tf.Transform מיוצא כגרף TensorFlow לשימוש להדרכה והגשה. שימוש באותו גרף גם לאימון וגם להגשה יכול למנוע הטיה מכיוון שאותן טרנספורמציות מיושמות בשני השלבים.
למבוא ל- tf.Transform , עיין בקטע tf.Transform בהרצאת TFX Dev Summit בנושא TFX ( קישור ).
הַתקָנָה
חבילת tensorflow-transform PyPI היא הדרך המומלצת להתקנת tf.Transform :
pip install tensorflow-transform
בניית TFT ממקור
כדי לבנות ממקור בצע את השלבים הבאים: צור סביבה וירטואלית על ידי הפעלת הפקודות
python3 -m venv <virtualenv_name>
source <virtualenv_name>/bin/activate
pip3 install setuptools wheel
git clone https://github.com/tensorflow/transform.git
cd transform
python3 setup.py bdist_wheel
זה יבנה את גלגל ה-TFT בספריית dist. כדי להתקין את הגלגל מתוך ספריית dist הפעל את הפקודות
cd dist
pip3 install tensorflow_transform-<version>-py3-none-any.whl
חבילות לילה
TFT מארח גם חבילות לילה בכתובת https://pypi-nightly.tensorflow.org ב-Google Cloud. כדי להתקין את החבילה הלילית האחרונה, השתמש בפקודה הבאה:
pip install --extra-index-url https://pypi-nightly.tensorflow.org/simple tensorflow-transform
זה יתקין את החבילות הליליות עבור התלות העיקרית של TFT כגון TensorFlow Metadata (TFMD), TFX Basic Shared Libraries (TFX-BSL).
תלות בולטת
נדרש TensorFlow.
נדרשת Apache Beam ; זו הדרך שבה נתמך חישוב מבוזר יעיל. כברירת מחדל, Apache Beam פועל במצב מקומי אך יכול לפעול גם במצב מבוזר באמצעות Google Cloud Dataflow ורצפי Apache Beam אחרים.
נדרש גם חץ אפאצ'י . TFT משתמש בחץ כדי לייצג נתונים פנימית על מנת לעשות שימוש בפונקציות numpy מוקטורות.
גרסאות תואמות
הטבלה הבאה היא גרסאות החבילה tf.Transform התואמות זו לזו. זה נקבע על ידי מסגרת הבדיקה שלנו, אבל שילובים אחרים שטרם נבדקו עשויים לעבוד גם הם.
| טרנספורמציה של זרימת טנסור | apache-beam[gcp] | פירו | זרימת טנסור | tensorflow-metadata | tfx-bsl |
|---|---|---|---|---|---|
| מאסטר GitHub | 2.47.0 | 10.0.0 | מדי לילה (2.x) | 1.15.0 | 1.15.1 |
| 1.15.0 | 2.47.0 | 10.0.0 | 2.15 | 1.15.0 | 1.15.1 |
| 1.14.0 | 2.47.0 | 10.0.0 | 2.13 | 1.14.0 | 1.14.0 |
| 1.13.0 | 2.41.0 | 6.0.0 | 2.12 | 1.13.1 | 1.13.0 |
| 1.12.0 | 2.41.0 | 6.0.0 | 2.11 | 1.12.0 | 1.12.0 |
| 1.11.0 | 2.41.0 | 6.0.0 | 1.15.5 / 2.10 | 1.11.0 | 1.11.0 |
| 1.10.0 | 2.40.0 | 6.0.0 | 1.15.5 / 2.9 | 1.10.0 | 1.10.0 |
| 1.9.0 | 2.38.0 | 5.0.0 | 1.15.5 / 2.9 | 1.9.0 | 1.9.0 |
| 1.8.0 | 2.38.0 | 5.0.0 | 1.15.5 / 2.8 | 1.8.0 | 1.8.0 |
| 1.7.0 | 2.36.0 | 5.0.0 | 1.15.5 / 2.8 | 1.7.0 | 1.7.0 |
| 1.6.1 | 2.35.0 | 5.0.0 | 1.15.5 / 2.8 | 1.6.0 | 1.6.0 |
| 1.6.0 | 2.35.0 | 5.0.0 | 1.15.5 / 2.7 | 1.6.0 | 1.6.0 |
| 1.5.0 | 2.34.0 | 5.0.0 | 1.15.2 / 2.7 | 1.5.0 | 1.5.0 |
| 1.4.1 | 2.33.0 | 4.0.1 | 1.15.2 / 2.6 | 1.4.0 | 1.4.0 |
| 1.4.0 | 2.33.0 | 4.0.1 | 1.15.2 / 2.6 | 1.4.0 | 1.4.0 |
| 1.3.0 | 2.31.0 | 2.0.0 | 1.15.2 / 2.6 | 1.2.0 | 1.3.0 |
| 1.2.0 | 2.31.0 | 2.0.0 | 1.15.2 / 2.5 | 1.2.0 | 1.2.0 |
| 1.1.1 | 2.29.0 | 2.0.0 | 1.15.2 / 2.5 | 1.1.0 | 1.1.1 |
| 1.1.0 | 2.29.0 | 2.0.0 | 1.15.2 / 2.5 | 1.1.0 | 1.1.0 |
| 1.0.0 | 2.29.0 | 2.0.0 | 1.15 / 2.5 | 1.0.0 | 1.0.0 |
| 0.30.0 | 2.28.0 | 2.0.0 | 1.15 / 2.4 | 0.30.0 | 0.30.0 |
| 0.29.0 | 2.28.0 | 2.0.0 | 1.15 / 2.4 | 0.29.0 | 0.29.0 |
| 0.28.0 | 2.28.0 | 2.0.0 | 1.15 / 2.4 | 0.28.0 | 0.28.1 |
| 0.27.0 | 2.27.0 | 2.0.0 | 1.15 / 2.4 | 0.27.0 | 0.27.0 |
| 0.26.0 | 2.25.0 | 0.17.0 | 1.15 / 2.3 | 0.26.0 | 0.26.0 |
| 0.25.0 | 2.25.0 | 0.17.0 | 1.15 / 2.3 | 0.25.0 | 0.25.0 |
| 0.24.1 | 2.24.0 | 0.17.0 | 1.15 / 2.3 | 0.24.0 | 0.24.1 |
| 0.24.0 | 2.23.0 | 0.17.0 | 1.15 / 2.3 | 0.24.0 | 0.24.0 |
| 0.23.0 | 2.23.0 | 0.17.0 | 1.15 / 2.3 | 0.23.0 | 0.23.0 |
| 0.22.0 | 2.20.0 | 0.16.0 | 1.15 / 2.2 | 0.22.0 | 0.22.0 |
| 0.21.2 | 2.17.0 | 0.15.0 | 1.15 / 2.1 | 0.21.0 | 0.21.3 |
| 0.21.0 | 2.17.0 | 0.15.0 | 1.15 / 2.1 | 0.21.0 | 0.21.0 |
| 0.15.0 | 2.16.0 | 0.14.0 | 1.15 / 2.0 | 0.15.0 | 0.15.0 |
| 0.14.0 | 2.14.0 | 0.14.0 | 1.14 | 0.14.0 | לא |
| 0.13.0 | 2.11.0 | לא | 1.13 | 0.12.1 | לא |
| 0.12.0 | 2.10.0 | לא | 1.12 | 0.12.0 | לא |
| 0.11.0 | 2.8.0 | לא | 1.11 | 0.9.0 | לא |
| 0.9.0 | 2.6.0 | לא | 1.9 | 0.9.0 | לא |
| 0.8.0 | 2.5.0 | לא | 1.8 | לא | לא |
| 0.6.0 | 2.4.0 | לא | 1.6 | לא | לא |
| 0.5.0 | 2.3.0 | לא | 1.5 | לא | לא |
| 0.4.0 | 2.2.0 | לא | 1.4 | לא | לא |
| 0.3.1 | 2.1.1 | לא | 1.3 | לא | לא |
| 0.3.0 | 2.1.1 | לא | 1.3 | לא | לא |
| 0.1.10 | 2.0.0 | לא | 1.0 | לא | לא |
שאלות
אנא הפנה כל שאלה בנוגע לעבודה עם tf.Transform to Stack Overflow באמצעות תג tensorflow-transform .