TensorFlow Transform عبارة عن مكتبة لمعالجة البيانات مسبقًا باستخدام TensorFlow. يعد tf.Transform مفيدًا للبيانات التي تتطلب تمريرًا كاملاً، مثل:
- تطبيع قيمة الإدخال عن طريق الانحراف المتوسط والمعياري.
- تحويل السلاسل إلى أعداد صحيحة عن طريق توليد المفردات على كافة قيم الإدخال.
- تحويل العوامات إلى أعداد صحيحة عن طريق تعيينها إلى مجموعات بناءً على توزيع البيانات المرصودة.
يحتوي TensorFlow على دعم مدمج للمعالجة في مثال واحد أو مجموعة من الأمثلة. يعمل tf.Transform على توسيع هذه الإمكانات لدعم التمريرات الكاملة عبر بيانات المثال.
يتم تصدير مخرجات tf.Transform كرسم بياني TensorFlow لاستخدامه في التدريب والخدمة. إن استخدام نفس الرسم البياني لكل من التدريب والتقديم يمكن أن يمنع الانحراف حيث يتم تطبيق نفس التحولات في كلا المرحلتين.
للحصول على مقدمة حول tf.Transform ، راجع قسم tf.Transform في محادثة قمة TFX Dev على TFX ( الرابط ).
تثبيت
تعد حزمة PyPI tensorflow-transform هي الطريقة الموصى بها لتثبيت tf.Transform :
pip install tensorflow-transform
بناء TFT من المصدر
للبناء من المصدر اتبع الخطوات التالية: قم بإنشاء بيئة افتراضية عن طريق تشغيل الأوامر
python3 -m venv <virtualenv_name>
source <virtualenv_name>/bin/activate
pip3 install setuptools wheel
git clone https://github.com/tensorflow/transform.git
cd transform
python3 setup.py bdist_wheel
سيؤدي هذا إلى بناء عجلة TFT في دليل التوزيع. لتثبيت العجلة من دليل dist، قم بتشغيل الأوامر
cd dist
pip3 install tensorflow_transform-<version>-py3-none-any.whl
الحزم الليلية
تستضيف TFT أيضًا حزمًا ليلية على https://pypi-nightly.tensorflow.org على Google Cloud. لتثبيت أحدث حزمة ليلية، يرجى استخدام الأمر التالي:
pip install --extra-index-url https://pypi-nightly.tensorflow.org/simple tensorflow-transform
سيؤدي هذا إلى تثبيت الحزم الليلية لتبعيات TFT الرئيسية مثل TensorFlow Metadata (TFMD)، ومكتبات TFX الأساسية المشتركة (TFX-BSL).
التبعيات البارزة
مطلوب TensorFlow.
مطلوب شعاع أباتشي ؛ إنها الطريقة التي يتم بها دعم الحساب الموزع الفعال. افتراضيًا، يعمل Apache Beam في الوضع المحلي ولكن يمكن تشغيله أيضًا في الوضع الموزع باستخدام Google Cloud Dataflow ومشغلات Apache Beam الأخرى.
سهم Apache مطلوب أيضًا. يستخدم TFT Arrow لتمثيل البيانات داخليًا من أجل الاستفادة من الوظائف العددية الموجهة.
الإصدارات المتوافقة
الجدول التالي هو إصدارات حزمة tf.Transform المتوافقة مع بعضها البعض. يتم تحديد ذلك من خلال إطار الاختبار الخاص بنا، ولكن قد تعمل مجموعات أخرى لم يتم اختبارها أيضًا.
| تحويل Tensorflow | شعاع أباتشي[gcp] | بيارو | com.tensorflow | البيانات الوصفية لـ Tensorflow | tfx-bsl |
|---|---|---|---|---|---|
| سيد جيثب | 2.47.0 | 10.0.0 | ليلا (2.x) | 1.15.0 | 1.15.1 |
| 1.15.0 | 2.47.0 | 10.0.0 | 2.15 | 1.15.0 | 1.15.1 |
| 1.14.0 | 2.47.0 | 10.0.0 | 2.13 | 1.14.0 | 1.14.0 |
| 1.13.0 | 2.41.0 | 6.0.0 | 2.12 | 1.13.1 | 1.13.0 |
| 1.12.0 | 2.41.0 | 6.0.0 | 2.11 | 1.12.0 | 1.12.0 |
| 1.11.0 | 2.41.0 | 6.0.0 | 1.15.5 / 2.10 | 1.11.0 | 1.11.0 |
| 1.10.0 | 2.40.0 | 6.0.0 | 1.15.5 / 2.9 | 1.10.0 | 1.10.0 |
| 1.9.0 | 2.38.0 | 5.0.0 | 1.15.5 / 2.9 | 1.9.0 | 1.9.0 |
| 1.8.0 | 2.38.0 | 5.0.0 | 1.15.5 / 2.8 | 1.8.0 | 1.8.0 |
| 1.7.0 | 2.36.0 | 5.0.0 | 1.15.5 / 2.8 | 1.7.0 | 1.7.0 |
| 1.6.1 | 2.35.0 | 5.0.0 | 1.15.5 / 2.8 | 1.6.0 | 1.6.0 |
| 1.6.0 | 2.35.0 | 5.0.0 | 1.15.5 / 2.7 | 1.6.0 | 1.6.0 |
| 1.5.0 | 2.34.0 | 5.0.0 | 1.15.2 / 2.7 | 1.5.0 | 1.5.0 |
| 1.4.1 | 2.33.0 | 4.0.1 | 1.15.2 / 2.6 | 1.4.0 | 1.4.0 |
| 1.4.0 | 2.33.0 | 4.0.1 | 1.15.2 / 2.6 | 1.4.0 | 1.4.0 |
| 1.3.0 | 2.31.0 | 2.0.0 | 1.15.2 / 2.6 | 1.2.0 | 1.3.0 |
| 1.2.0 | 2.31.0 | 2.0.0 | 1.15.2 / 2.5 | 1.2.0 | 1.2.0 |
| 1.1.1 | 2.29.0 | 2.0.0 | 1.15.2 / 2.5 | 1.1.0 | 1.1.1 |
| 1.1.0 | 2.29.0 | 2.0.0 | 1.15.2 / 2.5 | 1.1.0 | 1.1.0 |
| 1.0.0 | 2.29.0 | 2.0.0 | 1.15 / 2.5 | 1.0.0 | 1.0.0 |
| 0.30.0 | 2.28.0 | 2.0.0 | 1.15 / 2.4 | 0.30.0 | 0.30.0 |
| 0.29.0 | 2.28.0 | 2.0.0 | 1.15 / 2.4 | 0.29.0 | 0.29.0 |
| 0.28.0 | 2.28.0 | 2.0.0 | 1.15 / 2.4 | 0.28.0 | 0.28.1 |
| 0.27.0 | 2.27.0 | 2.0.0 | 1.15 / 2.4 | 0.27.0 | 0.27.0 |
| 0.26.0 | 2.25.0 | 0.17.0 | 1.15 / 2.3 | 0.26.0 | 0.26.0 |
| 0.25.0 | 2.25.0 | 0.17.0 | 1.15 / 2.3 | 0.25.0 | 0.25.0 |
| 0.24.1 | 2.24.0 | 0.17.0 | 1.15 / 2.3 | 0.24.0 | 0.24.1 |
| 0.24.0 | 2.23.0 | 0.17.0 | 1.15 / 2.3 | 0.24.0 | 0.24.0 |
| 0.23.0 | 2.23.0 | 0.17.0 | 1.15 / 2.3 | 0.23.0 | 0.23.0 |
| 0.22.0 | 2.20.0 | 0.16.0 | 1.15 / 2.2 | 0.22.0 | 0.22.0 |
| 0.21.2 | 2.17.0 | 0.15.0 | 1.15 / 2.1 | 0.21.0 | 0.21.3 |
| 0.21.0 | 2.17.0 | 0.15.0 | 1.15 / 2.1 | 0.21.0 | 0.21.0 |
| 0.15.0 | 2.16.0 | 0.14.0 | 1.15 / 2.0 | 0.15.0 | 0.15.0 |
| 0.14.0 | 2.14.0 | 0.14.0 | 1.14 | 0.14.0 | غير متوفر |
| 0.13.0 | 2.11.0 | غير متوفر | 1.13 | 0.12.1 | غير متوفر |
| 0.12.0 | 2.10.0 | غير متوفر | 1.12 | 0.12.0 | غير متوفر |
| 0.11.0 | 2.8.0 | غير متوفر | 1.11 | 0.9.0 | غير متوفر |
| 0.9.0 | 2.6.0 | غير متوفر | 1.9 | 0.9.0 | غير متوفر |
| 0.8.0 | 2.5.0 | غير متوفر | 1.8 | غير متوفر | غير متوفر |
| 0.6.0 | 2.4.0 | غير متوفر | 1.6 | غير متوفر | غير متوفر |
| 0.5.0 | 2.3.0 | غير متوفر | 1.5 | غير متوفر | غير متوفر |
| 0.4.0 | 2.2.0 | غير متوفر | 1.4 | غير متوفر | غير متوفر |
| 0.3.1 | 2.1.1 | غير متوفر | 1.3 | غير متوفر | غير متوفر |
| 0.3.0 | 2.1.1 | غير متوفر | 1.3 | غير متوفر | غير متوفر |
| 0.1.10 | 2.0.0 | غير متوفر | 1.0 | غير متوفر | غير متوفر |
أسئلة
يرجى توجيه أي أسئلة حول العمل مع tf.Transform إلى Stack Overflow باستخدام علامة Tensorflow-transform .