टेंसरफ़्लो ट्रांसफ़ॉर्म

TensorFlow Transform, TensorFlow के साथ डेटा प्रीप्रोसेसिंग के लिए एक लाइब्रेरी है। tf.Transform उस डेटा के लिए उपयोगी है जिसके लिए पूर्ण-पास की आवश्यकता होती है, जैसे:

• माध्य और मानक विचलन द्वारा इनपुट मान को सामान्यीकृत करें।
• सभी इनपुट मानों पर एक शब्दावली उत्पन्न करके स्ट्रिंग्स को पूर्णांकों में बदलें।
• देखे गए डेटा वितरण के आधार पर फ़्लोट को बकेट में निर्दिष्ट करके पूर्णांक में परिवर्तित करें।

TensorFlow में एकल उदाहरण या उदाहरणों के बैच में हेरफेर के लिए अंतर्निहित समर्थन है। tf.Transform उदाहरण डेटा पर पूर्ण-पास का समर्थन करने के लिए इन क्षमताओं का विस्तार करता है।

tf.Transform का आउटपुट प्रशिक्षण और सेवा के लिए उपयोग करने के लिए TensorFlow ग्राफ़ के रूप में निर्यात किया जाता है। प्रशिक्षण और सेवा दोनों के लिए एक ही ग्राफ का उपयोग करने से विषमता को रोका जा सकता है क्योंकि दोनों चरणों में समान परिवर्तन लागू होते हैं।

tf.Transform के परिचय के लिए, TFX ( लिंक ) पर TFX देव समिट टॉक का tf.Transform अनुभाग देखें।

इंस्टालेशन

tensorflow-transform PyPI पैकेज tf.Transform स्थापित करने का अनुशंसित तरीका है:

pip install tensorflow-transform

स्रोत से टीएफटी बनाएं

स्रोत से निर्माण करने के लिए निम्नलिखित चरणों का पालन करें: कमांड चलाकर एक वर्चुअल वातावरण बनाएं

python3 -m venv <virtualenv_name>
source <virtualenv_name>/bin/activate
pip3 install setuptools wheel
git clone https://github.com/tensorflow/transform.git
cd transform
python3 setup.py bdist_wheel

यह dist निर्देशिका में TFT व्हील का निर्माण करेगा। डिस्ट डायरेक्टरी से व्हील को स्थापित करने के लिए कमांड चलाएँ

cd dist
pip3 install tensorflow_transform-<version>-py3-none-any.whl

रात्रिकालीन पैकेज

टीएफटी Google क्लाउड पर https://pypi-nightly.tensorflow.org पर रात्रिकालीन पैकेज भी होस्ट करता है। नवीनतम रात्रिकालीन पैकेज स्थापित करने के लिए, कृपया निम्नलिखित कमांड का उपयोग करें:

pip install --extra-index-url https://pypi-nightly.tensorflow.org/simple tensorflow-transform

यह TFT की प्रमुख निर्भरताओं जैसे कि TensorFlow मेटाडेटा (TFMD), TFX बेसिक शेयर्ड लाइब्रेरीज़ (TFX-BSL) के लिए रात्रिकालीन पैकेज स्थापित करेगा।

उल्लेखनीय निर्भरताएँ

TensorFlow आवश्यक है.

अपाचे बीम आवश्यक है; यह वह तरीका है जिससे कुशल वितरित संगणना समर्थित है। डिफ़ॉल्ट रूप से, अपाचे बीम स्थानीय मोड में चलता है लेकिन Google क्लाउड डेटाफ़्लो और अन्य अपाचे बीम धावकों का उपयोग करके वितरित मोड में भी चलाया जा सकता है।

अपाचे एरो भी आवश्यक है. टीएफटी वेक्टरकृत सुन्न कार्यों का उपयोग करने के लिए आंतरिक रूप से डेटा का प्रतिनिधित्व करने के लिए एरो का उपयोग करता है।

संगत संस्करण

निम्न तालिका tf.Transform पैकेज संस्करण है जो एक दूसरे के साथ संगत हैं। यह हमारे परीक्षण ढांचे द्वारा निर्धारित किया जाता है, लेकिन अन्य परीक्षण न किए गए संयोजन भी काम कर सकते हैं।

प्रश्न

कृपया टेंसरफ़्लो-ट्रांसफ़ॉर्म टैग का उपयोग करके tf.Transform से स्टैक ओवरफ़्लो के साथ काम करने के बारे में कोई भी प्रश्न पूछें।