TensorFlow Text, TensorFlow 2.0 के साथ उपयोग के लिए तैयार टेक्स्ट से संबंधित कक्षाओं और ऑप्स का एक संग्रह प्रदान करता है। लाइब्रेरी टेक्स्ट-आधारित मॉडलों द्वारा नियमित रूप से आवश्यक प्रीप्रोसेसिंग निष्पादित कर सकती है, और इसमें अनुक्रम मॉडलिंग के लिए उपयोगी अन्य सुविधाएं शामिल हैं जो कोर टेन्सरफ्लो द्वारा प्रदान नहीं की जाती हैं।
आपके टेक्स्ट प्रीप्रोसेसिंग में इन ऑप्स का उपयोग करने का लाभ यह है कि वे TensorFlow ग्राफ़ में किए जाते हैं। आपको प्रशिक्षण में टोकननाइजेशन के बारे में चिंता करने की जरूरत नहीं है, जो कि अनुमान के समय टोकननाइजेशन से अलग है, या प्रीप्रोसेसिंग स्क्रिप्ट को प्रबंधित करना है।
TensorFlow टेक्स्ट स्थापित करें
पिप का उपयोग करके स्थापित करें
पाइप इंस्टाल के साथ टीएफ टेक्स्ट इंस्टॉल करते समय, आपके द्वारा चलाए जा रहे टेन्सरफ्लो के संस्करण पर ध्यान दें, क्योंकि आपको टीएफ टेक्स्ट के संबंधित संस्करण को निर्दिष्ट करना चाहिए।
pip install -U tensorflow-text==<version>
स्रोत से निर्माण करें
TensorFlow टेक्स्ट को TensorFlow के समान वातावरण में बनाया जाना चाहिए। इस प्रकार, यदि आप मैन्युअल रूप से TF टेक्स्ट बनाते हैं, तो यह अत्यधिक अनुशंसित है कि आप TensorFlow भी बनाएं।
यदि MacOS पर निर्माण कर रहे हैं, तो आपके पास कोरुटिल्स स्थापित होना चाहिए। होमब्रू के साथ ऐसा करना संभवतः सबसे आसान है। सबसे पहले, स्रोत से TensorFlow बनाएं।
टीएफ टेक्स्ट रेपो को क्लोन करें।
git clone https://github.com/tensorflow/text.git
अंत में, पिप पैकेज बनाने के लिए बिल्ड स्क्रिप्ट चलाएँ।
./oss_scripts/run_build.sh