TensorFlow टेक्स्ट प्रोसेसिंग प्राकृतिक भाषा प्रसंस्करण (एनएलपी) के लिए दस्तावेज़ पुस्तकालयों और वर्कफ़्लोज़ का मार्गदर्शन करता है और टेक्स्ट के साथ काम करने के लिए महत्वपूर्ण अवधारणाओं का परिचय देता है।
केरसएनएलपी
केरासएनएलपी एक उच्च स्तरीय प्राकृतिक भाषा प्रसंस्करण (एनएलपी) लाइब्रेरी है जिसमें सभी नवीनतम ट्रांसफार्मर-आधारित मॉडल के साथ-साथ निचले स्तर के टोकननाइजेशन उपयोगिताएं भी शामिल हैं। अधिकांश एनएलपी उपयोग मामलों के लिए यह अनुशंसित समाधान है।
- केरसएनएलपी के साथ शुरुआत करना : पूर्व-प्रशिक्षित मॉडल का उपयोग करने से लेकर स्क्रैच से अपना खुद का ट्रांसफार्मर बनाने तक, जटिलता के प्रगतिशील स्तरों पर भावना विश्लेषण करके केरसएनएलपी सीखें।
tf.strings
tf.strings मॉड्यूल स्ट्रिंग टेंसर के साथ काम करने के लिए संचालन प्रदान करता है।
- यूनिकोड स्ट्रिंग्स : टेन्सरफ्लो में यूनिकोड स्ट्रिंग्स का प्रतिनिधित्व करें और मानक स्ट्रिंग ऑप्स के यूनिकोड समकक्षों का उपयोग करके उनमें हेरफेर करें।
टेन्सरफ़्लो टेक्स्ट
यदि आपको निचले स्तर के टेक्स्ट प्रोसेसिंग टूल तक पहुंच की आवश्यकता है, तो आप TensorFlow Text का उपयोग कर सकते हैं। टेन्सरफ़्लो टेक्स्ट आपको टेक्स्ट फॉर्म में इनपुट जैसे कच्चे टेक्स्ट स्ट्रिंग्स या दस्तावेज़ों के साथ काम करने में मदद करने के लिए ऑप्स और लाइब्रेरीज़ का एक संग्रह प्रदान करता है।
- TensorFlow टेक्स्ट का परिचय : जानें कि TensorFlow टेक्स्ट कैसे इंस्टॉल करें या इसे स्रोत से कैसे बनाएं।
- TensorFlow टेक्स्ट ऑपरेटरों को TensorFlow Lite में कनवर्ट करना : मोबाइल, एम्बेडेड और IoT उपकरणों पर तैनाती के लिए TensorFlow टेक्स्ट मॉडल को TensorFlow Lite में कनवर्ट करें।
पूर्व प्रसंस्करण
- TF टेक्स्ट के साथ BERT प्रीप्रोसेसिंग : BERT के लिए टेक्स्ट डेटा को इनपुट में बदलने के लिए TensorFlow टेक्स्ट प्रीप्रोसेसिंग ऑप्स का उपयोग करें।
- टीएफ टेक्स्ट के साथ टोकनाइजेशन : टेन्सरफ्लो टेक्स्ट द्वारा प्रदान किए गए टोकनाइजेशन विकल्पों को समझें। जानें कि आप कब एक विकल्प का दूसरे विकल्प पर उपयोग करना चाह सकते हैं, और ये टोकनाइज़र आपके मॉडल के भीतर से कैसे बुलाए जाते हैं।
- सबवर्ड टोकनाइज़र : एक डेटासेट से एक सबवर्ड शब्दावली उत्पन्न करें, और इसका उपयोग शब्दावली से
text.BertTokenizerबनाने के लिए करें।
टेन्सरफ्लो मॉडल - एनएलपी
टेन्सरफ्लो मॉडल - एनएलपी लाइब्रेरी केरस प्राइमिटिव्स प्रदान करती है जिन्हें ट्रांसफार्मर-आधारित मॉडल में इकट्ठा किया जा सकता है, और मचान कक्षाएं जो उपन्यास आर्किटेक्चर के साथ आसान प्रयोग को सक्षम बनाती हैं।
- टेन्सरफ्लो मॉडल एनएलपी लाइब्रेरी का परिचय : एनएलपी मॉडलिंग लाइब्रेरी से बिल्डिंग ब्लॉक्स का उपयोग करके पूर्व-प्रशिक्षण, स्पैन लेबलिंग और वर्गीकरण सहित सामान्य एनएलपी कार्यों के लिए ट्रांसफार्मर-आधारित मॉडल बनाएं।
- ट्रांसफार्मर एनकोडर को अनुकूलित करना : नए नेटवर्क आर्किटेक्चर को नियोजित करने के लिए
tfm.nlp.networks.EncoderScaffold, एक द्वि-दिशात्मक ट्रांसफार्मर-आधारित एनकोडर नेटवर्क मचान को अनुकूलित करें।