केरसएनएलपी
TensorFlow में टेक्स्ट प्रोसेसिंग शुरू करने का सबसे आसान तरीका KerasNLP का उपयोग करना है, जो एक प्राकृतिक भाषा प्रोसेसिंग लाइब्रेरी है जो अत्याधुनिक प्रीसेट वेट और आर्किटेक्चर के साथ मॉड्यूलर घटक प्रदान करती है। आप KerasNLP घटकों का आउट-ऑफ़-द-बॉक्स उपयोग कर सकते हैं या उन्हें आवश्यकतानुसार अनुकूलित कर सकते हैं। KerasNLP सभी वर्कफ़्लो के लिए इन-ग्राफ़ गणना पर जोर देता है, इसलिए आप TensorFlow पारिस्थितिकी तंत्र का उपयोग करके आसान उत्पादन की उम्मीद कर सकते हैं।
KerasNLP स्थापित करने के लिए, इंस्टॉलेशन देखें।
टेन्सरफ़्लो टेक्स्ट
tensorflow_text पैकेज TensorFlow के साथ उपयोग के लिए तैयार टेक्स्ट से संबंधित कक्षाओं और ऑप्स का एक संग्रह प्रदान करता है। लाइब्रेरी टेक्स्ट-आधारित मॉडलों द्वारा नियमित रूप से आवश्यक प्रीप्रोसेसिंग निष्पादित कर सकती है, और इसमें अनुक्रम मॉडलिंग के लिए उपयोगी अन्य सुविधाएं शामिल हैं जो कोर टेन्सरफ्लो द्वारा प्रदान नहीं की जाती हैं।
इंस्टॉलेशन विवरण के लिए, गाइड देखें
टेन्सरफ्लो मॉडल - एनएलपी
TensorFlow मॉडल रिपॉजिटरी अत्याधुनिक (SOTA) मॉडल का कार्यान्वयन प्रदान करता है। tensorflow-models-official पिप पैकेज में nlp.layers , nlp.losses , nlp.models और nlp.tasks सहित SOTA NLP मॉडल बनाने के लिए कई उच्च-स्तरीय फ़ंक्शन और कक्षाएं शामिल हैं।
आप pip के साथ पैकेज स्थापित कर सकते हैं:
$ pip install tensorflow-models-official # For the latest release
$ #or
$ pip install tf-models-nightly # For the nightly build
एनएलपी कार्यक्षमता tfm.nlp सबमॉड्यूल में उपलब्ध है।
import tensorflow_models as tfm
tfm.nlp