मॉडल गार्डन सिंहावलोकन

TensorFlow मॉडल गार्डन दृष्टि और प्राकृतिक भाषा प्रसंस्करण (एनएलपी) के लिए कई अत्याधुनिक मशीन लर्निंग (एमएल) मॉडल के कार्यान्वयन के साथ-साथ वर्कफ़्लो टूल प्रदान करता है ताकि आप उन मॉडलों को मानक डेटासेट पर जल्दी से कॉन्फ़िगर और चला सकें। चाहे आप एक प्रसिद्ध मॉडल के लिए बेंचमार्क प्रदर्शन की तलाश कर रहे हों, हाल ही में जारी किए गए शोध के परिणामों को सत्यापित करें, या मौजूदा मॉडल का विस्तार करें, मॉडल गार्डन आपके एमएल अनुसंधान और अनुप्रयोगों को आगे बढ़ाने में आपकी मदद कर सकता है।

मॉडल गार्डन में मशीन लर्निंग डेवलपर्स के लिए निम्नलिखित संसाधन शामिल हैं:

• दृष्टि और एनएलपी के लिए आधिकारिक मॉडल , Google इंजीनियरों द्वारा अनुरक्षित
• एमएल शोध पत्रों के हिस्से के रूप में प्रकाशित शोध मॉडल
• आधिकारिक मॉडल के तेज, घोषणात्मक प्रशिक्षण विन्यास के लिए प्रशिक्षण प्रयोग ढांचा
• दृष्टि और प्राकृतिक भाषा प्रसंस्करण (एनएलपी) के लिए विशिष्ट एमएल संचालन
• कक्षा के साथ मॉडल प्रशिक्षण लूप प्रबंधन

इन संसाधनों को TensorFlow कोर ढांचे के साथ उपयोग करने और आपके मौजूदा TensorFlow विकास परियोजनाओं के साथ एकीकृत करने के लिए बनाया गया है। मॉडल गार्डन संसाधन भी एक ओपन सोर्स लाइसेंस के तहत प्रदान किए जाते हैं, ताकि आप मॉडल और टूल्स को स्वतंत्र रूप से विस्तारित और वितरित कर सकें।

प्रैक्टिकल एमएल मॉडल प्रशिक्षण और चलाने के लिए कम्प्यूटेशनल रूप से गहन हैं, और ग्राफिकल प्रोसेसिंग यूनिट्स (जीपीयू) और टेन्सर प्रोसेसिंग यूनिट्स (टीपीयू) जैसे त्वरक की आवश्यकता हो सकती है। मॉडल गार्डन के अधिकांश मॉडलों को टीपीयू का उपयोग करके बड़े डेटासेट पर प्रशिक्षित किया गया था। हालाँकि, आप इन मॉडलों को GPU और CPU प्रोसेसर पर प्रशिक्षित और चला सकते हैं।

मॉडल गार्डन मॉडल

मॉडल गार्डन में मशीन लर्निंग मॉडल में पूर्ण कोड शामिल होता है ताकि आप अनुसंधान और प्रयोग के लिए उनका परीक्षण, प्रशिक्षण या पुन: प्रशिक्षित कर सकें। मॉडल गार्डन में मॉडल की दो प्राथमिक श्रेणियां शामिल हैं: आधिकारिक मॉडल और अनुसंधान मॉडल ।

आधिकारिक मॉडल

आधिकारिक मॉडल भंडार दृष्टि और प्राकृतिक भाषा प्रसंस्करण (एनएलपी) पर ध्यान देने के साथ अत्याधुनिक मॉडलों का एक संग्रह है। ये मॉडल वर्तमान TensorFlow 2.x उच्च-स्तरीय API का उपयोग करके कार्यान्वित किए जाते हैं। इस भंडार में मॉडल पुस्तकालयों को तेज प्रदर्शन के लिए अनुकूलित किया गया है और Google इंजीनियरों द्वारा सक्रिय रूप से बनाए रखा गया है। आधिकारिक मॉडल में अतिरिक्त मेटाडेटा शामिल है जिसका उपयोग आप मॉडल गार्डन प्रशिक्षण प्रयोग ढांचे का उपयोग करके प्रयोगों को त्वरित रूप से कॉन्फ़िगर करने के लिए कर सकते हैं।

अनुसंधान मॉडल

रिसर्च मॉडल रिपोजिटरी शोध पत्रों के लिए कोड संसाधनों के रूप में प्रकाशित मॉडलों का एक संग्रह है। ये मॉडल TensorFlow 1.x और 2.x दोनों का उपयोग करके कार्यान्वित किए जाते हैं। अनुसंधान फ़ोल्डर में मॉडल पुस्तकालय कोड मालिकों और अनुसंधान समुदाय द्वारा समर्थित हैं।

प्रशिक्षण प्रयोग ढांचा

मॉडल गार्डन प्रशिक्षण प्रयोग ढांचा आपको इसके आधिकारिक मॉडल और मानक डेटासेट का उपयोग करके प्रशिक्षण प्रयोगों को जल्दी से इकट्ठा करने और चलाने देता है। प्रशिक्षण ढांचा मॉडल गार्डन के आधिकारिक मॉडल में शामिल अतिरिक्त मेटाडेटा का उपयोग करता है ताकि आप घोषणात्मक प्रोग्रामिंग मॉडल का उपयोग करके मॉडल को जल्दी से कॉन्फ़िगर कर सकें। आप TensorFlow मॉडल लाइब्रेरी में पायथन कमांड का उपयोग करके एक प्रशिक्षण प्रयोग को परिभाषित कर सकते हैं या इस उदाहरण की तरह YAML कॉन्फ़िगरेशन फ़ाइल का उपयोग करके प्रशिक्षण को कॉन्फ़िगर कर सकते हैं।

प्रशिक्षण ढांचा tfm.core.base_trainer.ExperimentConfig को कॉन्फ़िगरेशन ऑब्जेक्ट के रूप में उपयोग करता है, जिसमें निम्न शीर्ष-स्तरीय कॉन्फ़िगरेशन ऑब्जेक्ट होते हैं:

• runtime : प्रसंस्करण हार्डवेयर, वितरण रणनीति और अन्य प्रदर्शन अनुकूलन को परिभाषित करता है
• task : मॉडल, प्रशिक्षण डेटा, हानि और आरंभीकरण को परिभाषित करता है
• trainer : ऑप्टिमाइज़र, प्रशिक्षण लूप, मूल्यांकन लूप, सारांश और चौकियों को परिभाषित करता है

मॉडल गार्डन प्रशिक्षण प्रयोग ढांचे का उपयोग करते हुए एक संपूर्ण उदाहरण के लिए, मॉडल गार्डन ट्यूटोरियल के साथ छवि वर्गीकरण देखें। प्रशिक्षण प्रयोग ढांचे के बारे में जानकारी के लिए, TensorFlow Model API दस्तावेज़ देखें । यदि आप अपने मॉडल प्रशिक्षण प्रयोगों के लिए प्रशिक्षण लूप को प्रबंधित करने के लिए एक समाधान की तलाश कर रहे हैं, तो कक्षा देखें।

विशिष्ट एमएल संचालन

मॉडल गार्डन में कई विजन और एनएलपी ऑपरेशन शामिल हैं जो विशेष रूप से अत्याधुनिक मॉडल को निष्पादित करने के लिए डिज़ाइन किए गए हैं जो जीपीयू और टीपीयू पर कुशलता से चलते हैं। विशेष दृष्टि संचालन की सूची के लिए TensorFlow मॉडल विज़न लाइब्रेरी API दस्तावेज़ों की समीक्षा करें। एनएलपी संचालन की सूची के लिए टेंसरफ्लो मॉडल एनएलपी लाइब्रेरी एपीआई डॉक्स की समीक्षा करें। इन पुस्तकालयों में दृष्टि और एनएलपी डेटा प्रोसेसिंग, प्रशिक्षण और मॉडल निष्पादन के लिए उपयोग किए जाने वाले अतिरिक्त उपयोगिता कार्य भी शामिल हैं।

कक्षा के साथ प्रशिक्षण लूप

Orbit टूल एक लचीली, हल्की लाइब्रेरी है जिसे TensorFlow 2.x में कस्टम प्रशिक्षण लूप लिखना आसान बनाने के लिए डिज़ाइन किया गया है, और मॉडल गार्डन प्रशिक्षण प्रयोग ढांचे के साथ अच्छी तरह से काम करता है। ऑर्बिट सामान्य मॉडल प्रशिक्षण कार्यों को संभालता है जैसे कि चौकियों को सहेजना, मॉडल मूल्यांकन चलाना और सारांश लेखन स्थापित करना। यह मूल रूप से tf.वितरण के साथ एकीकृत होता है और सीपीयू, जीपीयू और tf.distribute हार्डवेयर सहित विभिन्न डिवाइस प्रकारों पर चलने का समर्थन करता है। ऑर्बिट टूल भी ओपन सोर्स है , इसलिए आप अपनी मॉडल प्रशिक्षण आवश्यकताओं को बढ़ा सकते हैं और उनके अनुकूल बना सकते हैं।

आप आमतौर पर एक कस्टम प्रशिक्षण लूप लिखकर या उच्च-स्तरीय केरस मॉडल.फिट फ़ंक्शन का उपयोग करके TensorFlow मॉडल को प्रशिक्षित करते हैं। सरल मॉडल के लिए, आप निम्न-स्तरीय TensorFlow विधियों जैसे tf.GradientTape या tf.function के साथ एक कस्टम प्रशिक्षण लूप को परिभाषित और प्रबंधित कर सकते हैं। वैकल्पिक रूप से, आप उच्च-स्तरीय Model.fit का उपयोग कर सकते हैं।

हालाँकि, यदि आपका मॉडल जटिल है और आपके प्रशिक्षण लूप को अधिक लचीले नियंत्रण या अनुकूलन की आवश्यकता है, तो आपको Orbit का उपयोग करना चाहिए। आप अपने अधिकांश प्रशिक्षण लूप को orbit.AbstractTrainer या orbit.StandardTrainer वर्ग द्वारा परिभाषित कर सकते हैं। Orbit API दस्तावेज़ में Orbit टूल के बारे में और जानें।