मॉडल गार्डन सिंहावलोकन

TensorFlow Model Garden दृष्टि और प्राकृतिक भाषा प्रसंस्करण (NLP) के लिए कई अत्याधुनिक मशीन लर्निंग (ML) मॉडल के कार्यान्वयन के साथ-साथ वर्कफ़्लो टूल प्रदान करता है ताकि आप उन मॉडलों को मानक डेटासेट पर जल्दी से कॉन्फ़िगर और चला सकें। चाहे आप एक प्रसिद्ध मॉडल के लिए बेंचमार्क प्रदर्शन की तलाश कर रहे हों, हाल ही में जारी शोध के परिणामों को सत्यापित करें, या मौजूदा मॉडलों का विस्तार करें, मॉडल गार्डन आपको अपने एमएल अनुसंधान और अनुप्रयोगों को आगे बढ़ाने में मदद कर सकता है।

मॉडल गार्डन में मशीन लर्निंग डेवलपर्स के लिए निम्नलिखित संसाधन शामिल हैं:

इन संसाधनों को TensorFlow Core Framework के साथ उपयोग करने और आपके मौजूदा TensorFlow विकास परियोजनाओं के साथ एकीकृत करने के लिए बनाया गया है। ओपन सोर्स लाइसेंस के तहत मॉडल गार्डन संसाधन भी प्रदान किए जाते हैं, ताकि आप मॉडल और टूल्स को स्वतंत्र रूप से विस्तारित और वितरित कर सकें।

प्रैक्टिकल एमएल मॉडल कम्प्यूटेशनल रूप से प्रशिक्षित और चलाने के लिए गहन हैं, और ग्राफिकल प्रोसेसिंग यूनिट (जीपीयू) और टेन्सर प्रोसेसिंग यूनिट (टीपीयू) जैसे त्वरक की आवश्यकता हो सकती है। मॉडल गार्डन के अधिकांश मॉडलों को टीपीयू का उपयोग करते हुए बड़े डेटासेट पर प्रशिक्षित किया गया था। हालाँकि, आप इन मॉडलों को GPU और CPU प्रोसेसर पर प्रशिक्षित और चला भी सकते हैं।

मॉडल गार्डन मॉडल

मॉडल गार्डन में मशीन लर्निंग मॉडल में पूरा कोड शामिल है ताकि आप उन्हें शोध और प्रयोग के लिए परख सकें, प्रशिक्षित कर सकें या फिर से प्रशिक्षित कर सकें। मॉडल गार्डन में मॉडल की दो प्राथमिक श्रेणियां शामिल हैं: आधिकारिक मॉडल और शोध मॉडल ।

आधिकारिक मॉडल

आधिकारिक मॉडल रिपॉजिटरी दृष्टि और प्राकृतिक भाषा प्रसंस्करण (एनएलपी) पर ध्यान देने के साथ अत्याधुनिक मॉडल का एक संग्रह है। ये मॉडल वर्तमान TensorFlow 2.x उच्च-स्तरीय API का उपयोग करके लागू किए गए हैं। इस रिपॉजिटरी में मॉडल लाइब्रेरी को तेज प्रदर्शन के लिए अनुकूलित किया गया है और Google इंजीनियरों द्वारा सक्रिय रूप से बनाए रखा गया है। आधिकारिक मॉडल में अतिरिक्त मेटाडेटा शामिल होता है जिसका उपयोग आप मॉडल गार्डन प्रशिक्षण प्रयोग फ़्रेमवर्क का उपयोग करके प्रयोगों को त्वरित रूप से कॉन्फ़िगर करने के लिए कर सकते हैं.

अनुसंधान मॉडल

रिसर्च मॉडल रिपॉजिटरी शोध पत्रों के लिए कोड संसाधनों के रूप में प्रकाशित मॉडलों का एक संग्रह है। ये मॉडल TensorFlow 1.x और 2.x दोनों का उपयोग करके लागू किए गए हैं। अनुसंधान फ़ोल्डर में मॉडल पुस्तकालय कोड मालिकों और अनुसंधान समुदाय द्वारा समर्थित हैं।

प्रशिक्षण प्रयोग ढांचा

मॉडल गार्डन प्रशिक्षण प्रयोग ढांचा आपको इसके आधिकारिक मॉडल और मानक डेटासेट का उपयोग करके प्रशिक्षण प्रयोगों को जल्दी से इकट्ठा करने और चलाने देता है। प्रशिक्षण ढांचा मॉडल गार्डन के आधिकारिक मॉडल के साथ शामिल अतिरिक्त मेटाडेटा का उपयोग करता है ताकि आप घोषणात्मक प्रोग्रामिंग मॉडल का उपयोग करके मॉडल को जल्दी से कॉन्फ़िगर कर सकें। आप TensorFlow मॉडल लाइब्रेरी में Python कमांड का उपयोग करके एक प्रशिक्षण प्रयोग को परिभाषित कर सकते हैं या इस उदाहरण की तरह YAML कॉन्फ़िगरेशन फ़ाइल का उपयोग करके प्रशिक्षण को कॉन्फ़िगर कर सकते हैं।

प्रशिक्षण ढांचा कॉन्फ़िगरेशन ऑब्जेक्ट के रूप में tfm.core.base_trainer.ExperimentConfig का उपयोग करता है, जिसमें निम्न शीर्ष-स्तरीय कॉन्फ़िगरेशन ऑब्जेक्ट शामिल हैं:

  • runtime : प्रसंस्करण हार्डवेयर, वितरण रणनीति और अन्य प्रदर्शन अनुकूलन को परिभाषित करता है
  • task : मॉडल, प्रशिक्षण डेटा, नुकसान और आरंभीकरण को परिभाषित करता है
  • trainer : ऑप्टिमाइज़र, प्रशिक्षण लूप, मूल्यांकन लूप, सारांश और चेकपॉइंट परिभाषित करता है

मॉडल गार्डन प्रशिक्षण प्रयोग ढांचे का उपयोग करते हुए एक पूर्ण उदाहरण के लिए, मॉडल गार्डन ट्यूटोरियल के साथ छवि वर्गीकरण देखें। प्रशिक्षण प्रयोग ढांचे के बारे में जानकारी के लिए, TensorFlow Models API दस्तावेज़ देखें । यदि आप अपने मॉडल प्रशिक्षण प्रयोगों के लिए प्रशिक्षण लूप प्रबंधित करने के लिए कोई समाधान ढूंढ रहे हैं, तो ऑर्बिट देखें।

विशिष्ट एमएल संचालन

मॉडल गार्डन में कई विज़न और एनएलपी ऑपरेशन शामिल हैं जिन्हें विशेष रूप से अत्याधुनिक मॉडल को निष्पादित करने के लिए डिज़ाइन किया गया है जो जीपीयू और टीपीयू पर कुशलता से चलते हैं। विशिष्ट दृष्टि संचालन की सूची के लिए TensorFlow मॉडल विजन लाइब्रेरी एपीआई डॉक्स की समीक्षा करें। एनएलपी संचालन की सूची के लिए TensorFlow मॉडल एनएलपी लाइब्रेरी एपीआई डॉक्स की समीक्षा करें। इन पुस्तकालयों में दृष्टि और एनएलपी डाटा प्रोसेसिंग, प्रशिक्षण और मॉडल निष्पादन के लिए उपयोग किए जाने वाले अतिरिक्त उपयोगिता कार्य भी शामिल हैं।

ऑर्बिट के साथ ट्रेनिंग लूप्स

TensorFlow मॉडल के प्रशिक्षण के लिए दो डिफ़ॉल्ट विकल्प हैं:

  • उच्च-स्तरीय Keras Model.fit फ़ंक्शन का उपयोग करें। यदि आपका मॉडल और प्रशिक्षण प्रक्रिया Keras' Model.fit (डेटा के बैचों पर इंक्रीमेंटल ग्रेडिएंट डिसेंट) विधि की धारणाओं को पूरा करती है, तो यह बहुत सुविधाजनक हो सकता है।
  • keras के साथ या बिना एक कस्टम ट्रेनिंग लूप लिखें। आप निम्न-स्तरीय TensorFlow विधियों जैसे tf.GradientTape या tf.function के साथ एक कस्टम प्रशिक्षण लूप लिख सकते हैं। हालाँकि, इस दृष्टिकोण के लिए बहुत सारे बॉयलरप्लेट कोड की आवश्यकता होती है, और वितरित प्रशिक्षण को सरल बनाने के लिए कुछ भी नहीं करता है।

ऑर्बिट इन दो चरम सीमाओं के बीच तीसरा विकल्प प्रदान करने का प्रयास करता है।

ऑर्बिट एक लचीली, हल्की लाइब्रेरी है जिसे TensorFlow 2.x में कस्टम ट्रेनिंग लूप लिखना आसान बनाने के लिए डिज़ाइन किया गया है, और मॉडल गार्डन ट्रेनिंग एक्सपेरिमेंट फ्रेमवर्क के साथ अच्छी तरह से काम करता है। ऑर्बिट सामान्य मॉडल प्रशिक्षण कार्यों को संभालती है जैसे चेकपॉइंट सहेजना, मॉडल मूल्यांकन चलाना और सारांश लेखन सेट अप करना। यह मूल रूप से tf.distribute हार्डवेयर सहित विभिन्न डिवाइस प्रकारों पर चलने का समर्थन करता है। ऑर्बिट टूल भी ओपन सोर्स है , इसलिए आप अपनी मॉडल प्रशिक्षण आवश्यकताओं को बढ़ा सकते हैं और अनुकूलित कर सकते हैं।

ऑर्बिट गाइड यहां उपलब्ध है ।