परिमाणीकरण जागरूक प्रशिक्षण

_{TensorFlow मॉडल अनुकूलन द्वारा बनाए रखा गया}

परिमाणीकरण के दो रूप हैं: प्रशिक्षण के बाद परिमाणीकरण और परिमाणीकरण जागरूक प्रशिक्षण। प्रशिक्षण के बाद परिमाणीकरण से शुरुआत करें क्योंकि इसका उपयोग करना आसान है, हालांकि मॉडल सटीकता के लिए परिमाणीकरण जागरूक प्रशिक्षण अक्सर बेहतर होता है।

यह पृष्ठ आपको यह निर्धारित करने में मदद करने के लिए परिमाणीकरण जागरूक प्रशिक्षण पर एक सिंहावलोकन प्रदान करता है कि यह आपके उपयोग के मामले में कैसे फिट बैठता है।

• अंत-से-अंत उदाहरण में सीधे गोता लगाने के लिए, परिमाणीकरण जागरूक प्रशिक्षण उदाहरण देखें।
• आपके उपयोग के मामले के लिए आवश्यक एपीआई को शीघ्रता से ढूंढने के लिए, परिमाणीकरण जागरूक प्रशिक्षण व्यापक मार्गदर्शिका देखें।

अवलोकन

परिमाणीकरण जागरूक प्रशिक्षण अनुमान-समय परिमाणीकरण का अनुकरण करता है, एक मॉडल बनाता है जिसका उपयोग डाउनस्ट्रीम उपकरण वास्तव में परिमाणित मॉडल तैयार करने के लिए करेंगे। परिमाणित मॉडल कम परिशुद्धता (उदाहरण के लिए 32-बिट फ्लोट के बजाय 8-बिट) का उपयोग करते हैं, जिससे तैनाती के दौरान लाभ होता है।

परिमाणीकरण के साथ परिनियोजन करें

परिमाणीकरण मॉडल संपीड़न और विलंबता में कमी के माध्यम से सुधार लाता है। एपीआई डिफ़ॉल्ट के साथ, मॉडल का आकार 4x तक सिकुड़ जाता है, और हम आम तौर पर परीक्षण किए गए बैकएंड में सीपीयू विलंबता में 1.5 - 4x के बीच सुधार देखते हैं। अंततः, एजटीपीयू और एनएनएपीआई जैसे संगत मशीन लर्निंग एक्सेलेरेटर पर विलंबता में सुधार देखा जा सकता है।

तकनीक का उपयोग भाषण, दृष्टि, पाठ और अनुवाद उपयोग के मामलों में उत्पादन में किया जाता है। कोड वर्तमान में इन मॉडलों के एक सबसेट का समर्थन करता है।

परिमाणीकरण और संबंधित हार्डवेयर के साथ प्रयोग करें

उपयोगकर्ता परिमाणीकरण मापदंडों (जैसे बिट्स की संख्या) और कुछ हद तक, अंतर्निहित एल्गोरिदम को कॉन्फ़िगर कर सकते हैं। ध्यान दें कि एपीआई डिफ़ॉल्ट से इन परिवर्तनों के साथ, बैकएंड पर तैनाती के लिए वर्तमान में कोई समर्थित पथ नहीं है। उदाहरण के लिए, TFLite रूपांतरण और कर्नेल कार्यान्वयन केवल 8-बिट परिमाणीकरण का समर्थन करते हैं।

इस कॉन्फ़िगरेशन के लिए विशिष्ट एपीआई प्रयोगात्मक हैं और पश्चगामी संगतता के अधीन नहीं हैं।

एपीआई अनुकूलता

उपयोगकर्ता निम्नलिखित एपीआई के साथ परिमाणीकरण लागू कर सकते हैं:

• मॉडल बिल्डिंग: keras केवल अनुक्रमिक और कार्यात्मक मॉडल के साथ।
• TensorFlow संस्करण: TF-रात के लिए TF 2.x।
  • TF 2.X पैकेज के साथ tf.compat.v1 समर्थित नहीं है।
• TensorFlow निष्पादन मोड: उत्सुक निष्पादन

निम्नलिखित क्षेत्रों में समर्थन जोड़ना हमारे रोडमैप पर है:

• मॉडल निर्माण: स्पष्ट करें कि कैसे उपवर्गीकृत मॉडल बिना किसी समर्थन के सीमित हो गए हैं
• वितरित प्रशिक्षण: tf.distribute

सामान्य समर्थन मैट्रिक्स

सहायता निम्नलिखित क्षेत्रों में उपलब्ध है:

• मॉडल कवरेज: अनुमत सूचीबद्ध परतों का उपयोग करने वाले मॉडल, बैच सामान्यीकरण जब यह Conv2D और DepthवाइजConv2D परतों का अनुसरण करता है, और सीमित मामलों में, Concat ।
• हार्डवेयर त्वरण: हमारे एपीआई डिफॉल्ट्स एजटीपीयू, एनएनएपीआई और टीएफलाइट बैकएंड सहित अन्य पर त्वरण के साथ संगत हैं। रोडमैप में चेतावनी देखें.
• परिमाणीकरण के साथ परिनियोजन: कनवल्शनल परतों के लिए केवल प्रति-अक्ष परिमाणीकरण, प्रति-टेंसर परिमाणीकरण नहीं, वर्तमान में समर्थित है।

निम्नलिखित क्षेत्रों में समर्थन जोड़ना हमारे रोडमैप पर है:

• मॉडल कवरेज: आरएनएन/एलएसटीएम और सामान्य कॉनकैट समर्थन को शामिल करने के लिए विस्तारित किया गया।
• हार्डवेयर त्वरण: सुनिश्चित करें कि TFLite कनवर्टर पूर्ण-पूर्णांक मॉडल का उत्पादन कर सकता है। विवरण के लिए यह अंक देखें.
• परिमाणीकरण उपयोग के मामलों के साथ प्रयोग:
  • परिमाणीकरण एल्गोरिदम के साथ प्रयोग करें जो केरस परतों को फैलाता है या प्रशिक्षण चरण की आवश्यकता होती है।
  • एपीआई को स्थिर करें.

परिणाम

उपकरण के साथ छवि वर्गीकरण

मॉडलों का इमेजनेट पर परीक्षण किया गया और टेन्सरफ्लो और टीएफलाइट दोनों में मूल्यांकन किया गया।

तकनीक के लिए छवि वर्गीकरण

मॉडलों का इमेजनेट पर परीक्षण किया गया और टेन्सरफ्लो और टीएफलाइट दोनों में मूल्यांकन किया गया।

उदाहरण

परिमाणीकरण जागरूक प्रशिक्षण उदाहरण के अलावा, निम्नलिखित उदाहरण देखें:

• परिमाणीकरण के साथ एमएनआईएसटी हस्तलिखित अंक वर्गीकरण कार्य पर सीएनएन मॉडल: कोड

कुछ इसी तरह की पृष्ठभूमि के लिए, कुशल पूर्णांक-अंकगणित-केवल अनुमान पेपर के लिए तंत्रिका नेटवर्क का परिमाणीकरण और प्रशिक्षण देखें। यह पेपर कुछ अवधारणाओं का परिचय देता है जिनका उपयोग यह उपकरण करता है। कार्यान्वयन बिल्कुल वैसा नहीं है, और इस उपकरण में अतिरिक्त अवधारणाओं का उपयोग किया गया है (उदाहरण के लिए प्रति-अक्ष परिमाणीकरण)।