परिचय
TensorFlow रनटाइम में ऐसे घटक होते हैं जिन्हें आलसी रूप से प्रारंभ किया जाता है, जो किसी मॉडल को लोड होने के बाद भेजे गए पहले अनुरोध/अनुरोधों के लिए उच्च विलंबता का कारण बन सकता है। यह विलंबता एकल अनुमान अनुरोध की तुलना में अधिक परिमाण के कई आदेश हो सकती है।
अनुरोध विलंबता पर आलसी आरंभीकरण के प्रभाव को कम करने के लिए, SavedModel के साथ अनुमान अनुरोधों का एक नमूना सेट प्रदान करके मॉडल लोड समय पर उप-प्रणालियों और घटकों के आरंभीकरण को ट्रिगर करना संभव है। इस प्रक्रिया को मॉडल को "वार्मिंग अप" के रूप में जाना जाता है।
प्रयोग
सेव्डमॉडल वार्मअप रिग्रेस, क्लासीफाई, मल्टीइंफरेंस और प्रेडिक्ट के लिए समर्थित है। लोड समय पर मॉडल के वार्मअप को ट्रिगर करने के लिए, सेव्डमॉडल निर्देशिका के एसेट.एक्स्ट्रा सबफ़ोल्डर के अंतर्गत एक वार्मअप डेटा फ़ाइल संलग्न करें।
मॉडल वार्मअप के सही ढंग से काम करने के लिए आवश्यकताएँ:
- वार्मअप फ़ाइल नाम: 'tf_serving_warmup_requests'
- फ़ाइल स्थान: संपत्ति.अतिरिक्त/
- फ़ाइल प्रारूप: TFRecord प्रत्येक रिकॉर्ड के साथ PredictionLog के रूप में।
- वार्मअप रिकॉर्ड की संख्या <= 1000।
- वार्मअप डेटा सेवा में उपयोग किए गए अनुमान अनुरोधों का प्रतिनिधि होना चाहिए।
वार्म-अप डेटा जनरेशन
वार्मअप डेटा को दो तरीकों से जोड़ा जा सकता है:
- वार्मअप अनुरोधों को सीधे आपके निर्यातित सहेजे गए मॉडल में पॉप्युलेट करके। यह नमूना अनुमान अनुरोधों की सूची को पढ़ने वाली एक स्क्रिप्ट बनाकर, प्रत्येक अनुरोध को PredictionLog में परिवर्तित करके (यदि यह मूल रूप से एक अलग प्रारूप में है) और PredictionLog प्रविष्टियों को YourSaredModel/assets.extra/tf_serving_warmup_requests में लिखने के लिए TFRecordWriter का उपयोग करके किया
YourSavedModel/assets.extra/tf_serving_warmup_requests। - वार्मअप के साथ एक सहेजे गए मॉडल को निर्यात करने के लिए टीएफएक्स इंफ्रा वैलिडेटर विकल्प का उपयोग करके। इस विकल्प के साथ TFX Infa Validator RequestSpec के माध्यम से प्रदान किए गए सत्यापन अनुरोधों के आधार पर
YourSavedModel/assets.extra/tf_serving_warmup_requestsपॉप्युलेट करेगा।