एक प्लेटफॉर्म के रूप में टीएफएक्स फ्रेमवर्क तटस्थ है, और इसका उपयोग अन्य एमएल फ्रेमवर्क के साथ किया जा सकता है, उदाहरण के लिए, जेएक्स, स्किकिट-लर्न।
मॉडल डेवलपर्स के लिए, इसका मतलब है कि उन्हें किसी अन्य एमएल फ्रेमवर्क में कार्यान्वित अपने मॉडल कोड को फिर से लिखने की आवश्यकता नहीं है, बल्कि वे टीएफएक्स में प्रशिक्षण कोड के बड़े हिस्से का पुन: उपयोग कर सकते हैं, और अन्य क्षमताओं टीएफएक्स और बाकी टेन्सरफ्लो इकोसिस्टम से लाभ उठा सकते हैं। ऑफर.
टीएफएक्स पाइपलाइन एसडीके और टीएफएक्स में अधिकांश मॉड्यूल, उदाहरण के लिए, पाइपलाइन ऑर्केस्ट्रेटर, की टेन्सरफ्लो पर कोई प्रत्यक्ष निर्भरता नहीं है, लेकिन कुछ पहलू हैं जो टेन्सरफ्लो की ओर उन्मुख हैं, जैसे डेटा प्रारूप। किसी विशेष मॉडलिंग ढांचे की जरूरतों पर कुछ विचार करने के साथ, किसी अन्य पायथन-आधारित एमएल ढांचे में मॉडल को प्रशिक्षित करने के लिए टीएफएक्स पाइपलाइन का उपयोग किया जा सकता है। इसमें स्किकिट-लर्न, XGBoost, और PyTorch सहित अन्य शामिल हैं। अन्य रूपरेखाओं के साथ मानक टीएफएक्स घटकों का उपयोग करने के लिए कुछ विचारों में शामिल हैं:
- exampleGen TFRecord फ़ाइलों में tf.train.Example आउटपुट करता है। यह प्रशिक्षण डेटा के लिए एक सामान्य प्रतिनिधित्व है, और डाउनस्ट्रीम घटक इसे मेमोरी में एरो/रिकॉर्डबैच के रूप में पढ़ने के लिए TFXIO का उपयोग करते हैं, जिसे आगे
tf.dataset,Tensorsया अन्य प्रारूपों में परिवर्तित किया जा सकता है। tf.train.Example/TFRecord के अलावा अन्य पेलोड/फ़ाइल प्रारूपों पर विचार किया जा रहा है, लेकिन TFXIO उपयोगकर्ताओं के लिए यह एक ब्लैकबॉक्स होना चाहिए। - ट्रांसफ़ॉर्म का उपयोग रूपांतरित प्रशिक्षण उदाहरण उत्पन्न करने के लिए किया जा सकता है, चाहे प्रशिक्षण के लिए किसी भी ढांचे का उपयोग किया जाए, लेकिन यदि मॉडल प्रारूप
saved_modelनहीं है, तो उपयोगकर्ता ट्रांसफ़ॉर्म ग्राफ़ को मॉडल में एम्बेड नहीं कर पाएंगे। उस स्थिति में, मॉडल भविष्यवाणी को कच्ची सुविधाओं के बजाय रूपांतरित सुविधाओं को लेने की आवश्यकता होती है, और उपयोगकर्ता सेवा करते समय मॉडल भविष्यवाणी को कॉल करने से पहले प्रीप्रोसेसिंग चरण के रूप में ट्रांसफ़ॉर्म चला सकते हैं। - ट्रेनर जेनेरिकट्रेनिंग का समर्थन करता है ताकि उपयोगकर्ता किसी भी एमएल फ्रेमवर्क का उपयोग करके अपने मॉडल को प्रशिक्षित कर सकें।
- मूल्यांकनकर्ता डिफ़ॉल्ट रूप से केवल
saved_modelका समर्थन करता है, लेकिन उपयोगकर्ता एक यूडीएफ प्रदान कर सकते हैं जो मॉडल मूल्यांकन के लिए पूर्वानुमान उत्पन्न करता है।
गैर-पायथन-आधारित ढांचे में एक मॉडल को प्रशिक्षित करने के लिए एक पाइपलाइन के हिस्से के रूप में डॉकर कंटेनर में एक कस्टम प्रशिक्षण घटक को अलग करने की आवश्यकता होगी, जो कुबेरनेट्स जैसे कंटेनरीकृत वातावरण में चल रहा है।
जैक्स
JAX ऑटोग्रैड और XLA है, जिन्हें उच्च-प्रदर्शन मशीन लर्निंग अनुसंधान के लिए एक साथ लाया गया है। फ्लैक्स JAX के लिए एक तंत्रिका नेटवर्क लाइब्रेरी और पारिस्थितिकी तंत्र है, जिसे लचीलेपन के लिए डिज़ाइन किया गया है।
Jax2tf के साथ, हम प्रशिक्षित JAX/Flax मॉडल को saved_model प्रारूप में परिवर्तित करने में सक्षम हैं, जिसका उपयोग सामान्य प्रशिक्षण और मॉडल मूल्यांकन के साथ TFX में निर्बाध रूप से किया जा सकता है। विवरण के लिए, यह उदाहरण देखें.
स्किकिट-लर्न
स्किकिट-लर्न पायथन प्रोग्रामिंग भाषा के लिए एक मशीन लर्निंग लाइब्रेरी है। हमारे पास TFX-Addons में अनुकूलित प्रशिक्षण और मूल्यांकन के साथ एक e2e उदाहरण है।