একটি প্ল্যাটফর্ম হিসাবে TFX ফ্রেমওয়ার্ক নিরপেক্ষ, এবং অন্যান্য ML ফ্রেমওয়ার্কের সাথে ব্যবহার করা যেতে পারে, যেমন, JAX, scikit-learn।
মডেল ডেভেলপারদের জন্য, এর অর্থ হল তাদের অন্য ML ফ্রেমওয়ার্কে বাস্তবায়িত তাদের মডেল কোডটি পুনরায় লেখার প্রয়োজন নেই, বরং TFX-এ যেমন রয়েছে প্রশিক্ষণ কোডের বেশিরভাগ অংশ পুনঃব্যবহার করতে পারে এবং TFX এবং বাকি টেনসরফ্লো ইকোসিস্টেমের অন্যান্য ক্ষমতা থেকে উপকৃত হতে পারে। অফার.
TFX পাইপলাইন SDK এবং TFX-এর বেশিরভাগ মডিউল, যেমন, পাইপলাইন অর্কেস্ট্রেটর, TensorFlow-এর উপর সরাসরি কোনো নির্ভরশীলতা নেই, তবে কিছু দিক রয়েছে যা TensorFlow-এর দিকে ভিত্তিক, যেমন ডেটা ফর্ম্যাট। একটি নির্দিষ্ট মডেলিং ফ্রেমওয়ার্কের প্রয়োজনীয়তার কিছু বিবেচনার সাথে, একটি TFX পাইপলাইন অন্য যেকোনো পাইথন-ভিত্তিক ML ফ্রেমওয়ার্কের মডেলদের প্রশিক্ষণের জন্য ব্যবহার করা যেতে পারে। এর মধ্যে রয়েছে Scikit-learn, XGBoost, এবং PyTorch, অন্যদের মধ্যে। অন্যান্য ফ্রেমওয়ার্কের সাথে স্ট্যান্ডার্ড TFX উপাদান ব্যবহার করার জন্য কিছু বিবেচনার মধ্যে রয়েছে:
- ExampleGen আউটপুট tf.train.TFRecord ফাইলের উদাহরণ । এটি প্রশিক্ষণ ডেটার জন্য একটি সাধারণ উপস্থাপনা, এবং ডাউনস্ট্রিম উপাদানগুলি এটিকে মেমরিতে তীর/রেকর্ডব্যাচ হিসাবে পড়ার জন্য TFXIO ব্যবহার করে, যা আরও
tf.dataset,Tensorsবা অন্যান্য ফর্ম্যাটে রূপান্তরিত হতে পারে। tf.train.Example/TFRecord ছাড়া অন্য পেলোড/ফাইল ফর্ম্যাট বিবেচনা করা হচ্ছে, কিন্তু TFXIO ব্যবহারকারীদের জন্য এটি একটি ব্ল্যাকবক্স হওয়া উচিত। - রূপান্তরিত প্রশিক্ষণের উদাহরণ তৈরি করতে ট্রান্সফর্ম ব্যবহার করা যেতে পারে প্রশিক্ষণের জন্য যে ফ্রেমওয়ার্ক ব্যবহার করা হোক না কেন, কিন্তু যদি মডেল ফরম্যাটটি
saved_modelনা হয়, ব্যবহারকারীরা ট্রান্সফর্ম গ্রাফটিকে মডেলে এম্বেড করতে সক্ষম হবেন না। সেই ক্ষেত্রে, মডেল ভবিষ্যদ্বাণীকে কাঁচা বৈশিষ্ট্যের পরিবর্তে রূপান্তরিত বৈশিষ্ট্যগুলি গ্রহণ করতে হবে এবং ব্যবহারকারীরা পরিবেশন করার সময় মডেল পূর্বাভাস কল করার আগে একটি প্রিপ্রসেসিং পদক্ষেপ হিসাবে রূপান্তর চালাতে পারে। - প্রশিক্ষক GenericTraining সমর্থন করে যাতে ব্যবহারকারীরা যেকোনো ML ফ্রেমওয়ার্ক ব্যবহার করে তাদের মডেলকে প্রশিক্ষণ দিতে পারে।
- ডিফল্টরূপে মূল্যায়নকারী শুধুমাত্র
saved_modelসমর্থন করে, কিন্তু ব্যবহারকারীরা একটি UDF প্রদান করতে পারে যা মডেল মূল্যায়নের জন্য পূর্বাভাস তৈরি করে।
একটি নন-পাইথন-ভিত্তিক কাঠামোতে একটি মডেলকে প্রশিক্ষণের জন্য একটি ডকার কন্টেইনারে একটি কাস্টম প্রশিক্ষণ উপাদান আলাদা করা প্রয়োজন, একটি পাইপলাইনের অংশ হিসাবে যা একটি কন্টেইনারাইজড পরিবেশে চলছে যেমন কুবারনেটস।
JAX
JAX হল Autograd এবং XLA, উচ্চ-পারফরম্যান্স মেশিন লার্নিং গবেষণার জন্য একত্রিত করা হয়েছে। Flax হল JAX-এর জন্য একটি নিউরাল নেটওয়ার্ক লাইব্রেরি এবং ইকোসিস্টেম, নমনীয়তার জন্য ডিজাইন করা হয়েছে।
jax2tf- এর সাথে, আমরা প্রশিক্ষিত JAX/Flax মডেলগুলিকে saved_model ফরম্যাটে রূপান্তর করতে সক্ষম, যা জেনেরিক প্রশিক্ষণ এবং মডেল মূল্যায়ন সহ TFX-এ নির্বিঘ্নে ব্যবহার করা যেতে পারে। বিস্তারিত জানার জন্য, এই উদাহরণটি দেখুন।
scikit-শিখা
স্কিট-লার্ন হল পাইথন প্রোগ্রামিং ভাষার জন্য একটি মেশিন লার্নিং লাইব্রেরি। আমাদের কাছে TFX-Addons-এ কাস্টমাইজড প্রশিক্ষণ এবং মূল্যায়ন সহ একটি e2e উদাহরণ রয়েছে।