কাস্টম অর্কেস্ট্রেটর
TFX একাধিক পরিবেশ এবং অর্কেস্ট্রেশন ফ্রেমওয়ার্কের জন্য পোর্টেবল করার জন্য ডিজাইন করা হয়েছে। বিকাশকারীরা কাস্টম অর্কেস্ট্রেটর তৈরি করতে পারে বা ডিফল্ট অর্কেস্ট্রেটর ছাড়াও অতিরিক্ত অর্কেস্ট্রেটর যোগ করতে পারে যা TFX দ্বারা সমর্থিত, যথা Local , Vertex AI , Airflow এবং Kubeflow ৷
সমস্ত অর্কেস্ট্রেটরদের অবশ্যই TfxRunner থেকে উত্তরাধিকারসূত্রে প্রাপ্ত হতে হবে৷ TFX অর্কেস্ট্রেটররা লজিক্যাল পাইপলাইন অবজেক্ট নেয়, যাতে পাইপলাইন আর্গ, কম্পোনেন্ট এবং ডিএজি থাকে এবং ডিএজি দ্বারা সংজ্ঞায়িত নির্ভরতার উপর ভিত্তি করে টিএফএক্স পাইপলাইনের সময়সূচির জন্য দায়ী।
উদাহরণ স্বরূপ, আসুন দেখুন কিভাবে BaseComponentLauncher দিয়ে একটি কাস্টম অর্কেস্ট্রেটর তৈরি করা যায়। BaseComponentLauncher ইতিমধ্যে একটি একক উপাদানের ড্রাইভার, নির্বাহক এবং প্রকাশক পরিচালনা করে। নতুন অর্কেস্ট্রেটরকে শুধুমাত্র DAG-এর উপর ভিত্তি করে কম্পোনেন্ট লঞ্চারের সময়সূচী করতে হবে। একটি সাধারণ অর্কেস্ট্রেটরকে LocalDagRunner হিসাবে প্রদান করা হয়, যেটি DAG-এর টপোলজিক্যাল অর্ডারে একে একে উপাদানগুলি চালায়।
এই অর্কেস্ট্রেটরটি পাইথন ডিএসএল-এ ব্যবহার করা যেতে পারে:
def _create_pipeline(...) -> dsl.Pipeline:
...
return dsl.Pipeline(...)
if __name__ == '__main__':
orchestration.LocalDagRunner().run(_create_pipeline(...))
পাইথন ডিএসএল ফাইলের উপরে চালানোর জন্য (অনুমান করে এটি dsl.py নামে), কেবল নিম্নলিখিতগুলি করুন:
python dsl.py