TFX कमांड-लाइन इंटरफ़ेस का उपयोग करना

टीएफएक्स कमांड-लाइन इंटरफ़ेस (सीएलआई) क्यूबफ्लो पाइपलाइन, वर्टेक्स पाइपलाइन जैसे पाइपलाइन ऑर्केस्ट्रेटर का उपयोग करके पाइपलाइन क्रियाओं की एक पूरी श्रृंखला निष्पादित करता है। स्थानीय ऑर्केस्ट्रेटर का उपयोग तेज़ विकास या डिबगिंग के लिए भी किया जा सकता है। अपाचे बीम और अपाचे एयरफ्लो प्रायोगिक सुविधाओं के रूप में समर्थित है। उदाहरण के लिए, आप सीएलआई का उपयोग इसके लिए कर सकते हैं:

  • पाइपलाइन बनाएं, अपडेट करें और हटाएं।
  • एक पाइपलाइन चलाएं और विभिन्न ऑर्केस्ट्रेटरों पर रन की निगरानी करें।
  • पाइपलाइनों और पाइपलाइन रन की सूची बनाएं।

टीएफएक्स सीएलआई के बारे में

TFX CLI को TFX पैकेज के एक भाग के रूप में स्थापित किया गया है। सभी सीएलआई कमांड नीचे दी गई संरचना का पालन करते हैं:

tfx command-group command flags

निम्नलिखित command-group विकल्प वर्तमान में समर्थित हैं:

  • tfx पाइपलाइन - TFX पाइपलाइन बनाएं और प्रबंधित करें।
  • tfx रन - विभिन्न ऑर्केस्ट्रेशन प्लेटफार्मों पर TFX पाइपलाइनों के रन बनाएं और प्रबंधित करें।
  • टीएफएक्स टेम्पलेट - टीएफएक्स पाइपलाइन टेम्पलेट्स को सूचीबद्ध करने और कॉपी करने के लिए प्रायोगिक आदेश।

प्रत्येक कमांड समूह commands का एक सेट प्रदान करता है। इन आदेशों का उपयोग करने के बारे में अधिक जानने के लिए पाइपलाइन कमांड में दिए गए निर्देशों का पालन करें, कमांड चलाएँ और टेम्पलेट कमांड अनुभागों का पालन करें।

फ़्लैग आपको सीएलआई कमांड में तर्क पारित करने देते हैं। झंडे में शब्दों को या तो हाइफ़न ( - ) या अंडरस्कोर ( _ ) से अलग किया जाता है। उदाहरण के लिए, पाइपलाइन नाम ध्वज को --pipeline-name या --pipeline_name के रूप में निर्दिष्ट किया जा सकता है। यह दस्तावेज़ संक्षिप्तता के लिए अंडरस्कोर वाले झंडे निर्दिष्ट करता है। टीएफएक्स सीएलआई में प्रयुक्त flags के बारे में और जानें।

टीएफएक्स पाइपलाइन

tfx pipeline कमांड समूह में कमांड की संरचना इस प्रकार है:

tfx pipeline command required-flags [optional-flags]

tfx pipeline कमांड समूह में कमांड के बारे में अधिक जानने के लिए निम्नलिखित अनुभागों का उपयोग करें।

बनाएं

दिए गए ऑर्केस्ट्रेटर में एक नई पाइपलाइन बनाता है।

उपयोग:

tfx pipeline create --pipeline_path=pipeline-path [--endpoint=endpoint --engine=engine \
--iap_client_id=iap-client-id --namespace=namespace \
--build_image --build_base_image=build-base-image]
--पाइपलाइन_पथ= pipeline-path
पाइपलाइन कॉन्फ़िगरेशन फ़ाइल का पथ.
--अंतबिंदु= endpoint

(वैकल्पिक।) क्यूबफ्लो पाइपलाइन एपीआई सेवा का समापन बिंदु। आपकी Kubeflow पाइपलाइन API सेवा का समापन बिंदु Kubeflow पाइपलाइन डैशबोर्ड के URL के समान है। आपका समापन बिंदु मान कुछ इस प्रकार होना चाहिए:

https://host-name/pipeline

यदि आप अपने क्यूबफ़्लो पाइपलाइन क्लस्टर के लिए समापन बिंदु नहीं जानते हैं, तो अपने क्लस्टर व्यवस्थापक से संपर्क करें।

यदि --endpoint निर्दिष्ट नहीं है, तो इन-क्लस्टर सेवा DNS नाम का उपयोग डिफ़ॉल्ट मान के रूप में किया जाता है। यह नाम केवल तभी काम करता है जब सीएलआई कमांड क्यूबफ्लो पाइपलाइन क्लस्टर पर पॉड में निष्पादित होता है, जैसे कि क्यूबफ्लो ज्यूपिटर नोटबुक उदाहरण।

--इंजन = engine

(वैकल्पिक।) पाइपलाइन के लिए उपयोग किया जाने वाला ऑर्केस्ट्रेटर। इंजन का मान निम्नलिखित मानों से मेल खाना चाहिए:

  • क्यूबफ़्लो : इंजन को क्यूबफ़्लो पर सेट करता है
  • स्थानीय : इंजन को स्थानीय ऑर्केस्ट्रेटर पर सेट करता है
  • वर्टेक्स : इंजन को वर्टेक्स पाइपलाइन पर सेट करता है
  • एयरफ्लो : (प्रयोगात्मक) इंजन को अपाचे एयरफ्लो पर सेट करता है
  • बीम : (प्रायोगिक) इंजन को अपाचे बीम पर सेट करता है

यदि इंजन सेट नहीं है, तो वातावरण के आधार पर इंजन का स्वतः पता लगाया जाता है।

** महत्वपूर्ण नोट: पाइपलाइन कॉन्फ़िगरेशन फ़ाइल में डैगरनर द्वारा आवश्यक ऑर्केस्ट्रेटर को चयनित या स्वचालित रूप से पहचाने गए इंजन से मेल खाना चाहिए। इंजन ऑटो-डिटेक्शन उपयोगकर्ता परिवेश पर आधारित है। यदि Apache Airflow और Kubeflow पाइपलाइन स्थापित नहीं हैं, तो स्थानीय ऑर्केस्ट्रेटर का उपयोग डिफ़ॉल्ट रूप से किया जाता है।

--iap_client_id= iap-client-id
(वैकल्पिक।) क्यूबफ्लो पाइपलाइन का उपयोग करते समय आईएपी संरक्षित समापन बिंदु के लिए क्लाइंट आईडी।
--नामस्थान= namespace
(वैकल्पिक।) क्यूबफ़्लो पाइपलाइन एपीआई से कनेक्ट करने के लिए कुबेरनेट्स नेमस्पेस। यदि नामस्थान निर्दिष्ट नहीं है, तो मान डिफ़ॉल्ट रूप से kubeflow हो जाता है।
--बिल्ड_इमेज

(वैकल्पिक।) जब engine क्यूबफ्लो या वर्टेक्स होता है, तो निर्दिष्ट होने पर टीएफएक्स आपकी पाइपलाइन के लिए एक कंटेनर छवि बनाता है। वर्तमान निर्देशिका में `Dockerfile` का उपयोग किया जाएगा, और यदि मौजूद नहीं है तो TFX स्वचालित रूप से एक उत्पन्न करेगा।

निर्मित छवि को दूरस्थ रजिस्ट्री में धकेल दिया जाएगा जो `KubeflowDagRunnerConfig` या `KubeflowV2DagRunnerConfig` में निर्दिष्ट है।

--बिल्ड_बेस_इमेज= build-base-image

(वैकल्पिक।) जब engine क्यूबफ्लो होता है, तो टीएफएक्स आपकी पाइपलाइन के लिए एक कंटेनर छवि बनाता है। बिल्ड बेस इमेज पाइपलाइन कंटेनर इमेज बनाते समय उपयोग करने के लिए बेस कंटेनर इमेज को निर्दिष्ट करती है।

उदाहरण:

क्यूबफ़्लो:

tfx pipeline create --engine=kubeflow --pipeline_path=pipeline-path \
--iap_client_id=iap-client-id --namespace=namespace --endpoint=endpoint \
--build_image

स्थानीय:

tfx pipeline create --engine=local --pipeline_path=pipeline-path

शीर्ष:

tfx pipeline create --engine=vertex --pipeline_path=pipeline-path \
--build_image

उपयोगकर्ता वातावरण से इंजन का स्वत: पता लगाने के लिए, नीचे दिए गए उदाहरण की तरह इंजन ध्वज का उपयोग करने से बचें। अधिक जानकारी के लिए, झंडे अनुभाग की जाँच करें।

tfx pipeline create --pipeline_path=pipeline-path

अद्यतन

दिए गए ऑर्केस्ट्रेटर में मौजूदा पाइपलाइन को अद्यतन करता है।

उपयोग:

tfx pipeline update --pipeline_path=pipeline-path [--endpoint=endpoint --engine=engine \
--iap_client_id=iap-client-id --namespace=namespace --build_image]
--पाइपलाइन_पथ= pipeline-path
पाइपलाइन कॉन्फ़िगरेशन फ़ाइल का पथ.
--अंतबिंदु= endpoint

(वैकल्पिक।) क्यूबफ्लो पाइपलाइन एपीआई सेवा का समापन बिंदु। आपकी Kubeflow पाइपलाइन API सेवा का समापन बिंदु Kubeflow पाइपलाइन डैशबोर्ड के URL के समान है। आपका समापन बिंदु मान कुछ इस प्रकार होना चाहिए: 

https://host-name/pipeline

यदि आप अपने क्यूबफ़्लो पाइपलाइन क्लस्टर के लिए समापन बिंदु नहीं जानते हैं, तो अपने क्लस्टर व्यवस्थापक से संपर्क करें।

यदि --endpoint निर्दिष्ट नहीं है, तो इन-क्लस्टर सेवा DNS नाम का उपयोग डिफ़ॉल्ट मान के रूप में किया जाता है। यह नाम केवल तभी काम करता है जब सीएलआई कमांड क्यूबफ्लो पाइपलाइन क्लस्टर पर पॉड में निष्पादित होता है, जैसे कि क्यूबफ्लो ज्यूपिटर नोटबुक उदाहरण।

--इंजन = engine

(वैकल्पिक।) पाइपलाइन के लिए उपयोग किया जाने वाला ऑर्केस्ट्रेटर। इंजन का मान निम्नलिखित मानों से मेल खाना चाहिए:

  • क्यूबफ़्लो : इंजन को क्यूबफ़्लो पर सेट करता है
  • स्थानीय : इंजन को स्थानीय ऑर्केस्ट्रेटर पर सेट करता है
  • वर्टेक्स : इंजन को वर्टेक्स पाइपलाइन पर सेट करता है
  • एयरफ्लो : (प्रयोगात्मक) इंजन को अपाचे एयरफ्लो पर सेट करता है
  • बीम : (प्रायोगिक) इंजन को अपाचे बीम पर सेट करता है

यदि इंजन सेट नहीं है, तो वातावरण के आधार पर इंजन का स्वतः पता लगाया जाता है।

** महत्वपूर्ण नोट: पाइपलाइन कॉन्फ़िगरेशन फ़ाइल में डैगरनर द्वारा आवश्यक ऑर्केस्ट्रेटर को चयनित या स्वचालित रूप से पहचाने गए इंजन से मेल खाना चाहिए। इंजन ऑटो-डिटेक्शन उपयोगकर्ता परिवेश पर आधारित है। यदि Apache Airflow और Kubeflow पाइपलाइन स्थापित नहीं हैं, तो स्थानीय ऑर्केस्ट्रेटर का उपयोग डिफ़ॉल्ट रूप से किया जाता है।

--iap_client_id= iap-client-id
(वैकल्पिक।) IAP संरक्षित समापन बिंदु के लिए क्लाइंट आईडी।
--नामस्थान= namespace
(वैकल्पिक।) क्यूबफ़्लो पाइपलाइन एपीआई से कनेक्ट करने के लिए कुबेरनेट्स नेमस्पेस। यदि नामस्थान निर्दिष्ट नहीं है, तो मान डिफ़ॉल्ट रूप से kubeflow हो जाता है।
--बिल्ड_इमेज

(वैकल्पिक।) जब engine क्यूबफ्लो या वर्टेक्स होता है, तो निर्दिष्ट होने पर टीएफएक्स आपकी पाइपलाइन के लिए एक कंटेनर छवि बनाता है। वर्तमान निर्देशिका में `Dockerfile` का उपयोग किया जाएगा।

निर्मित छवि को दूरस्थ रजिस्ट्री में धकेल दिया जाएगा जो `KubeflowDagRunnerConfig` या `KubeflowV2DagRunnerConfig` में निर्दिष्ट है।

उदाहरण:

क्यूबफ़्लो: 

tfx pipeline update --engine=kubeflow --pipeline_path=pipeline-path \
--iap_client_id=iap-client-id --namespace=namespace --endpoint=endpoint \
--build_image

स्थानीय: 

tfx pipeline update --engine=local --pipeline_path=pipeline-path

शीर्ष: 

tfx pipeline update --engine=vertex --pipeline_path=pipeline-path \
--build_image

संकलन

Kubeflow में वर्कफ़्लो फ़ाइल बनाने के लिए पाइपलाइन कॉन्फ़िगरेशन फ़ाइल को संकलित करता है और संकलित करते समय निम्नलिखित जाँच करता है:

  1. जाँचता है कि पाइपलाइन पथ वैध है या नहीं।
  2. जाँचता है कि पाइपलाइन विवरण पाइपलाइन कॉन्फ़िगरेशन फ़ाइल से सफलतापूर्वक निकाले गए हैं या नहीं।
  3. जाँचता है कि पाइपलाइन कॉन्फ़िगरेशन में DagRunner इंजन से मेल खाता है या नहीं।
  4. जाँचता है कि वर्कफ़्लो फ़ाइल प्रदान किए गए पैकेज पथ में सफलतापूर्वक बनाई गई है (केवल क्यूबफ़्लो के लिए)।

पाइपलाइन बनाने या अद्यतन करने से पहले उपयोग करने की अनुशंसा की जाती है।

उपयोग: 

tfx pipeline compile --pipeline_path=pipeline-path [--engine=engine]
--पाइपलाइन_पथ= pipeline-path
पाइपलाइन कॉन्फ़िगरेशन फ़ाइल का पथ.
--इंजन = engine

(वैकल्पिक।) पाइपलाइन के लिए उपयोग किया जाने वाला ऑर्केस्ट्रेटर। इंजन का मान निम्नलिखित मानों से मेल खाना चाहिए:

  • क्यूबफ़्लो : इंजन को क्यूबफ़्लो पर सेट करता है
  • स्थानीय : इंजन को स्थानीय ऑर्केस्ट्रेटर पर सेट करता है
  • वर्टेक्स : इंजन को वर्टेक्स पाइपलाइन पर सेट करता है
  • एयरफ्लो : (प्रयोगात्मक) इंजन को अपाचे एयरफ्लो पर सेट करता है
  • बीम : (प्रायोगिक) इंजन को अपाचे बीम पर सेट करता है

यदि इंजन सेट नहीं है, तो वातावरण के आधार पर इंजन का स्वतः पता लगाया जाता है।

** महत्वपूर्ण नोट: पाइपलाइन कॉन्फ़िगरेशन फ़ाइल में डैगरनर द्वारा आवश्यक ऑर्केस्ट्रेटर को चयनित या स्वचालित रूप से पहचाने गए इंजन से मेल खाना चाहिए। इंजन ऑटो-डिटेक्शन उपयोगकर्ता परिवेश पर आधारित है। यदि Apache Airflow और Kubeflow पाइपलाइन स्थापित नहीं हैं, तो स्थानीय ऑर्केस्ट्रेटर का उपयोग डिफ़ॉल्ट रूप से किया जाता है।

उदाहरण:

क्यूबफ़्लो: 

tfx pipeline compile --engine=kubeflow --pipeline_path=pipeline-path

स्थानीय: 

tfx pipeline compile --engine=local --pipeline_path=pipeline-path

शीर्ष: 

tfx pipeline compile --engine=vertex --pipeline_path=pipeline-path

मिटाना

दिए गए ऑर्केस्ट्रेटर से एक पाइपलाइन हटा देता है।

उपयोग: 

tfx pipeline delete --pipeline_path=pipeline-path [--endpoint=endpoint --engine=engine \
--iap_client_id=iap-client-id --namespace=namespace]
--पाइपलाइन_पथ= pipeline-path
पाइपलाइन कॉन्फ़िगरेशन फ़ाइल का पथ.
--अंतबिंदु= endpoint

(वैकल्पिक।) क्यूबफ्लो पाइपलाइन एपीआई सेवा का समापन बिंदु। आपकी Kubeflow पाइपलाइन API सेवा का समापन बिंदु Kubeflow पाइपलाइन डैशबोर्ड के URL के समान है। आपका समापन बिंदु मान कुछ इस प्रकार होना चाहिए: 

https://host-name/pipeline

यदि आप अपने क्यूबफ़्लो पाइपलाइन क्लस्टर के लिए समापन बिंदु नहीं जानते हैं, तो अपने क्लस्टर व्यवस्थापक से संपर्क करें।

यदि --endpoint निर्दिष्ट नहीं है, तो इन-क्लस्टर सेवा DNS नाम का उपयोग डिफ़ॉल्ट मान के रूप में किया जाता है। यह नाम केवल तभी काम करता है जब सीएलआई कमांड क्यूबफ्लो पाइपलाइन क्लस्टर पर पॉड में निष्पादित होता है, जैसे कि क्यूबफ्लो ज्यूपिटर नोटबुक उदाहरण।

--इंजन = engine

(वैकल्पिक।) पाइपलाइन के लिए उपयोग किया जाने वाला ऑर्केस्ट्रेटर। इंजन का मान निम्नलिखित मानों से मेल खाना चाहिए:

  • क्यूबफ़्लो : इंजन को क्यूबफ़्लो पर सेट करता है
  • स्थानीय : इंजन को स्थानीय ऑर्केस्ट्रेटर पर सेट करता है
  • वर्टेक्स : इंजन को वर्टेक्स पाइपलाइन पर सेट करता है
  • एयरफ्लो : (प्रायोगिक) इंजन को अपाचे एयरफ्लो पर सेट करता है
  • बीम : (प्रायोगिक) इंजन को अपाचे बीम पर सेट करता है

यदि इंजन सेट नहीं है, तो वातावरण के आधार पर इंजन का स्वतः पता लगाया जाता है।

** महत्वपूर्ण नोट: पाइपलाइन कॉन्फ़िगरेशन फ़ाइल में डैगरनर द्वारा आवश्यक ऑर्केस्ट्रेटर को चयनित या स्वचालित रूप से पहचाने गए इंजन से मेल खाना चाहिए। इंजन ऑटो-डिटेक्शन उपयोगकर्ता परिवेश पर आधारित है। यदि Apache Airflow और Kubeflow पाइपलाइन स्थापित नहीं हैं, तो स्थानीय ऑर्केस्ट्रेटर का उपयोग डिफ़ॉल्ट रूप से किया जाता है।

--iap_client_id= iap-client-id
(वैकल्पिक।) IAP संरक्षित समापन बिंदु के लिए क्लाइंट आईडी।
--नामस्थान= namespace
(वैकल्पिक।) क्यूबफ़्लो पाइपलाइन एपीआई से कनेक्ट करने के लिए कुबेरनेट्स नेमस्पेस। यदि नामस्थान निर्दिष्ट नहीं है, तो मान डिफ़ॉल्ट रूप से kubeflow हो जाता है।

उदाहरण:

क्यूबफ़्लो: 

tfx pipeline delete --engine=kubeflow --pipeline_name=pipeline-name \
--iap_client_id=iap-client-id --namespace=namespace --endpoint=endpoint

स्थानीय: 

tfx pipeline delete --engine=local --pipeline_name=pipeline-name

शीर्ष: 

tfx pipeline delete --engine=vertex --pipeline_name=pipeline-name

सूची

दिए गए ऑर्केस्ट्रेटर में सभी पाइपलाइनों को सूचीबद्ध करता है।

उपयोग: 

tfx pipeline list [--endpoint=endpoint --engine=engine \
--iap_client_id=iap-client-id --namespace=namespace]
--अंतबिंदु= endpoint

(वैकल्पिक।) क्यूबफ्लो पाइपलाइन एपीआई सेवा का समापन बिंदु। आपकी Kubeflow पाइपलाइन API सेवा का समापन बिंदु Kubeflow पाइपलाइन डैशबोर्ड के URL के समान है। आपका समापन बिंदु मान कुछ इस प्रकार होना चाहिए: 

https://host-name/pipeline

यदि आप अपने क्यूबफ़्लो पाइपलाइन क्लस्टर के लिए समापन बिंदु नहीं जानते हैं, तो अपने क्लस्टर व्यवस्थापक से संपर्क करें।

यदि --endpoint निर्दिष्ट नहीं है, तो इन-क्लस्टर सेवा DNS नाम का उपयोग डिफ़ॉल्ट मान के रूप में किया जाता है। यह नाम केवल तभी काम करता है जब सीएलआई कमांड क्यूबफ्लो पाइपलाइन क्लस्टर पर पॉड में निष्पादित होता है, जैसे कि क्यूबफ्लो ज्यूपिटर नोटबुक उदाहरण।

--इंजन = engine

(वैकल्पिक।) पाइपलाइन के लिए उपयोग किया जाने वाला ऑर्केस्ट्रेटर। इंजन का मान निम्नलिखित मानों से मेल खाना चाहिए:

  • क्यूबफ़्लो : इंजन को क्यूबफ़्लो पर सेट करता है
  • स्थानीय : इंजन को स्थानीय ऑर्केस्ट्रेटर पर सेट करता है
  • वर्टेक्स : इंजन को वर्टेक्स पाइपलाइन पर सेट करता है
  • एयरफ्लो : (प्रयोगात्मक) इंजन को अपाचे एयरफ्लो पर सेट करता है
  • बीम : (प्रायोगिक) इंजन को अपाचे बीम पर सेट करता है

यदि इंजन सेट नहीं है, तो वातावरण के आधार पर इंजन का स्वतः पता लगाया जाता है।

** महत्वपूर्ण नोट: पाइपलाइन कॉन्फ़िगरेशन फ़ाइल में डैगरनर द्वारा आवश्यक ऑर्केस्ट्रेटर को चयनित या स्वचालित रूप से पहचाने गए इंजन से मेल खाना चाहिए। इंजन ऑटो-डिटेक्शन उपयोगकर्ता परिवेश पर आधारित है। यदि Apache Airflow और Kubeflow पाइपलाइन स्थापित नहीं हैं, तो स्थानीय ऑर्केस्ट्रेटर का उपयोग डिफ़ॉल्ट रूप से किया जाता है।

--iap_client_id= iap-client-id
(वैकल्पिक।) IAP संरक्षित समापन बिंदु के लिए क्लाइंट आईडी।
--नामस्थान= namespace
(वैकल्पिक।) क्यूबफ़्लो पाइपलाइन एपीआई से कनेक्ट करने के लिए कुबेरनेट्स नेमस्पेस। यदि नामस्थान निर्दिष्ट नहीं है, तो मान डिफ़ॉल्ट रूप से kubeflow हो जाता है।

उदाहरण:

क्यूबफ़्लो: 

tfx pipeline list --engine=kubeflow --iap_client_id=iap-client-id \
--namespace=namespace --endpoint=endpoint

स्थानीय: 

tfx pipeline list --engine=local

शीर्ष: 

tfx pipeline list --engine=vertex

टीएफएक्स रन

tfx run कमांड समूह में कमांड की संरचना इस प्रकार है: 

tfx run command required-flags [optional-flags]

tfx run कमांड समूह में कमांड के बारे में अधिक जानने के लिए निम्नलिखित अनुभागों का उपयोग करें।

बनाएं

ऑर्केस्ट्रेटर में पाइपलाइन के लिए एक नया रन इंस्टेंस बनाता है। क्यूबफ़्लो के लिए, क्लस्टर में पाइपलाइन के नवीनतम पाइपलाइन संस्करण का उपयोग किया जाता है।

उपयोग: 

tfx run create --pipeline_name=pipeline-name [--endpoint=endpoint \
--engine=engine --iap_client_id=iap-client-id --namespace=namespace]
--पाइपलाइन_नाम= pipeline-name
पाइपलाइन का नाम.
--अंतबिंदु= endpoint

(वैकल्पिक।) क्यूबफ्लो पाइपलाइन एपीआई सेवा का समापन बिंदु। आपकी Kubeflow पाइपलाइन API सेवा का समापन बिंदु Kubeflow पाइपलाइन डैशबोर्ड के URL के समान है। आपका समापन बिंदु मान कुछ इस प्रकार होना चाहिए: 

https://host-name/pipeline

यदि आप अपने क्यूबफ़्लो पाइपलाइन क्लस्टर के लिए समापन बिंदु नहीं जानते हैं, तो अपने क्लस्टर व्यवस्थापक से संपर्क करें।

यदि --endpoint निर्दिष्ट नहीं है, तो इन-क्लस्टर सेवा DNS नाम का उपयोग डिफ़ॉल्ट मान के रूप में किया जाता है। यह नाम केवल तभी काम करता है जब सीएलआई कमांड क्यूबफ्लो पाइपलाइन क्लस्टर पर पॉड में निष्पादित होता है, जैसे कि क्यूबफ्लो ज्यूपिटर नोटबुक उदाहरण।

--इंजन = engine

(वैकल्पिक) पाइपलाइन के लिए उपयोग किया जाने वाला ऑर्केस्ट्रेटर। इंजन का मान निम्नलिखित मानों से मेल खाना चाहिए:

  • क्यूबफ़्लो : इंजन को क्यूबफ़्लो पर सेट करता है
  • स्थानीय : इंजन को स्थानीय ऑर्केस्ट्रेटर पर सेट करता है
  • वर्टेक्स : इंजन को वर्टेक्स पाइपलाइन पर सेट करता है
  • एयरफ्लो : (प्रायोगिक) इंजन को अपाचे एयरफ्लो पर सेट करता है
  • बीम : (प्रायोगिक) इंजन को अपाचे बीम पर सेट करता है

यदि इंजन सेट नहीं है, तो वातावरण के आधार पर इंजन का स्वतः पता लगाया जाता है।

** महत्वपूर्ण नोट: पाइपलाइन कॉन्फ़िगरेशन फ़ाइल में डैगरनर द्वारा आवश्यक ऑर्केस्ट्रेटर को चयनित या स्वचालित रूप से पहचाने गए इंजन से मेल खाना चाहिए। इंजन ऑटो-डिटेक्शन उपयोगकर्ता परिवेश पर आधारित है। यदि अपाचे एयरफ्लो और क्यूबफ्लो पाइपलाइन स्थापित नहीं हैं, तो स्थानीय ऑर्केस्ट्रेटर का उपयोग डिफ़ॉल्ट रूप से किया जाता है।

--runtime_parameter= parameter-name = parameter-value
(वैकल्पिक) रनटाइम पैरामीटर मान सेट करता है। एकाधिक वेरिएबल्स के मान सेट करने के लिए कई बार सेट किया जा सकता है। केवल `एयरफ़्लो`, `क्यूबफ़्लो` और `वर्टेक्स` इंजन पर लागू।
--iap_client_id= iap-client-id
(वैकल्पिक।) IAP संरक्षित समापन बिंदु के लिए क्लाइंट आईडी।
--नामस्थान= namespace
(वैकल्पिक।) क्यूबफ़्लो पाइपलाइन एपीआई से कनेक्ट करने के लिए कुबेरनेट्स नेमस्पेस। यदि नामस्थान निर्दिष्ट नहीं है, तो मान डिफ़ॉल्ट रूप से kubeflow हो जाता है।
--प्रोजेक्ट= GCP-project-id
(वर्टेक्स के लिए आवश्यक।) वर्टेक्स पाइपलाइन के लिए जीसीपी प्रोजेक्ट आईडी।
--क्षेत्र= GCP-region
(वर्टेक्स के लिए आवश्यक।) जीसीपी क्षेत्र का नाम जैसे यूएस-सेंट्रल1। उपलब्ध क्षेत्रों के लिए [वर्टेक्स दस्तावेज़ीकरण](https://cloud.google.com/vertex-ai/docs/general/locations) देखें।

उदाहरण:

क्यूबफ़्लो: 

tfx run create --engine=kubeflow --pipeline_name=pipeline-name --iap_client_id=iap-client-id \
--namespace=namespace --endpoint=endpoint

स्थानीय: 

tfx run create --engine=local --pipeline_name=pipeline-name

शीर्ष: 

tfx run create --engine=vertex --pipeline_name=pipeline-name \
  --runtime_parameter=var_name=var_value \
  --project=gcp-project-id --region=gcp-region

बर्खास्त

किसी दी गई पाइपलाइन को चलाना बंद कर देता है।

** महत्वपूर्ण नोट: वर्तमान में केवल Kubeflow में समर्थित है।

उपयोग: 

tfx run terminate --run_id=run-id [--endpoint=endpoint --engine=engine \
--iap_client_id=iap-client-id --namespace=namespace]
--run_id= run-id
पाइपलाइन चलाने के लिए विशिष्ट पहचानकर्ता।
--अंतबिंदु= endpoint

(वैकल्पिक।) क्यूबफ्लो पाइपलाइन एपीआई सेवा का समापन बिंदु। आपकी Kubeflow पाइपलाइन API सेवा का समापन बिंदु Kubeflow पाइपलाइन डैशबोर्ड के URL के समान है। आपका समापन बिंदु मान कुछ इस प्रकार होना चाहिए: 

https://host-name/pipeline

यदि आप अपने क्यूबफ़्लो पाइपलाइन क्लस्टर के लिए समापन बिंदु नहीं जानते हैं, तो अपने क्लस्टर व्यवस्थापक से संपर्क करें।

यदि --endpoint निर्दिष्ट नहीं है, तो इन-क्लस्टर सेवा DNS नाम का उपयोग डिफ़ॉल्ट मान के रूप में किया जाता है। यह नाम केवल तभी काम करता है जब सीएलआई कमांड क्यूबफ्लो पाइपलाइन क्लस्टर पर पॉड में निष्पादित होता है, जैसे कि क्यूबफ्लो ज्यूपिटर नोटबुक उदाहरण।

--इंजन = engine

(वैकल्पिक।) पाइपलाइन के लिए उपयोग किया जाने वाला ऑर्केस्ट्रेटर। इंजन का मान निम्नलिखित मानों से मेल खाना चाहिए:

  • क्यूबफ़्लो : इंजन को क्यूबफ़्लो पर सेट करता है

यदि इंजन सेट नहीं है, तो वातावरण के आधार पर इंजन का स्वतः पता लगाया जाता है।

** महत्वपूर्ण नोट: पाइपलाइन कॉन्फ़िगरेशन फ़ाइल में डैगरनर द्वारा आवश्यक ऑर्केस्ट्रेटर को चयनित या स्वचालित रूप से पहचाने गए इंजन से मेल खाना चाहिए। इंजन ऑटो-डिटेक्शन उपयोगकर्ता परिवेश पर आधारित है। यदि Apache Airflow और Kubeflow पाइपलाइन स्थापित नहीं हैं, तो स्थानीय ऑर्केस्ट्रेटर का उपयोग डिफ़ॉल्ट रूप से किया जाता है।

--iap_client_id= iap-client-id
(वैकल्पिक।) IAP संरक्षित समापन बिंदु के लिए क्लाइंट आईडी।
--नामस्थान= namespace
(वैकल्पिक।) क्यूबफ़्लो पाइपलाइन एपीआई से कनेक्ट करने के लिए कुबेरनेट्स नेमस्पेस। यदि नामस्थान निर्दिष्ट नहीं है, तो मान डिफ़ॉल्ट रूप से kubeflow हो जाता है।

उदाहरण:

क्यूबफ़्लो: 

tfx run delete --engine=kubeflow --run_id=run-id --iap_client_id=iap-client-id \
--namespace=namespace --endpoint=endpoint

सूची

पाइपलाइन के सभी रन सूचीबद्ध करता है।

** महत्वपूर्ण नोट: वर्तमान में लोकल और अपाचे बीम में समर्थित नहीं है।

उपयोग: 

tfx run list --pipeline_name=pipeline-name [--endpoint=endpoint \
--engine=engine --iap_client_id=iap-client-id --namespace=namespace]
--पाइपलाइन_नाम= pipeline-name
पाइपलाइन का नाम.
--अंतबिंदु= endpoint

(वैकल्पिक।) क्यूबफ्लो पाइपलाइन एपीआई सेवा का समापन बिंदु। आपकी Kubeflow पाइपलाइन API सेवा का समापन बिंदु Kubeflow पाइपलाइन डैशबोर्ड के URL के समान है। आपका समापन बिंदु मान कुछ इस प्रकार होना चाहिए: 

https://host-name/pipeline

यदि आप अपने क्यूबफ़्लो पाइपलाइन क्लस्टर के लिए समापन बिंदु नहीं जानते हैं, तो अपने क्लस्टर व्यवस्थापक से संपर्क करें।

यदि --endpoint निर्दिष्ट नहीं है, तो इन-क्लस्टर सेवा DNS नाम का उपयोग डिफ़ॉल्ट मान के रूप में किया जाता है। यह नाम केवल तभी काम करता है जब सीएलआई कमांड क्यूबफ्लो पाइपलाइन क्लस्टर पर पॉड में निष्पादित होता है, जैसे कि क्यूबफ्लो ज्यूपिटर नोटबुक उदाहरण।

--इंजन = engine

(वैकल्पिक) पाइपलाइन के लिए उपयोग किया जाने वाला ऑर्केस्ट्रेटर। इंजन का मान निम्नलिखित मानों से मेल खाना चाहिए:

  • क्यूबफ़्लो : इंजन को क्यूबफ़्लो पर सेट करता है
  • एयरफ्लो : (प्रायोगिक) इंजन को अपाचे एयरफ्लो पर सेट करता है

यदि इंजन सेट नहीं है, तो वातावरण के आधार पर इंजन का स्वतः पता लगाया जाता है।

** महत्वपूर्ण नोट: पाइपलाइन कॉन्फ़िगरेशन फ़ाइल में डैगरनर द्वारा आवश्यक ऑर्केस्ट्रेटर को चयनित या स्वचालित रूप से पहचाने गए इंजन से मेल खाना चाहिए। इंजन ऑटो-डिटेक्शन उपयोगकर्ता परिवेश पर आधारित है। यदि Apache Airflow और Kubeflow पाइपलाइन स्थापित नहीं हैं, तो स्थानीय ऑर्केस्ट्रेटर का उपयोग डिफ़ॉल्ट रूप से किया जाता है।

--iap_client_id= iap-client-id
(वैकल्पिक।) IAP संरक्षित समापन बिंदु के लिए क्लाइंट आईडी।
--नामस्थान= namespace
(वैकल्पिक।) क्यूबफ़्लो पाइपलाइन एपीआई से कनेक्ट करने के लिए कुबेरनेट्स नेमस्पेस। यदि नामस्थान निर्दिष्ट नहीं है, तो मान डिफ़ॉल्ट रूप से kubeflow हो जाता है।

उदाहरण:

क्यूबफ़्लो: 

tfx run list --engine=kubeflow --pipeline_name=pipeline-name --iap_client_id=iap-client-id \
--namespace=namespace --endpoint=endpoint

स्थिति

रन की वर्तमान स्थिति लौटाता है।

** महत्वपूर्ण नोट: वर्तमान में लोकल और अपाचे बीम में समर्थित नहीं है।

उपयोग: 

tfx run status --pipeline_name=pipeline-name --run_id=run-id [--endpoint=endpoint \
--engine=engine --iap_client_id=iap-client-id --namespace=namespace]
--पाइपलाइन_नाम= pipeline-name
पाइपलाइन का नाम.
--run_id= run-id
पाइपलाइन चलाने के लिए विशिष्ट पहचानकर्ता।
--अंतबिंदु= endpoint

(वैकल्पिक।) क्यूबफ्लो पाइपलाइन एपीआई सेवा का समापन बिंदु। आपकी Kubeflow पाइपलाइन API सेवा का समापन बिंदु Kubeflow पाइपलाइन डैशबोर्ड के URL के समान है। आपका समापन बिंदु मान कुछ इस प्रकार होना चाहिए: 

https://host-name/pipeline

यदि आप अपने क्यूबफ़्लो पाइपलाइन क्लस्टर के लिए समापन बिंदु नहीं जानते हैं, तो अपने क्लस्टर व्यवस्थापक से संपर्क करें।

यदि --endpoint निर्दिष्ट नहीं है, तो इन-क्लस्टर सेवा DNS नाम का उपयोग डिफ़ॉल्ट मान के रूप में किया जाता है। यह नाम केवल तभी काम करता है जब सीएलआई कमांड क्यूबफ्लो पाइपलाइन क्लस्टर पर पॉड में निष्पादित होता है, जैसे कि क्यूबफ्लो ज्यूपिटर नोटबुक उदाहरण।

--इंजन = engine

(वैकल्पिक) पाइपलाइन के लिए उपयोग किया जाने वाला ऑर्केस्ट्रेटर। इंजन का मान निम्नलिखित मानों से मेल खाना चाहिए:

  • क्यूबफ़्लो : इंजन को क्यूबफ़्लो पर सेट करता है
  • एयरफ्लो : (प्रयोगात्मक) इंजन को अपाचे एयरफ्लो पर सेट करता है

यदि इंजन सेट नहीं है, तो वातावरण के आधार पर इंजन का स्वतः पता लगाया जाता है।

** महत्वपूर्ण नोट: पाइपलाइन कॉन्फ़िगरेशन फ़ाइल में डैगरनर द्वारा आवश्यक ऑर्केस्ट्रेटर को चयनित या स्वचालित रूप से पहचाने गए इंजन से मेल खाना चाहिए। इंजन ऑटो-डिटेक्शन उपयोगकर्ता परिवेश पर आधारित है। यदि Apache Airflow और Kubeflow पाइपलाइन स्थापित नहीं हैं, तो स्थानीय ऑर्केस्ट्रेटर का उपयोग डिफ़ॉल्ट रूप से किया जाता है।

--iap_client_id= iap-client-id
(वैकल्पिक।) IAP संरक्षित समापन बिंदु के लिए क्लाइंट आईडी।
--नामस्थान= namespace
(वैकल्पिक।) क्यूबफ़्लो पाइपलाइन एपीआई से कनेक्ट करने के लिए कुबेरनेट्स नेमस्पेस। यदि नामस्थान निर्दिष्ट नहीं है, तो मान डिफ़ॉल्ट रूप से kubeflow हो जाता है।

उदाहरण:

क्यूबफ़्लो: 

tfx run status --engine=kubeflow --run_id=run-id --pipeline_name=pipeline-name \
--iap_client_id=iap-client-id --namespace=namespace --endpoint=endpoint

मिटाना

किसी दिए गए पाइपलाइन के रन को हटा देता है।

** महत्वपूर्ण नोट: वर्तमान में केवल Kubeflow में समर्थित है

उपयोग: 

tfx run delete --run_id=run-id [--engine=engine --iap_client_id=iap-client-id \
--namespace=namespace --endpoint=endpoint]
--run_id= run-id
पाइपलाइन चलाने के लिए विशिष्ट पहचानकर्ता।
--अंतबिंदु= endpoint

(वैकल्पिक।) क्यूबफ्लो पाइपलाइन एपीआई सेवा का समापन बिंदु। आपकी Kubeflow पाइपलाइन API सेवा का समापन बिंदु Kubeflow पाइपलाइन डैशबोर्ड के URL के समान है। आपका समापन बिंदु मान कुछ इस प्रकार होना चाहिए: 

https://host-name/pipeline

यदि आप अपने क्यूबफ़्लो पाइपलाइन क्लस्टर के लिए समापन बिंदु नहीं जानते हैं, तो अपने क्लस्टर व्यवस्थापक से संपर्क करें।

यदि --endpoint निर्दिष्ट नहीं है, तो इन-क्लस्टर सेवा DNS नाम का उपयोग डिफ़ॉल्ट मान के रूप में किया जाता है। यह नाम केवल तभी काम करता है जब सीएलआई कमांड क्यूबफ्लो पाइपलाइन क्लस्टर पर पॉड में निष्पादित होता है, जैसे कि क्यूबफ्लो ज्यूपिटर नोटबुक उदाहरण।

--इंजन = engine

(वैकल्पिक) पाइपलाइन के लिए उपयोग किया जाने वाला ऑर्केस्ट्रेटर। इंजन का मान निम्नलिखित मानों से मेल खाना चाहिए:

  • क्यूबफ़्लो : इंजन को क्यूबफ़्लो पर सेट करता है

यदि इंजन सेट नहीं है, तो वातावरण के आधार पर इंजन का स्वतः पता लगाया जाता है।

** महत्वपूर्ण नोट: पाइपलाइन कॉन्फ़िगरेशन फ़ाइल में डैगरनर द्वारा आवश्यक ऑर्केस्ट्रेटर को चयनित या स्वचालित रूप से पहचाने गए इंजन से मेल खाना चाहिए। इंजन ऑटो-डिटेक्शन उपयोगकर्ता परिवेश पर आधारित है। यदि अपाचे एयरफ्लो और क्यूबफ्लो पाइपलाइन स्थापित नहीं हैं, तो स्थानीय ऑर्केस्ट्रेटर का उपयोग डिफ़ॉल्ट रूप से किया जाता है।

--iap_client_id= iap-client-id
(वैकल्पिक।) IAP संरक्षित समापन बिंदु के लिए क्लाइंट आईडी।
--नामस्थान= namespace
(वैकल्पिक।) क्यूबफ़्लो पाइपलाइन एपीआई से कनेक्ट करने के लिए कुबेरनेट्स नेमस्पेस। यदि नामस्थान निर्दिष्ट नहीं है, तो मान डिफ़ॉल्ट रूप से kubeflow हो जाता है।

उदाहरण:

क्यूबफ़्लो: 

tfx run delete --engine=kubeflow --run_id=run-id --iap_client_id=iap-client-id \
--namespace=namespace --endpoint=endpoint

tfx टेम्पलेट [प्रायोगिक]

tfx template कमांड समूह में कमांड की संरचना इस प्रकार है: 

tfx template command required-flags [optional-flags]

tfx template कमांड समूह में कमांड के बारे में अधिक जानने के लिए निम्नलिखित अनुभागों का उपयोग करें। टेम्प्लेट एक प्रायोगिक सुविधा है और किसी भी समय परिवर्तन के अधीन है।

सूची

उपलब्ध टीएफएक्स पाइपलाइन टेम्पलेट्स की सूची बनाएं।

उपयोग: 

tfx template list

कॉपी

किसी टेम्पलेट को गंतव्य निर्देशिका में कॉपी करें.

उपयोग: 

tfx template copy --model=model --pipeline_name=pipeline-name \
--destination_path=destination-path
--मॉडल= model
पाइपलाइन टेम्पलेट द्वारा निर्मित मॉडल का नाम.
--पाइपलाइन_नाम= pipeline-name
पाइपलाइन का नाम.
--गंतव्य_पथ= destination-path
टेम्पलेट को कॉपी करने का पथ.

टीएफएक्स सीएलआई फ़्लैग्स को समझना

सामान्य झंडे

--इंजन = engine

पाइपलाइन के लिए उपयोग किया जाने वाला ऑर्केस्ट्रेटर। इंजन का मान निम्नलिखित मानों से मेल खाना चाहिए:

  • क्यूबफ़्लो : इंजन को क्यूबफ़्लो पर सेट करता है
  • स्थानीय : इंजन को स्थानीय ऑर्केस्ट्रेटर पर सेट करता है
  • वर्टेक्स : इंजन को वर्टेक्स पाइपलाइन पर सेट करता है
  • एयरफ्लो : (प्रयोगात्मक) इंजन को अपाचे एयरफ्लो पर सेट करता है
  • बीम : (प्रायोगिक) इंजन को अपाचे बीम पर सेट करता है

यदि इंजन सेट नहीं है, तो वातावरण के आधार पर इंजन का स्वतः पता लगाया जाता है।

** महत्वपूर्ण नोट: पाइपलाइन कॉन्फ़िगरेशन फ़ाइल में डैगरनर द्वारा आवश्यक ऑर्केस्ट्रेटर को चयनित या स्वचालित रूप से पहचाने गए इंजन से मेल खाना चाहिए। इंजन ऑटो-डिटेक्शन उपयोगकर्ता परिवेश पर आधारित है। यदि Apache Airflow और Kubeflow पाइपलाइन स्थापित नहीं हैं, तो स्थानीय ऑर्केस्ट्रेटर का उपयोग डिफ़ॉल्ट रूप से किया जाता है।

--पाइपलाइन_नाम= pipeline-name
पाइपलाइन का नाम.
--पाइपलाइन_पथ= pipeline-path
पाइपलाइन कॉन्फ़िगरेशन फ़ाइल का पथ.
--run_id= run-id
पाइपलाइन चलाने के लिए विशिष्ट पहचानकर्ता।

क्यूबफ्लो विशिष्ट झंडे

--अंतबिंदु= endpoint

क्यूबफ्लो पाइपलाइन एपीआई सेवा का समापन बिंदु। आपकी Kubeflow पाइपलाइन API सेवा का समापन बिंदु Kubeflow पाइपलाइन डैशबोर्ड के URL के समान है। आपका समापन बिंदु मान कुछ इस प्रकार होना चाहिए: 

https://host-name/pipeline

यदि आप अपने क्यूबफ़्लो पाइपलाइन क्लस्टर के लिए समापन बिंदु नहीं जानते हैं, तो अपने क्लस्टर व्यवस्थापक से संपर्क करें।

यदि --endpoint निर्दिष्ट नहीं है, तो इन-क्लस्टर सेवा DNS नाम का उपयोग डिफ़ॉल्ट मान के रूप में किया जाता है। यह नाम केवल तभी काम करता है जब सीएलआई कमांड क्यूबफ्लो पाइपलाइन क्लस्टर पर पॉड में निष्पादित होता है, जैसे कि क्यूबफ्लो ज्यूपिटर नोटबुक उदाहरण।

--iap_client_id= iap-client-id
IAP संरक्षित समापन बिंदु के लिए क्लाइंट आईडी।
--नामस्थान= namespace
Kubeflow पाइपलाइन एपीआई से कनेक्ट करने के लिए Kubernetes नेमस्पेस। यदि नामस्थान निर्दिष्ट नहीं है, तो मान डिफ़ॉल्ट रूप से kubeflow हो जाता है।

TFX CLI द्वारा जेनरेट की गई फ़ाइलें

जब पाइपलाइनें बनाई और चलाई जाती हैं, तो पाइपलाइन प्रबंधन के लिए कई फ़ाइलें उत्पन्न होती हैं।

  • ${HOME}/tfx/स्थानीय, किरण, वायुप्रवाह, शीर्ष
    • कॉन्फ़िगरेशन से पढ़ा गया पाइपलाइन मेटाडेटा ${HOME}/tfx/${ORCHESTRATION_ENGINE}/${PIPELINE_NAME} अंतर्गत संग्रहीत किया जाता है। इस स्थान को AIRFLOW_HOME या KUBEFLOW_HOME जैसे पर्यावरण चर सेट करके अनुकूलित किया जा सकता है। यह व्यवहार भावी रिलीज़ में बदला जा सकता है. इस निर्देशिका का उपयोग क्यूबफ़्लो पाइपलाइन क्लस्टर में पाइपलाइन आईडी सहित पाइपलाइन जानकारी संग्रहीत करने के लिए किया जाता है जो रन बनाने या पाइपलाइन अपडेट करने के लिए आवश्यक है।
    • TFX 0.25 से पहले, ये फ़ाइलें ${HOME}/${ORCHESTRATION_ENGINE} के अंतर्गत स्थित थीं। टीएफएक्स 0.25 में, पुराने स्थान की फाइलों को सुचारू माइग्रेशन के लिए स्वचालित रूप से नए स्थान पर ले जाया जाएगा।
    • टीएफएक्स 0.27 से, क्यूबफ्लो स्थानीय फाइल सिस्टम में इन मेटाडेटा फ़ाइलों को नहीं बनाता है। हालाँकि, क्यूबफ़्लो द्वारा बनाई गई अन्य फ़ाइलों के लिए नीचे देखें।
  • (केवल क्यूबफ़्लो) डॉकरफ़ाइल और एक कंटेनर छवि
    • क्यूबफ्लो पाइपलाइनों को एक पाइपलाइन के लिए दो प्रकार के इनपुट की आवश्यकता होती है। ये फ़ाइलें वर्तमान निर्देशिका में TFX द्वारा उत्पन्न की जाती हैं।
    • एक एक कंटेनर छवि है जिसका उपयोग पाइपलाइन में घटकों को चलाने के लिए किया जाएगा। यह कंटेनर छवि तब बनाई जाती है जब क्यूबफ्लो पाइपलाइनों के लिए एक पाइपलाइन बनाई जाती है या --build-image ध्वज के साथ अद्यतन की जाती है। यदि मौजूद नहीं है तो TFX CLI Dockerfile उत्पन्न करेगा, और KubeflowDagRunnerConfig में निर्दिष्ट रजिस्ट्री में एक कंटेनर छवि बनाएगा और पुश करेगा।