استخدام واجهة سطر الأوامر TFX

تنفذ واجهة سطر أوامر TFX (CLI) نطاقًا كاملاً من إجراءات خطوط الأنابيب باستخدام منسقي خطوط الأنابيب، مثل خطوط أنابيب Kubeflow وخطوط أنابيب Vertex. يمكن أيضًا استخدام المنسق المحلي للتطوير أو التصحيح بشكل أسرع. يتم دعم تدفق هواء Apache Beam وApache كميزات تجريبية. على سبيل المثال، يمكنك استخدام واجهة سطر الأوامر (CLI) من أجل:

  • إنشاء وتحديث وحذف خطوط الأنابيب.
  • قم بتشغيل خط أنابيب ومراقبة التشغيل على منسقين مختلفين.
  • قائمة خطوط الأنابيب وتشغيل خطوط الأنابيب.

حول TFX CLI

يتم تثبيت TFX CLI كجزء من حزمة TFX. تتبع جميع أوامر CLI البنية التالية:

tfx command-group command flags

خيارات command-group التالية مدعومة حاليًا:

  • ؛ tfx Pipeline - إنشاء وإدارة خطوط أنابيب TFX.
  • tfx run - إنشاء وإدارة عمليات تشغيل خطوط أنابيب TFX على منصات التنسيق المختلفة.
  • قالب tfx - أوامر تجريبية لإدراج قوالب خطوط أنابيب TFX ونسخها.

توفر كل مجموعة أوامر مجموعة من commands . اتبع الإرشادات الموجودة في أقسام أوامر المسار وأوامر التشغيل وأوامر القالب لمعرفة المزيد حول استخدام هذه الأوامر.

تتيح لك الأعلام تمرير الوسائط إلى أوامر واجهة سطر الأوامر (CLI). يتم فصل الكلمات الموجودة في العلامات إما بواصلة ( - ) أو بشرطة سفلية ( _ ). على سبيل المثال، يمكن تحديد علامة اسم خط الأنابيب كـ --pipeline-name أو --pipeline_name . تحدد هذه الوثيقة العلامات ذات الشرطات السفلية للإيجاز. تعرف على المزيد حول flags المستخدمة في TFX CLI .

خط أنابيب tfx

هيكل الأوامر في مجموعة أوامر tfx pipeline كما يلي:

tfx pipeline command required-flags [optional-flags]

استخدم الأقسام التالية لمعرفة المزيد حول الأوامر الموجودة في مجموعة أوامر tfx pipeline .

يخلق

إنشاء خط أنابيب جديد في المنسق المحدد.

الاستخدام:

tfx pipeline create --pipeline_path=pipeline-path [--endpoint=endpoint --engine=engine \
--iap_client_id=iap-client-id --namespace=namespace \
--build_image --build_base_image=build-base-image]
--pipeline_path= pipeline-path
المسار إلى ملف تكوين خط الأنابيب.
--نقطة النهاية= endpoint

(اختياري.) نقطة نهاية خدمة Kubeflow Pipelines API. نقطة النهاية لخدمة Kubeflow Pipelines API الخاصة بك هي نفس عنوان URL الخاص بلوحة معلومات Kubeflow Pipelines. يجب أن تكون قيمة نقطة النهاية الخاصة بك شيئًا مثل:

https://host-name/pipeline

إذا كنت لا تعرف نقطة النهاية لمجموعة Kubeflow Pipelines الخاصة بك، فاتصل بمسؤول المجموعة لديك.

إذا لم يتم تحديد --endpoint ، فسيتم استخدام اسم DNS للخدمة داخل المجموعة كقيمة افتراضية. يعمل هذا الاسم فقط إذا تم تنفيذ أمر CLI في حاوية على مجموعة Kubeflow Pipelines، مثل مثيل دفاتر ملاحظات Kubeflow Jupyter .

--المحرك= engine

(اختياري.) المُنسق الذي سيتم استخدامه لخط الأنابيب. يجب أن تتطابق قيمة المحرك مع إحدى القيم التالية:

  • kubeflow : يضبط المحرك على Kubeflow
  • محلي : يضبط المحرك على المنسق المحلي
  • vertex : يضبط المحرك على Vertex Pipelines
  • تدفق الهواء : (تجريبي) يضبط المحرك على Apache Airflow
  • شعاع : (تجريبي) يضبط المحرك على Apache Beam

إذا لم يتم ضبط المحرك، فسيتم اكتشاف المحرك تلقائيًا بناءً على البيئة.

** ملاحظة مهمة: يجب أن يتطابق المنسق المطلوب بواسطة DagRunner في ملف تكوين خط الأنابيب مع المحرك المحدد أو الذي تم اكتشافه تلقائيًا. يعتمد الاكتشاف التلقائي للمحرك على بيئة المستخدم. إذا لم يتم تثبيت Apache Airflow وKubeflow Pipelines، فسيتم استخدام المنسق المحلي بشكل افتراضي.

--iap_client_id= iap-client-id
(اختياري.) معرف العميل لنقطة النهاية المحمية لـ IAP عند استخدام خطوط أنابيب Kubeflow.
--مساحة الاسم = namespace
(اختياري.) مساحة اسم Kubernetes للاتصال بواجهة برمجة تطبيقات Kubeflow Pipelines. إذا لم يتم تحديد مساحة الاسم، فستكون القيمة الافتراضية هي kubeflow .
--build_image

(اختياري.) عندما يكون engine kubeflow أو vertex ، تقوم TFX بإنشاء صورة حاوية لخط الأنابيب الخاص بك إذا تم تحديده. سيتم استخدام `Dockerfile` في الدليل الحالي، وسيقوم TFX تلقائيًا بإنشاء ملف إذا لم يكن موجودًا.

سيتم دفع الصورة المضمنة إلى السجل البعيد المحدد في `KubeflowDagRunnerConfig` أو `KubeflowV2DagRunnerConfig`.

--build_base_image= build-base-image

(اختياري.) عندما يكون engine kubeflow ، تقوم TFX بإنشاء صورة حاوية لخط الأنابيب الخاص بك. تحدد الصورة الأساسية للإنشاء صورة الحاوية الأساسية التي سيتم استخدامها عند إنشاء صورة حاوية خط الأنابيب.

أمثلة:

كوبيفلو:

tfx pipeline create --engine=kubeflow --pipeline_path=pipeline-path \
--iap_client_id=iap-client-id --namespace=namespace --endpoint=endpoint \
--build_image

محلي:

tfx pipeline create --engine=local --pipeline_path=pipeline-path

قمة الرأس:

tfx pipeline create --engine=vertex --pipeline_path=pipeline-path \
--build_image

للكشف التلقائي عن المحرك من بيئة المستخدم، ما عليك سوى تجنب استخدام علامة المحرك كما في المثال أدناه. لمزيد من التفاصيل، راجع قسم الأعلام.

tfx pipeline create --pipeline_path=pipeline-path

تحديث

يقوم بتحديث خط أنابيب موجود في المُنسق المحدد.

الاستخدام:

tfx pipeline update --pipeline_path=pipeline-path [--endpoint=endpoint --engine=engine \
--iap_client_id=iap-client-id --namespace=namespace --build_image]
--pipeline_path= pipeline-path
المسار إلى ملف تكوين خط الأنابيب.
--نقطة النهاية= endpoint

(اختياري.) نقطة نهاية خدمة Kubeflow Pipelines API. نقطة النهاية لخدمة Kubeflow Pipelines API الخاصة بك هي نفس عنوان URL الخاص بلوحة معلومات Kubeflow Pipelines. يجب أن تكون قيمة نقطة النهاية الخاصة بك شيئًا مثل:

https://host-name/pipeline

إذا كنت لا تعرف نقطة النهاية لمجموعة Kubeflow Pipelines الخاصة بك، فاتصل بمسؤول المجموعة لديك.

إذا لم يتم تحديد --endpoint ، فسيتم استخدام اسم DNS للخدمة داخل المجموعة كقيمة افتراضية. يعمل هذا الاسم فقط إذا تم تنفيذ أمر CLI في حاوية على مجموعة Kubeflow Pipelines، مثل مثيل دفاتر ملاحظات Kubeflow Jupyter .

--المحرك= engine

(اختياري.) المُنسق الذي سيتم استخدامه لخط الأنابيب. يجب أن تتطابق قيمة المحرك مع إحدى القيم التالية:

  • kubeflow : يضبط المحرك على Kubeflow
  • محلي : يضبط المحرك على المنسق المحلي
  • vertex : يضبط المحرك على Vertex Pipelines
  • تدفق الهواء : (تجريبي) يضبط المحرك على Apache Airflow
  • شعاع : (تجريبي) يضبط المحرك على Apache Beam

إذا لم يتم ضبط المحرك، فسيتم اكتشاف المحرك تلقائيًا بناءً على البيئة.

** ملاحظة مهمة: يجب أن يتطابق المنسق المطلوب بواسطة DagRunner في ملف تكوين خط الأنابيب مع المحرك المحدد أو المكتشف تلقائيًا. يعتمد الاكتشاف التلقائي للمحرك على بيئة المستخدم. إذا لم يتم تثبيت Apache Airflow وKubeflow Pipelines، فسيتم استخدام المنسق المحلي بشكل افتراضي.

--iap_client_id= iap-client-id
(اختياري.) معرف العميل لنقطة النهاية المحمية لـ IAP.
--مساحة الاسم = namespace
(اختياري.) مساحة اسم Kubernetes للاتصال بواجهة برمجة تطبيقات Kubeflow Pipelines. إذا لم يتم تحديد مساحة الاسم، فستكون القيمة الافتراضية هي kubeflow .
--build_image

(اختياري.) عندما يكون engine kubeflow أو vertex ، تقوم TFX بإنشاء صورة حاوية لخط الأنابيب الخاص بك إذا تم تحديده. سيتم استخدام "Dockerfile" في الدليل الحالي.

سيتم دفع الصورة المضمنة إلى السجل البعيد المحدد في `KubeflowDagRunnerConfig` أو `KubeflowV2DagRunnerConfig`.

أمثلة:

كوبيفلو:

tfx pipeline update --engine=kubeflow --pipeline_path=pipeline-path \
--iap_client_id=iap-client-id --namespace=namespace --endpoint=endpoint \
--build_image

محلي:

tfx pipeline update --engine=local --pipeline_path=pipeline-path

قمة الرأس:

tfx pipeline update --engine=vertex --pipeline_path=pipeline-path \
--build_image

ترجمة

تجميع ملف تكوين خط الأنابيب لإنشاء ملف سير عمل في Kubeflow وإجراء الفحوصات التالية أثناء التجميع:

  1. يتحقق مما إذا كان مسار خط الأنابيب صالحًا.
  2. يتحقق مما إذا كان قد تم استخراج تفاصيل خط الأنابيب بنجاح من ملف تكوين خط الأنابيب.
  3. يتحقق مما إذا كان DagRunner الموجود في تكوين خط الأنابيب يتطابق مع المحرك.
  4. يتحقق مما إذا كان قد تم إنشاء ملف سير العمل بنجاح في مسار الحزمة المقدم (فقط لـ Kubeflow).

يوصى باستخدامه قبل إنشاء خط أنابيب أو تحديثه.

الاستخدام:

tfx pipeline compile --pipeline_path=pipeline-path [--engine=engine]
--pipeline_path= pipeline-path
المسار إلى ملف تكوين خط الأنابيب.
--المحرك= engine

(اختياري.) المُنسق الذي سيتم استخدامه لخط الأنابيب. يجب أن تتطابق قيمة المحرك مع إحدى القيم التالية:

  • kubeflow : يضبط المحرك على Kubeflow
  • محلي : يضبط المحرك على المنسق المحلي
  • vertex : يضبط المحرك على خطوط أنابيب Vertex
  • تدفق الهواء : (تجريبي) يضبط المحرك على Apache Airflow
  • شعاع : (تجريبي) يضبط المحرك على Apache Beam

إذا لم يتم ضبط المحرك، فسيتم اكتشاف المحرك تلقائيًا بناءً على البيئة.

** ملاحظة مهمة: يجب أن يتطابق المنسق المطلوب بواسطة DagRunner في ملف تكوين خط الأنابيب مع المحرك المحدد أو المكتشف تلقائيًا. يعتمد الاكتشاف التلقائي للمحرك على بيئة المستخدم. إذا لم يتم تثبيت Apache Airflow وKubeflow Pipelines، فسيتم استخدام المنسق المحلي بشكل افتراضي.

أمثلة:

كوبيفلو:

tfx pipeline compile --engine=kubeflow --pipeline_path=pipeline-path

محلي:

tfx pipeline compile --engine=local --pipeline_path=pipeline-path

قمة الرأس:

tfx pipeline compile --engine=vertex --pipeline_path=pipeline-path

يمسح

حذف خط أنابيب من المنسق المحدد.

الاستخدام:

tfx pipeline delete --pipeline_path=pipeline-path [--endpoint=endpoint --engine=engine \
--iap_client_id=iap-client-id --namespace=namespace]
--pipeline_path= pipeline-path
المسار إلى ملف تكوين خط الأنابيب.
--نقطة النهاية= endpoint

(اختياري.) نقطة نهاية خدمة Kubeflow Pipelines API. نقطة النهاية لخدمة Kubeflow Pipelines API الخاصة بك هي نفس عنوان URL الخاص بلوحة معلومات Kubeflow Pipelines. يجب أن تكون قيمة نقطة النهاية الخاصة بك شيئًا مثل:

https://host-name/pipeline

إذا كنت لا تعرف نقطة النهاية لمجموعة Kubeflow Pipelines الخاصة بك، فاتصل بمسؤول المجموعة لديك.

إذا لم يتم تحديد --endpoint ، فسيتم استخدام اسم DNS للخدمة داخل المجموعة كقيمة افتراضية. يعمل هذا الاسم فقط إذا تم تنفيذ أمر CLI في حاوية على مجموعة Kubeflow Pipelines، مثل مثيل دفاتر ملاحظات Kubeflow Jupyter .

--المحرك= engine

(اختياري.) المُنسق الذي سيتم استخدامه لخط الأنابيب. يجب أن تتطابق قيمة المحرك مع إحدى القيم التالية:

  • kubeflow : يضبط المحرك على Kubeflow
  • محلي : يضبط المحرك على المنسق المحلي
  • vertex : يضبط المحرك على خطوط أنابيب Vertex
  • تدفق الهواء : (تجريبي) يضبط المحرك على Apache Airflow
  • شعاع : (تجريبي) يضبط المحرك على Apache Beam

إذا لم يتم ضبط المحرك، فسيتم اكتشاف المحرك تلقائيًا بناءً على البيئة.

** ملاحظة مهمة: يجب أن يتطابق المنسق المطلوب بواسطة DagRunner في ملف تكوين خط الأنابيب مع المحرك المحدد أو المكتشف تلقائيًا. يعتمد الاكتشاف التلقائي للمحرك على بيئة المستخدم. إذا لم يتم تثبيت Apache Airflow وKubeflow Pipelines، فسيتم استخدام المنسق المحلي بشكل افتراضي.

--iap_client_id= iap-client-id
(اختياري.) معرف العميل لنقطة النهاية المحمية عبر IAP.
--مساحة الاسم = namespace
(اختياري.) مساحة اسم Kubernetes للاتصال بواجهة برمجة تطبيقات Kubeflow Pipelines. إذا لم يتم تحديد مساحة الاسم، فستكون القيمة الافتراضية هي kubeflow .

أمثلة:

كوبيفلو:

tfx pipeline delete --engine=kubeflow --pipeline_name=pipeline-name \
--iap_client_id=iap-client-id --namespace=namespace --endpoint=endpoint

محلي:

tfx pipeline delete --engine=local --pipeline_name=pipeline-name

قمة الرأس:

tfx pipeline delete --engine=vertex --pipeline_name=pipeline-name

قائمة

يسرد كافة خطوط الأنابيب في المنسق المحدد.

الاستخدام:

tfx pipeline list [--endpoint=endpoint --engine=engine \
--iap_client_id=iap-client-id --namespace=namespace]
--نقطة النهاية= endpoint

(اختياري.) نقطة نهاية خدمة Kubeflow Pipelines API. نقطة النهاية لخدمة Kubeflow Pipelines API الخاصة بك هي نفس عنوان URL الخاص بلوحة معلومات Kubeflow Pipelines. يجب أن تكون قيمة نقطة النهاية الخاصة بك شيئًا مثل:

https://host-name/pipeline

إذا كنت لا تعرف نقطة النهاية لمجموعة Kubeflow Pipelines الخاصة بك، فاتصل بمسؤول المجموعة لديك.

إذا لم يتم تحديد --endpoint ، فسيتم استخدام اسم DNS للخدمة داخل المجموعة كقيمة افتراضية. يعمل هذا الاسم فقط إذا تم تنفيذ أمر CLI في حاوية على مجموعة Kubeflow Pipelines، مثل مثيل دفاتر ملاحظات Kubeflow Jupyter .

--المحرك= engine

(اختياري.) المُنسق الذي سيتم استخدامه لخط الأنابيب. يجب أن تتطابق قيمة المحرك مع إحدى القيم التالية:

  • kubeflow : يضبط المحرك على Kubeflow
  • محلي : يضبط المحرك على المنسق المحلي
  • vertex : يضبط المحرك على Vertex Pipelines
  • تدفق الهواء : (تجريبي) يضبط المحرك على Apache Airflow
  • شعاع : (تجريبي) يضبط المحرك على Apache Beam

إذا لم يتم ضبط المحرك، فسيتم اكتشاف المحرك تلقائيًا بناءً على البيئة.

** ملاحظة مهمة: يجب أن يتطابق المنسق المطلوب بواسطة DagRunner في ملف تكوين خط الأنابيب مع المحرك المحدد أو المكتشف تلقائيًا. يعتمد الاكتشاف التلقائي للمحرك على بيئة المستخدم. إذا لم يتم تثبيت Apache Airflow وKubeflow Pipelines، فسيتم استخدام المنسق المحلي بشكل افتراضي.

--iap_client_id= iap-client-id
(اختياري.) معرف العميل لنقطة النهاية المحمية عبر IAP.
--مساحة الاسم = namespace
(اختياري.) مساحة اسم Kubernetes للاتصال بواجهة برمجة تطبيقات Kubeflow Pipelines. إذا لم يتم تحديد مساحة الاسم، فستكون القيمة الافتراضية هي kubeflow .

أمثلة:

كوبيفلو:

tfx pipeline list --engine=kubeflow --iap_client_id=iap-client-id \
--namespace=namespace --endpoint=endpoint

محلي:

tfx pipeline list --engine=local

قمة الرأس:

tfx pipeline list --engine=vertex

تشغيل tfx

هيكل الأوامر في مجموعة أوامر tfx run هو كما يلي:

tfx run command required-flags [optional-flags]

استخدم الأقسام التالية لمعرفة المزيد حول الأوامر الموجودة في مجموعة أوامر tfx run .

يخلق

إنشاء مثيل تشغيل جديد لخط أنابيب في المُنسق. بالنسبة إلى Kubeflow، يتم استخدام أحدث إصدار لخط الأنابيب في المجموعة.

الاستخدام:

tfx run create --pipeline_name=pipeline-name [--endpoint=endpoint \
--engine=engine --iap_client_id=iap-client-id --namespace=namespace]
--pipeline_name= pipeline-name
اسم خط الأنابيب.
--نقطة النهاية= endpoint

(اختياري.) نقطة نهاية خدمة Kubeflow Pipelines API. نقطة النهاية لخدمة Kubeflow Pipelines API الخاصة بك هي نفس عنوان URL الخاص بلوحة معلومات Kubeflow Pipelines. يجب أن تكون قيمة نقطة النهاية الخاصة بك شيئًا مثل:

https://host-name/pipeline

إذا كنت لا تعرف نقطة النهاية لمجموعة Kubeflow Pipelines الخاصة بك، فاتصل بمسؤول المجموعة لديك.

إذا لم يتم تحديد --endpoint ، فسيتم استخدام اسم DNS للخدمة داخل المجموعة كقيمة افتراضية. يعمل هذا الاسم فقط إذا تم تنفيذ أمر CLI في حاوية على مجموعة Kubeflow Pipelines، مثل مثيل دفاتر ملاحظات Kubeflow Jupyter .

--المحرك= engine

(اختياري.) المُنسق الذي سيتم استخدامه لخط الأنابيب. يجب أن تتطابق قيمة المحرك مع إحدى القيم التالية:

  • kubeflow : يضبط المحرك على Kubeflow
  • محلي : يضبط المحرك على المنسق المحلي
  • vertex : يضبط المحرك على Vertex Pipelines
  • تدفق الهواء : (تجريبي) يضبط المحرك على Apache Airflow
  • شعاع : (تجريبي) يضبط المحرك على Apache Beam

إذا لم يتم ضبط المحرك، فسيتم اكتشاف المحرك تلقائيًا بناءً على البيئة.

** ملاحظة مهمة: يجب أن يتطابق المنسق المطلوب بواسطة DagRunner في ملف تكوين خط الأنابيب مع المحرك المحدد أو الذي تم اكتشافه تلقائيًا. يعتمد الاكتشاف التلقائي للمحرك على بيئة المستخدم. إذا لم يتم تثبيت Apache Airflow وKubeflow Pipelines، فسيتم استخدام المنسق المحلي بشكل افتراضي.

--runtime_parameter= parameter-name = parameter-value
(اختياري.) يضبط قيمة معلمة وقت التشغيل. يمكن ضبطها عدة مرات لتعيين قيم متغيرات متعددة. ينطبق فقط على محرك "تدفق الهواء" و"kubeflow" و"vertex".
--iap_client_id= iap-client-id
(اختياري.) معرف العميل لنقطة النهاية المحمية لـ IAP.
--مساحة الاسم = namespace
(اختياري.) مساحة اسم Kubernetes للاتصال بواجهة برمجة تطبيقات Kubeflow Pipelines. إذا لم يتم تحديد مساحة الاسم، فستكون القيمة الافتراضية هي kubeflow .
--project= GCP-project-id
(مطلوب لـ Vertex.) معرف مشروع GCP لمسار قمة الرأس.
--region= GCP-region
(مطلوب لـ Vertex.) اسم منطقة Google Cloud Platform مثل us-central1. راجع [وثائق Vertex](https://cloud.google.com/vertex-ai/docs/general/locations) لمعرفة المناطق المتاحة.

أمثلة:

كوبيفلو:

tfx run create --engine=kubeflow --pipeline_name=pipeline-name --iap_client_id=iap-client-id \
--namespace=namespace --endpoint=endpoint

محلي:

tfx run create --engine=local --pipeline_name=pipeline-name

قمة الرأس:

tfx run create --engine=vertex --pipeline_name=pipeline-name \
  --runtime_parameter=var_name=var_value \
  --project=gcp-project-id --region=gcp-region

إنهاء

يوقف تشغيل خط أنابيب معين.

** ملاحظة مهمة: مدعوم حاليًا فقط في Kubeflow.

الاستخدام:

tfx run terminate --run_id=run-id [--endpoint=endpoint --engine=engine \
--iap_client_id=iap-client-id --namespace=namespace]
--run_id= run-id
المعرف الفريد لتشغيل خط الأنابيب.
--نقطة النهاية= endpoint

(اختياري.) نقطة نهاية خدمة Kubeflow Pipelines API. نقطة النهاية لخدمة Kubeflow Pipelines API الخاصة بك هي نفس عنوان URL الخاص بلوحة معلومات Kubeflow Pipelines. يجب أن تكون قيمة نقطة النهاية الخاصة بك شيئًا مثل:

https://host-name/pipeline

إذا كنت لا تعرف نقطة النهاية لمجموعة Kubeflow Pipelines الخاصة بك، فاتصل بمسؤول المجموعة لديك.

إذا لم يتم تحديد --endpoint ، فسيتم استخدام اسم DNS للخدمة داخل المجموعة كقيمة افتراضية. يعمل هذا الاسم فقط إذا تم تنفيذ أمر CLI في حاوية على مجموعة Kubeflow Pipelines، مثل مثيل دفاتر ملاحظات Kubeflow Jupyter .

--المحرك= engine

(اختياري.) المُنسق الذي سيتم استخدامه لخط الأنابيب. يجب أن تتطابق قيمة المحرك مع إحدى القيم التالية:

  • kubeflow : يضبط المحرك على Kubeflow

إذا لم يتم ضبط المحرك، فسيتم اكتشاف المحرك تلقائيًا بناءً على البيئة.

** ملاحظة مهمة: يجب أن يتطابق المنسق المطلوب بواسطة DagRunner في ملف تكوين خط الأنابيب مع المحرك المحدد أو المكتشف تلقائيًا. يعتمد الاكتشاف التلقائي للمحرك على بيئة المستخدم. إذا لم يتم تثبيت Apache Airflow وKubeflow Pipelines، فسيتم استخدام المنسق المحلي بشكل افتراضي.

--iap_client_id= iap-client-id
(اختياري.) معرف العميل لنقطة النهاية المحمية عبر IAP.
--مساحة الاسم = namespace
(اختياري.) مساحة اسم Kubernetes للاتصال بواجهة برمجة تطبيقات Kubeflow Pipelines. إذا لم يتم تحديد مساحة الاسم، فستكون القيمة الافتراضية هي kubeflow .

أمثلة:

كوبيفلو:

tfx run delete --engine=kubeflow --run_id=run-id --iap_client_id=iap-client-id \
--namespace=namespace --endpoint=endpoint

قائمة

يسرد جميع مسارات خط الأنابيب.

** ملاحظة مهمة: غير مدعوم حاليًا في Local وApache Beam.

الاستخدام:

tfx run list --pipeline_name=pipeline-name [--endpoint=endpoint \
--engine=engine --iap_client_id=iap-client-id --namespace=namespace]
--pipeline_name= pipeline-name
اسم خط الأنابيب.
--نقطة النهاية= endpoint

(اختياري.) نقطة نهاية خدمة Kubeflow Pipelines API. نقطة النهاية لخدمة Kubeflow Pipelines API الخاصة بك هي نفس عنوان URL الخاص بلوحة معلومات Kubeflow Pipelines. يجب أن تكون قيمة نقطة النهاية الخاصة بك شيئًا مثل:

https://host-name/pipeline

إذا كنت لا تعرف نقطة النهاية لمجموعة Kubeflow Pipelines الخاصة بك، فاتصل بمسؤول المجموعة لديك.

إذا لم يتم تحديد --endpoint ، فسيتم استخدام اسم DNS للخدمة داخل المجموعة كقيمة افتراضية. يعمل هذا الاسم فقط إذا تم تنفيذ أمر CLI في حاوية على مجموعة Kubeflow Pipelines، مثل مثيل دفاتر ملاحظات Kubeflow Jupyter .

--المحرك= engine

(اختياري.) المُنسق الذي سيتم استخدامه لخط الأنابيب. يجب أن تتطابق قيمة المحرك مع إحدى القيم التالية:

  • kubeflow : يضبط المحرك على Kubeflow
  • تدفق الهواء : (تجريبي) يضبط المحرك على Apache Airflow

إذا لم يتم ضبط المحرك، فسيتم اكتشاف المحرك تلقائيًا بناءً على البيئة.

** ملاحظة مهمة: يجب أن يتطابق المنسق المطلوب بواسطة DagRunner في ملف تكوين خط الأنابيب مع المحرك المحدد أو الذي تم اكتشافه تلقائيًا. يعتمد الاكتشاف التلقائي للمحرك على بيئة المستخدم. إذا لم يتم تثبيت Apache Airflow وKubeflow Pipelines، فسيتم استخدام المنسق المحلي بشكل افتراضي.

--iap_client_id= iap-client-id
(اختياري.) معرف العميل لنقطة النهاية المحمية لـ IAP.
--مساحة الاسم = namespace
(اختياري.) مساحة اسم Kubernetes للاتصال بواجهة برمجة تطبيقات Kubeflow Pipelines. إذا لم يتم تحديد مساحة الاسم، فستكون القيمة الافتراضية هي kubeflow .

أمثلة:

كوبيفلو:

tfx run list --engine=kubeflow --pipeline_name=pipeline-name --iap_client_id=iap-client-id \
--namespace=namespace --endpoint=endpoint

حالة

إرجاع الحالة الحالية للتشغيل.

** ملاحظة مهمة: غير مدعوم حاليًا في Local وApache Beam.

الاستخدام:

tfx run status --pipeline_name=pipeline-name --run_id=run-id [--endpoint=endpoint \
--engine=engine --iap_client_id=iap-client-id --namespace=namespace]
--pipeline_name= pipeline-name
اسم خط الأنابيب.
--run_id= run-id
المعرف الفريد لتشغيل خط الأنابيب.
--نقطة النهاية= endpoint

(اختياري.) نقطة نهاية خدمة Kubeflow Pipelines API. نقطة النهاية لخدمة Kubeflow Pipelines API الخاصة بك هي نفس عنوان URL الخاص بلوحة معلومات Kubeflow Pipelines. يجب أن تكون قيمة نقطة النهاية الخاصة بك شيئًا مثل:

https://host-name/pipeline

إذا كنت لا تعرف نقطة النهاية لمجموعة Kubeflow Pipelines الخاصة بك، فاتصل بمسؤول المجموعة لديك.

إذا لم يتم تحديد --endpoint ، فسيتم استخدام اسم DNS للخدمة داخل المجموعة كقيمة افتراضية. يعمل هذا الاسم فقط إذا تم تنفيذ أمر CLI في حاوية على مجموعة Kubeflow Pipelines، مثل مثيل دفاتر ملاحظات Kubeflow Jupyter .

--المحرك= engine

(اختياري.) المُنسق الذي سيتم استخدامه لخط الأنابيب. يجب أن تتطابق قيمة المحرك مع إحدى القيم التالية:

  • kubeflow : يضبط المحرك على Kubeflow
  • تدفق الهواء : (تجريبي) يضبط المحرك على Apache Airflow

إذا لم يتم ضبط المحرك، فسيتم اكتشاف المحرك تلقائيًا بناءً على البيئة.

** ملاحظة مهمة: يجب أن يتطابق المنسق المطلوب بواسطة DagRunner في ملف تكوين خط الأنابيب مع المحرك المحدد أو المكتشف تلقائيًا. يعتمد الاكتشاف التلقائي للمحرك على بيئة المستخدم. إذا لم يتم تثبيت Apache Airflow وKubeflow Pipelines، فسيتم استخدام المنسق المحلي بشكل افتراضي.

--iap_client_id= iap-client-id
(اختياري.) معرف العميل لنقطة النهاية المحمية عبر IAP.
--مساحة الاسم = namespace
(اختياري.) مساحة اسم Kubernetes للاتصال بواجهة برمجة تطبيقات Kubeflow Pipelines. إذا لم يتم تحديد مساحة الاسم، فستكون القيمة الافتراضية هي kubeflow .

أمثلة:

كوبيفلو:

tfx run status --engine=kubeflow --run_id=run-id --pipeline_name=pipeline-name \
--iap_client_id=iap-client-id --namespace=namespace --endpoint=endpoint

يمسح

حذف تشغيل خط أنابيب معين.

** ملاحظة مهمة: مدعوم حاليًا فقط في Kubeflow

الاستخدام:

tfx run delete --run_id=run-id [--engine=engine --iap_client_id=iap-client-id \
--namespace=namespace --endpoint=endpoint]
--run_id= run-id
المعرف الفريد لتشغيل خط الأنابيب.
--نقطة النهاية= endpoint

(اختياري.) نقطة نهاية خدمة Kubeflow Pipelines API. نقطة النهاية لخدمة Kubeflow Pipelines API الخاصة بك هي نفس عنوان URL الخاص بلوحة معلومات Kubeflow Pipelines. يجب أن تكون قيمة نقطة النهاية الخاصة بك شيئًا مثل:

https://host-name/pipeline

إذا كنت لا تعرف نقطة النهاية لمجموعة Kubeflow Pipelines الخاصة بك، فاتصل بمسؤول المجموعة لديك.

إذا لم يتم تحديد --endpoint ، فسيتم استخدام اسم DNS للخدمة داخل المجموعة كقيمة افتراضية. يعمل هذا الاسم فقط إذا تم تنفيذ أمر CLI في حاوية على مجموعة Kubeflow Pipelines، مثل مثيل دفاتر ملاحظات Kubeflow Jupyter .

--المحرك= engine

(اختياري.) المُنسق الذي سيتم استخدامه لخط الأنابيب. يجب أن تتطابق قيمة المحرك مع إحدى القيم التالية:

  • kubeflow : يضبط المحرك على Kubeflow

إذا لم يتم ضبط المحرك، فسيتم اكتشاف المحرك تلقائيًا بناءً على البيئة.

** ملاحظة مهمة: يجب أن يتطابق المنسق المطلوب بواسطة DagRunner في ملف تكوين خط الأنابيب مع المحرك المحدد أو الذي تم اكتشافه تلقائيًا. يعتمد الاكتشاف التلقائي للمحرك على بيئة المستخدم. إذا لم يتم تثبيت Apache Airflow وKubeflow Pipelines، فسيتم استخدام المنسق المحلي بشكل افتراضي.

--iap_client_id= iap-client-id
(اختياري.) معرف العميل لنقطة النهاية المحمية عبر IAP.
--مساحة الاسم = namespace
(اختياري.) مساحة اسم Kubernetes للاتصال بواجهة برمجة تطبيقات Kubeflow Pipelines. إذا لم يتم تحديد مساحة الاسم، فستكون القيمة الافتراضية هي kubeflow .

أمثلة:

كوبيفلو:

tfx run delete --engine=kubeflow --run_id=run-id --iap_client_id=iap-client-id \
--namespace=namespace --endpoint=endpoint

قالب tfx [تجريبي]

بنية الأوامر في مجموعة أوامر tfx template هي كما يلي:

tfx template command required-flags [optional-flags]

استخدم الأقسام التالية لمعرفة المزيد حول الأوامر الموجودة في مجموعة أوامر tfx template . القالب هو ميزة تجريبية وقابلة للتغيير في أي وقت.

قائمة

قائمة قوالب خطوط أنابيب TFX المتاحة.

الاستخدام:

tfx template list

ينسخ

انسخ القالب إلى الدليل الوجهة.

الاستخدام:

tfx template copy --model=model --pipeline_name=pipeline-name \
--destination_path=destination-path
--model= model
اسم النموذج الذي تم إنشاؤه بواسطة قالب خط الأنابيب.
--pipeline_name= pipeline-name
اسم خط الأنابيب.
--destination_path= destination-path
المسار لنسخ القالب إليه

فهم أعلام TFX CLI

أعلام مشتركة

--المحرك= engine

المنسق الذي سيتم استخدامه لخط الأنابيب. يجب أن تتطابق قيمة المحرك مع إحدى القيم التالية:

  • kubeflow : يضبط المحرك على Kubeflow
  • محلي : يضبط المحرك على المنسق المحلي
  • vertex : يضبط المحرك على Vertex Pipelines
  • تدفق الهواء : (تجريبي) يضبط المحرك على Apache Airflow
  • شعاع : (تجريبي) يضبط المحرك على Apache Beam

إذا لم يتم ضبط المحرك، فسيتم اكتشاف المحرك تلقائيًا بناءً على البيئة.

** ملاحظة مهمة: يجب أن يتطابق المنسق المطلوب بواسطة DagRunner في ملف تكوين خط الأنابيب مع المحرك المحدد أو الذي تم اكتشافه تلقائيًا. يعتمد الاكتشاف التلقائي للمحرك على بيئة المستخدم. إذا لم يتم تثبيت Apache Airflow وKubeflow Pipelines، فسيتم استخدام المنسق المحلي بشكل افتراضي.

--pipeline_name= pipeline-name
اسم خط الأنابيب.
--pipeline_path= pipeline-path
المسار إلى ملف تكوين خط الأنابيب.
--run_id= run-id
المعرف الفريد لتشغيل خط الأنابيب.

أعلام Kubeflow المحددة

--نقطة النهاية= endpoint

نقطة نهاية خدمة Kubeflow Pipelines API. نقطة النهاية لخدمة Kubeflow Pipelines API الخاصة بك هي نفس عنوان URL الخاص بلوحة معلومات Kubeflow Pipelines. يجب أن تكون قيمة نقطة النهاية الخاصة بك شيئًا مثل:

https://host-name/pipeline

إذا كنت لا تعرف نقطة النهاية لمجموعة Kubeflow Pipelines الخاصة بك، فاتصل بمسؤول المجموعة لديك.

إذا لم يتم تحديد --endpoint ، فسيتم استخدام اسم DNS للخدمة داخل المجموعة كقيمة افتراضية. يعمل هذا الاسم فقط إذا تم تنفيذ أمر CLI في حاوية على مجموعة Kubeflow Pipelines، مثل مثيل دفاتر ملاحظات Kubeflow Jupyter .

--iap_client_id= iap-client-id
معرف العميل لنقطة النهاية المحمية بواسطة IAP.
--مساحة الاسم = namespace
مساحة اسم Kubernetes للاتصال بواجهة برمجة تطبيقات Kubeflow Pipelines. إذا لم يتم تحديد مساحة الاسم، فستكون القيمة الافتراضية هي kubeflow .

الملفات التي تم إنشاؤها بواسطة TFX CLI

عند إنشاء خطوط الأنابيب وتشغيلها، يتم إنشاء عدة ملفات لإدارة خطوط الأنابيب.

  • ${HOME}/tfx/local، الشعاع، تدفق الهواء، قمة الرأس
    • يتم تخزين البيانات التعريفية لخط الأنابيب المقروءة من التكوين ضمن ${HOME}/tfx/${ORCHESTRATION_ENGINE}/${PIPELINE_NAME} . يمكن تخصيص هذا الموقع عن طريق ضبط البيئة المتغيرة مثل AIRFLOW_HOME أو KUBEFLOW_HOME . قد يتم تغيير هذا السلوك في الإصدارات المستقبلية. يُستخدم هذا الدليل لتخزين معلومات خطوط الأنابيب بما في ذلك معرفات خطوط الأنابيب في مجموعة خطوط أنابيب Kubeflow اللازمة لإنشاء عمليات التشغيل أو تحديث خطوط الأنابيب.
    • قبل TFX 0.25، كانت هذه الملفات موجودة ضمن ${HOME}/${ORCHESTRATION_ENGINE} . في TFX 0.25، سيتم نقل الملفات الموجودة في الموقع القديم إلى الموقع الجديد تلقائيًا من أجل الترحيل السلس.
    • بدءًا من TFX 0.27، لا يقوم kubeflow بإنشاء ملفات البيانات التعريفية هذه في نظام الملفات المحلي. ومع ذلك، انظر أدناه للاطلاع على الملفات الأخرى التي ينشئها kubeflow.
  • (Kubeflow فقط) ملف Dockerfile وصورة الحاوية
    • تتطلب خطوط أنابيب Kubeflow نوعين من المدخلات لخط الأنابيب. يتم إنشاء هذه الملفات بواسطة TFX في الدليل الحالي.
    • أحدهما عبارة عن صورة حاوية سيتم استخدامها لتشغيل المكونات في المسار. يتم إنشاء صورة الحاوية هذه عند إنشاء خط أنابيب لخطوط أنابيب Kubeflow أو تحديثه باستخدام علامة --build-image . سيقوم TFX CLI بإنشاء Dockerfile إذا لم يكن موجودًا، وسيقوم بإنشاء صورة حاوية ودفعها إلى السجل المحدد في KubeflowDagRunnerConfig.