تنفذ واجهة سطر أوامر TFX (CLI) نطاقًا كاملاً من إجراءات خطوط الأنابيب باستخدام منسقي خطوط الأنابيب، مثل خطوط أنابيب Kubeflow وخطوط أنابيب Vertex. يمكن أيضًا استخدام المنسق المحلي للتطوير أو التصحيح بشكل أسرع. يتم دعم تدفق هواء Apache Beam وApache كميزات تجريبية. على سبيل المثال، يمكنك استخدام واجهة سطر الأوامر (CLI) من أجل:
- إنشاء وتحديث وحذف خطوط الأنابيب.
- قم بتشغيل خط أنابيب ومراقبة التشغيل على منسقين مختلفين.
- قائمة خطوط الأنابيب وتشغيل خطوط الأنابيب.
حول TFX CLI
يتم تثبيت TFX CLI كجزء من حزمة TFX. تتبع جميع أوامر CLI البنية التالية:
tfx command-group command flags
خيارات command-group التالية مدعومة حاليًا:
- ؛ tfx Pipeline - إنشاء وإدارة خطوط أنابيب TFX.
- tfx run - إنشاء وإدارة عمليات تشغيل خطوط أنابيب TFX على منصات التنسيق المختلفة.
- قالب tfx - أوامر تجريبية لإدراج قوالب خطوط أنابيب TFX ونسخها.
توفر كل مجموعة أوامر مجموعة من commands . اتبع الإرشادات الموجودة في أقسام أوامر المسار وأوامر التشغيل وأوامر القالب لمعرفة المزيد حول استخدام هذه الأوامر.
تتيح لك الأعلام تمرير الوسائط إلى أوامر واجهة سطر الأوامر (CLI). يتم فصل الكلمات الموجودة في العلامات إما بواصلة ( -
) أو بشرطة سفلية ( _
). على سبيل المثال، يمكن تحديد علامة اسم خط الأنابيب كـ --pipeline-name
أو --pipeline_name
. تحدد هذه الوثيقة العلامات ذات الشرطات السفلية للإيجاز. تعرف على المزيد حول flags المستخدمة في TFX CLI .
خط أنابيب tfx
هيكل الأوامر في مجموعة أوامر tfx pipeline
كما يلي:
tfx pipeline command required-flags [optional-flags]
استخدم الأقسام التالية لمعرفة المزيد حول الأوامر الموجودة في مجموعة أوامر tfx pipeline
.
يخلق
إنشاء خط أنابيب جديد في المنسق المحدد.
الاستخدام:
tfx pipeline create --pipeline_path=pipeline-path [--endpoint=endpoint --engine=engine \ --iap_client_id=iap-client-id --namespace=namespace \ --build_image --build_base_image=build-base-image]
- --pipeline_path= pipeline-path
- المسار إلى ملف تكوين خط الأنابيب.
- --نقطة النهاية= endpoint
(اختياري.) نقطة نهاية خدمة Kubeflow Pipelines API. نقطة النهاية لخدمة Kubeflow Pipelines API الخاصة بك هي نفس عنوان URL الخاص بلوحة معلومات Kubeflow Pipelines. يجب أن تكون قيمة نقطة النهاية الخاصة بك شيئًا مثل:
https://host-name/pipeline
إذا كنت لا تعرف نقطة النهاية لمجموعة Kubeflow Pipelines الخاصة بك، فاتصل بمسؤول المجموعة لديك.
إذا لم يتم تحديد
--endpoint
، فسيتم استخدام اسم DNS للخدمة داخل المجموعة كقيمة افتراضية. يعمل هذا الاسم فقط إذا تم تنفيذ أمر CLI في حاوية على مجموعة Kubeflow Pipelines، مثل مثيل دفاتر ملاحظات Kubeflow Jupyter .- --المحرك= engine
(اختياري.) المُنسق الذي سيتم استخدامه لخط الأنابيب. يجب أن تتطابق قيمة المحرك مع إحدى القيم التالية:
- kubeflow : يضبط المحرك على Kubeflow
- محلي : يضبط المحرك على المنسق المحلي
- vertex : يضبط المحرك على Vertex Pipelines
- تدفق الهواء : (تجريبي) يضبط المحرك على Apache Airflow
- شعاع : (تجريبي) يضبط المحرك على Apache Beam
إذا لم يتم ضبط المحرك، فسيتم اكتشاف المحرك تلقائيًا بناءً على البيئة.
** ملاحظة مهمة: يجب أن يتطابق المنسق المطلوب بواسطة DagRunner في ملف تكوين خط الأنابيب مع المحرك المحدد أو الذي تم اكتشافه تلقائيًا. يعتمد الاكتشاف التلقائي للمحرك على بيئة المستخدم. إذا لم يتم تثبيت Apache Airflow وKubeflow Pipelines، فسيتم استخدام المنسق المحلي بشكل افتراضي.
- --iap_client_id= iap-client-id
- (اختياري.) معرف العميل لنقطة النهاية المحمية لـ IAP عند استخدام خطوط أنابيب Kubeflow.
- --مساحة الاسم = namespace
- (اختياري.) مساحة اسم Kubernetes للاتصال بواجهة برمجة تطبيقات Kubeflow Pipelines. إذا لم يتم تحديد مساحة الاسم، فستكون القيمة الافتراضية هي
kubeflow
. - --build_image
(اختياري.) عندما يكون engine kubeflow أو vertex ، تقوم TFX بإنشاء صورة حاوية لخط الأنابيب الخاص بك إذا تم تحديده. سيتم استخدام `Dockerfile` في الدليل الحالي، وسيقوم TFX تلقائيًا بإنشاء ملف إذا لم يكن موجودًا.
سيتم دفع الصورة المضمنة إلى السجل البعيد المحدد في `KubeflowDagRunnerConfig` أو `KubeflowV2DagRunnerConfig`.
- --build_base_image= build-base-image
(اختياري.) عندما يكون engine kubeflow ، تقوم TFX بإنشاء صورة حاوية لخط الأنابيب الخاص بك. تحدد الصورة الأساسية للإنشاء صورة الحاوية الأساسية التي سيتم استخدامها عند إنشاء صورة حاوية خط الأنابيب.
أمثلة:
كوبيفلو:
tfx pipeline create --engine=kubeflow --pipeline_path=pipeline-path \ --iap_client_id=iap-client-id --namespace=namespace --endpoint=endpoint \ --build_image
محلي:
tfx pipeline create --engine=local --pipeline_path=pipeline-path
قمة الرأس:
tfx pipeline create --engine=vertex --pipeline_path=pipeline-path \ --build_image
للكشف التلقائي عن المحرك من بيئة المستخدم، ما عليك سوى تجنب استخدام علامة المحرك كما في المثال أدناه. لمزيد من التفاصيل، راجع قسم الأعلام.
tfx pipeline create --pipeline_path=pipeline-path
تحديث
يقوم بتحديث خط أنابيب موجود في المُنسق المحدد.
الاستخدام:
tfx pipeline update --pipeline_path=pipeline-path [--endpoint=endpoint --engine=engine \ --iap_client_id=iap-client-id --namespace=namespace --build_image]
- --pipeline_path= pipeline-path
- المسار إلى ملف تكوين خط الأنابيب.
- --نقطة النهاية= endpoint
(اختياري.) نقطة نهاية خدمة Kubeflow Pipelines API. نقطة النهاية لخدمة Kubeflow Pipelines API الخاصة بك هي نفس عنوان URL الخاص بلوحة معلومات Kubeflow Pipelines. يجب أن تكون قيمة نقطة النهاية الخاصة بك شيئًا مثل:
https://host-name/pipeline
إذا كنت لا تعرف نقطة النهاية لمجموعة Kubeflow Pipelines الخاصة بك، فاتصل بمسؤول المجموعة لديك.
إذا لم يتم تحديد
--endpoint
، فسيتم استخدام اسم DNS للخدمة داخل المجموعة كقيمة افتراضية. يعمل هذا الاسم فقط إذا تم تنفيذ أمر CLI في حاوية على مجموعة Kubeflow Pipelines، مثل مثيل دفاتر ملاحظات Kubeflow Jupyter .- --المحرك= engine
(اختياري.) المُنسق الذي سيتم استخدامه لخط الأنابيب. يجب أن تتطابق قيمة المحرك مع إحدى القيم التالية:
- kubeflow : يضبط المحرك على Kubeflow
- محلي : يضبط المحرك على المنسق المحلي
- vertex : يضبط المحرك على Vertex Pipelines
- تدفق الهواء : (تجريبي) يضبط المحرك على Apache Airflow
- شعاع : (تجريبي) يضبط المحرك على Apache Beam
إذا لم يتم ضبط المحرك، فسيتم اكتشاف المحرك تلقائيًا بناءً على البيئة.
** ملاحظة مهمة: يجب أن يتطابق المنسق المطلوب بواسطة DagRunner في ملف تكوين خط الأنابيب مع المحرك المحدد أو المكتشف تلقائيًا. يعتمد الاكتشاف التلقائي للمحرك على بيئة المستخدم. إذا لم يتم تثبيت Apache Airflow وKubeflow Pipelines، فسيتم استخدام المنسق المحلي بشكل افتراضي.
- --iap_client_id= iap-client-id
- (اختياري.) معرف العميل لنقطة النهاية المحمية لـ IAP.
- --مساحة الاسم = namespace
- (اختياري.) مساحة اسم Kubernetes للاتصال بواجهة برمجة تطبيقات Kubeflow Pipelines. إذا لم يتم تحديد مساحة الاسم، فستكون القيمة الافتراضية هي
kubeflow
. - --build_image
(اختياري.) عندما يكون engine kubeflow أو vertex ، تقوم TFX بإنشاء صورة حاوية لخط الأنابيب الخاص بك إذا تم تحديده. سيتم استخدام "Dockerfile" في الدليل الحالي.
سيتم دفع الصورة المضمنة إلى السجل البعيد المحدد في `KubeflowDagRunnerConfig` أو `KubeflowV2DagRunnerConfig`.
أمثلة:
كوبيفلو:
tfx pipeline update --engine=kubeflow --pipeline_path=pipeline-path \ --iap_client_id=iap-client-id --namespace=namespace --endpoint=endpoint \ --build_image
محلي:
tfx pipeline update --engine=local --pipeline_path=pipeline-path
قمة الرأس:
tfx pipeline update --engine=vertex --pipeline_path=pipeline-path \ --build_image
ترجمة
تجميع ملف تكوين خط الأنابيب لإنشاء ملف سير عمل في Kubeflow وإجراء الفحوصات التالية أثناء التجميع:
- يتحقق مما إذا كان مسار خط الأنابيب صالحًا.
- يتحقق مما إذا كان قد تم استخراج تفاصيل خط الأنابيب بنجاح من ملف تكوين خط الأنابيب.
- يتحقق مما إذا كان DagRunner الموجود في تكوين خط الأنابيب يتطابق مع المحرك.
- يتحقق مما إذا كان قد تم إنشاء ملف سير العمل بنجاح في مسار الحزمة المقدم (فقط لـ Kubeflow).
يوصى باستخدامه قبل إنشاء خط أنابيب أو تحديثه.
الاستخدام:
tfx pipeline compile --pipeline_path=pipeline-path [--engine=engine]
- --pipeline_path= pipeline-path
- المسار إلى ملف تكوين خط الأنابيب.
- --المحرك= engine
(اختياري.) المُنسق الذي سيتم استخدامه لخط الأنابيب. يجب أن تتطابق قيمة المحرك مع إحدى القيم التالية:
- kubeflow : يضبط المحرك على Kubeflow
- محلي : يضبط المحرك على المنسق المحلي
- vertex : يضبط المحرك على خطوط أنابيب Vertex
- تدفق الهواء : (تجريبي) يضبط المحرك على Apache Airflow
- شعاع : (تجريبي) يضبط المحرك على Apache Beam
إذا لم يتم ضبط المحرك، فسيتم اكتشاف المحرك تلقائيًا بناءً على البيئة.
** ملاحظة مهمة: يجب أن يتطابق المنسق المطلوب بواسطة DagRunner في ملف تكوين خط الأنابيب مع المحرك المحدد أو المكتشف تلقائيًا. يعتمد الاكتشاف التلقائي للمحرك على بيئة المستخدم. إذا لم يتم تثبيت Apache Airflow وKubeflow Pipelines، فسيتم استخدام المنسق المحلي بشكل افتراضي.
أمثلة:
كوبيفلو:
tfx pipeline compile --engine=kubeflow --pipeline_path=pipeline-path
محلي:
tfx pipeline compile --engine=local --pipeline_path=pipeline-path
قمة الرأس:
tfx pipeline compile --engine=vertex --pipeline_path=pipeline-path
يمسح
حذف خط أنابيب من المنسق المحدد.
الاستخدام:
tfx pipeline delete --pipeline_path=pipeline-path [--endpoint=endpoint --engine=engine \ --iap_client_id=iap-client-id --namespace=namespace]
- --pipeline_path= pipeline-path
- المسار إلى ملف تكوين خط الأنابيب.
- --نقطة النهاية= endpoint
(اختياري.) نقطة نهاية خدمة Kubeflow Pipelines API. نقطة النهاية لخدمة Kubeflow Pipelines API الخاصة بك هي نفس عنوان URL الخاص بلوحة معلومات Kubeflow Pipelines. يجب أن تكون قيمة نقطة النهاية الخاصة بك شيئًا مثل:
https://host-name/pipeline
إذا كنت لا تعرف نقطة النهاية لمجموعة Kubeflow Pipelines الخاصة بك، فاتصل بمسؤول المجموعة لديك.
إذا لم يتم تحديد
--endpoint
، فسيتم استخدام اسم DNS للخدمة داخل المجموعة كقيمة افتراضية. يعمل هذا الاسم فقط إذا تم تنفيذ أمر CLI في حاوية على مجموعة Kubeflow Pipelines، مثل مثيل دفاتر ملاحظات Kubeflow Jupyter .- --المحرك= engine
(اختياري.) المُنسق الذي سيتم استخدامه لخط الأنابيب. يجب أن تتطابق قيمة المحرك مع إحدى القيم التالية:
- kubeflow : يضبط المحرك على Kubeflow
- محلي : يضبط المحرك على المنسق المحلي
- vertex : يضبط المحرك على خطوط أنابيب Vertex
- تدفق الهواء : (تجريبي) يضبط المحرك على Apache Airflow
- شعاع : (تجريبي) يضبط المحرك على Apache Beam
إذا لم يتم ضبط المحرك، فسيتم اكتشاف المحرك تلقائيًا بناءً على البيئة.
** ملاحظة مهمة: يجب أن يتطابق المنسق المطلوب بواسطة DagRunner في ملف تكوين خط الأنابيب مع المحرك المحدد أو المكتشف تلقائيًا. يعتمد الاكتشاف التلقائي للمحرك على بيئة المستخدم. إذا لم يتم تثبيت Apache Airflow وKubeflow Pipelines، فسيتم استخدام المنسق المحلي بشكل افتراضي.
- --iap_client_id= iap-client-id
- (اختياري.) معرف العميل لنقطة النهاية المحمية عبر IAP.
- --مساحة الاسم = namespace
- (اختياري.) مساحة اسم Kubernetes للاتصال بواجهة برمجة تطبيقات Kubeflow Pipelines. إذا لم يتم تحديد مساحة الاسم، فستكون القيمة الافتراضية هي
kubeflow
.
أمثلة:
كوبيفلو:
tfx pipeline delete --engine=kubeflow --pipeline_name=pipeline-name \ --iap_client_id=iap-client-id --namespace=namespace --endpoint=endpoint
محلي:
tfx pipeline delete --engine=local --pipeline_name=pipeline-name
قمة الرأس:
tfx pipeline delete --engine=vertex --pipeline_name=pipeline-name
قائمة
يسرد كافة خطوط الأنابيب في المنسق المحدد.
الاستخدام:
tfx pipeline list [--endpoint=endpoint --engine=engine \ --iap_client_id=iap-client-id --namespace=namespace]
- --نقطة النهاية= endpoint
(اختياري.) نقطة نهاية خدمة Kubeflow Pipelines API. نقطة النهاية لخدمة Kubeflow Pipelines API الخاصة بك هي نفس عنوان URL الخاص بلوحة معلومات Kubeflow Pipelines. يجب أن تكون قيمة نقطة النهاية الخاصة بك شيئًا مثل:
https://host-name/pipeline
إذا كنت لا تعرف نقطة النهاية لمجموعة Kubeflow Pipelines الخاصة بك، فاتصل بمسؤول المجموعة لديك.
إذا لم يتم تحديد
--endpoint
، فسيتم استخدام اسم DNS للخدمة داخل المجموعة كقيمة افتراضية. يعمل هذا الاسم فقط إذا تم تنفيذ أمر CLI في حاوية على مجموعة Kubeflow Pipelines، مثل مثيل دفاتر ملاحظات Kubeflow Jupyter .- --المحرك= engine
(اختياري.) المُنسق الذي سيتم استخدامه لخط الأنابيب. يجب أن تتطابق قيمة المحرك مع إحدى القيم التالية:
- kubeflow : يضبط المحرك على Kubeflow
- محلي : يضبط المحرك على المنسق المحلي
- vertex : يضبط المحرك على Vertex Pipelines
- تدفق الهواء : (تجريبي) يضبط المحرك على Apache Airflow
- شعاع : (تجريبي) يضبط المحرك على Apache Beam
إذا لم يتم ضبط المحرك، فسيتم اكتشاف المحرك تلقائيًا بناءً على البيئة.
** ملاحظة مهمة: يجب أن يتطابق المنسق المطلوب بواسطة DagRunner في ملف تكوين خط الأنابيب مع المحرك المحدد أو المكتشف تلقائيًا. يعتمد الاكتشاف التلقائي للمحرك على بيئة المستخدم. إذا لم يتم تثبيت Apache Airflow وKubeflow Pipelines، فسيتم استخدام المنسق المحلي بشكل افتراضي.
- --iap_client_id= iap-client-id
- (اختياري.) معرف العميل لنقطة النهاية المحمية عبر IAP.
- --مساحة الاسم = namespace
- (اختياري.) مساحة اسم Kubernetes للاتصال بواجهة برمجة تطبيقات Kubeflow Pipelines. إذا لم يتم تحديد مساحة الاسم، فستكون القيمة الافتراضية هي
kubeflow
.
أمثلة:
كوبيفلو:
tfx pipeline list --engine=kubeflow --iap_client_id=iap-client-id \ --namespace=namespace --endpoint=endpoint
محلي:
tfx pipeline list --engine=local
قمة الرأس:
tfx pipeline list --engine=vertex
تشغيل tfx
هيكل الأوامر في مجموعة أوامر tfx run
هو كما يلي:
tfx run command required-flags [optional-flags]
استخدم الأقسام التالية لمعرفة المزيد حول الأوامر الموجودة في مجموعة أوامر tfx run
.
يخلق
إنشاء مثيل تشغيل جديد لخط أنابيب في المُنسق. بالنسبة إلى Kubeflow، يتم استخدام أحدث إصدار لخط الأنابيب في المجموعة.
الاستخدام:
tfx run create --pipeline_name=pipeline-name [--endpoint=endpoint \ --engine=engine --iap_client_id=iap-client-id --namespace=namespace]
- --pipeline_name= pipeline-name
- اسم خط الأنابيب.
- --نقطة النهاية= endpoint
(اختياري.) نقطة نهاية خدمة Kubeflow Pipelines API. نقطة النهاية لخدمة Kubeflow Pipelines API الخاصة بك هي نفس عنوان URL الخاص بلوحة معلومات Kubeflow Pipelines. يجب أن تكون قيمة نقطة النهاية الخاصة بك شيئًا مثل:
https://host-name/pipeline
إذا كنت لا تعرف نقطة النهاية لمجموعة Kubeflow Pipelines الخاصة بك، فاتصل بمسؤول المجموعة لديك.
إذا لم يتم تحديد
--endpoint
، فسيتم استخدام اسم DNS للخدمة داخل المجموعة كقيمة افتراضية. يعمل هذا الاسم فقط إذا تم تنفيذ أمر CLI في حاوية على مجموعة Kubeflow Pipelines، مثل مثيل دفاتر ملاحظات Kubeflow Jupyter .- --المحرك= engine
(اختياري.) المُنسق الذي سيتم استخدامه لخط الأنابيب. يجب أن تتطابق قيمة المحرك مع إحدى القيم التالية:
- kubeflow : يضبط المحرك على Kubeflow
- محلي : يضبط المحرك على المنسق المحلي
- vertex : يضبط المحرك على Vertex Pipelines
- تدفق الهواء : (تجريبي) يضبط المحرك على Apache Airflow
- شعاع : (تجريبي) يضبط المحرك على Apache Beam
إذا لم يتم ضبط المحرك، فسيتم اكتشاف المحرك تلقائيًا بناءً على البيئة.
** ملاحظة مهمة: يجب أن يتطابق المنسق المطلوب بواسطة DagRunner في ملف تكوين خط الأنابيب مع المحرك المحدد أو الذي تم اكتشافه تلقائيًا. يعتمد الاكتشاف التلقائي للمحرك على بيئة المستخدم. إذا لم يتم تثبيت Apache Airflow وKubeflow Pipelines، فسيتم استخدام المنسق المحلي بشكل افتراضي.
- --runtime_parameter= parameter-name = parameter-value
- (اختياري.) يضبط قيمة معلمة وقت التشغيل. يمكن ضبطها عدة مرات لتعيين قيم متغيرات متعددة. ينطبق فقط على محرك "تدفق الهواء" و"kubeflow" و"vertex".
- --iap_client_id= iap-client-id
- (اختياري.) معرف العميل لنقطة النهاية المحمية لـ IAP.
- --مساحة الاسم = namespace
- (اختياري.) مساحة اسم Kubernetes للاتصال بواجهة برمجة تطبيقات Kubeflow Pipelines. إذا لم يتم تحديد مساحة الاسم، فستكون القيمة الافتراضية هي
kubeflow
. - --project= GCP-project-id
- (مطلوب لـ Vertex.) معرف مشروع GCP لمسار قمة الرأس.
- --region= GCP-region
- (مطلوب لـ Vertex.) اسم منطقة Google Cloud Platform مثل us-central1. راجع [وثائق Vertex](https://cloud.google.com/vertex-ai/docs/general/locations) لمعرفة المناطق المتاحة.
أمثلة:
كوبيفلو:
tfx run create --engine=kubeflow --pipeline_name=pipeline-name --iap_client_id=iap-client-id \ --namespace=namespace --endpoint=endpoint
محلي:
tfx run create --engine=local --pipeline_name=pipeline-name
قمة الرأس:
tfx run create --engine=vertex --pipeline_name=pipeline-name \ --runtime_parameter=var_name=var_value \ --project=gcp-project-id --region=gcp-region
إنهاء
يوقف تشغيل خط أنابيب معين.
** ملاحظة مهمة: مدعوم حاليًا فقط في Kubeflow.
الاستخدام:
tfx run terminate --run_id=run-id [--endpoint=endpoint --engine=engine \ --iap_client_id=iap-client-id --namespace=namespace]
- --run_id= run-id
- المعرف الفريد لتشغيل خط الأنابيب.
- --نقطة النهاية= endpoint
(اختياري.) نقطة نهاية خدمة Kubeflow Pipelines API. نقطة النهاية لخدمة Kubeflow Pipelines API الخاصة بك هي نفس عنوان URL الخاص بلوحة معلومات Kubeflow Pipelines. يجب أن تكون قيمة نقطة النهاية الخاصة بك شيئًا مثل:
https://host-name/pipeline
إذا كنت لا تعرف نقطة النهاية لمجموعة Kubeflow Pipelines الخاصة بك، فاتصل بمسؤول المجموعة لديك.
إذا لم يتم تحديد
--endpoint
، فسيتم استخدام اسم DNS للخدمة داخل المجموعة كقيمة افتراضية. يعمل هذا الاسم فقط إذا تم تنفيذ أمر CLI في حاوية على مجموعة Kubeflow Pipelines، مثل مثيل دفاتر ملاحظات Kubeflow Jupyter .- --المحرك= engine
(اختياري.) المُنسق الذي سيتم استخدامه لخط الأنابيب. يجب أن تتطابق قيمة المحرك مع إحدى القيم التالية:
- kubeflow : يضبط المحرك على Kubeflow
إذا لم يتم ضبط المحرك، فسيتم اكتشاف المحرك تلقائيًا بناءً على البيئة.
** ملاحظة مهمة: يجب أن يتطابق المنسق المطلوب بواسطة DagRunner في ملف تكوين خط الأنابيب مع المحرك المحدد أو المكتشف تلقائيًا. يعتمد الاكتشاف التلقائي للمحرك على بيئة المستخدم. إذا لم يتم تثبيت Apache Airflow وKubeflow Pipelines، فسيتم استخدام المنسق المحلي بشكل افتراضي.
- --iap_client_id= iap-client-id
- (اختياري.) معرف العميل لنقطة النهاية المحمية عبر IAP.
- --مساحة الاسم = namespace
- (اختياري.) مساحة اسم Kubernetes للاتصال بواجهة برمجة تطبيقات Kubeflow Pipelines. إذا لم يتم تحديد مساحة الاسم، فستكون القيمة الافتراضية هي
kubeflow
.
أمثلة:
كوبيفلو:
tfx run delete --engine=kubeflow --run_id=run-id --iap_client_id=iap-client-id \ --namespace=namespace --endpoint=endpoint
قائمة
يسرد جميع مسارات خط الأنابيب.
** ملاحظة مهمة: غير مدعوم حاليًا في Local وApache Beam.
الاستخدام:
tfx run list --pipeline_name=pipeline-name [--endpoint=endpoint \ --engine=engine --iap_client_id=iap-client-id --namespace=namespace]
- --pipeline_name= pipeline-name
- اسم خط الأنابيب.
- --نقطة النهاية= endpoint
(اختياري.) نقطة نهاية خدمة Kubeflow Pipelines API. نقطة النهاية لخدمة Kubeflow Pipelines API الخاصة بك هي نفس عنوان URL الخاص بلوحة معلومات Kubeflow Pipelines. يجب أن تكون قيمة نقطة النهاية الخاصة بك شيئًا مثل:
https://host-name/pipeline
إذا كنت لا تعرف نقطة النهاية لمجموعة Kubeflow Pipelines الخاصة بك، فاتصل بمسؤول المجموعة لديك.
إذا لم يتم تحديد
--endpoint
، فسيتم استخدام اسم DNS للخدمة داخل المجموعة كقيمة افتراضية. يعمل هذا الاسم فقط إذا تم تنفيذ أمر CLI في حاوية على مجموعة Kubeflow Pipelines، مثل مثيل دفاتر ملاحظات Kubeflow Jupyter .- --المحرك= engine
(اختياري.) المُنسق الذي سيتم استخدامه لخط الأنابيب. يجب أن تتطابق قيمة المحرك مع إحدى القيم التالية:
- kubeflow : يضبط المحرك على Kubeflow
- تدفق الهواء : (تجريبي) يضبط المحرك على Apache Airflow
إذا لم يتم ضبط المحرك، فسيتم اكتشاف المحرك تلقائيًا بناءً على البيئة.
** ملاحظة مهمة: يجب أن يتطابق المنسق المطلوب بواسطة DagRunner في ملف تكوين خط الأنابيب مع المحرك المحدد أو الذي تم اكتشافه تلقائيًا. يعتمد الاكتشاف التلقائي للمحرك على بيئة المستخدم. إذا لم يتم تثبيت Apache Airflow وKubeflow Pipelines، فسيتم استخدام المنسق المحلي بشكل افتراضي.
- --iap_client_id= iap-client-id
- (اختياري.) معرف العميل لنقطة النهاية المحمية لـ IAP.
- --مساحة الاسم = namespace
- (اختياري.) مساحة اسم Kubernetes للاتصال بواجهة برمجة تطبيقات Kubeflow Pipelines. إذا لم يتم تحديد مساحة الاسم، فستكون القيمة الافتراضية هي
kubeflow
.
أمثلة:
كوبيفلو:
tfx run list --engine=kubeflow --pipeline_name=pipeline-name --iap_client_id=iap-client-id \ --namespace=namespace --endpoint=endpoint
حالة
إرجاع الحالة الحالية للتشغيل.
** ملاحظة مهمة: غير مدعوم حاليًا في Local وApache Beam.
الاستخدام:
tfx run status --pipeline_name=pipeline-name --run_id=run-id [--endpoint=endpoint \ --engine=engine --iap_client_id=iap-client-id --namespace=namespace]
- --pipeline_name= pipeline-name
- اسم خط الأنابيب.
- --run_id= run-id
- المعرف الفريد لتشغيل خط الأنابيب.
- --نقطة النهاية= endpoint
(اختياري.) نقطة نهاية خدمة Kubeflow Pipelines API. نقطة النهاية لخدمة Kubeflow Pipelines API الخاصة بك هي نفس عنوان URL الخاص بلوحة معلومات Kubeflow Pipelines. يجب أن تكون قيمة نقطة النهاية الخاصة بك شيئًا مثل:
https://host-name/pipeline
إذا كنت لا تعرف نقطة النهاية لمجموعة Kubeflow Pipelines الخاصة بك، فاتصل بمسؤول المجموعة لديك.
إذا لم يتم تحديد
--endpoint
، فسيتم استخدام اسم DNS للخدمة داخل المجموعة كقيمة افتراضية. يعمل هذا الاسم فقط إذا تم تنفيذ أمر CLI في حاوية على مجموعة Kubeflow Pipelines، مثل مثيل دفاتر ملاحظات Kubeflow Jupyter .- --المحرك= engine
(اختياري.) المُنسق الذي سيتم استخدامه لخط الأنابيب. يجب أن تتطابق قيمة المحرك مع إحدى القيم التالية:
- kubeflow : يضبط المحرك على Kubeflow
- تدفق الهواء : (تجريبي) يضبط المحرك على Apache Airflow
إذا لم يتم ضبط المحرك، فسيتم اكتشاف المحرك تلقائيًا بناءً على البيئة.
** ملاحظة مهمة: يجب أن يتطابق المنسق المطلوب بواسطة DagRunner في ملف تكوين خط الأنابيب مع المحرك المحدد أو المكتشف تلقائيًا. يعتمد الاكتشاف التلقائي للمحرك على بيئة المستخدم. إذا لم يتم تثبيت Apache Airflow وKubeflow Pipelines، فسيتم استخدام المنسق المحلي بشكل افتراضي.
- --iap_client_id= iap-client-id
- (اختياري.) معرف العميل لنقطة النهاية المحمية عبر IAP.
- --مساحة الاسم = namespace
- (اختياري.) مساحة اسم Kubernetes للاتصال بواجهة برمجة تطبيقات Kubeflow Pipelines. إذا لم يتم تحديد مساحة الاسم، فستكون القيمة الافتراضية هي
kubeflow
.
أمثلة:
كوبيفلو:
tfx run status --engine=kubeflow --run_id=run-id --pipeline_name=pipeline-name \ --iap_client_id=iap-client-id --namespace=namespace --endpoint=endpoint
يمسح
حذف تشغيل خط أنابيب معين.
** ملاحظة مهمة: مدعوم حاليًا فقط في Kubeflow
الاستخدام:
tfx run delete --run_id=run-id [--engine=engine --iap_client_id=iap-client-id \ --namespace=namespace --endpoint=endpoint]
- --run_id= run-id
- المعرف الفريد لتشغيل خط الأنابيب.
- --نقطة النهاية= endpoint
(اختياري.) نقطة نهاية خدمة Kubeflow Pipelines API. نقطة النهاية لخدمة Kubeflow Pipelines API الخاصة بك هي نفس عنوان URL الخاص بلوحة معلومات Kubeflow Pipelines. يجب أن تكون قيمة نقطة النهاية الخاصة بك شيئًا مثل:
https://host-name/pipeline
إذا كنت لا تعرف نقطة النهاية لمجموعة Kubeflow Pipelines الخاصة بك، فاتصل بمسؤول المجموعة لديك.
إذا لم يتم تحديد
--endpoint
، فسيتم استخدام اسم DNS للخدمة داخل المجموعة كقيمة افتراضية. يعمل هذا الاسم فقط إذا تم تنفيذ أمر CLI في حاوية على مجموعة Kubeflow Pipelines، مثل مثيل دفاتر ملاحظات Kubeflow Jupyter .- --المحرك= engine
(اختياري.) المُنسق الذي سيتم استخدامه لخط الأنابيب. يجب أن تتطابق قيمة المحرك مع إحدى القيم التالية:
- kubeflow : يضبط المحرك على Kubeflow
إذا لم يتم ضبط المحرك، فسيتم اكتشاف المحرك تلقائيًا بناءً على البيئة.
** ملاحظة مهمة: يجب أن يتطابق المنسق المطلوب بواسطة DagRunner في ملف تكوين خط الأنابيب مع المحرك المحدد أو الذي تم اكتشافه تلقائيًا. يعتمد الاكتشاف التلقائي للمحرك على بيئة المستخدم. إذا لم يتم تثبيت Apache Airflow وKubeflow Pipelines، فسيتم استخدام المنسق المحلي بشكل افتراضي.
- --iap_client_id= iap-client-id
- (اختياري.) معرف العميل لنقطة النهاية المحمية عبر IAP.
- --مساحة الاسم = namespace
- (اختياري.) مساحة اسم Kubernetes للاتصال بواجهة برمجة تطبيقات Kubeflow Pipelines. إذا لم يتم تحديد مساحة الاسم، فستكون القيمة الافتراضية هي
kubeflow
.
أمثلة:
كوبيفلو:
tfx run delete --engine=kubeflow --run_id=run-id --iap_client_id=iap-client-id \ --namespace=namespace --endpoint=endpoint
قالب tfx [تجريبي]
بنية الأوامر في مجموعة أوامر tfx template
هي كما يلي:
tfx template command required-flags [optional-flags]
استخدم الأقسام التالية لمعرفة المزيد حول الأوامر الموجودة في مجموعة أوامر tfx template
. القالب هو ميزة تجريبية وقابلة للتغيير في أي وقت.
قائمة
قائمة قوالب خطوط أنابيب TFX المتاحة.
الاستخدام:
tfx template list
ينسخ
انسخ القالب إلى الدليل الوجهة.
الاستخدام:
tfx template copy --model=model --pipeline_name=pipeline-name \ --destination_path=destination-path
- --model= model
- اسم النموذج الذي تم إنشاؤه بواسطة قالب خط الأنابيب.
- --pipeline_name= pipeline-name
- اسم خط الأنابيب.
- --destination_path= destination-path
- المسار لنسخ القالب إليه
فهم أعلام TFX CLI
أعلام مشتركة
- --المحرك= engine
المنسق الذي سيتم استخدامه لخط الأنابيب. يجب أن تتطابق قيمة المحرك مع إحدى القيم التالية:
- kubeflow : يضبط المحرك على Kubeflow
- محلي : يضبط المحرك على المنسق المحلي
- vertex : يضبط المحرك على Vertex Pipelines
- تدفق الهواء : (تجريبي) يضبط المحرك على Apache Airflow
- شعاع : (تجريبي) يضبط المحرك على Apache Beam
إذا لم يتم ضبط المحرك، فسيتم اكتشاف المحرك تلقائيًا بناءً على البيئة.
** ملاحظة مهمة: يجب أن يتطابق المنسق المطلوب بواسطة DagRunner في ملف تكوين خط الأنابيب مع المحرك المحدد أو الذي تم اكتشافه تلقائيًا. يعتمد الاكتشاف التلقائي للمحرك على بيئة المستخدم. إذا لم يتم تثبيت Apache Airflow وKubeflow Pipelines، فسيتم استخدام المنسق المحلي بشكل افتراضي.
- --pipeline_name= pipeline-name
- اسم خط الأنابيب.
- --pipeline_path= pipeline-path
- المسار إلى ملف تكوين خط الأنابيب.
- --run_id= run-id
- المعرف الفريد لتشغيل خط الأنابيب.
أعلام Kubeflow المحددة
- --نقطة النهاية= endpoint
نقطة نهاية خدمة Kubeflow Pipelines API. نقطة النهاية لخدمة Kubeflow Pipelines API الخاصة بك هي نفس عنوان URL الخاص بلوحة معلومات Kubeflow Pipelines. يجب أن تكون قيمة نقطة النهاية الخاصة بك شيئًا مثل:
https://host-name/pipeline
إذا كنت لا تعرف نقطة النهاية لمجموعة Kubeflow Pipelines الخاصة بك، فاتصل بمسؤول المجموعة لديك.
إذا لم يتم تحديد
--endpoint
، فسيتم استخدام اسم DNS للخدمة داخل المجموعة كقيمة افتراضية. يعمل هذا الاسم فقط إذا تم تنفيذ أمر CLI في حاوية على مجموعة Kubeflow Pipelines، مثل مثيل دفاتر ملاحظات Kubeflow Jupyter .- --iap_client_id= iap-client-id
- معرف العميل لنقطة النهاية المحمية بواسطة IAP.
- --مساحة الاسم = namespace
- مساحة اسم Kubernetes للاتصال بواجهة برمجة تطبيقات Kubeflow Pipelines. إذا لم يتم تحديد مساحة الاسم، فستكون القيمة الافتراضية هي
kubeflow
.
الملفات التي تم إنشاؤها بواسطة TFX CLI
عند إنشاء خطوط الأنابيب وتشغيلها، يتم إنشاء عدة ملفات لإدارة خطوط الأنابيب.
- ${HOME}/tfx/local، الشعاع، تدفق الهواء، قمة الرأس
- يتم تخزين البيانات التعريفية لخط الأنابيب المقروءة من التكوين ضمن
${HOME}/tfx/${ORCHESTRATION_ENGINE}/${PIPELINE_NAME}
. يمكن تخصيص هذا الموقع عن طريق ضبط البيئة المتغيرة مثلAIRFLOW_HOME
أوKUBEFLOW_HOME
. قد يتم تغيير هذا السلوك في الإصدارات المستقبلية. يُستخدم هذا الدليل لتخزين معلومات خطوط الأنابيب بما في ذلك معرفات خطوط الأنابيب في مجموعة خطوط أنابيب Kubeflow اللازمة لإنشاء عمليات التشغيل أو تحديث خطوط الأنابيب. - قبل TFX 0.25، كانت هذه الملفات موجودة ضمن
${HOME}/${ORCHESTRATION_ENGINE}
. في TFX 0.25، سيتم نقل الملفات الموجودة في الموقع القديم إلى الموقع الجديد تلقائيًا من أجل الترحيل السلس. - بدءًا من TFX 0.27، لا يقوم kubeflow بإنشاء ملفات البيانات التعريفية هذه في نظام الملفات المحلي. ومع ذلك، انظر أدناه للاطلاع على الملفات الأخرى التي ينشئها kubeflow.
- يتم تخزين البيانات التعريفية لخط الأنابيب المقروءة من التكوين ضمن
- (Kubeflow فقط) ملف Dockerfile وصورة الحاوية
- تتطلب خطوط أنابيب Kubeflow نوعين من المدخلات لخط الأنابيب. يتم إنشاء هذه الملفات بواسطة TFX في الدليل الحالي.
- أحدهما عبارة عن صورة حاوية سيتم استخدامها لتشغيل المكونات في المسار. يتم إنشاء صورة الحاوية هذه عند إنشاء خط أنابيب لخطوط أنابيب Kubeflow أو تحديثه باستخدام علامة
--build-image
. سيقوم TFX CLI بإنشاءDockerfile
إذا لم يكن موجودًا، وسيقوم بإنشاء صورة حاوية ودفعها إلى السجل المحدد في KubeflowDagRunnerConfig.