דף זה תורגם על ידי Cloud Translation API.

שימוש בממשק שורת הפקודה TFX

ממשק שורת הפקודה של TFX (CLI) מבצע מגוון שלם של פעולות צינור באמצעות מתזמני צינור, כגון Kubeflow Pipelines, Vertex Pipelines. ניתן להשתמש במתזמר מקומי גם לפיתוח מהיר יותר או איתור באגים. זרימת אוויר Apache Beam ו- Apache נתמכת כתכונות ניסיוניות. לדוגמה, אתה יכול להשתמש ב-CLI כדי:

צור, עדכן ומחק צינורות.
הפעל צינור ומעקב אחר הריצה על מתזמרים שונים.
רשום צינורות והרצות צינורות.

על TFX CLI

ה-TFX CLI מותקן כחלק מחבילת TFX. כל פקודות CLI עוקבות אחר המבנה שלהלן:

tfx command-group command flags

אפשרויות command-group הבאות נתמכות כעת:

tfx pipeline - צור ונהל צינורות TFX.
tfx run - צור ונהל ריצות של צינורות TFX בפלטפורמות תזמור שונות.
tfx template - פקודות ניסיוניות לרישום והעתקה של תבניות צינור של TFX.

כל קבוצת פקודות מספקת קבוצה של commands . עקוב אחר ההוראות במקטע פקודות צינור , פקודות הפעלה ופקודות תבנית כדי ללמוד עוד על השימוש בפקודות אלה.

דגלים מאפשרים לך להעביר ארגומנטים לפקודות CLI. מילים בדגלים מופרדות באמצעות מקף ( - ) או קו תחתון ( _ ). לדוגמה, ניתן לציין את דגל שם הצינור בתור --pipeline-name או --pipeline_name . מסמך זה מפרט דגלים עם קווים תחתונים לקיצור. למידע נוסף על flags בשימוש ב-TFX CLI .

צינור tfx

המבנה של פקודות בקבוצת הפקודות tfx pipeline הוא כדלקמן:

tfx pipeline command required-flags [optional-flags]

השתמש בסעיפים הבאים כדי ללמוד עוד על הפקודות בקבוצת הפקודות tfx pipeline .

לִיצוֹר

יוצר צינור חדש במתזמר הנתון.

נוֹהָג:

tfx pipeline create --pipeline_path=pipeline-path [--endpoint=endpoint --engine=engine \
--iap_client_id=iap-client-id --namespace=namespace \
--build_image --build_base_image=build-base-image]

--pipeline_path= pipeline-path

הנתיב לקובץ תצורת הצינור.

--endpoint= endpoint

(אופציונלי.) נקודת קצה של שירות Kubeflow Pipelines API. נקודת הקצה של שירות ה-API של Kubeflow Pipelines זהה לכתובת ה-URL של לוח המחוונים של Kubeflow Pipelines. ערך נקודת הקצה שלך צריך להיות משהו כמו:

https://host-name/pipeline

אם אינך יודע את נקודת הקצה עבור אשכול Kubeflow Pipelines שלך, צור קשר עם מנהל האשכול שלך.

אם ה-- --endpoint לא צוין, שם ה-DNS של שירות האשכול משמש כערך ברירת המחדל. שם זה פועל רק אם הפקודה CLI מופעלת ב-pod באשכול ה-Kubeflow Pipelines, כגון מופע Kubeflow Jupyter Notebooks .

--מנוע= engine

(אופציונלי.) המתזמר שישמש עבור הצינור. הערך של המנוע חייב להתאים לאחד מהערכים הבאים:

kubeflow : מגדיר את המנוע ל-Kubeflow
מקומי : מגדיר את המנוע לתזמור מקומי
קודקוד : מגדיר את המנוע ל-Vertex Pipelines
זרימת אוויר : (ניסיוני) מגדיר את המנוע ל-Apache Airflow
beam : (ניסיוני) מגדיר את המנוע ל-Apache Beam

אם המנוע אינו מוגדר, המנוע מזוהה אוטומטית בהתבסס על הסביבה.

** הערה חשובה: המתזמר הנדרש על ידי DagRunner בקובץ התצורה של הצינור חייב להתאים למנוע הנבחר או המזוהה אוטומטית. זיהוי אוטומטי של מנוע מבוסס על סביבת המשתמש. אם Apache Airflow ו-Kubeflow Pipelines אינם מותקנים, אזי נעשה שימוש בתזמור המקומי כברירת מחדל.

--iap_client_id= iap-client-id

(אופציונלי.) מזהה לקוח עבור נקודת קצה מוגנת IAP בעת שימוש ב-Kubeflow Pipelines.

--namespace= namespace

(אופציונלי.) מרחב השמות של Kubernetes לחיבור ל-Kubeflow Pipelines API. אם מרחב השמות לא צוין, ברירת המחדל של הערך הוא kubeflow .

--build_image

(אופציונלי.) כאשר engine הוא kubeflow או קודקוד , TFX יוצר תמונת מיכל עבור הצינור שלך אם צוין. 'Dockerfile' בספרייה הנוכחית ישמש, ו-TFX יפיק אחד אוטומטית אם לא קיים.

התמונה הבנויה תידחף לרישום המרוחק שצוין ב- `KubeflowDagRunnerConfig` או `KubeflowV2DagRunnerConfig`.

--build_base_image= build-base-image

(אופציונלי.) כאשר engine הוא kubeflow , TFX יוצר תמונת מיכל עבור הצינור שלך. תמונת הבסיס של ה-build מציינת את תמונת מיכל הבסיס לשימוש בעת בניית תמונת מיכל הצינור.

דוגמאות:

Kubeflow:

tfx pipeline create --engine=kubeflow --pipeline_path=pipeline-path \
--iap_client_id=iap-client-id --namespace=namespace --endpoint=endpoint \
--build_image

מְקוֹמִי:

tfx pipeline create --engine=local --pipeline_path=pipeline-path

קָדקוֹד:

tfx pipeline create --engine=vertex --pipeline_path=pipeline-path \
--build_image

כדי לזהות אוטומטית מנוע מסביבת המשתמש, פשוט הימנע משימוש בדגל המנוע כמו בדוגמה למטה. לפרטים נוספים, עיין בסעיף הדגלים.

tfx pipeline create --pipeline_path=pipeline-path

לְעַדְכֵּן

מעדכן צינור קיים בתזמור הנתון.

נוֹהָג:

tfx pipeline update --pipeline_path=pipeline-path [--endpoint=endpoint --engine=engine \
--iap_client_id=iap-client-id --namespace=namespace --build_image]

--pipeline_path= pipeline-path

הנתיב לקובץ תצורת הצינור.

--endpoint= endpoint

https://host-name/pipeline

אם אינך יודע את נקודת הקצה עבור אשכול Kubeflow Pipelines שלך, צור קשר עם מנהל האשכול שלך.

--מנוע= engine

(אופציונלי.) המתזמר שישמש עבור הצינור. הערך של המנוע חייב להתאים לאחד מהערכים הבאים:

kubeflow : מגדיר את המנוע ל-Kubeflow
מקומי : מגדיר את המנוע לתזמור מקומי
קודקוד : מגדיר את המנוע ל-Vertex Pipelines
זרימת אוויר : (ניסיוני) מגדיר את המנוע ל-Apache Airflow
beam : (ניסיוני) מגדיר את המנוע ל-Apache Beam

אם המנוע אינו מוגדר, המנוע מזוהה אוטומטית בהתבסס על הסביבה.

--iap_client_id= iap-client-id

(אופציונלי.) מזהה לקוח עבור נקודת קצה מוגנת IAP.

--namespace= namespace

(אופציונלי.) מרחב השמות של Kubernetes לחיבור ל-Kubeflow Pipelines API. אם מרחב השמות לא צוין, ברירת המחדל של הערך הוא kubeflow .

--build_image

(אופציונלי.) כאשר engine הוא kubeflow או קודקוד , TFX יוצר תמונת מיכל עבור הצינור שלך אם צוין. ישמש 'Dockerfile' בספרייה הנוכחית.

התמונה הבנויה תידחף לרישום המרוחק שצוין ב- `KubeflowDagRunnerConfig` או `KubeflowV2DagRunnerConfig`.

דוגמאות:

Kubeflow:

tfx pipeline update --engine=kubeflow --pipeline_path=pipeline-path \
--iap_client_id=iap-client-id --namespace=namespace --endpoint=endpoint \
--build_image

מְקוֹמִי:

tfx pipeline update --engine=local --pipeline_path=pipeline-path

קָדקוֹד:

tfx pipeline update --engine=vertex --pipeline_path=pipeline-path \
--build_image

לְלַקֵט

קומפילציה של קובץ תצורת הצינור כדי ליצור קובץ זרימת עבודה ב-Kubeflow ומבצעת את הבדיקות הבאות בזמן ההידור:

בודק אם נתיב הצינור חוקי.
בודק אם פרטי הצינור חולצו בהצלחה מקובץ התצורה של הצינור.
בודק אם ה-DagRunner בתצורת הצינור תואם למנוע.
בודק אם קובץ זרימת העבודה נוצר בהצלחה בנתיב החבילה שסופק (רק עבור Kubeflow).

מומלץ להשתמש לפני יצירה או עדכון של צינור.

נוֹהָג:

tfx pipeline compile --pipeline_path=pipeline-path [--engine=engine]

--pipeline_path= pipeline-path

הנתיב לקובץ תצורת הצינור.

--מנוע= engine

(אופציונלי.) המתזמר שישמש עבור הצינור. הערך של המנוע חייב להתאים לאחד מהערכים הבאים:

kubeflow : מגדיר את המנוע ל-Kubeflow
מקומי : מגדיר את המנוע לתזמור מקומי
קודקוד : מגדיר את המנוע ל-Vertex Pipelines
זרימת אוויר : (ניסיוני) מגדיר את המנוע ל-Apache Airflow
beam : (ניסיוני) מגדיר את המנוע ל-Apache Beam

אם המנוע אינו מוגדר, המנוע מזוהה אוטומטית בהתבסס על הסביבה.

דוגמאות:

Kubeflow:

tfx pipeline compile --engine=kubeflow --pipeline_path=pipeline-path

מְקוֹמִי:

tfx pipeline compile --engine=local --pipeline_path=pipeline-path

קָדקוֹד:

tfx pipeline compile --engine=vertex --pipeline_path=pipeline-path

לִמְחוֹק

מוחק צינור מהמתזמר הנתון.

נוֹהָג:

tfx pipeline delete --pipeline_path=pipeline-path [--endpoint=endpoint --engine=engine \
--iap_client_id=iap-client-id --namespace=namespace]

--pipeline_path= pipeline-path

הנתיב לקובץ תצורת הצינור.

--endpoint= endpoint

https://host-name/pipeline

אם אינך יודע את נקודת הקצה עבור אשכול Kubeflow Pipelines שלך, צור קשר עם מנהל האשכול שלך.

--מנוע= engine

(אופציונלי.) המתזמר שישמש עבור הצינור. הערך של המנוע חייב להתאים לאחד מהערכים הבאים:

kubeflow : מגדיר את המנוע ל-Kubeflow
מקומי : מגדיר את המנוע לתזמור מקומי
קודקוד : מגדיר את המנוע ל-Vertex Pipelines
זרימת אוויר : (ניסיוני) מגדיר את המנוע ל-Apache Airflow
beam : (ניסיוני) מגדיר את המנוע ל-Apache Beam

אם המנוע אינו מוגדר, המנוע מזוהה אוטומטית בהתבסס על הסביבה.

--iap_client_id= iap-client-id

(אופציונלי.) מזהה לקוח עבור נקודת קצה מוגנת IAP.

--namespace= namespace

(אופציונלי.) מרחב השמות של Kubernetes לחיבור ל-Kubeflow Pipelines API. אם מרחב השמות לא צוין, ברירת המחדל של הערך הוא kubeflow .

דוגמאות:

Kubeflow:

tfx pipeline delete --engine=kubeflow --pipeline_name=pipeline-name \
--iap_client_id=iap-client-id --namespace=namespace --endpoint=endpoint

מְקוֹמִי:

tfx pipeline delete --engine=local --pipeline_name=pipeline-name

קָדקוֹד:

tfx pipeline delete --engine=vertex --pipeline_name=pipeline-name

רְשִׁימָה

מפרט את כל הצינורות בתזמר הנתון.

נוֹהָג:

tfx pipeline list [--endpoint=endpoint --engine=engine \
--iap_client_id=iap-client-id --namespace=namespace]

--endpoint= endpoint

https://host-name/pipeline

אם אינך יודע את נקודת הקצה עבור אשכול Kubeflow Pipelines שלך, צור קשר עם מנהל האשכול שלך.

--מנוע= engine

(אופציונלי.) המתזמר שישמש עבור הצינור. הערך של המנוע חייב להתאים לאחד מהערכים הבאים:

kubeflow : מגדיר את המנוע ל-Kubeflow
מקומי : מגדיר את המנוע לתזמור מקומי
קודקוד : מגדיר את המנוע ל-Vertex Pipelines
זרימת אוויר : (ניסיוני) מגדיר את המנוע ל-Apache Airflow
beam : (ניסיוני) מגדיר את המנוע ל-Apache Beam

אם המנוע אינו מוגדר, המנוע מזוהה אוטומטית בהתבסס על הסביבה.

--iap_client_id= iap-client-id

(אופציונלי.) מזהה לקוח עבור נקודת קצה מוגנת IAP.

--namespace= namespace

(אופציונלי.) מרחב השמות של Kubernetes לחיבור ל-Kubeflow Pipelines API. אם מרחב השמות לא צוין, ברירת המחדל של הערך הוא kubeflow .

דוגמאות:

Kubeflow:

tfx pipeline list --engine=kubeflow --iap_client_id=iap-client-id \
--namespace=namespace --endpoint=endpoint

מְקוֹמִי:

tfx pipeline list --engine=local

קָדקוֹד:

tfx pipeline list --engine=vertex

tfx לרוץ

המבנה של פקודות בקבוצת הפקודות tfx run הוא כדלקמן:

tfx run command required-flags [optional-flags]

השתמש בסעיפים הבאים כדי ללמוד עוד על הפקודות בקבוצת הפקודות tfx run .

לִיצוֹר

יוצר מופע ריצה חדש עבור צינור בתזמור. עבור Kubeflow, נעשה שימוש בגרסת הצינור העדכנית ביותר של הצינור באשכול.

נוֹהָג:

tfx run create --pipeline_name=pipeline-name [--endpoint=endpoint \
--engine=engine --iap_client_id=iap-client-id --namespace=namespace]

--pipeline_name= pipeline-name

שם הצינור.

--endpoint= endpoint

https://host-name/pipeline

אם אינך יודע את נקודת הקצה עבור אשכול Kubeflow Pipelines שלך, צור קשר עם מנהל האשכול שלך.

--מנוע= engine

(אופציונלי.) המתזמר שישמש עבור הצינור. הערך של המנוע חייב להתאים לאחד מהערכים הבאים:

kubeflow : מגדיר את המנוע ל-Kubeflow
מקומי : מגדיר את המנוע לתזמור מקומי
קודקוד : מגדיר את המנוע ל-Vertex Pipelines
זרימת אוויר : (ניסיוני) מגדיר את המנוע ל-Apache Airflow
beam : (ניסיוני) מגדיר את המנוע ל-Apache Beam

אם המנוע אינו מוגדר, המנוע מזוהה אוטומטית בהתבסס על הסביבה.

--runtime_parameter= parameter-name = parameter-value

(אופציונלי.) מגדיר ערך של פרמטר זמן ריצה. ניתן להגדיר מספר פעמים כדי להגדיר ערכים של מספר משתנים. חל רק על מנוע `זרימת אוויר`, `kubeflow` ו`קודקוד`.

--iap_client_id= iap-client-id

(אופציונלי.) מזהה לקוח עבור נקודת קצה מוגנת IAP.

--namespace= namespace

(אופציונלי.) מרחב השמות של Kubernetes לחיבור ל-Kubeflow Pipelines API. אם מרחב השמות לא צוין, ברירת המחדל של הערך הוא kubeflow .

--project= GCP-project-id

(נדרש עבור Vertex.) מזהה פרויקט GCP עבור צינור הקודקוד.

--region= GCP-region

(נדרש עבור Vertex.) שם אזור GCP כמו us-central1. ראה [תיעוד Vertex](https://cloud.google.com/vertex-ai/docs/general/locations) עבור אזורים זמינים.

דוגמאות:

Kubeflow:

tfx run create --engine=kubeflow --pipeline_name=pipeline-name --iap_client_id=iap-client-id \
--namespace=namespace --endpoint=endpoint

מְקוֹמִי:

tfx run create --engine=local --pipeline_name=pipeline-name

קָדקוֹד:

tfx run create --engine=vertex --pipeline_name=pipeline-name \
  --runtime_parameter=var_name=var_value \
  --project=gcp-project-id --region=gcp-region

לְסַיֵם

עוצר ריצה של צינור נתון.

** הערה חשובה: כרגע נתמך רק ב-Kubeflow.

נוֹהָג:

tfx run terminate --run_id=run-id [--endpoint=endpoint --engine=engine \
--iap_client_id=iap-client-id --namespace=namespace]

--run_id= run-id

מזהה ייחודי עבור הפעלת צינור.

--endpoint= endpoint

https://host-name/pipeline

אם אינך יודע את נקודת הקצה עבור אשכול Kubeflow Pipelines שלך, צור קשר עם מנהל האשכול שלך.

אם ה-- --endpoint לא צוין, שם ה-DNS של שירות האשכול משמש כערך ברירת המחדל. שם זה פועל רק אם פקודת ה-CLI מופעלת ב-pod באשכול Kubeflow Pipelines, כגון מופע Kubeflow Jupyter Notebooks .

--מנוע= engine

(אופציונלי.) המתזמר שישמש עבור הצינור. הערך של המנוע חייב להתאים לאחד מהערכים הבאים:

kubeflow : מגדיר את המנוע ל-Kubeflow

אם המנוע אינו מוגדר, המנוע מזוהה אוטומטית בהתבסס על הסביבה.

--iap_client_id= iap-client-id

(אופציונלי.) מזהה לקוח עבור נקודת קצה מוגנת IAP.

--namespace= namespace

(אופציונלי.) מרחב השמות של Kubernetes לחיבור ל-Kubeflow Pipelines API. אם מרחב השמות לא צוין, ברירת המחדל של הערך הוא kubeflow .

דוגמאות:

Kubeflow:

tfx run delete --engine=kubeflow --run_id=run-id --iap_client_id=iap-client-id \
--namespace=namespace --endpoint=endpoint

רְשִׁימָה

מפרט את כל הריצות של צינור.

** הערה חשובה: כרגע אין תמיכה ב-Local וב-Apache Beam.

נוֹהָג:

tfx run list --pipeline_name=pipeline-name [--endpoint=endpoint \
--engine=engine --iap_client_id=iap-client-id --namespace=namespace]

--pipeline_name= pipeline-name

שם הצינור.

--endpoint= endpoint

https://host-name/pipeline

אם אינך יודע את נקודת הקצה עבור אשכול Kubeflow Pipelines שלך, צור קשר עם מנהל האשכול שלך.

--מנוע= engine

(אופציונלי.) המתזמר שישמש עבור הצינור. הערך של המנוע חייב להתאים לאחד מהערכים הבאים:

kubeflow : מגדיר את המנוע ל-Kubeflow
זרימת אוויר : (ניסיוני) מגדיר את המנוע ל-Apache Airflow

אם המנוע אינו מוגדר, המנוע מזוהה אוטומטית בהתבסס על הסביבה.

--iap_client_id= iap-client-id

(אופציונלי.) מזהה לקוח עבור נקודת קצה מוגנת IAP.

--namespace= namespace

(אופציונלי.) מרחב השמות של Kubernetes לחיבור ל-Kubeflow Pipelines API. אם מרחב השמות לא צוין, ברירת המחדל של הערך הוא kubeflow .

דוגמאות:

Kubeflow:

tfx run list --engine=kubeflow --pipeline_name=pipeline-name --iap_client_id=iap-client-id \
--namespace=namespace --endpoint=endpoint

סטָטוּס

מחזירה את המצב הנוכחי של ריצה.

** הערה חשובה: כרגע אין תמיכה ב-Local וב-Apache Beam.

נוֹהָג:

tfx run status --pipeline_name=pipeline-name --run_id=run-id [--endpoint=endpoint \
--engine=engine --iap_client_id=iap-client-id --namespace=namespace]

--pipeline_name= pipeline-name

שם הצינור.

--run_id= run-id

מזהה ייחודי עבור הפעלת צינור.

--endpoint= endpoint

https://host-name/pipeline

אם אינך יודע את נקודת הקצה עבור אשכול Kubeflow Pipelines שלך, צור קשר עם מנהל האשכול שלך.

--מנוע= engine

(אופציונלי.) המתזמר שישמש עבור הצינור. הערך של המנוע חייב להתאים לאחד מהערכים הבאים:

kubeflow : מגדיר את המנוע ל-Kubeflow
זרימת אוויר : (ניסיוני) מגדיר את המנוע ל-Apache Airflow

אם המנוע אינו מוגדר, המנוע מזוהה אוטומטית בהתבסס על הסביבה.

--iap_client_id= iap-client-id

(אופציונלי.) מזהה לקוח עבור נקודת קצה מוגנת IAP.

--namespace= namespace

(אופציונלי.) מרחב השמות של Kubernetes לחיבור ל-Kubeflow Pipelines API. אם מרחב השמות לא צוין, ברירת המחדל של הערך הוא kubeflow .

דוגמאות:

Kubeflow:

tfx run status --engine=kubeflow --run_id=run-id --pipeline_name=pipeline-name \
--iap_client_id=iap-client-id --namespace=namespace --endpoint=endpoint

לִמְחוֹק

מוחק ריצה של צינור נתון.

** הערה חשובה: כרגע נתמך רק ב-Kubeflow

נוֹהָג:

tfx run delete --run_id=run-id [--engine=engine --iap_client_id=iap-client-id \
--namespace=namespace --endpoint=endpoint]

--run_id= run-id

מזהה ייחודי עבור הפעלת צינור.

--endpoint= endpoint

https://host-name/pipeline

אם אינך יודע את נקודת הקצה עבור אשכול Kubeflow Pipelines שלך, צור קשר עם מנהל האשכול שלך.

--מנוע= engine

(אופציונלי.) המתזמר שישמש עבור הצינור. הערך של המנוע חייב להתאים לאחד מהערכים הבאים:

kubeflow : מגדיר את המנוע ל-Kubeflow

אם המנוע אינו מוגדר, המנוע מזוהה אוטומטית בהתבסס על הסביבה.

--iap_client_id= iap-client-id

(אופציונלי.) מזהה לקוח עבור נקודת קצה מוגנת IAP.

--namespace= namespace

(אופציונלי.) מרחב השמות של Kubernetes לחיבור ל-Kubeflow Pipelines API. אם מרחב השמות לא צוין, ברירת המחדל של הערך הוא kubeflow .

דוגמאות:

Kubeflow:

tfx run delete --engine=kubeflow --run_id=run-id --iap_client_id=iap-client-id \
--namespace=namespace --endpoint=endpoint

תבנית tfx [ניסיוני]

המבנה של פקודות בקבוצת הפקודות tfx template הוא כדלקמן:

tfx template command required-flags [optional-flags]

השתמש בסעיפים הבאים כדי ללמוד עוד על הפקודות בקבוצת הפקודות tfx template . התבנית היא תכונה ניסיונית וניתנת לשינוי בכל עת.

רְשִׁימָה

רשימת תבניות צינור TFX זמינות.

נוֹהָג:

tfx template list

לְהַעְתִיק

העתק תבנית לספריית היעד.

נוֹהָג:

tfx template copy --model=model --pipeline_name=pipeline-name \
--destination_path=destination-path

--מודל= model: שם המודל שנבנה על ידי תבנית הצינור.
--pipeline_name= pipeline-name: שם הצינור.
--destination_path= destination-path: הנתיב שאליו יש להעתיק את התבנית.

הבנת דגלי TFX CLI

דגלים נפוצים

--מנוע= engine

המתזמר שישמש עבור הצינור. הערך של המנוע חייב להתאים לאחד מהערכים הבאים:

kubeflow : מגדיר את המנוע ל-Kubeflow
מקומי : מגדיר את המנוע לתזמור מקומי
קודקוד : מגדיר את המנוע ל-Vertex Pipelines
זרימת אוויר : (ניסיוני) מגדיר את המנוע ל-Apache Airflow
beam : (ניסיוני) מגדיר את המנוע ל-Apache Beam

אם המנוע אינו מוגדר, המנוע מזוהה אוטומטית בהתבסס על הסביבה.

--pipeline_name= pipeline-name

שם הצינור.

--pipeline_path= pipeline-path

הנתיב לקובץ תצורת הצינור.

--run_id= run-id

מזהה ייחודי עבור הפעלת צינור.

דגלים ספציפיים ל-Kubeflow

--endpoint= endpoint

נקודת קצה של שירות Kubeflow Pipelines API. נקודת הקצה של שירות ה-API של Kubeflow Pipelines זהה לכתובת ה-URL של לוח המחוונים של Kubeflow Pipelines. ערך נקודת הקצה שלך צריך להיות משהו כמו:

https://host-name/pipeline

אם אינך יודע את נקודת הקצה עבור אשכול Kubeflow Pipelines שלך, צור קשר עם מנהל האשכול שלך.

--iap_client_id= iap-client-id

מזהה לקוח עבור נקודת קצה מוגנת IAP.

--namespace= namespace

מרחב השמות של Kubernetes כדי להתחבר ל-Kubeflow Pipelines API. אם מרחב השמות לא צוין, ברירת המחדל של הערך הוא kubeflow .

קבצים שנוצרו על ידי TFX CLI

כאשר צינורות נוצרים ומופעלים, נוצרים מספר קבצים לניהול צינורות.

${HOME}/tfx/local, קרן, זרימת אוויר, קודקוד
- מטא נתונים של צינור הנקראים מהתצורה מאוחסנים תחת ${HOME}/tfx/${ORCHESTRATION_ENGINE}/${PIPELINE_NAME} . ניתן להתאים את המיקום הזה על ידי הגדרת סביבה ניתנת ל-variable כמו AIRFLOW_HOME או KUBEFLOW_HOME . התנהגות זו עשויה להשתנות במהדורות עתידיות. ספרייה זו משמשת לאחסון מידע על צינורות כולל מזהי צינור באשכול Kubeflow Pipelines הדרוש ליצירת ריצות או עדכון צינורות.
- לפני TFX 0.25, קבצים אלה אותרו תחת ${HOME}/${ORCHESTRATION_ENGINE} . ב-TFX 0.25, קבצים במיקום הישן יועברו למיקום החדש באופן אוטומטי לצורך העברה חלקה.
- מ-TFX 0.27, kubeflow לא יוצר קבצי מטא נתונים אלה במערכת קבצים מקומית. עם זאת, ראה להלן קבצים אחרים ש-kubeflow יוצר.
(רק Kubeflow) Dockerfile ותמונת מיכל
- Kubeflow Pipelines דורש שני סוגים של קלט עבור צינור. קבצים אלה נוצרים על ידי TFX בספרייה הנוכחית.
- האחת היא תמונת מיכל שתשמש להפעלת רכיבים בצנרת. תמונת מיכל זו נבנית כאשר צינור עבור Kubeflow Pipelines נוצר או מתעדכן עם דגל --build-image . TFX CLI יפיק Dockerfile אם לא קיים, ויבנה ותדחוף תמונת מיכל לרישום שצוין ב-KubeflowDagRunnerConfig.