ממשק שורת הפקודה של TFX (CLI) מבצע מגוון שלם של פעולות צינור באמצעות מתזמני צינור, כגון Kubeflow Pipelines, Vertex Pipelines. ניתן להשתמש במתזמר מקומי גם לפיתוח מהיר יותר או איתור באגים. זרימת אוויר Apache Beam ו- Apache נתמכת כתכונות ניסיוניות. לדוגמה, אתה יכול להשתמש ב-CLI כדי:
- צור, עדכן ומחק צינורות.
- הפעל צינור ומעקב אחר הריצה על מתזמרים שונים.
- רשום צינורות והרצות צינורות.
על TFX CLI
ה-TFX CLI מותקן כחלק מחבילת TFX. כל פקודות CLI עוקבות אחר המבנה שלהלן:
tfx command-group command flags
אפשרויות command-group הבאות נתמכות כעת:
- tfx pipeline - צור ונהל צינורות TFX.
- tfx run - צור ונהל ריצות של צינורות TFX בפלטפורמות תזמור שונות.
- tfx template - פקודות ניסיוניות לרישום והעתקה של תבניות צינור של TFX.
כל קבוצת פקודות מספקת קבוצה של commands . עקוב אחר ההוראות במקטע פקודות צינור , פקודות הפעלה ופקודות תבנית כדי ללמוד עוד על השימוש בפקודות אלה.
דגלים מאפשרים לך להעביר ארגומנטים לפקודות CLI. מילים בדגלים מופרדות באמצעות מקף ( -
) או קו תחתון ( _
). לדוגמה, ניתן לציין את דגל שם הצינור בתור --pipeline-name
או --pipeline_name
. מסמך זה מפרט דגלים עם קווים תחתונים לקיצור. למידע נוסף על flags בשימוש ב-TFX CLI .
צינור tfx
המבנה של פקודות בקבוצת הפקודות tfx pipeline
הוא כדלקמן:
tfx pipeline command required-flags [optional-flags]
השתמש בסעיפים הבאים כדי ללמוד עוד על הפקודות בקבוצת הפקודות tfx pipeline
.
לִיצוֹר
יוצר צינור חדש במתזמר הנתון.
נוֹהָג:
tfx pipeline create --pipeline_path=pipeline-path [--endpoint=endpoint --engine=engine \ --iap_client_id=iap-client-id --namespace=namespace \ --build_image --build_base_image=build-base-image]
- --pipeline_path= pipeline-path
- הנתיב לקובץ תצורת הצינור.
- --endpoint= endpoint
(אופציונלי.) נקודת קצה של שירות Kubeflow Pipelines API. נקודת הקצה של שירות ה-API של Kubeflow Pipelines זהה לכתובת ה-URL של לוח המחוונים של Kubeflow Pipelines. ערך נקודת הקצה שלך צריך להיות משהו כמו:
https://host-name/pipeline
אם אינך יודע את נקודת הקצה עבור אשכול Kubeflow Pipelines שלך, צור קשר עם מנהל האשכול שלך.
אם ה--
--endpoint
לא צוין, שם ה-DNS של שירות האשכול משמש כערך ברירת המחדל. שם זה פועל רק אם הפקודה CLI מופעלת ב-pod באשכול ה-Kubeflow Pipelines, כגון מופע Kubeflow Jupyter Notebooks .- --מנוע= engine
(אופציונלי.) המתזמר שישמש עבור הצינור. הערך של המנוע חייב להתאים לאחד מהערכים הבאים:
- kubeflow : מגדיר את המנוע ל-Kubeflow
- מקומי : מגדיר את המנוע לתזמור מקומי
- קודקוד : מגדיר את המנוע ל-Vertex Pipelines
- זרימת אוויר : (ניסיוני) מגדיר את המנוע ל-Apache Airflow
- beam : (ניסיוני) מגדיר את המנוע ל-Apache Beam
אם המנוע אינו מוגדר, המנוע מזוהה אוטומטית בהתבסס על הסביבה.
** הערה חשובה: המתזמר הנדרש על ידי DagRunner בקובץ התצורה של הצינור חייב להתאים למנוע הנבחר או המזוהה אוטומטית. זיהוי אוטומטי של מנוע מבוסס על סביבת המשתמש. אם Apache Airflow ו-Kubeflow Pipelines אינם מותקנים, אזי נעשה שימוש בתזמור המקומי כברירת מחדל.
- --iap_client_id= iap-client-id
- (אופציונלי.) מזהה לקוח עבור נקודת קצה מוגנת IAP בעת שימוש ב-Kubeflow Pipelines.
- --namespace= namespace
- (אופציונלי.) מרחב השמות של Kubernetes לחיבור ל-Kubeflow Pipelines API. אם מרחב השמות לא צוין, ברירת המחדל של הערך הוא
kubeflow
. - --build_image
(אופציונלי.) כאשר engine הוא kubeflow או קודקוד , TFX יוצר תמונת מיכל עבור הצינור שלך אם צוין. 'Dockerfile' בספרייה הנוכחית ישמש, ו-TFX יפיק אחד אוטומטית אם לא קיים.
התמונה הבנויה תידחף לרישום המרוחק שצוין ב- `KubeflowDagRunnerConfig` או `KubeflowV2DagRunnerConfig`.
- --build_base_image= build-base-image
(אופציונלי.) כאשר engine הוא kubeflow , TFX יוצר תמונת מיכל עבור הצינור שלך. תמונת הבסיס של ה-build מציינת את תמונת מיכל הבסיס לשימוש בעת בניית תמונת מיכל הצינור.
דוגמאות:
Kubeflow:
tfx pipeline create --engine=kubeflow --pipeline_path=pipeline-path \ --iap_client_id=iap-client-id --namespace=namespace --endpoint=endpoint \ --build_image
מְקוֹמִי:
tfx pipeline create --engine=local --pipeline_path=pipeline-path
קָדקוֹד:
tfx pipeline create --engine=vertex --pipeline_path=pipeline-path \ --build_image
כדי לזהות אוטומטית מנוע מסביבת המשתמש, פשוט הימנע משימוש בדגל המנוע כמו בדוגמה למטה. לפרטים נוספים, עיין בסעיף הדגלים.
tfx pipeline create --pipeline_path=pipeline-path
לְעַדְכֵּן
מעדכן צינור קיים בתזמור הנתון.
נוֹהָג:
tfx pipeline update --pipeline_path=pipeline-path [--endpoint=endpoint --engine=engine \ --iap_client_id=iap-client-id --namespace=namespace --build_image]
- --pipeline_path= pipeline-path
- הנתיב לקובץ תצורת הצינור.
- --endpoint= endpoint
(אופציונלי.) נקודת קצה של שירות Kubeflow Pipelines API. נקודת הקצה של שירות ה-API של Kubeflow Pipelines זהה לכתובת ה-URL של לוח המחוונים של Kubeflow Pipelines. ערך נקודת הקצה שלך צריך להיות משהו כמו:
https://host-name/pipeline
אם אינך יודע את נקודת הקצה עבור אשכול Kubeflow Pipelines שלך, צור קשר עם מנהל האשכול שלך.
אם ה--
--endpoint
לא צוין, שם ה-DNS של שירות האשכול משמש כערך ברירת המחדל. שם זה פועל רק אם פקודת ה-CLI מופעלת ב-pod באשכול Kubeflow Pipelines, כגון מופע Kubeflow Jupyter Notebooks .- --מנוע= engine
(אופציונלי.) המתזמר שישמש עבור הצינור. הערך של המנוע חייב להתאים לאחד מהערכים הבאים:
- kubeflow : מגדיר את המנוע ל-Kubeflow
- מקומי : מגדיר את המנוע לתזמור מקומי
- קודקוד : מגדיר את המנוע ל-Vertex Pipelines
- זרימת אוויר : (ניסיוני) מגדיר את המנוע ל-Apache Airflow
- beam : (ניסיוני) מגדיר את המנוע ל-Apache Beam
אם המנוע אינו מוגדר, המנוע מזוהה אוטומטית בהתבסס על הסביבה.
** הערה חשובה: המתזמר הנדרש על ידי DagRunner בקובץ התצורה של הצינור חייב להתאים למנוע הנבחר או המזוהה אוטומטית. זיהוי אוטומטי של מנוע מבוסס על סביבת המשתמש. אם Apache Airflow ו-Kubeflow Pipelines אינם מותקנים, אזי נעשה שימוש בתזמור המקומי כברירת מחדל.
- --iap_client_id= iap-client-id
- (אופציונלי.) מזהה לקוח עבור נקודת קצה מוגנת IAP.
- --namespace= namespace
- (אופציונלי.) מרחב השמות של Kubernetes לחיבור ל-Kubeflow Pipelines API. אם מרחב השמות לא צוין, ברירת המחדל של הערך הוא
kubeflow
. - --build_image
(אופציונלי.) כאשר engine הוא kubeflow או קודקוד , TFX יוצר תמונת מיכל עבור הצינור שלך אם צוין. ישמש 'Dockerfile' בספרייה הנוכחית.
התמונה הבנויה תידחף לרישום המרוחק שצוין ב- `KubeflowDagRunnerConfig` או `KubeflowV2DagRunnerConfig`.
דוגמאות:
Kubeflow:
tfx pipeline update --engine=kubeflow --pipeline_path=pipeline-path \ --iap_client_id=iap-client-id --namespace=namespace --endpoint=endpoint \ --build_image
מְקוֹמִי:
tfx pipeline update --engine=local --pipeline_path=pipeline-path
קָדקוֹד:
tfx pipeline update --engine=vertex --pipeline_path=pipeline-path \ --build_image
לְלַקֵט
קומפילציה של קובץ תצורת הצינור כדי ליצור קובץ זרימת עבודה ב-Kubeflow ומבצעת את הבדיקות הבאות בזמן ההידור:
- בודק אם נתיב הצינור חוקי.
- בודק אם פרטי הצינור חולצו בהצלחה מקובץ התצורה של הצינור.
- בודק אם ה-DagRunner בתצורת הצינור תואם למנוע.
- בודק אם קובץ זרימת העבודה נוצר בהצלחה בנתיב החבילה שסופק (רק עבור Kubeflow).
מומלץ להשתמש לפני יצירה או עדכון של צינור.
נוֹהָג:
tfx pipeline compile --pipeline_path=pipeline-path [--engine=engine]
- --pipeline_path= pipeline-path
- הנתיב לקובץ תצורת הצינור.
- --מנוע= engine
(אופציונלי.) המתזמר שישמש עבור הצינור. הערך של המנוע חייב להתאים לאחד מהערכים הבאים:
- kubeflow : מגדיר את המנוע ל-Kubeflow
- מקומי : מגדיר את המנוע לתזמור מקומי
- קודקוד : מגדיר את המנוע ל-Vertex Pipelines
- זרימת אוויר : (ניסיוני) מגדיר את המנוע ל-Apache Airflow
- beam : (ניסיוני) מגדיר את המנוע ל-Apache Beam
אם המנוע אינו מוגדר, המנוע מזוהה אוטומטית בהתבסס על הסביבה.
** הערה חשובה: המתזמר הנדרש על ידי DagRunner בקובץ התצורה של הצינור חייב להתאים למנוע הנבחר או המזוהה אוטומטית. זיהוי אוטומטי של מנוע מבוסס על סביבת המשתמש. אם Apache Airflow ו-Kubeflow Pipelines אינם מותקנים, אזי נעשה שימוש בתזמור המקומי כברירת מחדל.
דוגמאות:
Kubeflow:
tfx pipeline compile --engine=kubeflow --pipeline_path=pipeline-path
מְקוֹמִי:
tfx pipeline compile --engine=local --pipeline_path=pipeline-path
קָדקוֹד:
tfx pipeline compile --engine=vertex --pipeline_path=pipeline-path
לִמְחוֹק
מוחק צינור מהמתזמר הנתון.
נוֹהָג:
tfx pipeline delete --pipeline_path=pipeline-path [--endpoint=endpoint --engine=engine \ --iap_client_id=iap-client-id --namespace=namespace]
- --pipeline_path= pipeline-path
- הנתיב לקובץ תצורת הצינור.
- --endpoint= endpoint
(אופציונלי.) נקודת קצה של שירות Kubeflow Pipelines API. נקודת הקצה של שירות ה-API של Kubeflow Pipelines זהה לכתובת ה-URL של לוח המחוונים של Kubeflow Pipelines. ערך נקודת הקצה שלך צריך להיות משהו כמו:
https://host-name/pipeline
אם אינך יודע את נקודת הקצה עבור אשכול Kubeflow Pipelines שלך, צור קשר עם מנהל האשכול שלך.
אם ה--
--endpoint
לא צוין, שם ה-DNS של שירות האשכול משמש כערך ברירת המחדל. שם זה פועל רק אם פקודת ה-CLI מופעלת ב-pod באשכול Kubeflow Pipelines, כגון מופע Kubeflow Jupyter Notebooks .- --מנוע= engine
(אופציונלי.) המתזמר שישמש עבור הצינור. הערך של המנוע חייב להתאים לאחד מהערכים הבאים:
- kubeflow : מגדיר את המנוע ל-Kubeflow
- מקומי : מגדיר את המנוע לתזמור מקומי
- קודקוד : מגדיר את המנוע ל-Vertex Pipelines
- זרימת אוויר : (ניסיוני) מגדיר את המנוע ל-Apache Airflow
- beam : (ניסיוני) מגדיר את המנוע ל-Apache Beam
אם המנוע אינו מוגדר, המנוע מזוהה אוטומטית בהתבסס על הסביבה.
** הערה חשובה: המתזמר הנדרש על ידי DagRunner בקובץ התצורה של הצינור חייב להתאים למנוע הנבחר או המזוהה אוטומטית. זיהוי אוטומטי של מנוע מבוסס על סביבת המשתמש. אם Apache Airflow ו-Kubeflow Pipelines אינם מותקנים, אזי נעשה שימוש בתזמור המקומי כברירת מחדל.
- --iap_client_id= iap-client-id
- (אופציונלי.) מזהה לקוח עבור נקודת קצה מוגנת IAP.
- --namespace= namespace
- (אופציונלי.) מרחב השמות של Kubernetes לחיבור ל-Kubeflow Pipelines API. אם מרחב השמות לא צוין, ברירת המחדל של הערך הוא
kubeflow
.
דוגמאות:
Kubeflow:
tfx pipeline delete --engine=kubeflow --pipeline_name=pipeline-name \ --iap_client_id=iap-client-id --namespace=namespace --endpoint=endpoint
מְקוֹמִי:
tfx pipeline delete --engine=local --pipeline_name=pipeline-name
קָדקוֹד:
tfx pipeline delete --engine=vertex --pipeline_name=pipeline-name
רְשִׁימָה
מפרט את כל הצינורות בתזמר הנתון.
נוֹהָג:
tfx pipeline list [--endpoint=endpoint --engine=engine \ --iap_client_id=iap-client-id --namespace=namespace]
- --endpoint= endpoint
(אופציונלי.) נקודת קצה של שירות Kubeflow Pipelines API. נקודת הקצה של שירות ה-API של Kubeflow Pipelines זהה לכתובת ה-URL של לוח המחוונים של Kubeflow Pipelines. ערך נקודת הקצה שלך צריך להיות משהו כמו:
https://host-name/pipeline
אם אינך יודע את נקודת הקצה עבור אשכול Kubeflow Pipelines שלך, צור קשר עם מנהל האשכול שלך.
אם ה--
--endpoint
לא צוין, שם ה-DNS של שירות האשכול משמש כערך ברירת המחדל. שם זה פועל רק אם הפקודה CLI מופעלת ב-pod באשכול ה-Kubeflow Pipelines, כגון מופע Kubeflow Jupyter Notebooks .- --מנוע= engine
(אופציונלי.) המתזמר שישמש עבור הצינור. הערך של המנוע חייב להתאים לאחד מהערכים הבאים:
- kubeflow : מגדיר את המנוע ל-Kubeflow
- מקומי : מגדיר את המנוע לתזמור מקומי
- קודקוד : מגדיר את המנוע ל-Vertex Pipelines
- זרימת אוויר : (ניסיוני) מגדיר את המנוע ל-Apache Airflow
- beam : (ניסיוני) מגדיר את המנוע ל-Apache Beam
אם המנוע אינו מוגדר, המנוע מזוהה אוטומטית בהתבסס על הסביבה.
** הערה חשובה: המתזמר הנדרש על ידי DagRunner בקובץ התצורה של הצינור חייב להתאים למנוע הנבחר או המזוהה אוטומטית. זיהוי אוטומטי של מנוע מבוסס על סביבת המשתמש. אם Apache Airflow ו-Kubeflow Pipelines אינם מותקנים, אזי נעשה שימוש בתזמור המקומי כברירת מחדל.
- --iap_client_id= iap-client-id
- (אופציונלי.) מזהה לקוח עבור נקודת קצה מוגנת IAP.
- --namespace= namespace
- (אופציונלי.) מרחב השמות של Kubernetes לחיבור ל-Kubeflow Pipelines API. אם מרחב השמות לא צוין, ברירת המחדל של הערך הוא
kubeflow
.
דוגמאות:
Kubeflow:
tfx pipeline list --engine=kubeflow --iap_client_id=iap-client-id \ --namespace=namespace --endpoint=endpoint
מְקוֹמִי:
tfx pipeline list --engine=local
קָדקוֹד:
tfx pipeline list --engine=vertex
tfx לרוץ
המבנה של פקודות בקבוצת הפקודות tfx run
הוא כדלקמן:
tfx run command required-flags [optional-flags]
השתמש בסעיפים הבאים כדי ללמוד עוד על הפקודות בקבוצת הפקודות tfx run
.
לִיצוֹר
יוצר מופע ריצה חדש עבור צינור בתזמור. עבור Kubeflow, נעשה שימוש בגרסת הצינור העדכנית ביותר של הצינור באשכול.
נוֹהָג:
tfx run create --pipeline_name=pipeline-name [--endpoint=endpoint \ --engine=engine --iap_client_id=iap-client-id --namespace=namespace]
- --pipeline_name= pipeline-name
- שם הצינור.
- --endpoint= endpoint
(אופציונלי.) נקודת קצה של שירות Kubeflow Pipelines API. נקודת הקצה של שירות ה-API של Kubeflow Pipelines זהה לכתובת ה-URL של לוח המחוונים של Kubeflow Pipelines. ערך נקודת הקצה שלך צריך להיות משהו כמו:
https://host-name/pipeline
אם אינך יודע את נקודת הקצה עבור אשכול Kubeflow Pipelines שלך, צור קשר עם מנהל האשכול שלך.
אם ה--
--endpoint
לא צוין, שם ה-DNS של שירות האשכול משמש כערך ברירת המחדל. שם זה פועל רק אם פקודת ה-CLI מופעלת ב-pod באשכול Kubeflow Pipelines, כגון מופע Kubeflow Jupyter Notebooks .- --מנוע= engine
(אופציונלי.) המתזמר שישמש עבור הצינור. הערך של המנוע חייב להתאים לאחד מהערכים הבאים:
- kubeflow : מגדיר את המנוע ל-Kubeflow
- מקומי : מגדיר את המנוע לתזמור מקומי
- קודקוד : מגדיר את המנוע ל-Vertex Pipelines
- זרימת אוויר : (ניסיוני) מגדיר את המנוע ל-Apache Airflow
- beam : (ניסיוני) מגדיר את המנוע ל-Apache Beam
אם המנוע אינו מוגדר, המנוע מזוהה אוטומטית בהתבסס על הסביבה.
** הערה חשובה: המתזמר הנדרש על ידי DagRunner בקובץ התצורה של הצינור חייב להתאים למנוע הנבחר או המזוהה אוטומטית. זיהוי אוטומטי של מנוע מבוסס על סביבת המשתמש. אם Apache Airflow ו-Kubeflow Pipelines אינם מותקנים, אזי נעשה שימוש בתזמור המקומי כברירת מחדל.
- --runtime_parameter= parameter-name = parameter-value
- (אופציונלי.) מגדיר ערך של פרמטר זמן ריצה. ניתן להגדיר מספר פעמים כדי להגדיר ערכים של מספר משתנים. חל רק על מנוע `זרימת אוויר`, `kubeflow` ו`קודקוד`.
- --iap_client_id= iap-client-id
- (אופציונלי.) מזהה לקוח עבור נקודת קצה מוגנת IAP.
- --namespace= namespace
- (אופציונלי.) מרחב השמות של Kubernetes לחיבור ל-Kubeflow Pipelines API. אם מרחב השמות לא צוין, ברירת המחדל של הערך הוא
kubeflow
. - --project= GCP-project-id
- (נדרש עבור Vertex.) מזהה פרויקט GCP עבור צינור הקודקוד.
- --region= GCP-region
- (נדרש עבור Vertex.) שם אזור GCP כמו us-central1. ראה [תיעוד Vertex](https://cloud.google.com/vertex-ai/docs/general/locations) עבור אזורים זמינים.
דוגמאות:
Kubeflow:
tfx run create --engine=kubeflow --pipeline_name=pipeline-name --iap_client_id=iap-client-id \ --namespace=namespace --endpoint=endpoint
מְקוֹמִי:
tfx run create --engine=local --pipeline_name=pipeline-name
קָדקוֹד:
tfx run create --engine=vertex --pipeline_name=pipeline-name \ --runtime_parameter=var_name=var_value \ --project=gcp-project-id --region=gcp-region
לְסַיֵם
עוצר ריצה של צינור נתון.
** הערה חשובה: כרגע נתמך רק ב-Kubeflow.
נוֹהָג:
tfx run terminate --run_id=run-id [--endpoint=endpoint --engine=engine \ --iap_client_id=iap-client-id --namespace=namespace]
- --run_id= run-id
- מזהה ייחודי עבור הפעלת צינור.
- --endpoint= endpoint
(אופציונלי.) נקודת קצה של שירות Kubeflow Pipelines API. נקודת הקצה של שירות ה-API של Kubeflow Pipelines זהה לכתובת ה-URL של לוח המחוונים של Kubeflow Pipelines. ערך נקודת הקצה שלך צריך להיות משהו כמו:
https://host-name/pipeline
אם אינך יודע את נקודת הקצה עבור אשכול Kubeflow Pipelines שלך, צור קשר עם מנהל האשכול שלך.
אם ה--
--endpoint
לא צוין, שם ה-DNS של שירות האשכול משמש כערך ברירת המחדל. שם זה פועל רק אם פקודת ה-CLI מופעלת ב-pod באשכול Kubeflow Pipelines, כגון מופע Kubeflow Jupyter Notebooks .- --מנוע= engine
(אופציונלי.) המתזמר שישמש עבור הצינור. הערך של המנוע חייב להתאים לאחד מהערכים הבאים:
- kubeflow : מגדיר את המנוע ל-Kubeflow
אם המנוע אינו מוגדר, המנוע מזוהה אוטומטית בהתבסס על הסביבה.
** הערה חשובה: המתזמר הנדרש על ידי DagRunner בקובץ התצורה של הצינור חייב להתאים למנוע הנבחר או המזוהה אוטומטית. זיהוי אוטומטי של מנוע מבוסס על סביבת המשתמש. אם Apache Airflow ו-Kubeflow Pipelines אינם מותקנים, אזי נעשה שימוש בתזמור המקומי כברירת מחדל.
- --iap_client_id= iap-client-id
- (אופציונלי.) מזהה לקוח עבור נקודת קצה מוגנת IAP.
- --namespace= namespace
- (אופציונלי.) מרחב השמות של Kubernetes לחיבור ל-Kubeflow Pipelines API. אם מרחב השמות לא צוין, ברירת המחדל של הערך הוא
kubeflow
.
דוגמאות:
Kubeflow:
tfx run delete --engine=kubeflow --run_id=run-id --iap_client_id=iap-client-id \ --namespace=namespace --endpoint=endpoint
רְשִׁימָה
מפרט את כל הריצות של צינור.
** הערה חשובה: כרגע אין תמיכה ב-Local וב-Apache Beam.
נוֹהָג:
tfx run list --pipeline_name=pipeline-name [--endpoint=endpoint \ --engine=engine --iap_client_id=iap-client-id --namespace=namespace]
- --pipeline_name= pipeline-name
- שם הצינור.
- --endpoint= endpoint
(אופציונלי.) נקודת קצה של שירות Kubeflow Pipelines API. נקודת הקצה של שירות ה-API של Kubeflow Pipelines זהה לכתובת ה-URL של לוח המחוונים של Kubeflow Pipelines. ערך נקודת הקצה שלך צריך להיות משהו כמו:
https://host-name/pipeline
אם אינך יודע את נקודת הקצה עבור אשכול Kubeflow Pipelines שלך, צור קשר עם מנהל האשכול שלך.
אם ה--
--endpoint
לא צוין, שם ה-DNS של שירות האשכול משמש כערך ברירת המחדל. שם זה פועל רק אם פקודת ה-CLI מופעלת ב-pod באשכול Kubeflow Pipelines, כגון מופע Kubeflow Jupyter Notebooks .- --מנוע= engine
(אופציונלי.) המתזמר שישמש עבור הצינור. הערך של המנוע חייב להתאים לאחד מהערכים הבאים:
- kubeflow : מגדיר את המנוע ל-Kubeflow
- זרימת אוויר : (ניסיוני) מגדיר את המנוע ל-Apache Airflow
אם המנוע אינו מוגדר, המנוע מזוהה אוטומטית בהתבסס על הסביבה.
** הערה חשובה: המתזמר הנדרש על ידי DagRunner בקובץ התצורה של הצינור חייב להתאים למנוע הנבחר או המזוהה אוטומטית. זיהוי אוטומטי של מנוע מבוסס על סביבת המשתמש. אם Apache Airflow ו-Kubeflow Pipelines אינם מותקנים, אזי נעשה שימוש בתזמור המקומי כברירת מחדל.
- --iap_client_id= iap-client-id
- (אופציונלי.) מזהה לקוח עבור נקודת קצה מוגנת IAP.
- --namespace= namespace
- (אופציונלי.) מרחב השמות של Kubernetes לחיבור ל-Kubeflow Pipelines API. אם מרחב השמות לא צוין, ברירת המחדל של הערך הוא
kubeflow
.
דוגמאות:
Kubeflow:
tfx run list --engine=kubeflow --pipeline_name=pipeline-name --iap_client_id=iap-client-id \ --namespace=namespace --endpoint=endpoint
סטָטוּס
מחזירה את המצב הנוכחי של ריצה.
** הערה חשובה: כרגע אין תמיכה ב-Local וב-Apache Beam.
נוֹהָג:
tfx run status --pipeline_name=pipeline-name --run_id=run-id [--endpoint=endpoint \ --engine=engine --iap_client_id=iap-client-id --namespace=namespace]
- --pipeline_name= pipeline-name
- שם הצינור.
- --run_id= run-id
- מזהה ייחודי עבור הפעלת צינור.
- --endpoint= endpoint
(אופציונלי.) נקודת קצה של שירות Kubeflow Pipelines API. נקודת הקצה של שירות ה-API של Kubeflow Pipelines זהה לכתובת ה-URL של לוח המחוונים של Kubeflow Pipelines. ערך נקודת הקצה שלך צריך להיות משהו כמו:
https://host-name/pipeline
אם אינך יודע את נקודת הקצה עבור אשכול Kubeflow Pipelines שלך, צור קשר עם מנהל האשכול שלך.
אם ה--
--endpoint
לא צוין, שם ה-DNS של שירות האשכול משמש כערך ברירת המחדל. שם זה פועל רק אם פקודת ה-CLI מופעלת ב-pod באשכול Kubeflow Pipelines, כגון מופע Kubeflow Jupyter Notebooks .- --מנוע= engine
(אופציונלי.) המתזמר שישמש עבור הצינור. הערך של המנוע חייב להתאים לאחד מהערכים הבאים:
- kubeflow : מגדיר את המנוע ל-Kubeflow
- זרימת אוויר : (ניסיוני) מגדיר את המנוע ל-Apache Airflow
אם המנוע אינו מוגדר, המנוע מזוהה אוטומטית בהתבסס על הסביבה.
** הערה חשובה: המתזמר הנדרש על ידי DagRunner בקובץ התצורה של הצינור חייב להתאים למנוע הנבחר או המזוהה אוטומטית. זיהוי אוטומטי של מנוע מבוסס על סביבת המשתמש. אם Apache Airflow ו-Kubeflow Pipelines אינם מותקנים, אזי נעשה שימוש בתזמור המקומי כברירת מחדל.
- --iap_client_id= iap-client-id
- (אופציונלי.) מזהה לקוח עבור נקודת קצה מוגנת IAP.
- --namespace= namespace
- (אופציונלי.) מרחב השמות של Kubernetes לחיבור ל-Kubeflow Pipelines API. אם מרחב השמות לא צוין, ברירת המחדל של הערך הוא
kubeflow
.
דוגמאות:
Kubeflow:
tfx run status --engine=kubeflow --run_id=run-id --pipeline_name=pipeline-name \ --iap_client_id=iap-client-id --namespace=namespace --endpoint=endpoint
לִמְחוֹק
מוחק ריצה של צינור נתון.
** הערה חשובה: כרגע נתמך רק ב-Kubeflow
נוֹהָג:
tfx run delete --run_id=run-id [--engine=engine --iap_client_id=iap-client-id \ --namespace=namespace --endpoint=endpoint]
- --run_id= run-id
- מזהה ייחודי עבור הפעלת צינור.
- --endpoint= endpoint
(אופציונלי.) נקודת קצה של שירות Kubeflow Pipelines API. נקודת הקצה של שירות ה-API של Kubeflow Pipelines זהה לכתובת ה-URL של לוח המחוונים של Kubeflow Pipelines. ערך נקודת הקצה שלך צריך להיות משהו כמו:
https://host-name/pipeline
אם אינך יודע את נקודת הקצה עבור אשכול Kubeflow Pipelines שלך, צור קשר עם מנהל האשכול שלך.
אם ה--
--endpoint
לא צוין, שם ה-DNS של שירות האשכול משמש כערך ברירת המחדל. שם זה פועל רק אם פקודת ה-CLI מופעלת ב-pod באשכול Kubeflow Pipelines, כגון מופע Kubeflow Jupyter Notebooks .- --מנוע= engine
(אופציונלי.) המתזמר שישמש עבור הצינור. הערך של המנוע חייב להתאים לאחד מהערכים הבאים:
- kubeflow : מגדיר את המנוע ל-Kubeflow
אם המנוע אינו מוגדר, המנוע מזוהה אוטומטית בהתבסס על הסביבה.
** הערה חשובה: המתזמר הנדרש על ידי DagRunner בקובץ התצורה של הצינור חייב להתאים למנוע הנבחר או המזוהה אוטומטית. זיהוי אוטומטי של מנוע מבוסס על סביבת המשתמש. אם Apache Airflow ו-Kubeflow Pipelines אינם מותקנים, אזי נעשה שימוש בתזמור המקומי כברירת מחדל.
- --iap_client_id= iap-client-id
- (אופציונלי.) מזהה לקוח עבור נקודת קצה מוגנת IAP.
- --namespace= namespace
- (אופציונלי.) מרחב השמות של Kubernetes לחיבור ל-Kubeflow Pipelines API. אם מרחב השמות לא צוין, ברירת המחדל של הערך הוא
kubeflow
.
דוגמאות:
Kubeflow:
tfx run delete --engine=kubeflow --run_id=run-id --iap_client_id=iap-client-id \ --namespace=namespace --endpoint=endpoint
תבנית tfx [ניסיוני]
המבנה של פקודות בקבוצת הפקודות tfx template
הוא כדלקמן:
tfx template command required-flags [optional-flags]
השתמש בסעיפים הבאים כדי ללמוד עוד על הפקודות בקבוצת הפקודות tfx template
. התבנית היא תכונה ניסיונית וניתנת לשינוי בכל עת.
רְשִׁימָה
רשימת תבניות צינור TFX זמינות.
נוֹהָג:
tfx template list
לְהַעְתִיק
העתק תבנית לספריית היעד.
נוֹהָג:
tfx template copy --model=model --pipeline_name=pipeline-name \ --destination_path=destination-path
- --מודל= model
- שם המודל שנבנה על ידי תבנית הצינור.
- --pipeline_name= pipeline-name
- שם הצינור.
- --destination_path= destination-path
- הנתיב אליו יש להעתיק את התבנית.
הבנת דגלי TFX CLI
דגלים נפוצים
- --מנוע= engine
התזמר שישמש עבור הצינור. הערך של המנוע חייב להתאים לאחד מהערכים הבאים:
- kubeflow : מגדיר את המנוע ל-Kubeflow
- מקומי : מגדיר את המנוע לתזמור מקומי
- קודקוד : מגדיר את המנוע ל-Vertex Pipelines
- זרימת אוויר : (ניסיוני) מגדיר את המנוע ל-Apache Airflow
- beam : (ניסיוני) מגדיר את המנוע ל-Apache Beam
אם המנוע אינו מוגדר, המנוע מזוהה אוטומטית בהתבסס על הסביבה.
** הערה חשובה: המתזמר הנדרש על ידי DagRunner בקובץ התצורה של הצינור חייב להתאים למנוע הנבחר או המזוהה אוטומטית. זיהוי אוטומטי של מנוע מבוסס על סביבת המשתמש. אם Apache Airflow ו-Kubeflow Pipelines אינם מותקנים, אזי נעשה שימוש בתזמור המקומי כברירת מחדל.
- --pipeline_name= pipeline-name
- שם הצינור.
- --pipeline_path= pipeline-path
- הנתיב לקובץ תצורת הצינור.
- --run_id= run-id
- מזהה ייחודי עבור הפעלת צינור.
דגלים ספציפיים ל-Kubeflow
- --endpoint= endpoint
נקודת קצה של שירות ה-API של Kubeflow Pipelines. נקודת הקצה של שירות ה-API של Kubeflow Pipelines זהה לכתובת ה-URL של לוח המחוונים של Kubeflow Pipelines. ערך נקודת הקצה שלך צריך להיות משהו כמו:
https://host-name/pipeline
אם אינך יודע את נקודת הקצה עבור אשכול Kubeflow Pipelines שלך, צור קשר עם מנהל האשכול שלך.
אם ה--
--endpoint
לא צוין, שם ה-DNS של שירות האשכול משמש כערך ברירת המחדל. שם זה פועל רק אם פקודת ה-CLI מופעלת ב-pod באשכול Kubeflow Pipelines, כגון מופע Kubeflow Jupyter Notebooks .- --iap_client_id= iap-client-id
- מזהה לקוח עבור נקודת קצה מוגנת IAP.
- --namespace= namespace
- מרחב השמות של Kubernetes לחיבור ל-Kubeflow Pipelines API. אם מרחב השמות לא צוין, ברירת המחדל של הערך הוא
kubeflow
.
קבצים שנוצרו על ידי TFX CLI
כאשר צינורות נוצרים ומופעלים, נוצרים מספר קבצים לניהול צינורות.
- ${HOME}/tfx/local, קרן, זרימת אוויר, קודקוד
- מטא נתונים של צינור הנקראים מהתצורה מאוחסנים תחת
${HOME}/tfx/${ORCHESTRATION_ENGINE}/${PIPELINE_NAME}
. ניתן להתאים את המיקום הזה על ידי הגדרת סביבה ניתנת ל-variable כמוAIRFLOW_HOME
אוKUBEFLOW_HOME
. התנהגות זו עשויה להשתנות במהדורות עתידיות. ספרייה זו משמשת לאחסון מידע על צינורות כולל מזהי צינור באשכול Kubeflow Pipelines הדרוש ליצירת ריצות או עדכון צינורות. - לפני TFX 0.25, קבצים אלה אותרו תחת
${HOME}/${ORCHESTRATION_ENGINE}
. ב-TFX 0.25, קבצים במיקום הישן יועברו למיקום החדש באופן אוטומטי לצורך העברה חלקה. - מ-TFX 0.27, kubeflow לא יוצר קבצי מטא נתונים אלה במערכת קבצים מקומית. עם זאת, ראה להלן קבצים אחרים ש-kubeflow יוצר.
- מטא נתונים של צינור הנקראים מהתצורה מאוחסנים תחת
- (רק Kubeflow) Dockerfile ותמונת מיכל
- Kubeflow Pipelines דורש שני סוגים של קלט עבור צינור. קבצים אלה נוצרים על ידי TFX בספרייה הנוכחית.
- האחת היא תמונת מיכל שתשמש להפעלת רכיבים בצנרת. תמונת מיכל זו נבנית כאשר צינור עבור Kubeflow Pipelines נוצר או מתעדכן עם דגל
--build-image
. TFX CLI יפיקDockerfile
אם לא קיים, ויבנה ותדחוף תמונת מיכל לרישום שצוין ב-KubeflowDagRunnerConfig.