Menggunakan Antarmuka Baris Perintah TFX

Antarmuka baris perintah (CLI) TFX melakukan berbagai tindakan pipeline menggunakan orkestrator pipeline, seperti Kubeflow Pipelines, Vertex Pipelines. Orkestra lokal juga dapat digunakan untuk pengembangan atau debugging yang lebih cepat. Apache Beam dan aliran udara Apache didukung sebagai fitur eksperimental. Misalnya, Anda dapat menggunakan CLI untuk:

  • Membuat, memperbarui, dan menghapus alur.
  • Jalankan pipeline dan pantau jalannya di berbagai orkestrator.
  • Daftar alur dan alur berjalan.

Tentang TFX CLI

TFX CLI diinstal sebagai bagian dari paket TFX. Semua perintah CLI mengikuti struktur di bawah ini:

tfx command-group command flags

Opsi command-group berikut saat ini didukung:

  • pipa tfx - Membuat dan mengelola pipa TFX.
  • tfx run - Membuat dan mengelola proses pipeline TFX di berbagai platform orkestrasi.
  • templat tfx - Perintah eksperimental untuk membuat daftar dan menyalin templat saluran TFX.

Setiap grup perintah menyediakan serangkaian commands . Ikuti instruksi di bagian perintah alur , jalankan perintah , dan perintah templat untuk mempelajari lebih lanjut tentang penggunaan perintah ini.

Bendera memungkinkan Anda meneruskan argumen ke dalam perintah CLI. Kata-kata dalam bendera dipisahkan dengan tanda hubung ( - ) atau garis bawah ( _ ). Misalnya, tanda nama pipa dapat ditentukan sebagai --pipeline-name atau --pipeline_name . Dokumen ini menetapkan bendera dengan garis bawah agar singkatnya. Pelajari lebih lanjut tentang flags yang digunakan di TFX CLI .

pipa tfx

Struktur perintah di grup perintah tfx pipeline adalah sebagai berikut:

tfx pipeline command required-flags [optional-flags]

Gunakan bagian berikut untuk mempelajari lebih lanjut tentang perintah di grup perintah tfx pipeline .

membuat

Membuat alur baru di orkestrator tertentu.

Penggunaan:

tfx pipeline create --pipeline_path=pipeline-path [--endpoint=endpoint --engine=engine \
--iap_client_id=iap-client-id --namespace=namespace \
--build_image --build_base_image=build-base-image]
--pipeline_path= pipeline-path
Jalur ke file konfigurasi alur.
--titik akhir= endpoint

(Opsional.) Titik akhir layanan API Kubeflow Pipelines. Titik akhir layanan API Kubeflow Pipelines Anda sama dengan URL dasbor Kubeflow Pipelines. Nilai titik akhir Anda harus seperti:

https://host-name/pipeline

Jika Anda tidak mengetahui titik akhir untuk klaster Kubeflow Pipelines Anda, hubungi administrator klaster Anda.

Jika --endpoint tidak ditentukan, nama DNS layanan dalam klaster digunakan sebagai nilai default. Nama ini hanya berfungsi jika perintah CLI dijalankan di pod pada klaster Kubeflow Pipelines, seperti instance notebook Kubeflow Jupyter .

--mesin= engine

(Opsional.) Orkestra yang akan digunakan untuk pipeline. Nilai mesin harus sesuai dengan nilai berikut:

  • kubeflow : menyetel mesin ke Kubeflow
  • lokal : menyetel mesin ke orkestra lokal
  • vertex : menyetel mesin ke Vertex Pipelines
  • airflow : (eksperimental) menyetel mesin ke Apache Airflow
  • beam : (eksperimental) menyetel mesin ke Apache Beam

Jika mesin tidak disetel, mesin akan terdeteksi secara otomatis berdasarkan lingkungan.

**Catatan penting: Orkestra yang diperlukan oleh DagRunner dalam file konfigurasi pipeline harus cocok dengan mesin yang dipilih atau terdeteksi secara otomatis. Deteksi otomatis mesin didasarkan pada lingkungan pengguna. Jika Apache Airflow dan Kubeflow Pipelines tidak diinstal, maka orkestrator lokal akan digunakan secara default.

--iap_client_id= iap-client-id
(Opsional.) ID Klien untuk titik akhir yang dilindungi IAP saat menggunakan Kubeflow Pipelines.
--namespace= namespace
(Opsional.) Namespace Kubernetes untuk terhubung ke Kubeflow Pipelines API. Jika namespace tidak ditentukan, nilai defaultnya adalah kubeflow .
--build_image

(Opsional.) Jika engine adalah kubeflow atau vertex , TFX akan membuat gambar container untuk pipeline Anda jika ditentukan. `Dockerfile` di direktori saat ini akan digunakan, dan TFX akan secara otomatis membuatnya jika tidak ada.

Image yang dibuat akan dikirim ke registri jarak jauh yang ditentukan di `KubeflowDagRunnerConfig` atau `KubeflowV2DagRunnerConfig`.

--build_base_image= build-base-image

(Opsional.) Jika engine adalah kubeflow , TFX akan membuat gambar container untuk pipeline Anda. Gambar dasar build menentukan gambar kontainer dasar yang akan digunakan saat membuat gambar kontainer alur.

Contoh:

Aliran Kube:

tfx pipeline create --engine=kubeflow --pipeline_path=pipeline-path \
--iap_client_id=iap-client-id --namespace=namespace --endpoint=endpoint \
--build_image

Lokal:

tfx pipeline create --engine=local --pipeline_path=pipeline-path

Puncak:

tfx pipeline create --engine=vertex --pipeline_path=pipeline-path \
--build_image

Untuk mendeteksi mesin secara otomatis dari lingkungan pengguna, hindari penggunaan flag mesin seperti contoh di bawah ini. Untuk lebih jelasnya, periksa bagian bendera.

tfx pipeline create --pipeline_path=pipeline-path

memperbarui

Memperbarui alur yang ada di orkestrator tertentu.

Penggunaan:

tfx pipeline update --pipeline_path=pipeline-path [--endpoint=endpoint --engine=engine \
--iap_client_id=iap-client-id --namespace=namespace --build_image]
--pipeline_path= pipeline-path
Jalur ke file konfigurasi alur.
--titik akhir= endpoint

(Opsional.) Titik akhir layanan API Kubeflow Pipelines. Titik akhir layanan API Kubeflow Pipelines Anda sama dengan URL dasbor Kubeflow Pipelines. Nilai titik akhir Anda harus seperti: 

https://host-name/pipeline

Jika Anda tidak mengetahui titik akhir untuk klaster Kubeflow Pipelines Anda, hubungi administrator klaster Anda.

Jika --endpoint tidak ditentukan, nama DNS layanan dalam klaster digunakan sebagai nilai default. Nama ini hanya berfungsi jika perintah CLI dijalankan di pod pada klaster Kubeflow Pipelines, seperti instance notebook Kubeflow Jupyter .

--mesin= engine

(Opsional.) Orkestra yang akan digunakan untuk pipeline. Nilai mesin harus sesuai dengan nilai berikut:

  • kubeflow : menyetel mesin ke Kubeflow
  • lokal : menyetel mesin ke orkestra lokal
  • vertex : menyetel mesin ke Vertex Pipelines
  • airflow : (eksperimental) menyetel mesin ke Apache Airflow
  • beam : (eksperimental) menyetel mesin ke Apache Beam

Jika mesin tidak disetel, mesin akan terdeteksi secara otomatis berdasarkan lingkungan.

**Catatan penting: Orkestra yang diperlukan oleh DagRunner dalam file konfigurasi pipeline harus cocok dengan mesin yang dipilih atau terdeteksi secara otomatis. Deteksi otomatis mesin didasarkan pada lingkungan pengguna. Jika Apache Airflow dan Kubeflow Pipelines tidak diinstal, maka orkestrator lokal akan digunakan secara default.

--iap_client_id= iap-client-id
(Opsional.) ID Klien untuk titik akhir yang dilindungi IAP.
--namespace= namespace
(Opsional.) Namespace Kubernetes untuk terhubung ke Kubeflow Pipelines API. Jika namespace tidak ditentukan, nilai defaultnya adalah kubeflow .
--build_image

(Opsional.) Jika engine adalah kubeflow atau vertex , TFX akan membuat gambar container untuk pipeline Anda jika ditentukan. `Dockerfile` di direktori saat ini akan digunakan.

Image yang dibuat akan dikirim ke registri jarak jauh yang ditentukan di `KubeflowDagRunnerConfig` atau `KubeflowV2DagRunnerConfig`.

Contoh:

Aliran Kube: 

tfx pipeline update --engine=kubeflow --pipeline_path=pipeline-path \
--iap_client_id=iap-client-id --namespace=namespace --endpoint=endpoint \
--build_image

Lokal: 

tfx pipeline update --engine=local --pipeline_path=pipeline-path

Puncak: 

tfx pipeline update --engine=vertex --pipeline_path=pipeline-path \
--build_image

menyusun

Mengompilasi file konfigurasi pipeline untuk membuat file alur kerja di Kubeflow dan melakukan pemeriksaan berikut saat mengompilasi:

  1. Memeriksa apakah jalur pipa valid.
  2. Memeriksa apakah detail alur berhasil diekstraksi dari file konfigurasi alur.
  3. Memeriksa apakah konfigurasi DagRunner di pipeline cocok dengan mesin.
  4. Memeriksa apakah file alur kerja berhasil dibuat di jalur paket yang disediakan (hanya untuk Kubeflow).

Direkomendasikan untuk digunakan sebelum membuat atau memperbarui alur.

Penggunaan: 

tfx pipeline compile --pipeline_path=pipeline-path [--engine=engine]
--pipeline_path= pipeline-path
Jalur ke file konfigurasi alur.
--mesin= engine

(Opsional.) Orkestra yang akan digunakan untuk pipeline. Nilai mesin harus sesuai dengan nilai berikut:

  • kubeflow : menyetel mesin ke Kubeflow
  • lokal : menyetel mesin ke orkestra lokal
  • vertex : menyetel mesin ke Vertex Pipelines
  • airflow : (eksperimental) menyetel mesin ke Apache Airflow
  • beam : (eksperimental) menyetel mesin ke Apache Beam

Jika mesin tidak disetel, mesin akan terdeteksi secara otomatis berdasarkan lingkungan.

**Catatan penting: Orkestra yang diperlukan oleh DagRunner dalam file konfigurasi pipeline harus cocok dengan mesin yang dipilih atau terdeteksi secara otomatis. Deteksi otomatis mesin didasarkan pada lingkungan pengguna. Jika Apache Airflow dan Kubeflow Pipelines tidak diinstal, maka orkestrator lokal akan digunakan secara default.

Contoh:

Aliran Kube: 

tfx pipeline compile --engine=kubeflow --pipeline_path=pipeline-path

Lokal: 

tfx pipeline compile --engine=local --pipeline_path=pipeline-path

Puncak: 

tfx pipeline compile --engine=vertex --pipeline_path=pipeline-path

menghapus

Menghapus alur dari orkestrator tertentu.

Penggunaan: 

tfx pipeline delete --pipeline_path=pipeline-path [--endpoint=endpoint --engine=engine \
--iap_client_id=iap-client-id --namespace=namespace]
--pipeline_path= pipeline-path
Jalur ke file konfigurasi alur.
--titik akhir= endpoint

(Opsional.) Titik akhir layanan API Kubeflow Pipelines. Titik akhir layanan API Kubeflow Pipelines Anda sama dengan URL dasbor Kubeflow Pipelines. Nilai titik akhir Anda harus seperti: 

https://host-name/pipeline

Jika Anda tidak mengetahui titik akhir untuk klaster Kubeflow Pipelines Anda, hubungi administrator klaster Anda.

Jika --endpoint tidak ditentukan, nama DNS layanan dalam klaster digunakan sebagai nilai default. Nama ini hanya berfungsi jika perintah CLI dijalankan di pod pada klaster Kubeflow Pipelines, seperti instance notebook Kubeflow Jupyter .

--mesin= engine

(Opsional.) Orkestra yang akan digunakan untuk pipeline. Nilai mesin harus sesuai dengan nilai berikut:

  • kubeflow : menyetel mesin ke Kubeflow
  • lokal : menyetel mesin ke orkestra lokal
  • vertex : menyetel mesin ke Vertex Pipelines
  • airflow : (eksperimental) menyetel mesin ke Apache Airflow
  • beam : (eksperimental) menyetel mesin ke Apache Beam

Jika mesin tidak disetel, mesin akan terdeteksi secara otomatis berdasarkan lingkungan.

**Catatan penting: Orkestra yang diperlukan oleh DagRunner dalam file konfigurasi pipeline harus cocok dengan mesin yang dipilih atau terdeteksi secara otomatis. Deteksi otomatis mesin didasarkan pada lingkungan pengguna. Jika Apache Airflow dan Kubeflow Pipelines tidak diinstal, maka orkestrator lokal akan digunakan secara default.

--iap_client_id= iap-client-id
(Opsional.) ID Klien untuk titik akhir yang dilindungi IAP.
--namespace= namespace
(Opsional.) Namespace Kubernetes untuk terhubung ke Kubeflow Pipelines API. Jika namespace tidak ditentukan, nilai defaultnya adalah kubeflow .

Contoh:

Aliran Kube: 

tfx pipeline delete --engine=kubeflow --pipeline_name=pipeline-name \
--iap_client_id=iap-client-id --namespace=namespace --endpoint=endpoint

Lokal: 

tfx pipeline delete --engine=local --pipeline_name=pipeline-name

Puncak: 

tfx pipeline delete --engine=vertex --pipeline_name=pipeline-name

daftar

Mencantumkan semua saluran pipa di orkestrator tertentu.

Penggunaan: 

tfx pipeline list [--endpoint=endpoint --engine=engine \
--iap_client_id=iap-client-id --namespace=namespace]
--titik akhir= endpoint

(Opsional.) Titik akhir layanan API Kubeflow Pipelines. Titik akhir layanan API Kubeflow Pipelines Anda sama dengan URL dasbor Kubeflow Pipelines. Nilai titik akhir Anda harus seperti: 

https://host-name/pipeline

Jika Anda tidak mengetahui titik akhir untuk klaster Kubeflow Pipelines Anda, hubungi administrator klaster Anda.

Jika --endpoint tidak ditentukan, nama DNS layanan dalam klaster digunakan sebagai nilai default. Nama ini hanya berfungsi jika perintah CLI dijalankan di pod pada klaster Kubeflow Pipelines, seperti instance notebook Kubeflow Jupyter .

--mesin= engine

(Opsional.) Orkestra yang akan digunakan untuk pipeline. Nilai mesin harus sesuai dengan nilai berikut:

  • kubeflow : menyetel mesin ke Kubeflow
  • lokal : menyetel mesin ke orkestra lokal
  • vertex : menyetel mesin ke Vertex Pipelines
  • airflow : (eksperimental) menyetel mesin ke Apache Airflow
  • beam : (eksperimental) menyetel mesin ke Apache Beam

Jika mesin tidak disetel, mesin akan terdeteksi secara otomatis berdasarkan lingkungan.

**Catatan penting: Orkestra yang diperlukan oleh DagRunner dalam file konfigurasi pipeline harus cocok dengan mesin yang dipilih atau terdeteksi secara otomatis. Deteksi otomatis mesin didasarkan pada lingkungan pengguna. Jika Apache Airflow dan Kubeflow Pipelines tidak diinstal, maka orkestrator lokal akan digunakan secara default.

--iap_client_id= iap-client-id
(Opsional.) ID Klien untuk titik akhir yang dilindungi IAP.
--namespace= namespace
(Opsional.) Namespace Kubernetes untuk terhubung ke Kubeflow Pipelines API. Jika namespace tidak ditentukan, nilai defaultnya adalah kubeflow .

Contoh:

Aliran Kube: 

tfx pipeline list --engine=kubeflow --iap_client_id=iap-client-id \
--namespace=namespace --endpoint=endpoint

Lokal: 

tfx pipeline list --engine=local

Puncak: 

tfx pipeline list --engine=vertex

tfx dijalankan

Struktur perintah di grup perintah tfx run adalah sebagai berikut: 

tfx run command required-flags [optional-flags]

Gunakan bagian berikut untuk mempelajari lebih lanjut tentang perintah di grup perintah tfx run .

membuat

Membuat instans eksekusi baru untuk alur di orkestrator. Untuk Kubeflow, versi pipeline terbaru dari pipeline di cluster digunakan.

Penggunaan: 

tfx run create --pipeline_name=pipeline-name [--endpoint=endpoint \
--engine=engine --iap_client_id=iap-client-id --namespace=namespace]
--nama_pipa= pipeline-name
Nama pipanya.
--titik akhir= endpoint

(Opsional.) Titik akhir layanan API Kubeflow Pipelines. Titik akhir layanan API Kubeflow Pipelines Anda sama dengan URL dasbor Kubeflow Pipelines. Nilai titik akhir Anda harus seperti: 

https://host-name/pipeline

Jika Anda tidak mengetahui titik akhir untuk klaster Kubeflow Pipelines Anda, hubungi administrator klaster Anda.

Jika --endpoint tidak ditentukan, nama DNS layanan dalam klaster digunakan sebagai nilai default. Nama ini hanya berfungsi jika perintah CLI dijalankan di pod pada klaster Kubeflow Pipelines, seperti instance notebook Kubeflow Jupyter .

--mesin= engine

(Opsional.) Orkestra yang akan digunakan untuk pipeline. Nilai mesin harus sesuai dengan nilai berikut:

  • kubeflow : menyetel mesin ke Kubeflow
  • lokal : menyetel mesin ke orkestra lokal
  • vertex : menyetel mesin ke Vertex Pipelines
  • airflow : (eksperimental) menyetel mesin ke Apache Airflow
  • beam : (eksperimental) menyetel mesin ke Apache Beam

Jika mesin tidak disetel, mesin akan terdeteksi secara otomatis berdasarkan lingkungan.

**Catatan penting: Orkestra yang diperlukan oleh DagRunner dalam file konfigurasi pipeline harus cocok dengan mesin yang dipilih atau terdeteksi secara otomatis. Deteksi otomatis mesin didasarkan pada lingkungan pengguna. Jika Apache Airflow dan Kubeflow Pipelines tidak diinstal, maka orkestrator lokal akan digunakan secara default.

--runtime_parameter= parameter-name = parameter-value
(Opsional.) Menetapkan nilai parameter runtime. Dapat diatur beberapa kali untuk menetapkan nilai beberapa variabel. Hanya berlaku untuk mesin `airflow`, `kubeflow` dan `vertex`.
--iap_client_id= iap-client-id
(Opsional.) ID Klien untuk titik akhir yang dilindungi IAP.
--namespace= namespace
(Opsional.) Namespace Kubernetes untuk terhubung ke Kubeflow Pipelines API. Jika namespace tidak ditentukan, nilai defaultnya adalah kubeflow .
--proyek= GCP-project-id
(Diperlukan untuk Vertex.) ID project GCP untuk pipeline vertex.
--wilayah= GCP-region
(Diperlukan untuk Vertex.) Nama region GCP seperti us-central1. Lihat [dokumentasi Vertex](https://cloud.google.com/vertex-ai/docs/general/locations) untuk wilayah yang tersedia.

Contoh:

Aliran Kube: 

tfx run create --engine=kubeflow --pipeline_name=pipeline-name --iap_client_id=iap-client-id \
--namespace=namespace --endpoint=endpoint

Lokal: 

tfx run create --engine=local --pipeline_name=pipeline-name

Puncak: 

tfx run create --engine=vertex --pipeline_name=pipeline-name \
  --runtime_parameter=var_name=var_value \
  --project=gcp-project-id --region=gcp-region

mengakhiri

Menghentikan jalannya alur tertentu.

**Catatan Penting: Saat ini hanya didukung di Kubeflow.

Penggunaan: 

tfx run terminate --run_id=run-id [--endpoint=endpoint --engine=engine \
--iap_client_id=iap-client-id --namespace=namespace]
--run_id= run-id
Pengidentifikasi unik untuk pengoperasian alur.
--titik akhir= endpoint

(Opsional.) Titik akhir layanan API Kubeflow Pipelines. Titik akhir layanan API Kubeflow Pipelines Anda sama dengan URL dasbor Kubeflow Pipelines. Nilai titik akhir Anda harus seperti: 

https://host-name/pipeline

Jika Anda tidak mengetahui titik akhir untuk klaster Kubeflow Pipelines Anda, hubungi administrator klaster Anda.

Jika --endpoint tidak ditentukan, nama DNS layanan dalam klaster digunakan sebagai nilai default. Nama ini hanya berfungsi jika perintah CLI dijalankan di pod pada klaster Kubeflow Pipelines, seperti instance notebook Kubeflow Jupyter .

--mesin= engine

(Opsional.) Orkestra yang akan digunakan untuk pipeline. Nilai mesin harus sesuai dengan nilai berikut:

  • kubeflow : menyetel mesin ke Kubeflow

Jika mesin tidak disetel, mesin akan terdeteksi secara otomatis berdasarkan lingkungan.

**Catatan penting: Orkestra yang diperlukan oleh DagRunner dalam file konfigurasi pipeline harus cocok dengan mesin yang dipilih atau terdeteksi secara otomatis. Deteksi otomatis mesin didasarkan pada lingkungan pengguna. Jika Apache Airflow dan Kubeflow Pipelines tidak diinstal, maka orkestrator lokal akan digunakan secara default.

--iap_client_id= iap-client-id
(Opsional.) ID Klien untuk titik akhir yang dilindungi IAP.
--namespace= namespace
(Opsional.) Namespace Kubernetes untuk terhubung ke Kubeflow Pipelines API. Jika namespace tidak ditentukan, nilai defaultnya adalah kubeflow .

Contoh:

Aliran Kube: 

tfx run delete --engine=kubeflow --run_id=run-id --iap_client_id=iap-client-id \
--namespace=namespace --endpoint=endpoint

daftar

Mencantumkan semua alur yang berjalan.

** Catatan Penting: Saat ini tidak didukung di Local dan Apache Beam.

Penggunaan: 

tfx run list --pipeline_name=pipeline-name [--endpoint=endpoint \
--engine=engine --iap_client_id=iap-client-id --namespace=namespace]
--nama_pipa= pipeline-name
Nama pipanya.
--titik akhir= endpoint

(Opsional.) Titik akhir layanan API Kubeflow Pipelines. Titik akhir layanan API Kubeflow Pipelines Anda sama dengan URL dasbor Kubeflow Pipelines. Nilai titik akhir Anda harus seperti: 

https://host-name/pipeline

Jika Anda tidak mengetahui titik akhir untuk klaster Kubeflow Pipelines Anda, hubungi administrator klaster Anda.

Jika --endpoint tidak ditentukan, nama DNS layanan dalam klaster digunakan sebagai nilai default. Nama ini hanya berfungsi jika perintah CLI dijalankan di pod pada klaster Kubeflow Pipelines, seperti instance notebook Kubeflow Jupyter .

--mesin= engine

(Opsional.) Orkestra yang akan digunakan untuk pipeline. Nilai mesin harus sesuai dengan nilai berikut:

  • kubeflow : menyetel mesin ke Kubeflow
  • airflow : (eksperimental) menyetel mesin ke Apache Airflow

Jika mesin tidak disetel, mesin akan terdeteksi secara otomatis berdasarkan lingkungan.

**Catatan penting: Orkestra yang diperlukan oleh DagRunner dalam file konfigurasi pipeline harus cocok dengan mesin yang dipilih atau terdeteksi secara otomatis. Deteksi otomatis mesin didasarkan pada lingkungan pengguna. Jika Apache Airflow dan Kubeflow Pipelines tidak diinstal, maka orkestrator lokal akan digunakan secara default.

--iap_client_id= iap-client-id
(Opsional.) ID Klien untuk titik akhir yang dilindungi IAP.
--namespace= namespace
(Opsional.) Namespace Kubernetes untuk terhubung ke Kubeflow Pipelines API. Jika namespace tidak ditentukan, nilai defaultnya adalah kubeflow .

Contoh:

Aliran Kube: 

tfx run list --engine=kubeflow --pipeline_name=pipeline-name --iap_client_id=iap-client-id \
--namespace=namespace --endpoint=endpoint

status

Mengembalikan status eksekusi saat ini.

** Catatan Penting: Saat ini tidak didukung di Lokal dan Apache Beam.

Penggunaan: 

tfx run status --pipeline_name=pipeline-name --run_id=run-id [--endpoint=endpoint \
--engine=engine --iap_client_id=iap-client-id --namespace=namespace]
--nama_pipa= pipeline-name
Nama pipanya.
--run_id= run-id
Pengidentifikasi unik untuk pengoperasian alur.
--titik akhir= endpoint

(Opsional.) Titik akhir layanan API Kubeflow Pipelines. Titik akhir layanan API Kubeflow Pipelines Anda sama dengan URL dasbor Kubeflow Pipelines. Nilai titik akhir Anda harus seperti: 

https://host-name/pipeline

Jika Anda tidak mengetahui titik akhir untuk klaster Kubeflow Pipelines Anda, hubungi administrator klaster Anda.

Jika --endpoint tidak ditentukan, nama DNS layanan dalam klaster digunakan sebagai nilai default. Nama ini hanya berfungsi jika perintah CLI dijalankan di pod pada klaster Kubeflow Pipelines, seperti instance notebook Kubeflow Jupyter .

--mesin= engine

(Opsional.) Orkestra yang akan digunakan untuk pipeline. Nilai mesin harus sesuai dengan nilai berikut:

  • kubeflow : menyetel mesin ke Kubeflow
  • airflow : (eksperimental) menyetel mesin ke Apache Airflow

Jika mesin tidak disetel, mesin akan terdeteksi secara otomatis berdasarkan lingkungan.

**Catatan penting: Orkestra yang diperlukan oleh DagRunner dalam file konfigurasi pipeline harus cocok dengan mesin yang dipilih atau terdeteksi secara otomatis. Deteksi otomatis mesin didasarkan pada lingkungan pengguna. Jika Apache Airflow dan Kubeflow Pipelines tidak diinstal, maka orkestrator lokal akan digunakan secara default.

--iap_client_id= iap-client-id
(Opsional.) ID Klien untuk titik akhir yang dilindungi IAP.
--namespace= namespace
(Opsional.) Namespace Kubernetes untuk terhubung ke Kubeflow Pipelines API. Jika namespace tidak ditentukan, nilai defaultnya adalah kubeflow .

Contoh:

Aliran Kube: 

tfx run status --engine=kubeflow --run_id=run-id --pipeline_name=pipeline-name \
--iap_client_id=iap-client-id --namespace=namespace --endpoint=endpoint

menghapus

Menghapus eksekusi alur tertentu.

**Catatan Penting: Saat ini hanya didukung di Kubeflow

Penggunaan: 

tfx run delete --run_id=run-id [--engine=engine --iap_client_id=iap-client-id \
--namespace=namespace --endpoint=endpoint]
--run_id= run-id
Pengidentifikasi unik untuk pengoperasian alur.
--titik akhir= endpoint

(Opsional.) Titik akhir layanan API Kubeflow Pipelines. Titik akhir layanan API Kubeflow Pipelines Anda sama dengan URL dasbor Kubeflow Pipelines. Nilai titik akhir Anda harus seperti: 

https://host-name/pipeline

Jika Anda tidak mengetahui titik akhir untuk klaster Kubeflow Pipelines Anda, hubungi administrator klaster Anda.

Jika --endpoint tidak ditentukan, nama DNS layanan dalam klaster digunakan sebagai nilai default. Nama ini hanya berfungsi jika perintah CLI dijalankan di pod pada klaster Kubeflow Pipelines, seperti instance notebook Kubeflow Jupyter .

--mesin= engine

(Opsional.) Orkestra yang akan digunakan untuk pipeline. Nilai mesin harus sesuai dengan nilai berikut:

  • kubeflow : menyetel mesin ke Kubeflow

Jika mesin tidak disetel, mesin akan terdeteksi secara otomatis berdasarkan lingkungan.

**Catatan penting: Orkestra yang diperlukan oleh DagRunner dalam file konfigurasi pipeline harus cocok dengan mesin yang dipilih atau terdeteksi secara otomatis. Deteksi otomatis mesin didasarkan pada lingkungan pengguna. Jika Apache Airflow dan Kubeflow Pipelines tidak diinstal, maka orkestrator lokal akan digunakan secara default.

--iap_client_id= iap-client-id
(Opsional.) ID Klien untuk titik akhir yang dilindungi IAP.
--namespace= namespace
(Opsional.) Namespace Kubernetes untuk terhubung ke Kubeflow Pipelines API. Jika namespace tidak ditentukan, nilai defaultnya adalah kubeflow .

Contoh:

Aliran Kube: 

tfx run delete --engine=kubeflow --run_id=run-id --iap_client_id=iap-client-id \
--namespace=namespace --endpoint=endpoint

templat tfx [Eksperimental]

Struktur perintah pada grup perintah tfx template adalah sebagai berikut: 

tfx template command required-flags [optional-flags]

Gunakan bagian berikut untuk mempelajari lebih lanjut tentang perintah di grup perintah tfx template . Templat adalah fitur eksperimental dan dapat berubah sewaktu-waktu.

daftar

Cantumkan templat saluran TFX yang tersedia.

Penggunaan: 

tfx template list

menyalin

Salin templat ke direktori tujuan.

Penggunaan: 

tfx template copy --model=model --pipeline_name=pipeline-name \
--destination_path=destination-path
--model= model
Nama model yang dibuat oleh templat alur.
--nama_pipa= pipeline-name
Nama pipanya.
--jalur_tujuan= destination-path
Jalur untuk menyalin templat.

Memahami Bendera TFX CLI

Bendera umum

--mesin= engine

Orkestra yang akan digunakan untuk pipeline. Nilai mesin harus sesuai dengan nilai berikut:

  • kubeflow : menyetel mesin ke Kubeflow
  • lokal : menyetel mesin ke orkestra lokal
  • vertex : menyetel mesin ke Vertex Pipelines
  • airflow : (eksperimental) menyetel mesin ke Apache Airflow
  • beam : (eksperimental) menyetel mesin ke Apache Beam

Jika mesin tidak disetel, mesin akan terdeteksi secara otomatis berdasarkan lingkungan.

**Catatan penting: Orkestra yang diperlukan oleh DagRunner dalam file konfigurasi pipeline harus cocok dengan mesin yang dipilih atau terdeteksi secara otomatis. Deteksi otomatis mesin didasarkan pada lingkungan pengguna. Jika Apache Airflow dan Kubeflow Pipelines tidak diinstal, maka orkestrator lokal akan digunakan secara default.

--nama_pipa= pipeline-name
Nama pipanya.
--pipeline_path= pipeline-path
Jalur ke file konfigurasi alur.
--run_id= run-id
Pengidentifikasi unik untuk pengoperasian alur.

Bendera khusus Kubeflow

--titik akhir= endpoint

Titik akhir layanan API Kubeflow Pipelines. Titik akhir layanan API Kubeflow Pipelines Anda sama dengan URL dasbor Kubeflow Pipelines. Nilai titik akhir Anda harus seperti: 

https://host-name/pipeline

Jika Anda tidak mengetahui titik akhir untuk klaster Kubeflow Pipelines Anda, hubungi administrator klaster Anda.

Jika --endpoint tidak ditentukan, nama DNS layanan dalam klaster digunakan sebagai nilai default. Nama ini hanya berfungsi jika perintah CLI dijalankan di pod pada klaster Kubeflow Pipelines, seperti instance notebook Kubeflow Jupyter .

--iap_client_id= iap-client-id
ID Klien untuk titik akhir yang dilindungi IAP.
--namespace= namespace
Namespace Kubernetes untuk terhubung ke Kubeflow Pipelines API. Jika namespace tidak ditentukan, nilai defaultnya adalah kubeflow .

File yang dihasilkan oleh TFX CLI

Saat alur dibuat dan dijalankan, beberapa file dihasilkan untuk manajemen alur.

  • ${HOME}/tfx/local, balok, aliran udara, simpul
    • Metadata pipeline yang dibaca dari konfigurasi disimpan di ${HOME}/tfx/${ORCHESTRATION_ENGINE}/${PIPELINE_NAME} . Lokasi ini dapat dikustomisasi dengan mengatur variabel lingkungan seperti AIRFLOW_HOME atau KUBEFLOW_HOME . Perilaku ini mungkin diubah pada rilis mendatang. Direktori ini digunakan untuk menyimpan informasi pipeline termasuk id pipeline di cluster Kubeflow Pipelines yang diperlukan untuk membuat proses atau memperbarui pipeline.
    • Sebelum TFX 0.25, file-file ini berada di bawah ${HOME}/${ORCHESTRATION_ENGINE} . Di TFX 0.25, file di lokasi lama akan dipindahkan ke lokasi baru secara otomatis untuk kelancaran migrasi.
    • Mulai TFX 0.27, kubeflow tidak membuat file metadata ini di sistem file lokal. Namun, lihat di bawah untuk file lain yang dibuat kubeflow.
  • (Khusus Kubeflow) Dockerfile dan image container
    • Kubeflow Pipelines memerlukan dua jenis input untuk sebuah pipeline. File-file ini dihasilkan oleh TFX di direktori saat ini.
    • Salah satunya adalah gambar container yang akan digunakan untuk menjalankan komponen di dalam pipeline. Gambar container ini dibuat ketika pipeline untuk Kubeflow Pipelines dibuat atau diperbarui dengan flag --build-image . TFX CLI akan menghasilkan Dockerfile jika tidak ada, dan akan membangun dan mendorong image container ke registri yang ditentukan di KubeflowDagRunnerConfig.