Antarmuka baris perintah (CLI) TFX melakukan berbagai tindakan pipeline menggunakan orkestrator pipeline, seperti Kubeflow Pipelines, Vertex Pipelines. Orkestra lokal juga dapat digunakan untuk pengembangan atau debugging yang lebih cepat. Apache Beam dan aliran udara Apache didukung sebagai fitur eksperimental. Misalnya, Anda dapat menggunakan CLI untuk:
- Membuat, memperbarui, dan menghapus alur.
- Jalankan pipeline dan pantau jalannya di berbagai orkestrator.
- Daftar alur dan alur berjalan.
Tentang TFX CLI
TFX CLI diinstal sebagai bagian dari paket TFX. Semua perintah CLI mengikuti struktur di bawah ini:
tfx command-group command flags
Opsi command-group berikut saat ini didukung:
- pipa tfx - Membuat dan mengelola pipa TFX.
- tfx run - Membuat dan mengelola proses pipeline TFX di berbagai platform orkestrasi.
- templat tfx - Perintah eksperimental untuk membuat daftar dan menyalin templat saluran TFX.
Setiap grup perintah menyediakan serangkaian commands . Ikuti instruksi di bagian perintah alur , jalankan perintah , dan perintah templat untuk mempelajari lebih lanjut tentang penggunaan perintah ini.
Bendera memungkinkan Anda meneruskan argumen ke dalam perintah CLI. Kata-kata dalam bendera dipisahkan dengan tanda hubung ( -
) atau garis bawah ( _
). Misalnya, tanda nama pipa dapat ditentukan sebagai --pipeline-name
atau --pipeline_name
. Dokumen ini menetapkan bendera dengan garis bawah agar singkatnya. Pelajari lebih lanjut tentang flags yang digunakan di TFX CLI .
pipa tfx
Struktur perintah di grup perintah tfx pipeline
adalah sebagai berikut:
tfx pipeline command required-flags [optional-flags]
Gunakan bagian berikut untuk mempelajari lebih lanjut tentang perintah di grup perintah tfx pipeline
.
membuat
Membuat alur baru di orkestrator tertentu.
Penggunaan:
tfx pipeline create --pipeline_path=pipeline-path [--endpoint=endpoint --engine=engine \ --iap_client_id=iap-client-id --namespace=namespace \ --build_image --build_base_image=build-base-image]
- --pipeline_path= pipeline-path
- Jalur ke file konfigurasi alur.
- --titik akhir= endpoint
(Opsional.) Titik akhir layanan API Kubeflow Pipelines. Titik akhir layanan API Kubeflow Pipelines Anda sama dengan URL dasbor Kubeflow Pipelines. Nilai titik akhir Anda harus seperti:
https://host-name/pipeline
Jika Anda tidak mengetahui titik akhir untuk klaster Kubeflow Pipelines Anda, hubungi administrator klaster Anda.
Jika
--endpoint
tidak ditentukan, nama DNS layanan dalam klaster digunakan sebagai nilai default. Nama ini hanya berfungsi jika perintah CLI dijalankan di pod pada klaster Kubeflow Pipelines, seperti instance notebook Kubeflow Jupyter .- --mesin= engine
(Opsional.) Orkestra yang akan digunakan untuk pipeline. Nilai mesin harus sesuai dengan nilai berikut:
- kubeflow : menyetel mesin ke Kubeflow
- lokal : menyetel mesin ke orkestra lokal
- vertex : menyetel mesin ke Vertex Pipelines
- airflow : (eksperimental) menyetel mesin ke Apache Airflow
- beam : (eksperimental) menyetel mesin ke Apache Beam
Jika mesin tidak disetel, mesin akan terdeteksi secara otomatis berdasarkan lingkungan.
**Catatan penting: Orkestra yang diperlukan oleh DagRunner dalam file konfigurasi pipeline harus cocok dengan mesin yang dipilih atau terdeteksi secara otomatis. Deteksi otomatis mesin didasarkan pada lingkungan pengguna. Jika Apache Airflow dan Kubeflow Pipelines tidak diinstal, maka orkestrator lokal akan digunakan secara default.
- --iap_client_id= iap-client-id
- (Opsional.) ID Klien untuk titik akhir yang dilindungi IAP saat menggunakan Kubeflow Pipelines.
- --namespace= namespace
- (Opsional.) Namespace Kubernetes untuk terhubung ke Kubeflow Pipelines API. Jika namespace tidak ditentukan, nilai defaultnya adalah
kubeflow
. - --build_image
(Opsional.) Jika engine adalah kubeflow atau vertex , TFX akan membuat gambar container untuk pipeline Anda jika ditentukan. `Dockerfile` di direktori saat ini akan digunakan, dan TFX akan secara otomatis membuatnya jika tidak ada.
Image yang dibuat akan dikirim ke registri jarak jauh yang ditentukan di `KubeflowDagRunnerConfig` atau `KubeflowV2DagRunnerConfig`.
- --build_base_image= build-base-image
(Opsional.) Jika engine adalah kubeflow , TFX akan membuat gambar container untuk pipeline Anda. Gambar dasar build menentukan gambar kontainer dasar yang akan digunakan saat membuat gambar kontainer alur.
Contoh:
Aliran Kube:
tfx pipeline create --engine=kubeflow --pipeline_path=pipeline-path \ --iap_client_id=iap-client-id --namespace=namespace --endpoint=endpoint \ --build_image
Lokal:
tfx pipeline create --engine=local --pipeline_path=pipeline-path
Puncak:
tfx pipeline create --engine=vertex --pipeline_path=pipeline-path \ --build_image
Untuk mendeteksi mesin secara otomatis dari lingkungan pengguna, hindari penggunaan flag mesin seperti contoh di bawah ini. Untuk lebih jelasnya, periksa bagian bendera.
tfx pipeline create --pipeline_path=pipeline-path
memperbarui
Memperbarui alur yang ada di orkestrator tertentu.
Penggunaan:
tfx pipeline update --pipeline_path=pipeline-path [--endpoint=endpoint --engine=engine \ --iap_client_id=iap-client-id --namespace=namespace --build_image]
- --pipeline_path= pipeline-path
- Jalur ke file konfigurasi alur.
- --titik akhir= endpoint
(Opsional.) Titik akhir layanan API Kubeflow Pipelines. Titik akhir layanan API Kubeflow Pipelines Anda sama dengan URL dasbor Kubeflow Pipelines. Nilai titik akhir Anda harus seperti:
https://host-name/pipeline
Jika Anda tidak mengetahui titik akhir untuk klaster Kubeflow Pipelines Anda, hubungi administrator klaster Anda.
Jika
--endpoint
tidak ditentukan, nama DNS layanan dalam klaster digunakan sebagai nilai default. Nama ini hanya berfungsi jika perintah CLI dijalankan di pod pada klaster Kubeflow Pipelines, seperti instance notebook Kubeflow Jupyter .- --mesin= engine
(Opsional.) Orkestra yang akan digunakan untuk pipeline. Nilai mesin harus sesuai dengan nilai berikut:
- kubeflow : menyetel mesin ke Kubeflow
- lokal : menyetel mesin ke orkestra lokal
- vertex : menyetel mesin ke Vertex Pipelines
- airflow : (eksperimental) menyetel mesin ke Apache Airflow
- beam : (eksperimental) menyetel mesin ke Apache Beam
Jika mesin tidak disetel, mesin akan terdeteksi secara otomatis berdasarkan lingkungan.
**Catatan penting: Orkestra yang diperlukan oleh DagRunner dalam file konfigurasi pipeline harus cocok dengan mesin yang dipilih atau terdeteksi secara otomatis. Deteksi otomatis mesin didasarkan pada lingkungan pengguna. Jika Apache Airflow dan Kubeflow Pipelines tidak diinstal, maka orkestrator lokal akan digunakan secara default.
- --iap_client_id= iap-client-id
- (Opsional.) ID Klien untuk titik akhir yang dilindungi IAP.
- --namespace= namespace
- (Opsional.) Namespace Kubernetes untuk terhubung ke Kubeflow Pipelines API. Jika namespace tidak ditentukan, nilai defaultnya adalah
kubeflow
. - --build_image
(Opsional.) Jika engine adalah kubeflow atau vertex , TFX akan membuat gambar container untuk pipeline Anda jika ditentukan. `Dockerfile` di direktori saat ini akan digunakan.
Image yang dibuat akan dikirim ke registri jarak jauh yang ditentukan di `KubeflowDagRunnerConfig` atau `KubeflowV2DagRunnerConfig`.
Contoh:
Aliran Kube:
tfx pipeline update --engine=kubeflow --pipeline_path=pipeline-path \ --iap_client_id=iap-client-id --namespace=namespace --endpoint=endpoint \ --build_image
Lokal:
tfx pipeline update --engine=local --pipeline_path=pipeline-path
Puncak:
tfx pipeline update --engine=vertex --pipeline_path=pipeline-path \ --build_image
menyusun
Mengompilasi file konfigurasi pipeline untuk membuat file alur kerja di Kubeflow dan melakukan pemeriksaan berikut saat mengompilasi:
- Memeriksa apakah jalur pipa valid.
- Memeriksa apakah detail alur berhasil diekstraksi dari file konfigurasi alur.
- Memeriksa apakah konfigurasi DagRunner di pipeline cocok dengan mesin.
- Memeriksa apakah file alur kerja berhasil dibuat di jalur paket yang disediakan (hanya untuk Kubeflow).
Direkomendasikan untuk digunakan sebelum membuat atau memperbarui alur.
Penggunaan:
tfx pipeline compile --pipeline_path=pipeline-path [--engine=engine]
- --pipeline_path= pipeline-path
- Jalur ke file konfigurasi alur.
- --mesin= engine
(Opsional.) Orkestra yang akan digunakan untuk pipeline. Nilai mesin harus sesuai dengan nilai berikut:
- kubeflow : menyetel mesin ke Kubeflow
- lokal : menyetel mesin ke orkestra lokal
- vertex : menyetel mesin ke Vertex Pipelines
- airflow : (eksperimental) menyetel mesin ke Apache Airflow
- beam : (eksperimental) menyetel mesin ke Apache Beam
Jika mesin tidak disetel, mesin akan terdeteksi secara otomatis berdasarkan lingkungan.
**Catatan penting: Orkestra yang diperlukan oleh DagRunner dalam file konfigurasi pipeline harus cocok dengan mesin yang dipilih atau terdeteksi secara otomatis. Deteksi otomatis mesin didasarkan pada lingkungan pengguna. Jika Apache Airflow dan Kubeflow Pipelines tidak diinstal, maka orkestrator lokal akan digunakan secara default.
Contoh:
Aliran Kube:
tfx pipeline compile --engine=kubeflow --pipeline_path=pipeline-path
Lokal:
tfx pipeline compile --engine=local --pipeline_path=pipeline-path
Puncak:
tfx pipeline compile --engine=vertex --pipeline_path=pipeline-path
menghapus
Menghapus alur dari orkestrator tertentu.
Penggunaan:
tfx pipeline delete --pipeline_path=pipeline-path [--endpoint=endpoint --engine=engine \ --iap_client_id=iap-client-id --namespace=namespace]
- --pipeline_path= pipeline-path
- Jalur ke file konfigurasi alur.
- --titik akhir= endpoint
(Opsional.) Titik akhir layanan API Kubeflow Pipelines. Titik akhir layanan API Kubeflow Pipelines Anda sama dengan URL dasbor Kubeflow Pipelines. Nilai titik akhir Anda harus seperti:
https://host-name/pipeline
Jika Anda tidak mengetahui titik akhir untuk klaster Kubeflow Pipelines Anda, hubungi administrator klaster Anda.
Jika
--endpoint
tidak ditentukan, nama DNS layanan dalam klaster digunakan sebagai nilai default. Nama ini hanya berfungsi jika perintah CLI dijalankan di pod pada klaster Kubeflow Pipelines, seperti instance notebook Kubeflow Jupyter .- --mesin= engine
(Opsional.) Orkestra yang akan digunakan untuk pipeline. Nilai mesin harus sesuai dengan nilai berikut:
- kubeflow : menyetel mesin ke Kubeflow
- lokal : menyetel mesin ke orkestra lokal
- vertex : menyetel mesin ke Vertex Pipelines
- airflow : (eksperimental) menyetel mesin ke Apache Airflow
- beam : (eksperimental) menyetel mesin ke Apache Beam
Jika mesin tidak disetel, mesin akan terdeteksi secara otomatis berdasarkan lingkungan.
**Catatan penting: Orkestra yang diperlukan oleh DagRunner dalam file konfigurasi pipeline harus cocok dengan mesin yang dipilih atau terdeteksi secara otomatis. Deteksi otomatis mesin didasarkan pada lingkungan pengguna. Jika Apache Airflow dan Kubeflow Pipelines tidak diinstal, maka orkestrator lokal akan digunakan secara default.
- --iap_client_id= iap-client-id
- (Opsional.) ID Klien untuk titik akhir yang dilindungi IAP.
- --namespace= namespace
- (Opsional.) Namespace Kubernetes untuk terhubung ke Kubeflow Pipelines API. Jika namespace tidak ditentukan, nilai defaultnya adalah
kubeflow
.
Contoh:
Aliran Kube:
tfx pipeline delete --engine=kubeflow --pipeline_name=pipeline-name \ --iap_client_id=iap-client-id --namespace=namespace --endpoint=endpoint
Lokal:
tfx pipeline delete --engine=local --pipeline_name=pipeline-name
Puncak:
tfx pipeline delete --engine=vertex --pipeline_name=pipeline-name
daftar
Mencantumkan semua saluran pipa di orkestrator tertentu.
Penggunaan:
tfx pipeline list [--endpoint=endpoint --engine=engine \ --iap_client_id=iap-client-id --namespace=namespace]
- --titik akhir= endpoint
(Opsional.) Titik akhir layanan API Kubeflow Pipelines. Titik akhir layanan API Kubeflow Pipelines Anda sama dengan URL dasbor Kubeflow Pipelines. Nilai titik akhir Anda harus seperti:
https://host-name/pipeline
Jika Anda tidak mengetahui titik akhir untuk klaster Kubeflow Pipelines Anda, hubungi administrator klaster Anda.
Jika
--endpoint
tidak ditentukan, nama DNS layanan dalam klaster digunakan sebagai nilai default. Nama ini hanya berfungsi jika perintah CLI dijalankan di pod pada klaster Kubeflow Pipelines, seperti instance notebook Kubeflow Jupyter .- --mesin= engine
(Opsional.) Orkestra yang akan digunakan untuk pipeline. Nilai mesin harus sesuai dengan nilai berikut:
- kubeflow : menyetel mesin ke Kubeflow
- lokal : menyetel mesin ke orkestra lokal
- vertex : menyetel mesin ke Vertex Pipelines
- airflow : (eksperimental) menyetel mesin ke Apache Airflow
- beam : (eksperimental) menyetel mesin ke Apache Beam
Jika mesin tidak disetel, mesin akan terdeteksi secara otomatis berdasarkan lingkungan.
**Catatan penting: Orkestra yang diperlukan oleh DagRunner dalam file konfigurasi pipeline harus cocok dengan mesin yang dipilih atau terdeteksi secara otomatis. Deteksi otomatis mesin didasarkan pada lingkungan pengguna. Jika Apache Airflow dan Kubeflow Pipelines tidak diinstal, maka orkestrator lokal akan digunakan secara default.
- --iap_client_id= iap-client-id
- (Opsional.) ID Klien untuk titik akhir yang dilindungi IAP.
- --namespace= namespace
- (Opsional.) Namespace Kubernetes untuk terhubung ke Kubeflow Pipelines API. Jika namespace tidak ditentukan, nilai defaultnya adalah
kubeflow
.
Contoh:
Aliran Kube:
tfx pipeline list --engine=kubeflow --iap_client_id=iap-client-id \ --namespace=namespace --endpoint=endpoint
Lokal:
tfx pipeline list --engine=local
Puncak:
tfx pipeline list --engine=vertex
tfx dijalankan
Struktur perintah di grup perintah tfx run
adalah sebagai berikut:
tfx run command required-flags [optional-flags]
Gunakan bagian berikut untuk mempelajari lebih lanjut tentang perintah di grup perintah tfx run
.
membuat
Membuat instans eksekusi baru untuk alur di orkestrator. Untuk Kubeflow, versi pipeline terbaru dari pipeline di cluster digunakan.
Penggunaan:
tfx run create --pipeline_name=pipeline-name [--endpoint=endpoint \ --engine=engine --iap_client_id=iap-client-id --namespace=namespace]
- --nama_pipa= pipeline-name
- Nama pipanya.
- --titik akhir= endpoint
(Opsional.) Titik akhir layanan API Kubeflow Pipelines. Titik akhir layanan API Kubeflow Pipelines Anda sama dengan URL dasbor Kubeflow Pipelines. Nilai titik akhir Anda harus seperti:
https://host-name/pipeline
Jika Anda tidak mengetahui titik akhir untuk klaster Kubeflow Pipelines Anda, hubungi administrator klaster Anda.
Jika
--endpoint
tidak ditentukan, nama DNS layanan dalam klaster digunakan sebagai nilai default. Nama ini hanya berfungsi jika perintah CLI dijalankan di pod pada klaster Kubeflow Pipelines, seperti instance notebook Kubeflow Jupyter .- --mesin= engine
(Opsional.) Orkestra yang akan digunakan untuk pipeline. Nilai mesin harus sesuai dengan nilai berikut:
- kubeflow : menyetel mesin ke Kubeflow
- lokal : menyetel mesin ke orkestra lokal
- vertex : menyetel mesin ke Vertex Pipelines
- airflow : (eksperimental) menyetel mesin ke Apache Airflow
- beam : (eksperimental) menyetel mesin ke Apache Beam
Jika mesin tidak disetel, mesin akan terdeteksi secara otomatis berdasarkan lingkungan.
**Catatan penting: Orkestra yang diperlukan oleh DagRunner dalam file konfigurasi pipeline harus cocok dengan mesin yang dipilih atau terdeteksi secara otomatis. Deteksi otomatis mesin didasarkan pada lingkungan pengguna. Jika Apache Airflow dan Kubeflow Pipelines tidak diinstal, maka orkestrator lokal akan digunakan secara default.
- --runtime_parameter= parameter-name = parameter-value
- (Opsional.) Menetapkan nilai parameter runtime. Dapat diatur beberapa kali untuk menetapkan nilai beberapa variabel. Hanya berlaku untuk mesin `airflow`, `kubeflow` dan `vertex`.
- --iap_client_id= iap-client-id
- (Opsional.) ID Klien untuk titik akhir yang dilindungi IAP.
- --namespace= namespace
- (Opsional.) Namespace Kubernetes untuk terhubung ke Kubeflow Pipelines API. Jika namespace tidak ditentukan, nilai defaultnya adalah
kubeflow
. - --proyek= GCP-project-id
- (Diperlukan untuk Vertex.) ID project GCP untuk pipeline vertex.
- --wilayah= GCP-region
- (Diperlukan untuk Vertex.) Nama region GCP seperti us-central1. Lihat [dokumentasi Vertex](https://cloud.google.com/vertex-ai/docs/general/locations) untuk wilayah yang tersedia.
Contoh:
Aliran Kube:
tfx run create --engine=kubeflow --pipeline_name=pipeline-name --iap_client_id=iap-client-id \ --namespace=namespace --endpoint=endpoint
Lokal:
tfx run create --engine=local --pipeline_name=pipeline-name
Puncak:
tfx run create --engine=vertex --pipeline_name=pipeline-name \ --runtime_parameter=var_name=var_value \ --project=gcp-project-id --region=gcp-region
mengakhiri
Menghentikan jalannya alur tertentu.
**Catatan Penting: Saat ini hanya didukung di Kubeflow.
Penggunaan:
tfx run terminate --run_id=run-id [--endpoint=endpoint --engine=engine \ --iap_client_id=iap-client-id --namespace=namespace]
- --run_id= run-id
- Pengidentifikasi unik untuk pengoperasian alur.
- --titik akhir= endpoint
(Opsional.) Titik akhir layanan API Kubeflow Pipelines. Titik akhir layanan API Kubeflow Pipelines Anda sama dengan URL dasbor Kubeflow Pipelines. Nilai titik akhir Anda harus seperti:
https://host-name/pipeline
Jika Anda tidak mengetahui titik akhir untuk klaster Kubeflow Pipelines Anda, hubungi administrator klaster Anda.
Jika
--endpoint
tidak ditentukan, nama DNS layanan dalam klaster digunakan sebagai nilai default. Nama ini hanya berfungsi jika perintah CLI dijalankan di pod pada klaster Kubeflow Pipelines, seperti instance notebook Kubeflow Jupyter .- --mesin= engine
(Opsional.) Orkestra yang akan digunakan untuk pipeline. Nilai mesin harus sesuai dengan nilai berikut:
- kubeflow : menyetel mesin ke Kubeflow
Jika mesin tidak disetel, mesin akan terdeteksi secara otomatis berdasarkan lingkungan.
**Catatan penting: Orkestra yang diperlukan oleh DagRunner dalam file konfigurasi pipeline harus cocok dengan mesin yang dipilih atau terdeteksi secara otomatis. Deteksi otomatis mesin didasarkan pada lingkungan pengguna. Jika Apache Airflow dan Kubeflow Pipelines tidak diinstal, maka orkestrator lokal akan digunakan secara default.
- --iap_client_id= iap-client-id
- (Opsional.) ID Klien untuk titik akhir yang dilindungi IAP.
- --namespace= namespace
- (Opsional.) Namespace Kubernetes untuk terhubung ke Kubeflow Pipelines API. Jika namespace tidak ditentukan, nilai defaultnya adalah
kubeflow
.
Contoh:
Aliran Kube:
tfx run delete --engine=kubeflow --run_id=run-id --iap_client_id=iap-client-id \ --namespace=namespace --endpoint=endpoint
daftar
Mencantumkan semua alur yang berjalan.
** Catatan Penting: Saat ini tidak didukung di Local dan Apache Beam.
Penggunaan:
tfx run list --pipeline_name=pipeline-name [--endpoint=endpoint \ --engine=engine --iap_client_id=iap-client-id --namespace=namespace]
- --nama_pipa= pipeline-name
- Nama pipanya.
- --titik akhir= endpoint
(Opsional.) Titik akhir layanan API Kubeflow Pipelines. Titik akhir layanan API Kubeflow Pipelines Anda sama dengan URL dasbor Kubeflow Pipelines. Nilai titik akhir Anda harus seperti:
https://host-name/pipeline
Jika Anda tidak mengetahui titik akhir untuk klaster Kubeflow Pipelines Anda, hubungi administrator klaster Anda.
Jika
--endpoint
tidak ditentukan, nama DNS layanan dalam klaster digunakan sebagai nilai default. Nama ini hanya berfungsi jika perintah CLI dijalankan di pod pada klaster Kubeflow Pipelines, seperti instance notebook Kubeflow Jupyter .- --mesin= engine
(Opsional.) Orkestra yang akan digunakan untuk pipeline. Nilai mesin harus sesuai dengan nilai berikut:
- kubeflow : menyetel mesin ke Kubeflow
- airflow : (eksperimental) menyetel mesin ke Apache Airflow
Jika mesin tidak disetel, mesin akan terdeteksi secara otomatis berdasarkan lingkungan.
**Catatan penting: Orkestra yang diperlukan oleh DagRunner dalam file konfigurasi pipeline harus cocok dengan mesin yang dipilih atau terdeteksi secara otomatis. Deteksi otomatis mesin didasarkan pada lingkungan pengguna. Jika Apache Airflow dan Kubeflow Pipelines tidak diinstal, maka orkestrator lokal akan digunakan secara default.
- --iap_client_id= iap-client-id
- (Opsional.) ID Klien untuk titik akhir yang dilindungi IAP.
- --namespace= namespace
- (Opsional.) Namespace Kubernetes untuk terhubung ke Kubeflow Pipelines API. Jika namespace tidak ditentukan, nilai defaultnya adalah
kubeflow
.
Contoh:
Aliran Kube:
tfx run list --engine=kubeflow --pipeline_name=pipeline-name --iap_client_id=iap-client-id \ --namespace=namespace --endpoint=endpoint
status
Mengembalikan status eksekusi saat ini.
** Catatan Penting: Saat ini tidak didukung di Lokal dan Apache Beam.
Penggunaan:
tfx run status --pipeline_name=pipeline-name --run_id=run-id [--endpoint=endpoint \ --engine=engine --iap_client_id=iap-client-id --namespace=namespace]
- --nama_pipa= pipeline-name
- Nama pipanya.
- --run_id= run-id
- Pengidentifikasi unik untuk pengoperasian alur.
- --titik akhir= endpoint
(Opsional.) Titik akhir layanan API Kubeflow Pipelines. Titik akhir layanan API Kubeflow Pipelines Anda sama dengan URL dasbor Kubeflow Pipelines. Nilai titik akhir Anda harus seperti:
https://host-name/pipeline
Jika Anda tidak mengetahui titik akhir untuk klaster Kubeflow Pipelines Anda, hubungi administrator klaster Anda.
Jika
--endpoint
tidak ditentukan, nama DNS layanan dalam klaster digunakan sebagai nilai default. Nama ini hanya berfungsi jika perintah CLI dijalankan di pod pada klaster Kubeflow Pipelines, seperti instance notebook Kubeflow Jupyter .- --mesin= engine
(Opsional.) Orkestra yang akan digunakan untuk pipeline. Nilai mesin harus sesuai dengan nilai berikut:
- kubeflow : menyetel mesin ke Kubeflow
- airflow : (eksperimental) menyetel mesin ke Apache Airflow
Jika mesin tidak disetel, mesin akan terdeteksi secara otomatis berdasarkan lingkungan.
**Catatan penting: Orkestra yang diperlukan oleh DagRunner dalam file konfigurasi pipeline harus cocok dengan mesin yang dipilih atau terdeteksi secara otomatis. Deteksi otomatis mesin didasarkan pada lingkungan pengguna. Jika Apache Airflow dan Kubeflow Pipelines tidak diinstal, maka orkestrator lokal akan digunakan secara default.
- --iap_client_id= iap-client-id
- (Opsional.) ID Klien untuk titik akhir yang dilindungi IAP.
- --namespace= namespace
- (Opsional.) Namespace Kubernetes untuk terhubung ke Kubeflow Pipelines API. Jika namespace tidak ditentukan, nilai defaultnya adalah
kubeflow
.
Contoh:
Aliran Kube:
tfx run status --engine=kubeflow --run_id=run-id --pipeline_name=pipeline-name \ --iap_client_id=iap-client-id --namespace=namespace --endpoint=endpoint
menghapus
Menghapus eksekusi alur tertentu.
**Catatan Penting: Saat ini hanya didukung di Kubeflow
Penggunaan:
tfx run delete --run_id=run-id [--engine=engine --iap_client_id=iap-client-id \ --namespace=namespace --endpoint=endpoint]
- --run_id= run-id
- Pengidentifikasi unik untuk pengoperasian alur.
- --titik akhir= endpoint
(Opsional.) Titik akhir layanan API Kubeflow Pipelines. Titik akhir layanan API Kubeflow Pipelines Anda sama dengan URL dasbor Kubeflow Pipelines. Nilai titik akhir Anda harus seperti:
https://host-name/pipeline
Jika Anda tidak mengetahui titik akhir untuk klaster Kubeflow Pipelines Anda, hubungi administrator klaster Anda.
Jika
--endpoint
tidak ditentukan, nama DNS layanan dalam klaster digunakan sebagai nilai default. Nama ini hanya berfungsi jika perintah CLI dijalankan di pod pada klaster Kubeflow Pipelines, seperti instance notebook Kubeflow Jupyter .- --mesin= engine
(Opsional.) Orkestra yang akan digunakan untuk pipeline. Nilai mesin harus sesuai dengan nilai berikut:
- kubeflow : menyetel mesin ke Kubeflow
Jika mesin tidak disetel, mesin akan terdeteksi secara otomatis berdasarkan lingkungan.
**Catatan penting: Orkestra yang diperlukan oleh DagRunner dalam file konfigurasi pipeline harus cocok dengan mesin yang dipilih atau terdeteksi secara otomatis. Deteksi otomatis mesin didasarkan pada lingkungan pengguna. Jika Apache Airflow dan Kubeflow Pipelines tidak diinstal, maka orkestrator lokal akan digunakan secara default.
- --iap_client_id= iap-client-id
- (Opsional.) ID Klien untuk titik akhir yang dilindungi IAP.
- --namespace= namespace
- (Opsional.) Namespace Kubernetes untuk terhubung ke Kubeflow Pipelines API. Jika namespace tidak ditentukan, nilai defaultnya adalah
kubeflow
.
Contoh:
Aliran Kube:
tfx run delete --engine=kubeflow --run_id=run-id --iap_client_id=iap-client-id \ --namespace=namespace --endpoint=endpoint
templat tfx [Eksperimental]
Struktur perintah pada grup perintah tfx template
adalah sebagai berikut:
tfx template command required-flags [optional-flags]
Gunakan bagian berikut untuk mempelajari lebih lanjut tentang perintah di grup perintah tfx template
. Templat adalah fitur eksperimental dan dapat berubah sewaktu-waktu.
daftar
Cantumkan templat saluran TFX yang tersedia.
Penggunaan:
tfx template list
menyalin
Salin templat ke direktori tujuan.
Penggunaan:
tfx template copy --model=model --pipeline_name=pipeline-name \ --destination_path=destination-path
- --model= model
- Nama model yang dibuat oleh templat alur.
- --nama_pipa= pipeline-name
- Nama pipanya.
- --jalur_tujuan= destination-path
- Jalur untuk menyalin templat.
Memahami Bendera TFX CLI
Bendera umum
- --mesin= engine
Orkestra yang akan digunakan untuk pipeline. Nilai mesin harus sesuai dengan nilai berikut:
- kubeflow : menyetel mesin ke Kubeflow
- lokal : menyetel mesin ke orkestra lokal
- vertex : menyetel mesin ke Vertex Pipelines
- airflow : (eksperimental) menyetel mesin ke Apache Airflow
- beam : (eksperimental) menyetel mesin ke Apache Beam
Jika mesin tidak disetel, mesin akan terdeteksi secara otomatis berdasarkan lingkungan.
**Catatan penting: Orkestra yang diperlukan oleh DagRunner dalam file konfigurasi pipeline harus cocok dengan mesin yang dipilih atau terdeteksi secara otomatis. Deteksi otomatis mesin didasarkan pada lingkungan pengguna. Jika Apache Airflow dan Kubeflow Pipelines tidak diinstal, maka orkestrator lokal akan digunakan secara default.
- --nama_pipa= pipeline-name
- Nama pipanya.
- --pipeline_path= pipeline-path
- Jalur ke file konfigurasi alur.
- --run_id= run-id
- Pengidentifikasi unik untuk pengoperasian alur.
Bendera khusus Kubeflow
- --titik akhir= endpoint
Titik akhir layanan API Kubeflow Pipelines. Titik akhir layanan API Kubeflow Pipelines Anda sama dengan URL dasbor Kubeflow Pipelines. Nilai titik akhir Anda harus seperti:
https://host-name/pipeline
Jika Anda tidak mengetahui titik akhir untuk klaster Kubeflow Pipelines Anda, hubungi administrator klaster Anda.
Jika
--endpoint
tidak ditentukan, nama DNS layanan dalam klaster digunakan sebagai nilai default. Nama ini hanya berfungsi jika perintah CLI dijalankan di pod pada klaster Kubeflow Pipelines, seperti instance notebook Kubeflow Jupyter .- --iap_client_id= iap-client-id
- ID Klien untuk titik akhir yang dilindungi IAP.
- --namespace= namespace
- Namespace Kubernetes untuk terhubung ke Kubeflow Pipelines API. Jika namespace tidak ditentukan, nilai defaultnya adalah
kubeflow
.
File yang dihasilkan oleh TFX CLI
Saat alur dibuat dan dijalankan, beberapa file dihasilkan untuk manajemen alur.
- ${HOME}/tfx/local, balok, aliran udara, simpul
- Metadata pipeline yang dibaca dari konfigurasi disimpan di
${HOME}/tfx/${ORCHESTRATION_ENGINE}/${PIPELINE_NAME}
. Lokasi ini dapat dikustomisasi dengan mengatur variabel lingkungan sepertiAIRFLOW_HOME
atauKUBEFLOW_HOME
. Perilaku ini mungkin diubah pada rilis mendatang. Direktori ini digunakan untuk menyimpan informasi pipeline termasuk id pipeline di cluster Kubeflow Pipelines yang diperlukan untuk membuat proses atau memperbarui pipeline. - Sebelum TFX 0.25, file-file ini berada di bawah
${HOME}/${ORCHESTRATION_ENGINE}
. Di TFX 0.25, file di lokasi lama akan dipindahkan ke lokasi baru secara otomatis untuk kelancaran migrasi. - Mulai TFX 0.27, kubeflow tidak membuat file metadata ini di sistem file lokal. Namun, lihat di bawah untuk file lain yang dibuat kubeflow.
- Metadata pipeline yang dibaca dari konfigurasi disimpan di
- (Khusus Kubeflow) Dockerfile dan image container
- Kubeflow Pipelines memerlukan dua jenis input untuk sebuah pipeline. File-file ini dihasilkan oleh TFX di direktori saat ini.
- Salah satunya adalah gambar container yang akan digunakan untuk menjalankan komponen di dalam pipeline. Gambar container ini dibuat ketika pipeline untuk Kubeflow Pipelines dibuat atau diperbarui dengan flag
--build-image
. TFX CLI akan menghasilkanDockerfile
jika tidak ada, dan akan membangun dan mendorong image container ke registri yang ditentukan di KubeflowDagRunnerConfig.