TFX komut satırı arayüzü (CLI), Kubeflow Pipelines ve Vertex Pipelines gibi ardışık düzen orkestratörlerini kullanarak çok çeşitli ardışık düzen eylemlerini gerçekleştirir. Daha hızlı geliştirme veya hata ayıklama için yerel orkestratör de kullanılabilir. Apache Beam ve Apache hava akışı deneysel özellikler olarak desteklenir. Örneğin, CLI'yi şunları yapmak için kullanabilirsiniz:
- İşlem hatlarını oluşturun, güncelleyin ve silin.
- Bir işlem hattı çalıştırın ve çeşitli orkestratörlerdeki çalışmayı izleyin.
- İşlem hatlarını ve işlem hattı çalıştırmalarını listeleyin.
TFX CLI Hakkında
TFX CLI, TFX paketinin bir parçası olarak kurulur. Tüm CLI komutları aşağıdaki yapıyı takip eder:
tfx command-group command flags
Şu anda aşağıdaki command-group seçenekleri desteklenmektedir:
- tfx işlem hattı - TFX işlem hatlarını oluşturun ve yönetin.
- tfx run - Çeşitli düzenleme platformlarında TFX ardışık düzenlerinin çalıştırmalarını oluşturun ve yönetin.
- tfx şablonu - TFX işlem hattı şablonlarını listelemek ve kopyalamak için deneysel komutlar.
Her komut grubu bir dizi commands sağlar. Bu komutları kullanma hakkında daha fazla bilgi edinmek için ardışık düzen komutları , çalıştırma komutları ve şablon komutları bölümlerindeki talimatları izleyin.
Bayraklar, argümanları CLI komutlarına aktarmanıza olanak tanır. Bayraklardaki kelimeler kısa çizgi ( -
) veya alt çizgi ( _
) ile ayrılır. Örneğin, işlem hattı adı bayrağı --pipeline-name
veya --pipeline_name
olarak belirtilebilir. Bu belge, kısalık sağlamak amacıyla alt çizgi içeren bayrakları belirtir. TFX CLI'de kullanılan flags hakkında daha fazla bilgi edinin.
tfx boru hattı
tfx pipeline
komut grubundaki komutların yapısı aşağıdaki gibidir:
tfx pipeline command required-flags [optional-flags]
tfx pipeline
komut grubundaki komutlar hakkında daha fazla bilgi edinmek için aşağıdaki bölümleri kullanın.
yaratmak
Verilen orkestratörde yeni bir işlem hattı oluşturur.
Kullanımı:
tfx pipeline create --pipeline_path=pipeline-path [--endpoint=endpoint --engine=engine \ --iap_client_id=iap-client-id --namespace=namespace \ --build_image --build_base_image=build-base-image]
- --pipeline_path= pipeline-path
- İşlem hattı yapılandırma dosyasının yolu.
- --uç nokta= endpoint
(İsteğe bağlı.) Kubeflow Pipelines API hizmetinin uç noktası. Kubeflow Pipelines API hizmetinizin uç noktası, Kubeflow Pipelines kontrol panelinin URL'si ile aynıdır. Uç nokta değeriniz şöyle bir şey olmalıdır:
https://host-name/pipeline
Kubeflow Pipelines kümenizin uç noktasını bilmiyorsanız küme yöneticinizle iletişime geçin.
--endpoint
belirtilmezse, küme içi hizmet DNS adı varsayılan değer olarak kullanılır. Bu ad yalnızca CLI komutunun Kubeflow Jupyter not defterleri örneği gibi Kubeflow Pipelines kümesindeki bir bölmede yürütülmesi durumunda çalışır.- --motor= engine
(İsteğe bağlı.) İşlem hattı için kullanılacak orkestratör. Motorun değeri aşağıdaki değerlerden biriyle eşleşmelidir:
- kubeflow : motoru Kubeflow'a ayarlar
- local : motoru yerel orkestratöre ayarlar
- vertex : motoru Vertex Pipelines'a ayarlar
- airflow : (deneysel) motoru Apache Airflow'a ayarlar
- ışın : (deneysel) motoru Apache Beam'e ayarlar
Motor ayarlanmamışsa, motor çevreye göre otomatik olarak algılanır.
** Önemli not: İşlem hattı yapılandırma dosyasında DagRunner'ın gerektirdiği orkestratör, seçilen veya otomatik olarak algılanan motorla eşleşmelidir. Motorun otomatik tespiti kullanıcı ortamına bağlıdır. Apache Airflow ve Kubeflow Pipelines yüklü değilse varsayılan olarak yerel orkestratör kullanılır.
- --iap_client_id= iap-client-id
- (İsteğe bağlı.) Kubeflow İşlem Hatlarını kullanırken IAP korumalı uç nokta için İstemci Kimliği.
- --namespace= namespace
- (İsteğe bağlı.) Kubeflow Pipelines API'sine bağlanmak için Kubernetes ad alanı. Ad alanı belirtilmezse değer varsayılan olarak
kubeflow
olur. - --build_image
(İsteğe bağlı.) engine kubeflow veya vertex olduğunda TFX, belirtilmesi durumunda ardışık düzeniniz için bir kapsayıcı görüntüsü oluşturur. Geçerli dizindeki 'Dockerfile' kullanılacak ve TFX, mevcut değilse otomatik olarak bir tane oluşturacaktır.
Oluşturulan görüntü, 'KubeflowDagRunnerConfig' veya 'KubeflowV2DagRunnerConfig'de belirtilen uzak kayıt defterine aktarılacaktır.
- --build_base_image= build-base-image
(İsteğe bağlı.) engine kubeflow olduğunda TFX, işlem hattınız için bir kapsayıcı görüntüsü oluşturur. Yapı temel görüntüsü, işlem hattı kapsayıcı görüntüsünü oluştururken kullanılacak temel kapsayıcı görüntüsünü belirtir.
Örnekler:
Kube akışı:
tfx pipeline create --engine=kubeflow --pipeline_path=pipeline-path \ --iap_client_id=iap-client-id --namespace=namespace --endpoint=endpoint \ --build_image
Yerel:
tfx pipeline create --engine=local --pipeline_path=pipeline-path
Tepe noktası:
tfx pipeline create --engine=vertex --pipeline_path=pipeline-path \ --build_image
Motoru kullanıcı ortamından otomatik olarak algılamak için aşağıdaki örnekte olduğu gibi motor bayrağını kullanmaktan kaçının. Daha fazla ayrıntı için bayraklar bölümüne bakın.
tfx pipeline create --pipeline_path=pipeline-path
güncelleme
Belirtilen orkestratördeki mevcut bir ardışık düzeni günceller.
Kullanımı:
tfx pipeline update --pipeline_path=pipeline-path [--endpoint=endpoint --engine=engine \ --iap_client_id=iap-client-id --namespace=namespace --build_image]
- --pipeline_path= pipeline-path
- İşlem hattı yapılandırma dosyasının yolu.
- --uç nokta= endpoint
(İsteğe bağlı.) Kubeflow Pipelines API hizmetinin uç noktası. Kubeflow Pipelines API hizmetinizin uç noktası, Kubeflow Pipelines kontrol panelinin URL'si ile aynıdır. Uç nokta değeriniz şöyle bir şey olmalıdır:
https://host-name/pipeline
Kubeflow Pipelines kümenizin uç noktasını bilmiyorsanız küme yöneticinizle iletişime geçin.
--endpoint
belirtilmezse, küme içi hizmet DNS adı varsayılan değer olarak kullanılır. Bu ad yalnızca CLI komutunun Kubeflow Jupyter not defterleri örneği gibi Kubeflow Pipelines kümesindeki bir bölmede yürütülmesi durumunda çalışır.- --motor= engine
(İsteğe bağlı.) İşlem hattı için kullanılacak orkestratör. Motorun değeri aşağıdaki değerlerden biriyle eşleşmelidir:
- kubeflow : motoru Kubeflow'a ayarlar
- local : motoru yerel orkestratöre ayarlar
- vertex : motoru Vertex Pipelines'a ayarlar
- airflow : (deneysel) motoru Apache Airflow'a ayarlar
- ışın : (deneysel) motoru Apache Beam'e ayarlar
Motor ayarlanmamışsa, motor çevreye göre otomatik olarak algılanır.
** Önemli not: İşlem hattı yapılandırma dosyasında DagRunner'ın gerektirdiği orkestratör, seçilen veya otomatik olarak algılanan motorla eşleşmelidir. Motorun otomatik tespiti kullanıcı ortamına bağlıdır. Apache Airflow ve Kubeflow Pipelines yüklü değilse varsayılan olarak yerel orkestratör kullanılır.
- --iap_client_id= iap-client-id
- (İsteğe bağlı.) IAP korumalı uç nokta için İstemci Kimliği.
- --namespace= namespace
- (İsteğe bağlı.) Kubeflow Pipelines API'sine bağlanmak için Kubernetes ad alanı. Ad alanı belirtilmezse değer varsayılan olarak
kubeflow
olur. - --build_image
(İsteğe bağlı.) engine kubeflow veya vertex olduğunda TFX, belirtilmesi durumunda ardışık düzeniniz için bir kapsayıcı görüntüsü oluşturur. Geçerli dizindeki 'Dockerfile' kullanılacaktır.
Oluşturulan görüntü, 'KubeflowDagRunnerConfig' veya 'KubeflowV2DagRunnerConfig'de belirtilen uzak kayıt defterine aktarılacaktır.
Örnekler:
Kube akışı:
tfx pipeline update --engine=kubeflow --pipeline_path=pipeline-path \ --iap_client_id=iap-client-id --namespace=namespace --endpoint=endpoint \ --build_image
Yerel:
tfx pipeline update --engine=local --pipeline_path=pipeline-path
Tepe noktası:
tfx pipeline update --engine=vertex --pipeline_path=pipeline-path \ --build_image
derlemek
Kubeflow'ta bir iş akışı dosyası oluşturmak için ardışık düzen yapılandırma dosyasını derler ve derleme sırasında aşağıdaki kontrolleri gerçekleştirir:
- İşlem hattı yolunun geçerli olup olmadığını kontrol eder.
- İşlem hattı ayrıntılarının işlem hattı yapılandırma dosyasından başarıyla çıkarılıp çıkarılmadığını kontrol eder.
- İşlem hattı yapılandırmasındaki DagRunner'ın motorla eşleşip eşleşmediğini kontrol eder.
- İş akışı dosyasının sağlanan paket yolunda başarıyla oluşturulup oluşturulmadığını kontrol eder (yalnızca Kubeflow için).
Bir işlem hattı oluşturmadan veya güncellemeden önce kullanılması önerilir.
Kullanımı:
tfx pipeline compile --pipeline_path=pipeline-path [--engine=engine]
- --pipeline_path= pipeline-path
- İşlem hattı yapılandırma dosyasının yolu.
- --motor= engine
(İsteğe bağlı.) İşlem hattı için kullanılacak orkestratör. Motorun değeri aşağıdaki değerlerden biriyle eşleşmelidir:
- kubeflow : motoru Kubeflow'a ayarlar
- local : motoru yerel orkestratöre ayarlar
- vertex : motoru Vertex Pipelines'a ayarlar
- airflow : (deneysel) motoru Apache Airflow'a ayarlar
- ışın : (deneysel) motoru Apache Beam'e ayarlar
Motor ayarlanmamışsa, motor çevreye göre otomatik olarak algılanır.
** Önemli not: İşlem hattı yapılandırma dosyasında DagRunner'ın gerektirdiği orkestratör, seçilen veya otomatik olarak algılanan motorla eşleşmelidir. Motorun otomatik tespiti kullanıcı ortamına bağlıdır. Apache Airflow ve Kubeflow Pipelines yüklü değilse varsayılan olarak yerel orkestratör kullanılır.
Örnekler:
Kube akışı:
tfx pipeline compile --engine=kubeflow --pipeline_path=pipeline-path
Yerel:
tfx pipeline compile --engine=local --pipeline_path=pipeline-path
Tepe noktası:
tfx pipeline compile --engine=vertex --pipeline_path=pipeline-path
silmek
Belirtilen orkestratörden bir işlem hattını siler.
Kullanımı:
tfx pipeline delete --pipeline_path=pipeline-path [--endpoint=endpoint --engine=engine \ --iap_client_id=iap-client-id --namespace=namespace]
- --pipeline_path= pipeline-path
- İşlem hattı yapılandırma dosyasının yolu.
- --uç nokta= endpoint
(İsteğe bağlı.) Kubeflow Pipelines API hizmetinin uç noktası. Kubeflow Pipelines API hizmetinizin uç noktası, Kubeflow Pipelines kontrol panelinin URL'si ile aynıdır. Uç nokta değeriniz şöyle bir şey olmalıdır:
https://host-name/pipeline
Kubeflow Pipelines kümenizin uç noktasını bilmiyorsanız küme yöneticinizle iletişime geçin.
--endpoint
belirtilmezse, küme içi hizmet DNS adı varsayılan değer olarak kullanılır. Bu ad yalnızca CLI komutunun Kubeflow Jupyter not defterleri örneği gibi Kubeflow Pipelines kümesindeki bir bölmede yürütülmesi durumunda çalışır.- --motor= engine
(İsteğe bağlı.) İşlem hattı için kullanılacak orkestratör. Motorun değeri aşağıdaki değerlerden biriyle eşleşmelidir:
- kubeflow : motoru Kubeflow'a ayarlar
- local : motoru yerel orkestratöre ayarlar
- vertex : motoru Vertex Pipelines'a ayarlar
- airflow : (deneysel) motoru Apache Airflow'a ayarlar
- ışın : (deneysel) motoru Apache Beam'e ayarlar
Motor ayarlanmamışsa, motor çevreye göre otomatik olarak algılanır.
** Önemli not: İşlem hattı yapılandırma dosyasında DagRunner'ın gerektirdiği orkestratör, seçilen veya otomatik olarak algılanan motorla eşleşmelidir. Motorun otomatik tespiti kullanıcı ortamına bağlıdır. Apache Airflow ve Kubeflow Pipelines yüklü değilse varsayılan olarak yerel orkestratör kullanılır.
- --iap_client_id= iap-client-id
- (İsteğe bağlı.) IAP korumalı uç nokta için İstemci Kimliği.
- --namespace= namespace
- (İsteğe bağlı.) Kubeflow Pipelines API'sine bağlanmak için Kubernetes ad alanı. Ad alanı belirtilmezse değer varsayılan olarak
kubeflow
olur.
Örnekler:
Kube akışı:
tfx pipeline delete --engine=kubeflow --pipeline_name=pipeline-name \ --iap_client_id=iap-client-id --namespace=namespace --endpoint=endpoint
Yerel:
tfx pipeline delete --engine=local --pipeline_name=pipeline-name
Tepe noktası:
tfx pipeline delete --engine=vertex --pipeline_name=pipeline-name
liste
Verilen orkestratördeki tüm işlem hatlarını listeler.
Kullanımı:
tfx pipeline list [--endpoint=endpoint --engine=engine \ --iap_client_id=iap-client-id --namespace=namespace]
- --uç nokta= endpoint
(İsteğe bağlı.) Kubeflow Pipelines API hizmetinin uç noktası. Kubeflow Pipelines API hizmetinizin uç noktası, Kubeflow Pipelines kontrol panelinin URL'si ile aynıdır. Uç nokta değeriniz şöyle bir şey olmalıdır:
https://host-name/pipeline
Kubeflow Pipelines kümenizin uç noktasını bilmiyorsanız küme yöneticinizle iletişime geçin.
--endpoint
belirtilmezse, küme içi hizmet DNS adı varsayılan değer olarak kullanılır. Bu ad yalnızca CLI komutunun Kubeflow Jupyter not defterleri örneği gibi Kubeflow Pipelines kümesindeki bir bölmede yürütülmesi durumunda çalışır.- --motor= engine
(İsteğe bağlı.) İşlem hattı için kullanılacak orkestratör. Motorun değeri aşağıdaki değerlerden biriyle eşleşmelidir:
- kubeflow : motoru Kubeflow'a ayarlar
- local : motoru yerel orkestratöre ayarlar
- vertex : motoru Vertex Pipelines'a ayarlar
- airflow : (deneysel) motoru Apache Airflow'a ayarlar
- ışın : (deneysel) motoru Apache Beam'e ayarlar
Motor ayarlanmamışsa, motor çevreye göre otomatik olarak algılanır.
** Önemli not: İşlem hattı yapılandırma dosyasında DagRunner'ın gerektirdiği orkestratör, seçilen veya otomatik olarak algılanan motorla eşleşmelidir. Motorun otomatik tespiti kullanıcı ortamına bağlıdır. Apache Airflow ve Kubeflow Pipelines yüklü değilse varsayılan olarak yerel orkestratör kullanılır.
- --iap_client_id= iap-client-id
- (İsteğe bağlı.) IAP korumalı uç nokta için İstemci Kimliği.
- --namespace= namespace
- (İsteğe bağlı.) Kubeflow Pipelines API'sine bağlanmak için Kubernetes ad alanı. Ad alanı belirtilmezse değer varsayılan olarak
kubeflow
olur.
Örnekler:
Kube akışı:
tfx pipeline list --engine=kubeflow --iap_client_id=iap-client-id \ --namespace=namespace --endpoint=endpoint
Yerel:
tfx pipeline list --engine=local
Tepe noktası:
tfx pipeline list --engine=vertex
tfx koşusu
tfx run
komut grubundaki komutların yapısı aşağıdaki gibidir:
tfx run command required-flags [optional-flags]
tfx run
komut grubundaki komutlar hakkında daha fazla bilgi edinmek için aşağıdaki bölümleri kullanın.
yaratmak
Orkestratördeki bir işlem hattı için yeni bir çalıştırma örneği oluşturur. Kubeflow için kümedeki işlem hattının en yeni işlem hattı sürümü kullanılır.
Kullanımı:
tfx run create --pipeline_name=pipeline-name [--endpoint=endpoint \ --engine=engine --iap_client_id=iap-client-id --namespace=namespace]
- --pipeline_name= pipeline-name
- Boru hattının adı.
- --uç nokta= endpoint
(İsteğe bağlı.) Kubeflow Pipelines API hizmetinin uç noktası. Kubeflow Pipelines API hizmetinizin uç noktası, Kubeflow Pipelines kontrol panelinin URL'si ile aynıdır. Uç nokta değeriniz şöyle bir şey olmalıdır:
https://host-name/pipeline
Kubeflow Pipelines kümenizin uç noktasını bilmiyorsanız küme yöneticinizle iletişime geçin.
--endpoint
belirtilmezse, küme içi hizmet DNS adı varsayılan değer olarak kullanılır. Bu ad yalnızca CLI komutunun Kubeflow Jupyter not defterleri örneği gibi Kubeflow Pipelines kümesindeki bir bölmede yürütülmesi durumunda çalışır.- --motor= engine
(İsteğe bağlı.) İşlem hattı için kullanılacak orkestratör. Motorun değeri aşağıdaki değerlerden biriyle eşleşmelidir:
- kubeflow : motoru Kubeflow'a ayarlar
- local : motoru yerel orkestratöre ayarlar
- vertex : motoru Vertex Pipelines'a ayarlar
- airflow : (deneysel) motoru Apache Airflow'a ayarlar
- ışın : (deneysel) motoru Apache Beam'e ayarlar
Motor ayarlanmamışsa, motor çevreye göre otomatik olarak algılanır.
** Önemli not: İşlem hattı yapılandırma dosyasında DagRunner'ın gerektirdiği orkestratör, seçilen veya otomatik olarak algılanan motorla eşleşmelidir. Motorun otomatik tespiti kullanıcı ortamına bağlıdır. Apache Airflow ve Kubeflow Pipelines yüklü değilse varsayılan olarak yerel orkestratör kullanılır.
- --runtime_parameter= parameter-name = parameter-value
- (İsteğe bağlı.) Bir çalışma zamanı parametre değerini ayarlar. Birden çok değişkenin değerlerini ayarlamak için birden çok kez ayarlanabilir. Yalnızca "airflow", "kubeflow" ve "vertex" motor için geçerlidir.
- --iap_client_id= iap-client-id
- (İsteğe bağlı.) IAP korumalı uç nokta için İstemci Kimliği.
- --namespace= namespace
- (İsteğe bağlı.) Kubeflow Pipelines API'sine bağlanmak için Kubernetes ad alanı. Ad alanı belirtilmezse değer varsayılan olarak
kubeflow
olur. - --proje= GCP-project-id
- (Vertex için gereklidir.) Vertex ardışık düzeni için GCP proje kimliği.
- --region= GCP-region
- (Vertex için gereklidir.) us-central1 gibi GCP bölge adı. Kullanılabilir bölgeler için [Vertex belgelerine](https://cloud.google.com/vertex-ai/docs/general/locations) bakın.
Örnekler:
Kube akışı:
tfx run create --engine=kubeflow --pipeline_name=pipeline-name --iap_client_id=iap-client-id \ --namespace=namespace --endpoint=endpoint
Yerel:
tfx run create --engine=local --pipeline_name=pipeline-name
Tepe noktası:
tfx run create --engine=vertex --pipeline_name=pipeline-name \ --runtime_parameter=var_name=var_value \ --project=gcp-project-id --region=gcp-region
sonlandırmak
Belirli bir işlem hattının çalışmasını durdurur.
** Önemli Not: Şu anda yalnızca Kubeflow'ta desteklenmektedir.
Kullanımı:
tfx run terminate --run_id=run-id [--endpoint=endpoint --engine=engine \ --iap_client_id=iap-client-id --namespace=namespace]
- --run_id= run-id
- Bir işlem hattı çalıştırması için benzersiz tanımlayıcı.
- --uç nokta= endpoint
(İsteğe bağlı.) Kubeflow Pipelines API hizmetinin uç noktası. Kubeflow Pipelines API hizmetinizin uç noktası, Kubeflow Pipelines kontrol panelinin URL'si ile aynıdır. Uç nokta değeriniz şöyle bir şey olmalıdır:
https://host-name/pipeline
Kubeflow Pipelines kümenizin uç noktasını bilmiyorsanız küme yöneticinizle iletişime geçin.
--endpoint
belirtilmezse, küme içi hizmet DNS adı varsayılan değer olarak kullanılır. Bu ad yalnızca CLI komutunun Kubeflow Jupyter not defterleri örneği gibi Kubeflow Pipelines kümesindeki bir bölmede yürütülmesi durumunda çalışır.- --motor= engine
(İsteğe bağlı.) İşlem hattı için kullanılacak orkestratör. Motorun değeri aşağıdaki değerlerden biriyle eşleşmelidir:
- kubeflow : motoru Kubeflow'a ayarlar
Motor ayarlanmamışsa, motor çevreye göre otomatik olarak algılanır.
** Önemli not: İşlem hattı yapılandırma dosyasında DagRunner'ın gerektirdiği orkestratör, seçilen veya otomatik olarak algılanan motorla eşleşmelidir. Motorun otomatik tespiti kullanıcı ortamına bağlıdır. Apache Airflow ve Kubeflow Pipelines yüklü değilse varsayılan olarak yerel orkestratör kullanılır.
- --iap_client_id= iap-client-id
- (İsteğe bağlı.) IAP korumalı uç nokta için İstemci Kimliği.
- --namespace= namespace
- (İsteğe bağlı.) Kubeflow Pipelines API'sine bağlanmak için Kubernetes ad alanı. Ad alanı belirtilmezse değer varsayılan olarak
kubeflow
olur.
Örnekler:
Kube akışı:
tfx run delete --engine=kubeflow --run_id=run-id --iap_client_id=iap-client-id \ --namespace=namespace --endpoint=endpoint
liste
Bir işlem hattının tüm çalıştırmalarını listeler.
** Önemli Not: Şu anda Local ve Apache Beam'de desteklenmemektedir.
Kullanımı:
tfx run list --pipeline_name=pipeline-name [--endpoint=endpoint \ --engine=engine --iap_client_id=iap-client-id --namespace=namespace]
- --pipeline_name= pipeline-name
- Boru hattının adı.
- --uç nokta= endpoint
(İsteğe bağlı.) Kubeflow Pipelines API hizmetinin uç noktası. Kubeflow Pipelines API hizmetinizin uç noktası, Kubeflow Pipelines kontrol panelinin URL'si ile aynıdır. Uç nokta değeriniz şöyle bir şey olmalıdır:
https://host-name/pipeline
Kubeflow Pipelines kümenizin uç noktasını bilmiyorsanız küme yöneticinizle iletişime geçin.
--endpoint
belirtilmezse, küme içi hizmet DNS adı varsayılan değer olarak kullanılır. Bu ad yalnızca CLI komutunun Kubeflow Jupyter not defterleri örneği gibi Kubeflow Pipelines kümesindeki bir bölmede yürütülmesi durumunda çalışır.- --motor= engine
(İsteğe bağlı.) İşlem hattı için kullanılacak orkestratör. Motorun değeri aşağıdaki değerlerden biriyle eşleşmelidir:
- kubeflow : motoru Kubeflow'a ayarlar
- airflow : (deneysel) motoru Apache Airflow'a ayarlar
Motor ayarlanmamışsa, motor çevreye göre otomatik olarak algılanır.
** Önemli not: İşlem hattı yapılandırma dosyasında DagRunner'ın gerektirdiği orkestratör, seçilen veya otomatik olarak algılanan motorla eşleşmelidir. Motorun otomatik tespiti kullanıcı ortamına bağlıdır. Apache Airflow ve Kubeflow Pipelines yüklü değilse varsayılan olarak yerel orkestratör kullanılır.
- --iap_client_id= iap-client-id
- (İsteğe bağlı.) IAP korumalı uç nokta için İstemci Kimliği.
- --namespace= namespace
- (İsteğe bağlı.) Kubeflow Pipelines API'sine bağlanmak için Kubernetes ad alanı. Ad alanı belirtilmezse değer varsayılan olarak
kubeflow
olur.
Örnekler:
Kube akışı:
tfx run list --engine=kubeflow --pipeline_name=pipeline-name --iap_client_id=iap-client-id \ --namespace=namespace --endpoint=endpoint
durum
Bir çalıştırmanın geçerli durumunu döndürür.
** Önemli Not: Şu anda Local ve Apache Beam'de desteklenmemektedir.
Kullanımı:
tfx run status --pipeline_name=pipeline-name --run_id=run-id [--endpoint=endpoint \ --engine=engine --iap_client_id=iap-client-id --namespace=namespace]
- --pipeline_name= pipeline-name
- Boru hattının adı.
- --run_id= run-id
- Bir işlem hattı çalıştırması için benzersiz tanımlayıcı.
- --uç nokta= endpoint
(İsteğe bağlı.) Kubeflow Pipelines API hizmetinin uç noktası. Kubeflow Pipelines API hizmetinizin uç noktası, Kubeflow Pipelines kontrol panelinin URL'si ile aynıdır. Uç nokta değeriniz şöyle bir şey olmalıdır:
https://host-name/pipeline
Kubeflow Pipelines kümenizin uç noktasını bilmiyorsanız küme yöneticinizle iletişime geçin.
--endpoint
belirtilmezse, küme içi hizmet DNS adı varsayılan değer olarak kullanılır. Bu ad yalnızca CLI komutunun Kubeflow Jupyter not defterleri örneği gibi Kubeflow Pipelines kümesindeki bir bölmede yürütülmesi durumunda çalışır.- --motor= engine
(İsteğe bağlı.) İşlem hattı için kullanılacak orkestratör. Motorun değeri aşağıdaki değerlerden biriyle eşleşmelidir:
- kubeflow : motoru Kubeflow'a ayarlar
- airflow : (deneysel) motoru Apache Airflow'a ayarlar
Motor ayarlanmamışsa, motor çevreye göre otomatik olarak algılanır.
** Önemli not: İşlem hattı yapılandırma dosyasında DagRunner'ın gerektirdiği orkestratör, seçilen veya otomatik olarak algılanan motorla eşleşmelidir. Motorun otomatik tespiti kullanıcı ortamına bağlıdır. Apache Airflow ve Kubeflow Pipelines yüklü değilse varsayılan olarak yerel orkestratör kullanılır.
- --iap_client_id= iap-client-id
- (İsteğe bağlı.) IAP korumalı uç nokta için İstemci Kimliği.
- --namespace= namespace
- (İsteğe bağlı.) Kubeflow Pipelines API'sine bağlanmak için Kubernetes ad alanı. Ad alanı belirtilmezse değer varsayılan olarak
kubeflow
olur.
Örnekler:
Kube akışı:
tfx run status --engine=kubeflow --run_id=run-id --pipeline_name=pipeline-name \ --iap_client_id=iap-client-id --namespace=namespace --endpoint=endpoint
silmek
Belirli bir işlem hattının çalışmasını siler.
** Önemli Not: Şu anda yalnızca Kubeflow'ta desteklenmektedir
Kullanımı:
tfx run delete --run_id=run-id [--engine=engine --iap_client_id=iap-client-id \ --namespace=namespace --endpoint=endpoint]
- --run_id= run-id
- Bir işlem hattı çalıştırması için benzersiz tanımlayıcı.
- --uç nokta= endpoint
(İsteğe bağlı.) Kubeflow Pipelines API hizmetinin uç noktası. Kubeflow Pipelines API hizmetinizin uç noktası, Kubeflow Pipelines kontrol panelinin URL'si ile aynıdır. Uç nokta değeriniz şöyle bir şey olmalıdır:
https://host-name/pipeline
Kubeflow Pipelines kümenizin uç noktasını bilmiyorsanız küme yöneticinizle iletişime geçin.
--endpoint
belirtilmezse, küme içi hizmet DNS adı varsayılan değer olarak kullanılır. Bu ad yalnızca CLI komutunun Kubeflow Jupyter not defterleri örneği gibi Kubeflow Pipelines kümesindeki bir bölmede yürütülmesi durumunda çalışır.- --motor= engine
(İsteğe bağlı.) İşlem hattı için kullanılacak orkestratör. Motorun değeri aşağıdaki değerlerden biriyle eşleşmelidir:
- kubeflow : motoru Kubeflow'a ayarlar
Motor ayarlanmamışsa, motor çevreye göre otomatik olarak algılanır.
** Önemli not: İşlem hattı yapılandırma dosyasında DagRunner'ın gerektirdiği orkestratör, seçilen veya otomatik olarak algılanan motorla eşleşmelidir. Motorun otomatik tespiti kullanıcı ortamına bağlıdır. Apache Airflow ve Kubeflow Pipelines yüklü değilse varsayılan olarak yerel orkestratör kullanılır.
- --iap_client_id= iap-client-id
- (İsteğe bağlı.) IAP korumalı uç nokta için İstemci Kimliği.
- --namespace= namespace
- (İsteğe bağlı.) Kubeflow Pipelines API'sine bağlanmak için Kubernetes ad alanı. Ad alanı belirtilmezse değer varsayılan olarak
kubeflow
olur.
Örnekler:
Kube akışı:
tfx run delete --engine=kubeflow --run_id=run-id --iap_client_id=iap-client-id \ --namespace=namespace --endpoint=endpoint
tfx şablonu [Deneysel]
tfx template
komut grubundaki komutların yapısı aşağıdaki gibidir:
tfx template command required-flags [optional-flags]
tfx template
komut grubundaki komutlar hakkında daha fazla bilgi edinmek için aşağıdaki bölümleri kullanın. Şablon deneysel bir özelliktir ve herhangi bir zamanda değiştirilebilir.
liste
Kullanılabilir TFX işlem hattı şablonlarını listeleyin.
Kullanımı:
tfx template list
kopyala
Bir şablonu hedef dizine kopyalayın.
Kullanımı:
tfx template copy --model=model --pipeline_name=pipeline-name \ --destination_path=destination-path
- --model= model
- İşlem hattı şablonu tarafından oluşturulan modelin adı.
- --pipeline_name= pipeline-name
- Boru hattının adı.
- --hedef_yol= destination-path
- Şablonun kopyalanacağı yol.
TFX CLI Bayraklarını Anlamak
Ortak bayraklar
- --motor= engine
İşlem hattı için kullanılacak orkestratör. Motorun değeri aşağıdaki değerlerden biriyle eşleşmelidir:
- kubeflow : motoru Kubeflow'a ayarlar
- local : motoru yerel orkestratöre ayarlar
- vertex : motoru Vertex Pipelines'a ayarlar
- airflow : (deneysel) motoru Apache Airflow'a ayarlar
- ışın : (deneysel) motoru Apache Beam'e ayarlar
Motor ayarlanmamışsa, motor çevreye göre otomatik olarak algılanır.
** Önemli not: İşlem hattı yapılandırma dosyasında DagRunner'ın gerektirdiği orkestratör, seçilen veya otomatik olarak algılanan motorla eşleşmelidir. Motorun otomatik tespiti kullanıcı ortamına bağlıdır. Apache Airflow ve Kubeflow Pipelines yüklü değilse varsayılan olarak yerel orkestratör kullanılır.
- --pipeline_name= pipeline-name
- Boru hattının adı.
- --pipeline_path= pipeline-path
- İşlem hattı yapılandırma dosyasının yolu.
- --run_id= run-id
- Bir işlem hattı çalıştırması için benzersiz tanımlayıcı.
Kubeflow'a özel bayraklar
- --uç nokta= endpoint
Kubeflow Pipelines API hizmetinin uç noktası. Kubeflow Pipelines API hizmetinizin uç noktası, Kubeflow Pipelines kontrol panelinin URL'si ile aynıdır. Uç nokta değeriniz şöyle bir şey olmalıdır:
https://host-name/pipeline
Kubeflow Pipelines kümenizin uç noktasını bilmiyorsanız küme yöneticinizle iletişime geçin.
--endpoint
belirtilmezse, küme içi hizmet DNS adı varsayılan değer olarak kullanılır. Bu ad yalnızca CLI komutunun Kubeflow Jupyter not defterleri örneği gibi Kubeflow Pipelines kümesindeki bir bölmede yürütülmesi durumunda çalışır.- --iap_client_id= iap-client-id
- IAP korumalı uç nokta için istemci kimliği.
- --namespace= namespace
- Kubeflow Pipelines API'sine bağlanmak için Kubernetes ad alanı. Ad alanı belirtilmezse değer varsayılan olarak
kubeflow
olur.
TFX CLI tarafından oluşturulan dosyalar
İşlem hatları oluşturulduğunda ve çalıştırıldığında, işlem hattı yönetimi için çeşitli dosyalar oluşturulur.
- ${HOME}/tfx/local, ışın, hava akışı, tepe noktası
- Yapılandırmadan okunan ardışık düzen meta verileri
${HOME}/tfx/${ORCHESTRATION_ENGINE}/${PIPELINE_NAME}
altında depolanır. Bu konum,AIRFLOW_HOME
veyaKUBEFLOW_HOME
gibi ortam değişkenleri ayarlanarak özelleştirilebilir. Bu davranış gelecek sürümlerde değiştirilebilir. Bu dizin, çalıştırmalar oluşturmak veya işlem hatlarını güncellemek için gerekli olan Kubeflow İşlem Hatları kümesindeki işlem hattı kimlikleri dahil işlem hattı bilgilerini depolamak için kullanılır. - TFX 0.25'ten önce bu dosyalar
${HOME}/${ORCHESTRATION_ENGINE}
altında bulunuyordu. TFX 0.25'te, sorunsuz geçiş için eski konumdaki dosyalar otomatik olarak yeni konuma taşınacaktır. - TFX 0.27'den itibaren kubeflow bu meta veri dosyalarını yerel dosya sisteminde oluşturmaz. Ancak kubeflow'un oluşturduğu diğer dosyalar için aşağıya bakın.
- Yapılandırmadan okunan ardışık düzen meta verileri
- (Yalnızca Kubeflow) Docker dosyası ve kapsayıcı görüntüsü
- Kubeflow Pipelines, bir işlem hattı için iki tür girdi gerektirir. Bu dosyalar geçerli dizinde TFX tarafından oluşturulur.
- Bunlardan biri, işlem hattındaki bileşenleri çalıştırmak için kullanılacak bir konteyner görüntüsüdür. Bu kapsayıcı görüntüsü, Kubeflow İşlem Hatları için bir işlem hattı oluşturulduğunda veya
--build-image
bayrağıyla güncellendiğinde oluşturulur. TFX CLI, mevcut değilseDockerfile
oluşturacak ve bir kapsayıcı görüntüsü oluşturup KubeflowDagRunnerConfig'de belirtilen kayıt defterine aktaracaktır.