TFX Komut Satırı Arayüzünü Kullanma

TFX komut satırı arayüzü (CLI), Kubeflow Pipelines ve Vertex Pipelines gibi ardışık düzen orkestratörlerini kullanarak çok çeşitli ardışık düzen eylemlerini gerçekleştirir. Daha hızlı geliştirme veya hata ayıklama için yerel orkestratör de kullanılabilir. Apache Beam ve Apache hava akışı deneysel özellikler olarak desteklenir. Örneğin, CLI'yi şunları yapmak için kullanabilirsiniz:

  • İşlem hatlarını oluşturun, güncelleyin ve silin.
  • Bir işlem hattı çalıştırın ve çeşitli orkestratörlerdeki çalışmayı izleyin.
  • İşlem hatlarını ve işlem hattı çalıştırmalarını listeleyin.

TFX CLI Hakkında

TFX CLI, TFX paketinin bir parçası olarak kurulur. Tüm CLI komutları aşağıdaki yapıyı takip eder:

tfx command-group command flags

Şu anda aşağıdaki command-group seçenekleri desteklenmektedir:

  • tfx işlem hattı - TFX işlem hatlarını oluşturun ve yönetin.
  • tfx run - Çeşitli düzenleme platformlarında TFX ardışık düzenlerinin çalıştırmalarını oluşturun ve yönetin.
  • tfx şablonu - TFX işlem hattı şablonlarını listelemek ve kopyalamak için deneysel komutlar.

Her komut grubu bir dizi commands sağlar. Bu komutları kullanma hakkında daha fazla bilgi edinmek için ardışık düzen komutları , çalıştırma komutları ve şablon komutları bölümlerindeki talimatları izleyin.

Bayraklar, argümanları CLI komutlarına aktarmanıza olanak tanır. Bayraklardaki kelimeler kısa çizgi ( - ) veya alt çizgi ( _ ) ile ayrılır. Örneğin, işlem hattı adı bayrağı --pipeline-name veya --pipeline_name olarak belirtilebilir. Bu belge, kısalık sağlamak amacıyla alt çizgi içeren bayrakları belirtir. TFX CLI'de kullanılan flags hakkında daha fazla bilgi edinin.

tfx boru hattı

tfx pipeline komut grubundaki komutların yapısı aşağıdaki gibidir:

tfx pipeline command required-flags [optional-flags]

tfx pipeline komut grubundaki komutlar hakkında daha fazla bilgi edinmek için aşağıdaki bölümleri kullanın.

yaratmak

Verilen orkestratörde yeni bir işlem hattı oluşturur.

Kullanımı:

tfx pipeline create --pipeline_path=pipeline-path [--endpoint=endpoint --engine=engine \
--iap_client_id=iap-client-id --namespace=namespace \
--build_image --build_base_image=build-base-image]
--pipeline_path= pipeline-path
İşlem hattı yapılandırma dosyasının yolu.
--uç nokta= endpoint

(İsteğe bağlı.) Kubeflow Pipelines API hizmetinin uç noktası. Kubeflow Pipelines API hizmetinizin uç noktası, Kubeflow Pipelines kontrol panelinin URL'si ile aynıdır. Uç nokta değeriniz şöyle bir şey olmalıdır:

https://host-name/pipeline

Kubeflow Pipelines kümenizin uç noktasını bilmiyorsanız küme yöneticinizle iletişime geçin.

--endpoint belirtilmezse, küme içi hizmet DNS adı varsayılan değer olarak kullanılır. Bu ad yalnızca CLI komutunun Kubeflow Jupyter not defterleri örneği gibi Kubeflow Pipelines kümesindeki bir bölmede yürütülmesi durumunda çalışır.

--motor= engine

(İsteğe bağlı.) İşlem hattı için kullanılacak orkestratör. Motorun değeri aşağıdaki değerlerden biriyle eşleşmelidir:

  • kubeflow : motoru Kubeflow'a ayarlar
  • local : motoru yerel orkestratöre ayarlar
  • vertex : motoru Vertex Pipelines'a ayarlar
  • airflow : (deneysel) motoru Apache Airflow'a ayarlar
  • ışın : (deneysel) motoru Apache Beam'e ayarlar

Motor ayarlanmamışsa, motor çevreye göre otomatik olarak algılanır.

** Önemli not: İşlem hattı yapılandırma dosyasında DagRunner'ın gerektirdiği orkestratör, seçilen veya otomatik olarak algılanan motorla eşleşmelidir. Motorun otomatik tespiti kullanıcı ortamına bağlıdır. Apache Airflow ve Kubeflow Pipelines yüklü değilse varsayılan olarak yerel orkestratör kullanılır.

--iap_client_id= iap-client-id
(İsteğe bağlı.) Kubeflow İşlem Hatlarını kullanırken IAP korumalı uç nokta için İstemci Kimliği.
--namespace= namespace
(İsteğe bağlı.) Kubeflow Pipelines API'sine bağlanmak için Kubernetes ad alanı. Ad alanı belirtilmezse değer varsayılan olarak kubeflow olur.
--build_image

(İsteğe bağlı.) engine kubeflow veya vertex olduğunda TFX, belirtilmesi durumunda ardışık düzeniniz için bir kapsayıcı görüntüsü oluşturur. Geçerli dizindeki 'Dockerfile' kullanılacak ve TFX, mevcut değilse otomatik olarak bir tane oluşturacaktır.

Oluşturulan görüntü, 'KubeflowDagRunnerConfig' veya 'KubeflowV2DagRunnerConfig'de belirtilen uzak kayıt defterine aktarılacaktır.

--build_base_image= build-base-image

(İsteğe bağlı.) engine kubeflow olduğunda TFX, işlem hattınız için bir kapsayıcı görüntüsü oluşturur. Yapı temel görüntüsü, ardışık düzen kapsayıcı görüntüsünü oluştururken kullanılacak temel kapsayıcı görüntüsünü belirtir.

Örnekler:

Kube akışı:

tfx pipeline create --engine=kubeflow --pipeline_path=pipeline-path \
--iap_client_id=iap-client-id --namespace=namespace --endpoint=endpoint \
--build_image

Yerel:

tfx pipeline create --engine=local --pipeline_path=pipeline-path

Tepe noktası:

tfx pipeline create --engine=vertex --pipeline_path=pipeline-path \
--build_image

Motoru kullanıcı ortamından otomatik olarak algılamak için aşağıdaki örnekte olduğu gibi motor bayrağını kullanmaktan kaçının. Daha fazla ayrıntı için bayraklar bölümüne bakın.

tfx pipeline create --pipeline_path=pipeline-path

güncelleme

Belirtilen orkestratördeki mevcut bir işlem hattını günceller.

Kullanımı:

tfx pipeline update --pipeline_path=pipeline-path [--endpoint=endpoint --engine=engine \
--iap_client_id=iap-client-id --namespace=namespace --build_image]
--pipeline_path= pipeline-path
İşlem hattı yapılandırma dosyasının yolu.
--uç nokta= endpoint

(İsteğe bağlı.) Kubeflow Pipelines API hizmetinin uç noktası. Kubeflow Pipelines API hizmetinizin uç noktası, Kubeflow Pipelines kontrol panelinin URL'si ile aynıdır. Uç nokta değeriniz şöyle bir şey olmalıdır:

https://host-name/pipeline

Kubeflow Pipelines kümenizin uç noktasını bilmiyorsanız küme yöneticinizle iletişime geçin.

--endpoint belirtilmezse, küme içi hizmet DNS adı varsayılan değer olarak kullanılır. Bu ad yalnızca CLI komutunun Kubeflow Jupyter not defterleri örneği gibi Kubeflow Pipelines kümesindeki bir bölmede yürütülmesi durumunda çalışır.

--motor= engine

(İsteğe bağlı.) İşlem hattı için kullanılacak orkestratör. Motorun değeri aşağıdaki değerlerden biriyle eşleşmelidir:

  • kubeflow : motoru Kubeflow'a ayarlar
  • local : motoru yerel orkestratöre ayarlar
  • vertex : motoru Vertex Pipelines'a ayarlar
  • airflow : (deneysel) motoru Apache Airflow'a ayarlar
  • ışın : (deneysel) motoru Apache Beam'e ayarlar

Motor ayarlanmamışsa, motor çevreye göre otomatik olarak algılanır.

** Önemli not: İşlem hattı yapılandırma dosyasında DagRunner'ın gerektirdiği orkestratör, seçilen veya otomatik olarak algılanan motorla eşleşmelidir. Motorun otomatik tespiti kullanıcı ortamına bağlıdır. Apache Airflow ve Kubeflow Pipelines yüklü değilse varsayılan olarak yerel orkestratör kullanılır.

--iap_client_id= iap-client-id
(İsteğe bağlı.) IAP korumalı uç nokta için İstemci Kimliği.
--namespace= namespace
(İsteğe bağlı.) Kubeflow Pipelines API'sine bağlanmak için Kubernetes ad alanı. Ad alanı belirtilmezse değer varsayılan olarak kubeflow olur.
--build_image

(İsteğe bağlı.) engine kubeflow veya vertex olduğunda TFX, belirtilmesi durumunda ardışık düzeniniz için bir kapsayıcı görüntüsü oluşturur. Geçerli dizindeki 'Dockerfile' kullanılacaktır.

Oluşturulan görüntü, 'KubeflowDagRunnerConfig' veya 'KubeflowV2DagRunnerConfig'de belirtilen uzak kayıt defterine aktarılacaktır.

Örnekler:

Kube akışı:

tfx pipeline update --engine=kubeflow --pipeline_path=pipeline-path \
--iap_client_id=iap-client-id --namespace=namespace --endpoint=endpoint \
--build_image

Yerel:

tfx pipeline update --engine=local --pipeline_path=pipeline-path

Tepe noktası:

tfx pipeline update --engine=vertex --pipeline_path=pipeline-path \
--build_image

derlemek

Kubeflow'ta bir iş akışı dosyası oluşturmak için ardışık düzen yapılandırma dosyasını derler ve derleme sırasında aşağıdaki kontrolleri gerçekleştirir:

  1. İşlem hattı yolunun geçerli olup olmadığını kontrol eder.
  2. İşlem hattı ayrıntılarının işlem hattı yapılandırma dosyasından başarıyla çıkarılıp çıkarılmadığını kontrol eder.
  3. İşlem hattı yapılandırmasındaki DagRunner'ın motorla eşleşip eşleşmediğini kontrol eder.
  4. İş akışı dosyasının sağlanan paket yolunda başarıyla oluşturulup oluşturulmadığını kontrol eder (yalnızca Kubeflow için).

Bir işlem hattı oluşturmadan veya güncellemeden önce kullanılması önerilir.

Kullanımı:

tfx pipeline compile --pipeline_path=pipeline-path [--engine=engine]
--pipeline_path= pipeline-path
İşlem hattı yapılandırma dosyasının yolu.
--motor= engine

(İsteğe bağlı.) İşlem hattı için kullanılacak orkestratör. Motorun değeri aşağıdaki değerlerden biriyle eşleşmelidir:

  • kubeflow : motoru Kubeflow'a ayarlar
  • local : motoru yerel orkestratöre ayarlar
  • vertex : motoru Vertex Pipelines'a ayarlar
  • airflow : (deneysel) motoru Apache Airflow'a ayarlar
  • ışın : (deneysel) motoru Apache Beam'e ayarlar

Motor ayarlanmamışsa, motor çevreye göre otomatik olarak algılanır.

** Önemli not: İşlem hattı yapılandırma dosyasında DagRunner'ın gerektirdiği orkestratör, seçilen veya otomatik olarak algılanan motorla eşleşmelidir. Motorun otomatik tespiti kullanıcı ortamına bağlıdır. Apache Airflow ve Kubeflow Pipelines yüklü değilse varsayılan olarak yerel orkestratör kullanılır.

Örnekler:

Kube akışı:

tfx pipeline compile --engine=kubeflow --pipeline_path=pipeline-path

Yerel:

tfx pipeline compile --engine=local --pipeline_path=pipeline-path

Tepe noktası:

tfx pipeline compile --engine=vertex --pipeline_path=pipeline-path

silmek

Belirtilen orkestratörden bir işlem hattını siler.

Kullanımı:

tfx pipeline delete --pipeline_path=pipeline-path [--endpoint=endpoint --engine=engine \
--iap_client_id=iap-client-id --namespace=namespace]
--pipeline_path= pipeline-path
İşlem hattı yapılandırma dosyasının yolu.
--uç nokta= endpoint

(İsteğe bağlı.) Kubeflow Pipelines API hizmetinin uç noktası. Kubeflow Pipelines API hizmetinizin uç noktası, Kubeflow Pipelines kontrol panelinin URL'si ile aynıdır. Uç nokta değeriniz şöyle bir şey olmalıdır:

https://host-name/pipeline

Kubeflow Pipelines kümenizin uç noktasını bilmiyorsanız küme yöneticinizle iletişime geçin.

--endpoint belirtilmezse, küme içi hizmet DNS adı varsayılan değer olarak kullanılır. Bu ad yalnızca CLI komutunun Kubeflow Jupyter not defterleri örneği gibi Kubeflow Pipelines kümesindeki bir bölmede yürütülmesi durumunda çalışır.

--motor= engine

(İsteğe bağlı.) İşlem hattı için kullanılacak orkestratör. Motorun değeri aşağıdaki değerlerden biriyle eşleşmelidir:

  • kubeflow : motoru Kubeflow'a ayarlar
  • local : motoru yerel orkestratöre ayarlar
  • vertex : motoru Vertex Pipelines'a ayarlar
  • airflow : (deneysel) motoru Apache Airflow'a ayarlar
  • ışın : (deneysel) motoru Apache Beam'e ayarlar

Motor ayarlanmamışsa, motor çevreye göre otomatik olarak algılanır.

** Önemli not: İşlem hattı yapılandırma dosyasında DagRunner'ın gerektirdiği orkestratör, seçilen veya otomatik olarak algılanan motorla eşleşmelidir. Motorun otomatik tespiti kullanıcı ortamına bağlıdır. Apache Airflow ve Kubeflow Pipelines yüklü değilse varsayılan olarak yerel orkestratör kullanılır.

--iap_client_id= iap-client-id
(İsteğe bağlı.) IAP korumalı uç nokta için İstemci Kimliği.
--namespace= namespace
(İsteğe bağlı.) Kubeflow Pipelines API'sine bağlanmak için Kubernetes ad alanı. Ad alanı belirtilmezse değer varsayılan olarak kubeflow olur.

Örnekler:

Kube akışı:

tfx pipeline delete --engine=kubeflow --pipeline_name=pipeline-name \
--iap_client_id=iap-client-id --namespace=namespace --endpoint=endpoint

Yerel:

tfx pipeline delete --engine=local --pipeline_name=pipeline-name

Tepe noktası:

tfx pipeline delete --engine=vertex --pipeline_name=pipeline-name

liste

Verilen orkestratördeki tüm işlem hatlarını listeler.

Kullanımı:

tfx pipeline list [--endpoint=endpoint --engine=engine \
--iap_client_id=iap-client-id --namespace=namespace]
--uç nokta= endpoint

(İsteğe bağlı.) Kubeflow Pipelines API hizmetinin uç noktası. Kubeflow Pipelines API hizmetinizin uç noktası, Kubeflow Pipelines kontrol panelinin URL'si ile aynıdır. Uç nokta değeriniz şöyle bir şey olmalıdır:

https://host-name/pipeline

Kubeflow Pipelines kümenizin uç noktasını bilmiyorsanız küme yöneticinizle iletişime geçin.

--endpoint belirtilmezse, küme içi hizmet DNS adı varsayılan değer olarak kullanılır. Bu ad yalnızca CLI komutunun Kubeflow Jupyter not defterleri örneği gibi Kubeflow Pipelines kümesindeki bir bölmede yürütülmesi durumunda çalışır.

--motor= engine

(İsteğe bağlı.) İşlem hattı için kullanılacak orkestratör. Motorun değeri aşağıdaki değerlerden biriyle eşleşmelidir:

  • kubeflow : motoru Kubeflow'a ayarlar
  • local : motoru yerel orkestratöre ayarlar
  • vertex : motoru Vertex Pipelines'a ayarlar
  • airflow : (deneysel) motoru Apache Airflow'a ayarlar
  • ışın : (deneysel) motoru Apache Beam'e ayarlar

Motor ayarlanmamışsa, motor çevreye göre otomatik olarak algılanır.

** Önemli not: İşlem hattı yapılandırma dosyasında DagRunner'ın gerektirdiği orkestratör, seçilen veya otomatik olarak algılanan motorla eşleşmelidir. Motorun otomatik tespiti kullanıcı ortamına bağlıdır. Apache Airflow ve Kubeflow Pipelines yüklü değilse varsayılan olarak yerel orkestratör kullanılır.

--iap_client_id= iap-client-id
(İsteğe bağlı.) IAP korumalı uç nokta için İstemci Kimliği.
--namespace= namespace
(İsteğe bağlı.) Kubeflow Pipelines API'sine bağlanmak için Kubernetes ad alanı. Ad alanı belirtilmezse değer varsayılan olarak kubeflow olur.

Örnekler:

Kube akışı:

tfx pipeline list --engine=kubeflow --iap_client_id=iap-client-id \
--namespace=namespace --endpoint=endpoint

Yerel:

tfx pipeline list --engine=local

Tepe noktası:

tfx pipeline list --engine=vertex

tfx koşusu

tfx run komut grubundaki komutların yapısı aşağıdaki gibidir:

tfx run command required-flags [optional-flags]

tfx run komut grubundaki komutlar hakkında daha fazla bilgi edinmek için aşağıdaki bölümleri kullanın.

yaratmak

Orkestratördeki bir işlem hattı için yeni bir çalıştırma örneği oluşturur. Kubeflow için kümedeki işlem hattının en yeni işlem hattı sürümü kullanılır.

Kullanımı:

tfx run create --pipeline_name=pipeline-name [--endpoint=endpoint \
--engine=engine --iap_client_id=iap-client-id --namespace=namespace]
--pipeline_name= pipeline-name
Boru hattının adı.
--uç nokta= endpoint

(İsteğe bağlı.) Kubeflow Pipelines API hizmetinin uç noktası. Kubeflow Pipelines API hizmetinizin uç noktası, Kubeflow Pipelines kontrol panelinin URL'si ile aynıdır. Uç nokta değeriniz şöyle bir şey olmalıdır:

https://host-name/pipeline

Kubeflow Pipelines kümenizin uç noktasını bilmiyorsanız küme yöneticinizle iletişime geçin.

--endpoint belirtilmezse, küme içi hizmet DNS adı varsayılan değer olarak kullanılır. Bu ad yalnızca CLI komutunun Kubeflow Jupyter not defterleri örneği gibi Kubeflow Pipelines kümesindeki bir bölmede yürütülmesi durumunda çalışır.

--motor= engine

(İsteğe bağlı.) İşlem hattı için kullanılacak orkestratör. Motorun değeri aşağıdaki değerlerden biriyle eşleşmelidir:

  • kubeflow : motoru Kubeflow'a ayarlar
  • local : motoru yerel orkestratöre ayarlar
  • vertex : motoru Vertex Pipelines'a ayarlar
  • airflow : (deneysel) motoru Apache Airflow'a ayarlar
  • ışın : (deneysel) motoru Apache Beam'e ayarlar

Motor ayarlanmamışsa, motor çevreye göre otomatik olarak algılanır.

** Önemli not: İşlem hattı yapılandırma dosyasında DagRunner'ın gerektirdiği orkestratör, seçilen veya otomatik olarak algılanan motorla eşleşmelidir. Motorun otomatik tespiti kullanıcı ortamına bağlıdır. Apache Airflow ve Kubeflow Pipelines yüklü değilse varsayılan olarak yerel orkestratör kullanılır.

--runtime_parameter= parameter-name = parameter-value
(İsteğe bağlı.) Bir çalışma zamanı parametre değerini ayarlar. Birden çok değişkenin değerlerini ayarlamak için birden çok kez ayarlanabilir. Yalnızca "airflow", "kubeflow" ve "vertex" motor için geçerlidir.
--iap_client_id= iap-client-id
(İsteğe bağlı.) IAP korumalı uç nokta için İstemci Kimliği.
--namespace= namespace
(İsteğe bağlı.) Kubeflow Pipelines API'sine bağlanmak için Kubernetes ad alanı. Ad alanı belirtilmezse değer varsayılan olarak kubeflow olur.
--proje= GCP-project-id
(Vertex için gereklidir.) Vertex ardışık düzeni için GCP proje kimliği.
--region= GCP-region
(Vertex için gereklidir.) us-central1 gibi GCP bölge adı. Kullanılabilir bölgeler için [Vertex belgelerine](https://cloud.google.com/vertex-ai/docs/general/locations) bakın.

Örnekler:

Kube akışı:

tfx run create --engine=kubeflow --pipeline_name=pipeline-name --iap_client_id=iap-client-id \
--namespace=namespace --endpoint=endpoint

Yerel:

tfx run create --engine=local --pipeline_name=pipeline-name

Tepe noktası:

tfx run create --engine=vertex --pipeline_name=pipeline-name \
  --runtime_parameter=var_name=var_value \
  --project=gcp-project-id --region=gcp-region

sonlandırmak

Belirli bir işlem hattının çalışmasını durdurur.

** Önemli Not: Şu anda yalnızca Kubeflow'ta desteklenmektedir.

Kullanımı:

tfx run terminate --run_id=run-id [--endpoint=endpoint --engine=engine \
--iap_client_id=iap-client-id --namespace=namespace]
--run_id= run-id
Bir işlem hattı çalıştırması için benzersiz tanımlayıcı.
--uç nokta= endpoint

(İsteğe bağlı.) Kubeflow Pipelines API hizmetinin uç noktası. Kubeflow Pipelines API hizmetinizin uç noktası, Kubeflow Pipelines kontrol panelinin URL'si ile aynıdır. Uç nokta değeriniz şöyle bir şey olmalıdır:

https://host-name/pipeline

Kubeflow Pipelines kümenizin uç noktasını bilmiyorsanız küme yöneticinizle iletişime geçin.

--endpoint belirtilmezse, küme içi hizmet DNS adı varsayılan değer olarak kullanılır. Bu ad yalnızca CLI komutunun Kubeflow Jupyter not defterleri örneği gibi Kubeflow Pipelines kümesindeki bir bölmede yürütülmesi durumunda çalışır.

--motor= engine

(İsteğe bağlı.) İşlem hattı için kullanılacak orkestratör. Motorun değeri aşağıdaki değerlerden biriyle eşleşmelidir:

  • kubeflow : motoru Kubeflow'a ayarlar

Motor ayarlanmamışsa, motor çevreye göre otomatik olarak algılanır.

** Önemli not: İşlem hattı yapılandırma dosyasında DagRunner'ın gerektirdiği orkestratör, seçilen veya otomatik olarak algılanan motorla eşleşmelidir. Motorun otomatik tespiti kullanıcı ortamına bağlıdır. Apache Airflow ve Kubeflow Pipelines yüklü değilse varsayılan olarak yerel orkestratör kullanılır.

--iap_client_id= iap-client-id
(İsteğe bağlı.) IAP korumalı uç nokta için İstemci Kimliği.
--namespace= namespace
(İsteğe bağlı.) Kubeflow Pipelines API'sine bağlanmak için Kubernetes ad alanı. Ad alanı belirtilmezse değer varsayılan olarak kubeflow olur.

Örnekler:

Kube akışı:

tfx run delete --engine=kubeflow --run_id=run-id --iap_client_id=iap-client-id \
--namespace=namespace --endpoint=endpoint

liste

Bir işlem hattının tüm çalıştırmalarını listeler.

** Önemli Not: Şu anda Local ve Apache Beam'de desteklenmemektedir.

Kullanımı:

tfx run list --pipeline_name=pipeline-name [--endpoint=endpoint \
--engine=engine --iap_client_id=iap-client-id --namespace=namespace]
--pipeline_name= pipeline-name
Boru hattının adı.
--uç nokta= endpoint

(İsteğe bağlı.) Kubeflow Pipelines API hizmetinin uç noktası. Kubeflow Pipelines API hizmetinizin uç noktası, Kubeflow Pipelines kontrol panelinin URL'si ile aynıdır. Uç nokta değeriniz şöyle bir şey olmalıdır:

https://host-name/pipeline

Kubeflow Pipelines kümenizin uç noktasını bilmiyorsanız küme yöneticinizle iletişime geçin.

--endpoint belirtilmezse, küme içi hizmet DNS adı varsayılan değer olarak kullanılır. Bu ad yalnızca CLI komutunun Kubeflow Jupyter not defterleri örneği gibi Kubeflow Pipelines kümesindeki bir bölmede yürütülmesi durumunda çalışır.

--motor= engine

(İsteğe bağlı.) İşlem hattı için kullanılacak orkestratör. Motorun değeri aşağıdaki değerlerden biriyle eşleşmelidir:

  • kubeflow : motoru Kubeflow'a ayarlar
  • airflow : (deneysel) motoru Apache Airflow'a ayarlar

Motor ayarlanmamışsa, motor çevreye göre otomatik olarak algılanır.

** Önemli not: İşlem hattı yapılandırma dosyasında DagRunner'ın gerektirdiği orkestratör, seçilen veya otomatik olarak algılanan motorla eşleşmelidir. Motorun otomatik tespiti kullanıcı ortamına bağlıdır. Apache Airflow ve Kubeflow Pipelines yüklü değilse varsayılan olarak yerel orkestratör kullanılır.

--iap_client_id= iap-client-id
(İsteğe bağlı.) IAP korumalı uç nokta için İstemci Kimliği.
--namespace= namespace
(İsteğe bağlı.) Kubeflow Pipelines API'sine bağlanmak için Kubernetes ad alanı. Ad alanı belirtilmezse değer varsayılan olarak kubeflow olur.

Örnekler:

Kube akışı:

tfx run list --engine=kubeflow --pipeline_name=pipeline-name --iap_client_id=iap-client-id \
--namespace=namespace --endpoint=endpoint

durum

Bir çalıştırmanın geçerli durumunu döndürür.

** Önemli Not: Şu anda Local ve Apache Beam'de desteklenmemektedir.

Kullanımı:

tfx run status --pipeline_name=pipeline-name --run_id=run-id [--endpoint=endpoint \
--engine=engine --iap_client_id=iap-client-id --namespace=namespace]
--pipeline_name= pipeline-name
Boru hattının adı.
--run_id= run-id
Bir işlem hattı çalıştırması için benzersiz tanımlayıcı.
--uç nokta= endpoint

(İsteğe bağlı.) Kubeflow Pipelines API hizmetinin uç noktası. Kubeflow Pipelines API hizmetinizin uç noktası, Kubeflow Pipelines kontrol panelinin URL'si ile aynıdır. Uç nokta değeriniz şöyle bir şey olmalıdır:

https://host-name/pipeline

Kubeflow Pipelines kümenizin uç noktasını bilmiyorsanız küme yöneticinizle iletişime geçin.

--endpoint belirtilmezse, küme içi hizmet DNS adı varsayılan değer olarak kullanılır. Bu ad yalnızca CLI komutunun Kubeflow Jupyter not defterleri örneği gibi Kubeflow Pipelines kümesindeki bir bölmede yürütülmesi durumunda çalışır.

--motor= engine

(İsteğe bağlı.) İşlem hattı için kullanılacak orkestratör. Motorun değeri aşağıdaki değerlerden biriyle eşleşmelidir:

  • kubeflow : motoru Kubeflow'a ayarlar
  • airflow : (deneysel) motoru Apache Airflow'a ayarlar

Motor ayarlanmamışsa, motor çevreye göre otomatik olarak algılanır.

** Önemli not: İşlem hattı yapılandırma dosyasında DagRunner'ın gerektirdiği orkestratör, seçilen veya otomatik olarak algılanan motorla eşleşmelidir. Motorun otomatik tespiti kullanıcı ortamına bağlıdır. Apache Airflow ve Kubeflow Pipelines yüklü değilse varsayılan olarak yerel orkestratör kullanılır.

--iap_client_id= iap-client-id
(İsteğe bağlı.) IAP korumalı uç nokta için İstemci Kimliği.
--namespace= namespace
(İsteğe bağlı.) Kubeflow Pipelines API'sine bağlanmak için Kubernetes ad alanı. Ad alanı belirtilmezse değer varsayılan olarak kubeflow olur.

Örnekler:

Kube akışı:

tfx run status --engine=kubeflow --run_id=run-id --pipeline_name=pipeline-name \
--iap_client_id=iap-client-id --namespace=namespace --endpoint=endpoint

silmek

Belirli bir işlem hattının çalışmasını siler.

** Önemli Not: Şu anda yalnızca Kubeflow'ta desteklenmektedir

Kullanımı:

tfx run delete --run_id=run-id [--engine=engine --iap_client_id=iap-client-id \
--namespace=namespace --endpoint=endpoint]
--run_id= run-id
Bir işlem hattı çalıştırması için benzersiz tanımlayıcı.
--uç nokta= endpoint

(İsteğe bağlı.) Kubeflow Pipelines API hizmetinin uç noktası. Kubeflow Pipelines API hizmetinizin uç noktası, Kubeflow Pipelines kontrol panelinin URL'si ile aynıdır. Uç nokta değeriniz şöyle bir şey olmalıdır:

https://host-name/pipeline

Kubeflow Pipelines kümenizin uç noktasını bilmiyorsanız küme yöneticinizle iletişime geçin.

--endpoint belirtilmezse, küme içi hizmet DNS adı varsayılan değer olarak kullanılır. Bu ad yalnızca CLI komutunun Kubeflow Jupyter not defterleri örneği gibi Kubeflow Pipelines kümesindeki bir bölmede yürütülmesi durumunda çalışır.

--motor= engine

(İsteğe bağlı.) İşlem hattı için kullanılacak orkestratör. Motorun değeri aşağıdaki değerlerden biriyle eşleşmelidir:

  • kubeflow : motoru Kubeflow'a ayarlar

Motor ayarlanmamışsa, motor çevreye göre otomatik olarak algılanır.

** Önemli not: İşlem hattı yapılandırma dosyasında DagRunner'ın gerektirdiği orkestratör, seçilen veya otomatik olarak algılanan motorla eşleşmelidir. Motorun otomatik tespiti kullanıcı ortamına bağlıdır. Apache Airflow ve Kubeflow Pipelines yüklü değilse varsayılan olarak yerel orkestratör kullanılır.

--iap_client_id= iap-client-id
(İsteğe bağlı.) IAP korumalı uç nokta için İstemci Kimliği.
--namespace= namespace
(İsteğe bağlı.) Kubeflow Pipelines API'sine bağlanmak için Kubernetes ad alanı. Ad alanı belirtilmezse değer varsayılan olarak kubeflow olur.

Örnekler:

Kube akışı:

tfx run delete --engine=kubeflow --run_id=run-id --iap_client_id=iap-client-id \
--namespace=namespace --endpoint=endpoint

tfx şablonu [Deneysel]

tfx template komut grubundaki komutların yapısı aşağıdaki gibidir:

tfx template command required-flags [optional-flags]

tfx template komut grubundaki komutlar hakkında daha fazla bilgi edinmek için aşağıdaki bölümleri kullanın. Şablon deneysel bir özelliktir ve herhangi bir zamanda değiştirilebilir.

liste

Kullanılabilir TFX işlem hattı şablonlarını listeleyin.

Kullanımı:

tfx template list

kopyala

Bir şablonu hedef dizine kopyalayın.

Kullanımı:

tfx template copy --model=model --pipeline_name=pipeline-name \
--destination_path=destination-path
--model= model
İşlem hattı şablonu tarafından oluşturulan modelin adı.
--pipeline_name= pipeline-name
Boru hattının adı.
--hedef_yol= destination-path
Şablonun kopyalanacağı yol.

TFX CLI Bayraklarını Anlamak

Ortak bayraklar

--motor= engine

İşlem hattı için kullanılacak orkestratör. Motorun değeri aşağıdaki değerlerden biriyle eşleşmelidir:

  • kubeflow : motoru Kubeflow'a ayarlar
  • local : motoru yerel orkestratöre ayarlar
  • vertex : motoru Vertex Pipelines'a ayarlar
  • airflow : (deneysel) motoru Apache Airflow'a ayarlar
  • ışın : (deneysel) motoru Apache Beam'e ayarlar

Motor ayarlanmamışsa, motor çevreye göre otomatik olarak algılanır.

** Önemli not: İşlem hattı yapılandırma dosyasında DagRunner'ın gerektirdiği orkestratör, seçilen veya otomatik olarak algılanan motorla eşleşmelidir. Motorun otomatik tespiti kullanıcı ortamına bağlıdır. Apache Airflow ve Kubeflow Pipelines yüklü değilse varsayılan olarak yerel orkestratör kullanılır.

--pipeline_name= pipeline-name
Boru hattının adı.
--pipeline_path= pipeline-path
İşlem hattı yapılandırma dosyasının yolu.
--run_id= run-id
Bir işlem hattı çalıştırması için benzersiz tanımlayıcı.

Kubeflow'a özel bayraklar

--uç nokta= endpoint

Kubeflow Pipelines API hizmetinin uç noktası. Kubeflow Pipelines API hizmetinizin uç noktası, Kubeflow Pipelines kontrol panelinin URL'si ile aynıdır. Uç nokta değeriniz şöyle bir şey olmalıdır:

https://host-name/pipeline

Kubeflow Pipelines kümenizin uç noktasını bilmiyorsanız küme yöneticinizle iletişime geçin.

--endpoint belirtilmezse, küme içi hizmet DNS adı varsayılan değer olarak kullanılır. Bu ad yalnızca CLI komutunun Kubeflow Jupyter not defterleri örneği gibi Kubeflow Pipelines kümesindeki bir bölmede yürütülmesi durumunda çalışır.

--iap_client_id= iap-client-id
IAP korumalı uç nokta için istemci kimliği.
--namespace= namespace
Kubeflow Pipelines API'sine bağlanmak için Kubernetes ad alanı. Ad alanı belirtilmezse değer varsayılan olarak kubeflow olur.

TFX CLI tarafından oluşturulan dosyalar

İşlem hatları oluşturulduğunda ve çalıştırıldığında, işlem hattı yönetimi için çeşitli dosyalar oluşturulur.

  • ${HOME}/tfx/local, ışın, hava akışı, tepe noktası
    • Yapılandırmadan okunan işlem hattı meta verileri ${HOME}/tfx/${ORCHESTRATION_ENGINE}/${PIPELINE_NAME} altında depolanır. Bu konum, AIRFLOW_HOME veya KUBEFLOW_HOME gibi ortam değişkenleri ayarlanarak özelleştirilebilir. Bu davranış gelecek sürümlerde değiştirilebilir. Bu dizin, çalıştırmalar oluşturmak veya işlem hatlarını güncellemek için gerekli olan Kubeflow İşlem Hatları kümesindeki işlem hattı kimlikleri dahil işlem hattı bilgilerini depolamak için kullanılır.
    • TFX 0.25'ten önce bu dosyalar ${HOME}/${ORCHESTRATION_ENGINE} altında bulunuyordu. TFX 0.25'te, sorunsuz geçiş için eski konumdaki dosyalar otomatik olarak yeni konuma taşınacaktır.
    • TFX 0.27'den itibaren kubeflow bu meta veri dosyalarını yerel dosya sisteminde oluşturmaz. Ancak kubeflow'un oluşturduğu diğer dosyalar için aşağıya bakın.
  • (Yalnızca Kubeflow) Docker dosyası ve kapsayıcı görüntüsü
    • Kubeflow Pipelines, bir işlem hattı için iki tür girdi gerektirir. Bu dosyalar geçerli dizinde TFX tarafından oluşturulur.
    • Bunlardan biri, işlem hattındaki bileşenleri çalıştırmak için kullanılacak bir konteyner görüntüsüdür. Bu kapsayıcı görüntüsü, Kubeflow İşlem Hatları için bir işlem hattı oluşturulduğunda veya --build-image bayrağıyla güncellendiğinde oluşturulur. TFX CLI, mevcut değilse Dockerfile oluşturacak ve bir kapsayıcı görüntüsü oluşturup KubeflowDagRunnerConfig'de belirtilen kayıt defterine aktaracaktır.