Эта страница переведена с помощью Cloud Translation API.

Использование интерфейса командной строки TFX

Интерфейс командной строки (CLI) TFX выполняет полный спектр действий с конвейером с использованием оркестраторов конвейеров, таких как Kubeflow Pipelines, Vertex Pipelines. Локальный оркестратор также можно использовать для ускорения разработки или отладки. Apache Beam и Apache airflow поддерживаются в качестве экспериментальных функций. Например, вы можете использовать CLI, чтобы:

Создание, обновление и удаление конвейеров.
Запустите конвейер и отслеживайте его работу на различных оркестраторах.
Перечислите трубопроводы и участки трубопровода.

О интерфейсе командной строки TFX

TFX CLI устанавливается как часть пакета TFX. Все команды CLI имеют следующую структуру:

tfx command-group command flags

В настоящее время поддерживаются следующие параметры command-group :

конвейер tfx — создавайте конвейеры TFX и управляйте ими.
tfx run — создавайте и управляйте запусками конвейеров TFX на различных платформах оркестрации.
tfx template — экспериментальные команды для просмотра и копирования шаблонов конвейера TFX.

Каждая группа команд предоставляет набор commands . Следуйте инструкциям в разделах «Команды конвейера» , «Команды запуска» и «Команды шаблонов» , чтобы узнать больше об использовании этих команд.

Флаги позволяют передавать аргументы командам CLI. Слова в флагах разделяются либо дефисом ( - ), либо подчеркиванием ( _ ). Например, флаг имени конвейера может быть указан как --pipeline-name или --pipeline_name . В этом документе для краткости указаны флаги с подчеркиванием. Узнайте больше о flags используемых в CLI TFX .

конвейер tfx

Структура команд в группе команд tfx pipeline следующая:

tfx pipeline command required-flags [optional-flags]

Используйте следующие разделы, чтобы узнать больше о командах в группе команд tfx pipeline .

создавать

Создает новый конвейер в данном оркестраторе.

Использование:

tfx pipeline create --pipeline_path=pipeline-path [--endpoint=endpoint --engine=engine \
--iap_client_id=iap-client-id --namespace=namespace \
--build_image --build_base_image=build-base-image]

--pipeline_path= pipeline-path

Путь к файлу конфигурации конвейера.

--endpoint= endpoint

(Необязательно.) Конечная точка службы API Kubeflow Pipelines. Конечная точка вашего API-сервиса Kubeflow Pipelines совпадает с URL-адресом панели управления Kubeflow Pipelines. Значение конечной точки должно быть примерно таким:

https://host-name/pipeline

Если вы не знаете конечную точку вашего кластера Kubeflow Pipelines, обратитесь к администратору кластера.

Если --endpoint не указан, в качестве значения по умолчанию используется DNS-имя службы кластера. Это имя работает, только если команда CLI выполняется в модуле в кластере Kubeflow Pipelines, например в экземпляре блокнотов Kubeflow Jupyter .

--engine= engine

(Необязательно.) Оркестратор, который будет использоваться для конвейера. Значение двигателя должно соответствовать одному из следующих значений:

kubeflow : устанавливает движок на Kubeflow
local : устанавливает движок для локального оркестратора
vertex : устанавливает движок на Vertex Pipelines
airflow : (экспериментальный) устанавливает для двигателя Apache Airflow.
луч : (экспериментальный) устанавливает движок на Apache Beam

Если двигатель не установлен, он определяется автоматически в зависимости от окружающей среды.

** Важное примечание. Оркестратор, требуемый DagRunner в файле конфигурации конвейера, должен соответствовать выбранному или автоматически определяемому механизму. Автоматическое обнаружение двигателя основано на пользовательской среде. Если Apache Airflow и Kubeflow Pipelines не установлены, по умолчанию используется локальный оркестратор.

--iap_client_id= идентификатор iap-client-id

(Необязательно.) Идентификатор клиента для конечной точки, защищенной IAP, при использовании Kubeflow Pipelines.

--namespace= namespace

(Необязательно.) Пространство имен Kubernetes для подключения к API Kubeflow Pipelines. Если пространство имен не указано, по умолчанию используется значение kubeflow .

--build_image

(Необязательно.) Если engine является kubeflow или vertex , TFX создает образ контейнера для вашего конвейера, если он указан. Будет использоваться `Dockerfile` в текущем каталоге, и TFX автоматически сгенерирует его, если он не существует.

Построенный образ будет отправлен в удаленный реестр, указанный в KubeflowDagRunnerConfig или KubeflowV2DagRunnerConfig.

--build_base_image= build-base-image

(Необязательно.) Если engine является kubeflow , TFX создает образ контейнера для вашего конвейера. Базовый образ сборки указывает базовый образ контейнера, который будет использоваться при построении образа контейнера конвейера.

Примеры:

Кубефлоу:

tfx pipeline create --engine=kubeflow --pipeline_path=pipeline-path \
--iap_client_id=iap-client-id --namespace=namespace --endpoint=endpoint \
--build_image

Местный:

tfx pipeline create --engine=local --pipeline_path=pipeline-path

Вершина:

tfx pipeline create --engine=vertex --pipeline_path=pipeline-path \
--build_image

Чтобы автоматически определить движок из пользовательской среды, просто избегайте использования флага движка, как показано в примере ниже. Для получения более подробной информации проверьте раздел флагов.

tfx pipeline create --pipeline_path=pipeline-path

обновлять

Обновляет существующий конвейер в данном оркестраторе.

Использование:

tfx pipeline update --pipeline_path=pipeline-path [--endpoint=endpoint --engine=engine \
--iap_client_id=iap-client-id --namespace=namespace --build_image]

--pipeline_path= pipeline-path

Путь к файлу конфигурации конвейера.

--endpoint= endpoint

https://host-name/pipeline

Если вы не знаете конечную точку вашего кластера Kubeflow Pipelines, обратитесь к администратору кластера.

--engine= engine

kubeflow : устанавливает движок на Kubeflow
local : устанавливает движок для локального оркестратора
vertex : устанавливает движок на Vertex Pipelines
airflow : (экспериментальный) устанавливает для двигателя Apache Airflow.
луч : (экспериментальный) устанавливает движок на Apache Beam

Если двигатель не установлен, он определяется автоматически в зависимости от окружающей среды.

--iap_client_id= идентификатор iap-client-id

(Необязательно.) Идентификатор клиента для конечной точки, защищенной IAP.

--namespace= namespace

--build_image

Построенный образ будет отправлен в удаленный реестр, указанный в KubeflowDagRunnerConfig или KubeflowV2DagRunnerConfig.

Примеры:

Кубефлоу:

tfx pipeline update --engine=kubeflow --pipeline_path=pipeline-path \
--iap_client_id=iap-client-id --namespace=namespace --endpoint=endpoint \
--build_image

Местный:

tfx pipeline update --engine=local --pipeline_path=pipeline-path

Вершина:

tfx pipeline update --engine=vertex --pipeline_path=pipeline-path \
--build_image

компилировать

Компилирует файл конфигурации конвейера для создания файла рабочего процесса в Kubeflow и выполняет следующие проверки во время компиляции:

Проверяет, действителен ли путь к конвейеру.
Проверяет, успешно ли извлечены сведения о конвейере из файла конфигурации конвейера.
Проверяет, соответствует ли DagRunner в конфигурации конвейера движку.
Проверяет, успешно ли создан файл рабочего процесса по указанному пути пакета (только для Kubeflow).

Рекомендуется использовать перед созданием или обновлением конвейера.

Использование:

tfx pipeline compile --pipeline_path=pipeline-path [--engine=engine]

--pipeline_path= pipeline-path

Путь к файлу конфигурации конвейера.

--engine= engine

kubeflow : устанавливает движок на Kubeflow
local : устанавливает движок для локального оркестратора
vertex : устанавливает движок на Vertex Pipelines
airflow : (экспериментальный) устанавливает для двигателя Apache Airflow.
луч : (экспериментальный) устанавливает движок на Apache Beam

Если двигатель не установлен, он определяется автоматически в зависимости от окружающей среды.

Примеры:

Кубефлоу:

tfx pipeline compile --engine=kubeflow --pipeline_path=pipeline-path

Местный:

tfx pipeline compile --engine=local --pipeline_path=pipeline-path

Вершина:

tfx pipeline compile --engine=vertex --pipeline_path=pipeline-path

удалить

Удаляет конвейер из данного оркестратора.

Использование:

tfx pipeline delete --pipeline_path=pipeline-path [--endpoint=endpoint --engine=engine \
--iap_client_id=iap-client-id --namespace=namespace]

--pipeline_path= pipeline-path

Путь к файлу конфигурации конвейера.

--endpoint= endpoint

https://host-name/pipeline

Если вы не знаете конечную точку вашего кластера Kubeflow Pipelines, обратитесь к администратору кластера.

--engine= engine

kubeflow : устанавливает движок на Kubeflow
local : устанавливает движок для локального оркестратора
vertex : устанавливает движок на Vertex Pipelines
airflow : (экспериментальный) устанавливает для двигателя Apache Airflow.
луч : (экспериментальный) устанавливает движок на Apache Beam

Если двигатель не установлен, он определяется автоматически в зависимости от окружающей среды.

--iap_client_id= идентификатор iap-client-id

(Необязательно.) Идентификатор клиента для конечной точки, защищенной IAP.

--namespace= namespace

Примеры:

Кубефлоу:

tfx pipeline delete --engine=kubeflow --pipeline_name=pipeline-name \
--iap_client_id=iap-client-id --namespace=namespace --endpoint=endpoint

Местный:

tfx pipeline delete --engine=local --pipeline_name=pipeline-name

Вершина:

tfx pipeline delete --engine=vertex --pipeline_name=pipeline-name

список

Перечисляет все конвейеры в данном оркестраторе.

Использование:

tfx pipeline list [--endpoint=endpoint --engine=engine \
--iap_client_id=iap-client-id --namespace=namespace]

--endpoint= endpoint

https://host-name/pipeline

Если вы не знаете конечную точку вашего кластера Kubeflow Pipelines, обратитесь к администратору кластера.

--engine= engine

kubeflow : устанавливает движок на Kubeflow
local : устанавливает движок для локального оркестратора
vertex : устанавливает движок на Vertex Pipelines
airflow : (экспериментальный) устанавливает для двигателя Apache Airflow.
луч : (экспериментальный) устанавливает движок на Apache Beam

Если двигатель не установлен, он определяется автоматически в зависимости от окружающей среды.

--iap_client_id= идентификатор iap-client-id

(Необязательно.) Идентификатор клиента для конечной точки, защищенной IAP.

--namespace= namespace

Примеры:

Кубефлоу:

tfx pipeline list --engine=kubeflow --iap_client_id=iap-client-id \
--namespace=namespace --endpoint=endpoint

Местный:

tfx pipeline list --engine=local

Вершина:

tfx pipeline list --engine=vertex

tfx-запуск

Структура команд в группе команд tfx run следующая:

tfx run command required-flags [optional-flags]

Используйте следующие разделы, чтобы узнать больше о командах в группе команд tfx run .

создавать

Создает новый экземпляр запуска для конвейера в оркестраторе. Для Kubeflow используется самая последняя версия конвейера в кластере.

Использование:

tfx run create --pipeline_name=pipeline-name [--endpoint=endpoint \
--engine=engine --iap_client_id=iap-client-id --namespace=namespace]

--pipeline_name= pipeline-name

Название трубопровода.

--endpoint= endpoint

https://host-name/pipeline

Если вы не знаете конечную точку вашего кластера Kubeflow Pipelines, обратитесь к администратору кластера.

--engine= engine

kubeflow : устанавливает движок на Kubeflow
local : устанавливает движок для локального оркестратора
vertex : устанавливает движок на Vertex Pipelines
airflow : (экспериментальный) устанавливает для двигателя Apache Airflow.
луч : (экспериментальный) устанавливает движок на Apache Beam

Если двигатель не установлен, он определяется автоматически в зависимости от окружающей среды.

--runtime_parameter= parameter-name = parameter-value

(Необязательно.) Задает значение параметра времени выполнения. Может быть задан несколько раз для установки значений нескольких переменных. Применимо только к движкам airflow, kubeflow и vertex.

--iap_client_id= идентификатор iap-client-id

(Необязательно.) Идентификатор клиента для конечной точки, защищенной IAP.

--namespace= namespace

--project= GCP-project-id

(Необходим для вершины.) Идентификатор проекта GCP для конвейера вершин.

--region= GCP-region

(Необходимо для Vertex.) Имя региона GCP, например us-central1. Доступные регионы см. в [документации Vertex](https://cloud.google.com/vertex-ai/docs/general/locations).

Примеры:

Кубефлоу:

tfx run create --engine=kubeflow --pipeline_name=pipeline-name --iap_client_id=iap-client-id \
--namespace=namespace --endpoint=endpoint

Местный:

tfx run create --engine=local --pipeline_name=pipeline-name

Вершина:

tfx run create --engine=vertex --pipeline_name=pipeline-name \
  --runtime_parameter=var_name=var_value \
  --project=gcp-project-id --region=gcp-region

прекратить

Останавливает работу данного конвейера.

** Важное примечание: в настоящее время поддерживается только в Kubeflow.

Использование:

tfx run terminate --run_id=run-id [--endpoint=endpoint --engine=engine \
--iap_client_id=iap-client-id --namespace=namespace]

--run_id= run-id

Уникальный идентификатор участка конвейера.

--endpoint= endpoint

https://host-name/pipeline

Если вы не знаете конечную точку вашего кластера Kubeflow Pipelines, обратитесь к администратору кластера.

Если параметр --endpoint не указан, в качестве значения по умолчанию используется DNS-имя службы кластера. Это имя работает, только если команда CLI выполняется в модуле в кластере Kubeflow Pipelines, например в экземпляре блокнотов Kubeflow Jupyter .

--engine= engine

kubeflow : устанавливает движок на Kubeflow

Если двигатель не установлен, он определяется автоматически в зависимости от окружающей среды.

--iap_client_id= идентификатор iap-client-id

(Необязательно.) Идентификатор клиента для конечной точки, защищенной IAP.

--namespace= namespace

Примеры:

Кубефлоу:

tfx run delete --engine=kubeflow --run_id=run-id --iap_client_id=iap-client-id \
--namespace=namespace --endpoint=endpoint

список

Перечисляет все запуски конвейера.

** Важное примечание. В настоящее время не поддерживается в Local и Apache Beam.

Использование:

tfx run list --pipeline_name=pipeline-name [--endpoint=endpoint \
--engine=engine --iap_client_id=iap-client-id --namespace=namespace]

--pipeline_name= pipeline-name

Название трубопровода.

--endpoint= endpoint

https://host-name/pipeline

Если вы не знаете конечную точку вашего кластера Kubeflow Pipelines, обратитесь к администратору кластера.

--engine= engine

kubeflow : устанавливает движок на Kubeflow
airflow : (экспериментальный) устанавливает для двигателя Apache Airflow.

Если двигатель не установлен, он определяется автоматически в зависимости от окружающей среды.

--iap_client_id= идентификатор iap-client-id

(Необязательно.) Идентификатор клиента для конечной точки, защищенной IAP.

--namespace= namespace

Примеры:

Кубефлоу:

tfx run list --engine=kubeflow --pipeline_name=pipeline-name --iap_client_id=iap-client-id \
--namespace=namespace --endpoint=endpoint

статус

Возвращает текущий статус выполнения.

** Важное примечание. В настоящее время не поддерживается в Local и Apache Beam.

Использование:

tfx run status --pipeline_name=pipeline-name --run_id=run-id [--endpoint=endpoint \
--engine=engine --iap_client_id=iap-client-id --namespace=namespace]

--pipeline_name= pipeline-name

Название трубопровода.

--run_id= run-id

Уникальный идентификатор запуска конвейера.

--endpoint= endpoint

https://host-name/pipeline

Если вы не знаете конечную точку вашего кластера Kubeflow Pipelines, обратитесь к администратору кластера.

--engine= engine

kubeflow : устанавливает движок на Kubeflow
airflow : (экспериментальный) устанавливает для двигателя Apache Airflow.

Если двигатель не установлен, он определяется автоматически в зависимости от окружающей среды.

--iap_client_id= идентификатор iap-client-id

(Необязательно.) Идентификатор клиента для конечной точки, защищенной IAP.

--namespace= namespace

Примеры:

Кубефлоу:

tfx run status --engine=kubeflow --run_id=run-id --pipeline_name=pipeline-name \
--iap_client_id=iap-client-id --namespace=namespace --endpoint=endpoint

удалить

Удаляет запуск данного конвейера.

** Важное примечание: в настоящее время поддерживается только в Kubeflow.

Использование:

tfx run delete --run_id=run-id [--engine=engine --iap_client_id=iap-client-id \
--namespace=namespace --endpoint=endpoint]

--run_id= run-id

Уникальный идентификатор участка конвейера.

--endpoint= endpoint

https://host-name/pipeline

Если вы не знаете конечную точку вашего кластера Kubeflow Pipelines, обратитесь к администратору кластера.

Если --endpoint не указан, в качестве значения по умолчанию используется DNS-имя службы кластера. Это имя работает только в том случае, если команда CLI выполняется в модуле в кластере Kubeflow Pipelines, например в экземпляре блокнотов Kubeflow Jupyter .

--engine= engine

kubeflow : устанавливает движок на Kubeflow

Если двигатель не установлен, он определяется автоматически в зависимости от окружающей среды.

--iap_client_id= идентификатор iap-client-id

(Необязательно.) Идентификатор клиента для конечной точки, защищенной IAP.

--namespace= namespace

Примеры:

Кубефлоу:

tfx run delete --engine=kubeflow --run_id=run-id --iap_client_id=iap-client-id \
--namespace=namespace --endpoint=endpoint

tfx-шаблон [Экспериментальный]

Структура команд в группе команд tfx template следующая:

tfx template command required-flags [optional-flags]

Используйте следующие разделы, чтобы узнать больше о командах в группе команд tfx template . Шаблон является экспериментальной функцией и может быть изменен в любое время.

список

Список доступных шаблонов конвейера TFX.

Использование:

tfx template list

копировать

Скопируйте шаблон в каталог назначения.

Использование:

tfx template copy --model=model --pipeline_name=pipeline-name \
--destination_path=destination-path

--model= model: Имя модели, построенной по шаблону конвейера.
--pipeline_name= pipeline-name: Название трубопровода.
--destination_path= destination-path: Путь для копирования шаблона.

Понимание флагов CLI TFX

Общие флаги

--engine= engine

Оркестратор, который будет использоваться для конвейера. Значение двигателя должно соответствовать одному из следующих значений:

kubeflow : устанавливает движок на Kubeflow
local : устанавливает движок для локального оркестратора
vertex : устанавливает движок на Vertex Pipelines
airflow : (экспериментальный) устанавливает для двигателя Apache Airflow.
луч : (экспериментальный) устанавливает движок на Apache Beam

Если двигатель не установлен, он определяется автоматически в зависимости от окружающей среды.

--pipeline_name= pipeline-name

Название трубопровода.

--pipeline_path= pipeline-path

Путь к файлу конфигурации конвейера.

--run_id= run-id

Уникальный идентификатор запуска конвейера.

Специальные флаги Kubeflow

--endpoint= endpoint

Конечная точка службы API Kubeflow Pipelines. Конечная точка вашего API-сервиса Kubeflow Pipelines совпадает с URL-адресом панели управления Kubeflow Pipelines. Значение конечной точки должно быть примерно таким:

https://host-name/pipeline

Если вы не знаете конечную точку вашего кластера Kubeflow Pipelines, обратитесь к администратору кластера.

--iap_client_id= идентификатор iap-client-id

Идентификатор клиента для конечной точки, защищенной IAP.

--namespace= namespace

Пространство имен Kubernetes для подключения к API Kubeflow Pipelines. Если пространство имен не указано, по умолчанию используется значение kubeflow .

Файлы, созданные с помощью TFX CLI

При создании и запуске конвейеров создается несколько файлов для управления конвейерами.

${HOME}/tfx/local, луч, воздушный поток, вершина
- Метаданные конвейера, считанные из конфигурации, хранятся в папке ${HOME}/tfx/${ORCHESTRATION_ENGINE}/${PIPELINE_NAME} . Это расположение можно настроить, установив переменную среды, например AIRFLOW_HOME или KUBEFLOW_HOME . Это поведение может быть изменено в будущих выпусках. Этот каталог используется для хранения информации о конвейере, включая идентификаторы конвейеров в кластере Kubeflow Pipelines, которые необходимы для создания запусков или обновления конвейеров.
- До TFX 0.25 эти файлы располагались в папке ${HOME}/${ORCHESTRATION_ENGINE} . В TFX 0.25 файлы из старого местоположения будут автоматически перемещены в новое местоположение для плавной миграции.
- Начиная с TFX 0.27, kubeflow не создает эти файлы метаданных в локальной файловой системе. Однако ниже приведены другие файлы, создаваемые kubeflow.
(Только для Kubeflow) Dockerfile и образ контейнера
- Kubeflow Pipelines требует двух типов входных данных для конвейера. Эти файлы генерируются TFX в текущем каталоге.
- Один из них — это образ контейнера, который будет использоваться для запуска компонентов в конвейере. Этот образ контейнера создается, когда конвейер для Kubeflow Pipelines создается или обновляется с флагом --build-image . TFX CLI сгенерирует Dockerfile если он не существует, а также создаст и отправит образ контейнера в реестр, указанный в KubeflowDagRunnerConfig.