Интерфейс командной строки (CLI) TFX выполняет полный спектр действий конвейера с использованием оркестраторов конвейеров, таких как Kubeflow Pipelines, Vertex Pipelines. Локальный оркестратор также можно использовать для ускорения разработки или отладки. Apache Beam и Apache airflow поддерживаются в качестве экспериментальных функций. Например, вы можете использовать CLI, чтобы:
- Создание, обновление и удаление конвейеров.
- Запустите конвейер и отслеживайте его работу на различных оркестраторах.
- Перечислите трубопроводы и участки трубопровода.
О интерфейсе командной строки TFX
TFX CLI устанавливается как часть пакета TFX. Все команды CLI имеют следующую структуру:
tfx command-group command flags
В настоящее время поддерживаются следующие параметры command-group :
- конвейер tfx — создавайте конвейеры TFX и управляйте ими.
- tfx run — создавайте и управляйте запусками конвейеров TFX на различных платформах оркестрации.
- tfx template — экспериментальные команды для просмотра и копирования шаблонов конвейера TFX.
Каждая группа команд предоставляет набор commands . Следуйте инструкциям в разделах «Команды конвейера» , «Команды запуска» и «Команды шаблонов» , чтобы узнать больше об использовании этих команд.
Флаги позволяют передавать аргументы командам CLI. Слова в флагах разделяются либо дефисом ( -
), либо подчеркиванием ( _
). Например, флаг имени конвейера может быть указан как --pipeline-name
или --pipeline_name
. В этом документе для краткости указаны флаги с подчеркиванием. Узнайте больше о flags используемых в CLI TFX .
конвейер tfx
Структура команд в группе команд tfx pipeline
следующая:
tfx pipeline command required-flags [optional-flags]
Используйте следующие разделы, чтобы узнать больше о командах в группе команд tfx pipeline
.
создавать
Создает новый конвейер в данном оркестраторе.
Использование:
tfx pipeline create --pipeline_path=pipeline-path [--endpoint=endpoint --engine=engine \ --iap_client_id=iap-client-id --namespace=namespace \ --build_image --build_base_image=build-base-image]
- --pipeline_path= pipeline-path
- Путь к файлу конфигурации конвейера.
- --endpoint= endpoint
(Необязательно.) Конечная точка службы API Kubeflow Pipelines. Конечная точка вашего API-сервиса Kubeflow Pipelines совпадает с URL-адресом панели управления Kubeflow Pipelines. Значение конечной точки должно быть примерно таким:
https://host-name/pipeline
Если вы не знаете конечную точку вашего кластера Kubeflow Pipelines, обратитесь к администратору кластера.
Если
--endpoint
не указан, в качестве значения по умолчанию используется DNS-имя службы кластера. Это имя работает только в том случае, если команда CLI выполняется в модуле в кластере Kubeflow Pipelines, например в экземпляре блокнотов Kubeflow Jupyter .- --engine= engine
(Необязательно.) Оркестратор, который будет использоваться для конвейера. Значение двигателя должно соответствовать одному из следующих значений:
- kubeflow : устанавливает движок на Kubeflow
- local : устанавливает движок для локального оркестратора
- vertex : устанавливает движок на Vertex Pipelines
- airflow : (экспериментальный) устанавливает для двигателя Apache Airflow.
- луч : (экспериментальный) устанавливает движок на Apache Beam
Если двигатель не установлен, он определяется автоматически в зависимости от окружающей среды.
** Важное примечание. Оркестратор, требуемый DagRunner в файле конфигурации конвейера, должен соответствовать выбранному или автоматически определяемому механизму. Автоматическое обнаружение двигателя основано на пользовательской среде. Если Apache Airflow и Kubeflow Pipelines не установлены, по умолчанию используется локальный оркестратор.
- --iap_client_id= идентификатор iap-client-id
- (Необязательно.) Идентификатор клиента для конечной точки, защищенной IAP, при использовании Kubeflow Pipelines.
- --namespace= namespace
- (Необязательно.) Пространство имен Kubernetes для подключения к API Kubeflow Pipelines. Если пространство имен не указано, по умолчанию используется значение
kubeflow
. - --build_image
(Необязательно.) Если engine является kubeflow или vertex , TFX создает образ контейнера для вашего конвейера, если он указан. Будет использоваться `Dockerfile` в текущем каталоге, и TFX автоматически сгенерирует его, если он не существует.
Построенный образ будет отправлен в удаленный реестр, указанный в KubeflowDagRunnerConfig или KubeflowV2DagRunnerConfig.
- --build_base_image= build-base-image
(Необязательно.) Если engine является kubeflow , TFX создает образ контейнера для вашего конвейера. Базовый образ сборки указывает базовый образ контейнера, который будет использоваться при построении образа контейнера конвейера.
Примеры:
Кубефлоу:
tfx pipeline create --engine=kubeflow --pipeline_path=pipeline-path \ --iap_client_id=iap-client-id --namespace=namespace --endpoint=endpoint \ --build_image
Местный:
tfx pipeline create --engine=local --pipeline_path=pipeline-path
Вершина:
tfx pipeline create --engine=vertex --pipeline_path=pipeline-path \ --build_image
Чтобы автоматически определить движок из пользовательской среды, просто избегайте использования флага движка, как показано в примере ниже. Для получения более подробной информации проверьте раздел флагов.
tfx pipeline create --pipeline_path=pipeline-path
обновлять
Обновляет существующий конвейер в данном оркестраторе.
Использование:
tfx pipeline update --pipeline_path=pipeline-path [--endpoint=endpoint --engine=engine \ --iap_client_id=iap-client-id --namespace=namespace --build_image]
- --pipeline_path= pipeline-path
- Путь к файлу конфигурации конвейера.
- --endpoint= endpoint
(Необязательно.) Конечная точка службы API Kubeflow Pipelines. Конечная точка вашего API-сервиса Kubeflow Pipelines совпадает с URL-адресом панели управления Kubeflow Pipelines. Значение конечной точки должно быть примерно таким:
https://host-name/pipeline
Если вы не знаете конечную точку вашего кластера Kubeflow Pipelines, обратитесь к администратору кластера.
Если
--endpoint
не указан, в качестве значения по умолчанию используется DNS-имя службы кластера. Это имя работает, только если команда CLI выполняется в модуле в кластере Kubeflow Pipelines, например в экземпляре блокнотов Kubeflow Jupyter .- --engine= engine
(Необязательно.) Оркестратор, который будет использоваться для конвейера. Значение двигателя должно соответствовать одному из следующих значений:
- kubeflow : устанавливает движок на Kubeflow
- local : устанавливает движок для локального оркестратора
- vertex : устанавливает движок на Vertex Pipelines
- airflow : (экспериментальный) устанавливает для двигателя Apache Airflow.
- луч : (экспериментальный) устанавливает движок на Apache Beam
Если двигатель не установлен, он определяется автоматически в зависимости от окружающей среды.
** Важное примечание. Оркестратор, требуемый DagRunner в файле конфигурации конвейера, должен соответствовать выбранному или автоматически определяемому механизму. Автоматическое обнаружение двигателя основано на пользовательской среде. Если Apache Airflow и Kubeflow Pipelines не установлены, по умолчанию используется локальный оркестратор.
- --iap_client_id= идентификатор iap-client-id
- (Необязательно.) Идентификатор клиента для конечной точки, защищенной IAP.
- --namespace= namespace
- (Необязательно.) Пространство имен Kubernetes для подключения к API Kubeflow Pipelines. Если пространство имен не указано, по умолчанию используется значение
kubeflow
. - --build_image
(Необязательно.) Если engine является kubeflow или vertex , TFX создает образ контейнера для вашего конвейера, если он указан. Будет использоваться `Dockerfile` в текущем каталоге.
Построенный образ будет отправлен в удаленный реестр, указанный в KubeflowDagRunnerConfig или KubeflowV2DagRunnerConfig.
Примеры:
Кубефлоу:
tfx pipeline update --engine=kubeflow --pipeline_path=pipeline-path \ --iap_client_id=iap-client-id --namespace=namespace --endpoint=endpoint \ --build_image
Местный:
tfx pipeline update --engine=local --pipeline_path=pipeline-path
Вершина:
tfx pipeline update --engine=vertex --pipeline_path=pipeline-path \ --build_image
компилировать
Компилирует файл конфигурации конвейера для создания файла рабочего процесса в Kubeflow и выполняет следующие проверки во время компиляции:
- Проверяет, действителен ли путь к конвейеру.
- Проверяет, успешно ли извлечены сведения о конвейере из файла конфигурации конвейера.
- Проверяет, соответствует ли DagRunner в конфигурации конвейера движку.
- Проверяет, успешно ли создан файл рабочего процесса по указанному пути пакета (только для Kubeflow).
Рекомендуется использовать перед созданием или обновлением конвейера.
Использование:
tfx pipeline compile --pipeline_path=pipeline-path [--engine=engine]
- --pipeline_path= pipeline-path
- Путь к файлу конфигурации конвейера.
- --engine= engine
(Необязательно.) Оркестратор, который будет использоваться для конвейера. Значение двигателя должно соответствовать одному из следующих значений:
- kubeflow : устанавливает движок на Kubeflow
- local : устанавливает движок для локального оркестратора
- vertex : устанавливает движок на Vertex Pipelines
- airflow : (экспериментальный) устанавливает для двигателя Apache Airflow.
- луч : (экспериментальный) устанавливает движок на Apache Beam
Если двигатель не установлен, он определяется автоматически в зависимости от окружающей среды.
** Важное примечание. Оркестратор, требуемый DagRunner в файле конфигурации конвейера, должен соответствовать выбранному или автоматически определяемому механизму. Автоматическое обнаружение двигателя основано на пользовательской среде. Если Apache Airflow и Kubeflow Pipelines не установлены, по умолчанию используется локальный оркестратор.
Примеры:
Кубефлоу:
tfx pipeline compile --engine=kubeflow --pipeline_path=pipeline-path
Местный:
tfx pipeline compile --engine=local --pipeline_path=pipeline-path
Вершина:
tfx pipeline compile --engine=vertex --pipeline_path=pipeline-path
удалить
Удаляет конвейер из данного оркестратора.
Использование:
tfx pipeline delete --pipeline_path=pipeline-path [--endpoint=endpoint --engine=engine \ --iap_client_id=iap-client-id --namespace=namespace]
- --pipeline_path= pipeline-path
- Путь к файлу конфигурации конвейера.
- --endpoint= endpoint
(Необязательно.) Конечная точка службы API Kubeflow Pipelines. Конечная точка вашего API-сервиса Kubeflow Pipelines совпадает с URL-адресом панели управления Kubeflow Pipelines. Значение конечной точки должно быть примерно таким:
https://host-name/pipeline
Если вы не знаете конечную точку вашего кластера Kubeflow Pipelines, обратитесь к администратору кластера.
Если
--endpoint
не указан, в качестве значения по умолчанию используется DNS-имя службы кластера. Это имя работает только в том случае, если команда CLI выполняется в модуле в кластере Kubeflow Pipelines, например в экземпляре блокнотов Kubeflow Jupyter .- --engine= engine
(Необязательно.) Оркестратор, который будет использоваться для конвейера. Значение двигателя должно соответствовать одному из следующих значений:
- kubeflow : устанавливает движок на Kubeflow
- local : устанавливает движок для локального оркестратора
- vertex : устанавливает движок на Vertex Pipelines
- airflow : (экспериментальный) устанавливает для двигателя Apache Airflow.
- луч : (экспериментальный) устанавливает движок на Apache Beam
Если двигатель не установлен, он определяется автоматически в зависимости от окружающей среды.
** Важное примечание. Оркестратор, требуемый DagRunner в файле конфигурации конвейера, должен соответствовать выбранному или автоматически определяемому механизму. Автоматическое обнаружение двигателя основано на пользовательской среде. Если Apache Airflow и Kubeflow Pipelines не установлены, по умолчанию используется локальный оркестратор.
- --iap_client_id= идентификатор iap-client-id
- (Необязательно.) Идентификатор клиента для конечной точки, защищенной IAP.
- --namespace= namespace
- (Необязательно.) Пространство имен Kubernetes для подключения к API Kubeflow Pipelines. Если пространство имен не указано, по умолчанию используется значение
kubeflow
.
Примеры:
Кубефлоу:
tfx pipeline delete --engine=kubeflow --pipeline_name=pipeline-name \ --iap_client_id=iap-client-id --namespace=namespace --endpoint=endpoint
Местный:
tfx pipeline delete --engine=local --pipeline_name=pipeline-name
Вершина:
tfx pipeline delete --engine=vertex --pipeline_name=pipeline-name
список
Перечисляет все конвейеры в данном оркестраторе.
Использование:
tfx pipeline list [--endpoint=endpoint --engine=engine \ --iap_client_id=iap-client-id --namespace=namespace]
- --endpoint= endpoint
(Необязательно.) Конечная точка службы API Kubeflow Pipelines. Конечная точка вашего API-сервиса Kubeflow Pipelines совпадает с URL-адресом панели управления Kubeflow Pipelines. Значение конечной точки должно быть примерно таким:
https://host-name/pipeline
Если вы не знаете конечную точку вашего кластера Kubeflow Pipelines, обратитесь к администратору кластера.
Если параметр
--endpoint
не указан, в качестве значения по умолчанию используется DNS-имя службы кластера. Это имя работает, только если команда CLI выполняется в модуле в кластере Kubeflow Pipelines, например в экземпляре блокнотов Kubeflow Jupyter .- --engine= engine
(Необязательно.) Оркестратор, который будет использоваться для конвейера. Значение двигателя должно соответствовать одному из следующих значений:
- kubeflow : устанавливает движок на Kubeflow
- local : устанавливает движок для локального оркестратора
- vertex : устанавливает движок на Vertex Pipelines
- airflow : (экспериментальный) устанавливает для двигателя Apache Airflow.
- луч : (экспериментальный) устанавливает движок на Apache Beam
Если двигатель не установлен, он определяется автоматически в зависимости от окружающей среды.
** Важное примечание. Оркестратор, требуемый DagRunner в файле конфигурации конвейера, должен соответствовать выбранному или автоматически определяемому механизму. Автоматическое обнаружение двигателя основано на пользовательской среде. Если Apache Airflow и Kubeflow Pipelines не установлены, по умолчанию используется локальный оркестратор.
- --iap_client_id= идентификатор iap-client-id
- (Необязательно.) Идентификатор клиента для конечной точки, защищенной IAP.
- --namespace= namespace
- (Необязательно.) Пространство имен Kubernetes для подключения к API Kubeflow Pipelines. Если пространство имен не указано, по умолчанию используется значение
kubeflow
.
Примеры:
Кубефлоу:
tfx pipeline list --engine=kubeflow --iap_client_id=iap-client-id \ --namespace=namespace --endpoint=endpoint
Местный:
tfx pipeline list --engine=local
Вершина:
tfx pipeline list --engine=vertex
tfx-запуск
Структура команд в группе команд tfx run
следующая:
tfx run command required-flags [optional-flags]
Используйте следующие разделы, чтобы узнать больше о командах в группе команд tfx run
.
создавать
Создает новый экземпляр запуска для конвейера в оркестраторе. Для Kubeflow используется самая последняя версия конвейера в кластере.
Использование:
tfx run create --pipeline_name=pipeline-name [--endpoint=endpoint \ --engine=engine --iap_client_id=iap-client-id --namespace=namespace]
- --pipeline_name= pipeline-name
- Название трубопровода.
- --endpoint= endpoint
(Необязательно.) Конечная точка службы API Kubeflow Pipelines. Конечная точка вашего API-сервиса Kubeflow Pipelines совпадает с URL-адресом панели управления Kubeflow Pipelines. Значение конечной точки должно быть примерно таким:
https://host-name/pipeline
Если вы не знаете конечную точку вашего кластера Kubeflow Pipelines, обратитесь к администратору кластера.
Если
--endpoint
не указан, в качестве значения по умолчанию используется DNS-имя службы кластера. Это имя работает только в том случае, если команда CLI выполняется в модуле в кластере Kubeflow Pipelines, например в экземпляре блокнотов Kubeflow Jupyter .- --engine= engine
(Необязательно.) Оркестратор, который будет использоваться для конвейера. Значение двигателя должно соответствовать одному из следующих значений:
- kubeflow : устанавливает движок на Kubeflow
- local : устанавливает движок для локального оркестратора
- vertex : устанавливает движок на Vertex Pipelines
- airflow : (экспериментальный) устанавливает для двигателя Apache Airflow.
- луч : (экспериментальный) устанавливает движок на Apache Beam
Если двигатель не установлен, он определяется автоматически в зависимости от окружающей среды.
** Важное примечание. Оркестратор, требуемый DagRunner в файле конфигурации конвейера, должен соответствовать выбранному или автоматически определяемому механизму. Автоматическое обнаружение двигателя основано на пользовательской среде. Если Apache Airflow и Kubeflow Pipelines не установлены, по умолчанию используется локальный оркестратор.
- --runtime_parameter= parameter-name = parameter-value
- (Необязательно.) Задает значение параметра времени выполнения. Может быть задан несколько раз для установки значений нескольких переменных. Применимо только к движкам airflow, kubeflow и vertex.
- --iap_client_id= идентификатор iap-client-id
- (Необязательно.) Идентификатор клиента для конечной точки, защищенной IAP.
- --namespace= namespace
- (Необязательно.) Пространство имен Kubernetes для подключения к API Kubeflow Pipelines. Если пространство имен не указано, по умолчанию используется значение
kubeflow
. - --project= GCP-project-id
- (Необходим для вершины.) Идентификатор проекта GCP для конвейера вершин.
- --region= GCP-region
- (Необходимо для Vertex.) Имя региона GCP, например us-central1. Доступные регионы см. в [документации Vertex](https://cloud.google.com/vertex-ai/docs/general/locations).
Примеры:
Кубефлоу:
tfx run create --engine=kubeflow --pipeline_name=pipeline-name --iap_client_id=iap-client-id \ --namespace=namespace --endpoint=endpoint
Местный:
tfx run create --engine=local --pipeline_name=pipeline-name
Вершина:
tfx run create --engine=vertex --pipeline_name=pipeline-name \ --runtime_parameter=var_name=var_value \ --project=gcp-project-id --region=gcp-region
прекратить
Останавливает работу данного конвейера.
** Важное примечание: в настоящее время поддерживается только в Kubeflow.
Использование:
tfx run terminate --run_id=run-id [--endpoint=endpoint --engine=engine \ --iap_client_id=iap-client-id --namespace=namespace]
- --run_id= run-id
- Уникальный идентификатор запуска конвейера.
- --endpoint= endpoint
(Необязательно.) Конечная точка службы API Kubeflow Pipelines. Конечная точка вашего API-сервиса Kubeflow Pipelines совпадает с URL-адресом панели управления Kubeflow Pipelines. Значение конечной точки должно быть примерно таким:
https://host-name/pipeline
Если вы не знаете конечную точку вашего кластера Kubeflow Pipelines, обратитесь к администратору кластера.
Если параметр
--endpoint
не указан, в качестве значения по умолчанию используется DNS-имя службы кластера. Это имя работает, только если команда CLI выполняется в модуле в кластере Kubeflow Pipelines, например в экземпляре блокнотов Kubeflow Jupyter .- --engine= engine
(Необязательно.) Оркестратор, который будет использоваться для конвейера. Значение двигателя должно соответствовать одному из следующих значений:
- kubeflow : устанавливает движок Kubeflow
Если двигатель не установлен, он определяется автоматически в зависимости от окружающей среды.
** Важное примечание. Оркестратор, требуемый DagRunner в файле конфигурации конвейера, должен соответствовать выбранному или автоматически определяемому механизму. Автоматическое обнаружение двигателя основано на пользовательской среде. Если Apache Airflow и Kubeflow Pipelines не установлены, по умолчанию используется локальный оркестратор.
- --iap_client_id= идентификатор iap-client-id
- (Необязательно.) Идентификатор клиента для конечной точки, защищенной IAP.
- --namespace= namespace
- (Необязательно.) Пространство имен Kubernetes для подключения к API Kubeflow Pipelines. Если пространство имен не указано, по умолчанию используется значение
kubeflow
.
Примеры:
Кубефлоу:
tfx run delete --engine=kubeflow --run_id=run-id --iap_client_id=iap-client-id \ --namespace=namespace --endpoint=endpoint
список
Перечисляет все запуски конвейера.
** Важное примечание. В настоящее время не поддерживается в Local и Apache Beam.
Использование:
tfx run list --pipeline_name=pipeline-name [--endpoint=endpoint \ --engine=engine --iap_client_id=iap-client-id --namespace=namespace]
- --pipeline_name= pipeline-name
- Название трубопровода.
- --endpoint= endpoint
(Необязательно.) Конечная точка службы API Kubeflow Pipelines. Конечная точка вашего API-сервиса Kubeflow Pipelines совпадает с URL-адресом панели управления Kubeflow Pipelines. Значение конечной точки должно быть примерно таким:
https://host-name/pipeline
Если вы не знаете конечную точку вашего кластера Kubeflow Pipelines, обратитесь к администратору кластера.
Если
--endpoint
не указан, в качестве значения по умолчанию используется DNS-имя службы кластера. Это имя работает только в том случае, если команда CLI выполняется в модуле в кластере Kubeflow Pipelines, например в экземпляре блокнотов Kubeflow Jupyter .- --engine= engine
(Необязательно.) Оркестратор, который будет использоваться для конвейера. Значение двигателя должно соответствовать одному из следующих значений:
- kubeflow : устанавливает движок Kubeflow
- airflow : (экспериментальный) устанавливает для двигателя Apache Airflow.
Если двигатель не установлен, он определяется автоматически в зависимости от окружающей среды.
** Важное примечание. Оркестратор, требуемый DagRunner в файле конфигурации конвейера, должен соответствовать выбранному или автоматически определяемому механизму. Автоматическое обнаружение двигателя основано на пользовательской среде. Если Apache Airflow и Kubeflow Pipelines не установлены, по умолчанию используется локальный оркестратор.
- --iap_client_id= идентификатор iap-client-id
- (Необязательно.) Идентификатор клиента для конечной точки, защищенной IAP.
- --namespace= namespace
- (Необязательно.) Пространство имен Kubernetes для подключения к API Kubeflow Pipelines. Если пространство имен не указано, по умолчанию используется значение
kubeflow
.
Примеры:
Кубефлоу:
tfx run list --engine=kubeflow --pipeline_name=pipeline-name --iap_client_id=iap-client-id \ --namespace=namespace --endpoint=endpoint
статус
Возвращает текущий статус выполнения.
** Важное примечание. В настоящее время не поддерживается в Local и Apache Beam.
Использование:
tfx run status --pipeline_name=pipeline-name --run_id=run-id [--endpoint=endpoint \ --engine=engine --iap_client_id=iap-client-id --namespace=namespace]
- --pipeline_name= pipeline-name
- Название трубопровода.
- --run_id= run-id
- Уникальный идентификатор участка конвейера.
- --endpoint= endpoint
(Необязательно.) Конечная точка службы API Kubeflow Pipelines. Конечная точка вашего API-сервиса Kubeflow Pipelines совпадает с URL-адресом панели управления Kubeflow Pipelines. Значение конечной точки должно быть примерно таким:
https://host-name/pipeline
Если вы не знаете конечную точку вашего кластера Kubeflow Pipelines, обратитесь к администратору кластера.
Если
--endpoint
не указан, в качестве значения по умолчанию используется DNS-имя службы кластера. Это имя работает только в том случае, если команда CLI выполняется в модуле в кластере Kubeflow Pipelines, например в экземпляре блокнотов Kubeflow Jupyter .- --engine= engine
(Необязательно.) Оркестратор, который будет использоваться для конвейера. Значение двигателя должно соответствовать одному из следующих значений:
- kubeflow : устанавливает движок на Kubeflow
- airflow : (экспериментальный) устанавливает для двигателя Apache Airflow.
Если двигатель не установлен, он определяется автоматически в зависимости от окружающей среды.
** Важное примечание. Оркестратор, требуемый DagRunner в файле конфигурации конвейера, должен соответствовать выбранному или автоматически определяемому механизму. Автоматическое обнаружение двигателя основано на пользовательской среде. Если Apache Airflow и Kubeflow Pipelines не установлены, по умолчанию используется локальный оркестратор.
- --iap_client_id= идентификатор iap-client-id
- (Необязательно.) Идентификатор клиента для конечной точки, защищенной IAP.
- --namespace= namespace
- (Необязательно.) Пространство имен Kubernetes для подключения к API Kubeflow Pipelines. Если пространство имен не указано, по умолчанию используется значение
kubeflow
.
Примеры:
Кубефлоу:
tfx run status --engine=kubeflow --run_id=run-id --pipeline_name=pipeline-name \ --iap_client_id=iap-client-id --namespace=namespace --endpoint=endpoint
удалить
Удаляет запуск данного конвейера.
** Важное примечание: в настоящее время поддерживается только в Kubeflow.
Использование:
tfx run delete --run_id=run-id [--engine=engine --iap_client_id=iap-client-id \ --namespace=namespace --endpoint=endpoint]
- --run_id= run-id
- Уникальный идентификатор участка конвейера.
- --endpoint= endpoint
(Необязательно.) Конечная точка службы API Kubeflow Pipelines. Конечная точка вашего API-сервиса Kubeflow Pipelines совпадает с URL-адресом панели управления Kubeflow Pipelines. Значение конечной точки должно быть примерно таким:
https://host-name/pipeline
Если вы не знаете конечную точку вашего кластера Kubeflow Pipelines, обратитесь к администратору кластера.
Если
--endpoint
не указан, в качестве значения по умолчанию используется DNS-имя службы кластера. Это имя работает только в том случае, если команда CLI выполняется в модуле в кластере Kubeflow Pipelines, например в экземпляре блокнотов Kubeflow Jupyter .- --engine= engine
(Необязательно.) Оркестратор, который будет использоваться для конвейера. Значение двигателя должно соответствовать одному из следующих значений:
- kubeflow : устанавливает движок на Kubeflow
Если двигатель не установлен, он определяется автоматически в зависимости от окружающей среды.
** Важное примечание. Оркестратор, требуемый DagRunner в файле конфигурации конвейера, должен соответствовать выбранному или автоматически определяемому механизму. Автоматическое обнаружение двигателя основано на пользовательской среде. Если Apache Airflow и Kubeflow Pipelines не установлены, по умолчанию используется локальный оркестратор.
- --iap_client_id= идентификатор iap-client-id
- (Необязательно.) Идентификатор клиента для конечной точки, защищенной IAP.
- --namespace= namespace
- (Необязательно.) Пространство имен Kubernetes для подключения к API Kubeflow Pipelines. Если пространство имен не указано, по умолчанию используется значение
kubeflow
.
Примеры:
Кубефлоу:
tfx run delete --engine=kubeflow --run_id=run-id --iap_client_id=iap-client-id \ --namespace=namespace --endpoint=endpoint
tfx-шаблон [Экспериментальный]
Структура команд в группе команд tfx template
следующая:
tfx template command required-flags [optional-flags]
Используйте следующие разделы, чтобы узнать больше о командах в группе команд tfx template
. Шаблон является экспериментальной функцией и может быть изменен в любое время.
список
Список доступных шаблонов конвейера TFX.
Использование:
tfx template list
копировать
Скопируйте шаблон в каталог назначения.
Использование:
tfx template copy --model=model --pipeline_name=pipeline-name \ --destination_path=destination-path
- --model= model
- Имя модели, построенной по шаблону конвейера.
- --pipeline_name= pipeline-name
- Название трубопровода.
- --destination_path= destination-path
- Путь для копирования шаблона.
Понимание флагов CLI TFX
Общие флаги
- --engine= engine
Оркестратор, который будет использоваться для конвейера. Значение двигателя должно соответствовать одному из следующих значений:
- kubeflow : устанавливает движок Kubeflow
- local : устанавливает движок для локального оркестратора
- vertex : устанавливает движок на Vertex Pipelines
- airflow : (экспериментальный) устанавливает для двигателя Apache Airflow.
- луч : (экспериментальный) устанавливает движок на Apache Beam
Если двигатель не установлен, он определяется автоматически в зависимости от окружающей среды.
** Важное примечание. Оркестратор, требуемый DagRunner в файле конфигурации конвейера, должен соответствовать выбранному или автоматически определяемому механизму. Автоматическое обнаружение двигателя основано на пользовательской среде. Если Apache Airflow и Kubeflow Pipelines не установлены, по умолчанию используется локальный оркестратор.
- --pipeline_name= pipeline-name
- Название трубопровода.
- --pipeline_path= pipeline-path
- Путь к файлу конфигурации конвейера.
- --run_id= run-id
- Уникальный идентификатор участка конвейера.
Специальные флаги Kubeflow
- --endpoint= endpoint
Конечная точка службы API Kubeflow Pipelines. Конечная точка вашего API-сервиса Kubeflow Pipelines совпадает с URL-адресом панели управления Kubeflow Pipelines. Значение конечной точки должно быть примерно таким:
https://host-name/pipeline
Если вы не знаете конечную точку вашего кластера Kubeflow Pipelines, обратитесь к администратору кластера.
Если
--endpoint
не указан, в качестве значения по умолчанию используется DNS-имя службы кластера. Это имя работает, только если команда CLI выполняется в модуле в кластере Kubeflow Pipelines, например в экземпляре блокнотов Kubeflow Jupyter .- --iap_client_id= идентификатор iap-client-id
- Идентификатор клиента для конечной точки, защищенной IAP.
- --namespace= namespace
- Пространство имен Kubernetes для подключения к API Kubeflow Pipelines. Если пространство имен не указано, по умолчанию используется значение
kubeflow
.
Файлы, созданные с помощью TFX CLI
При создании и запуске конвейеров создается несколько файлов для управления конвейерами.
- ${HOME}/tfx/local, луч, воздушный поток, вершина
- Метаданные конвейера, считанные из конфигурации, хранятся в папке
${HOME}/tfx/${ORCHESTRATION_ENGINE}/${PIPELINE_NAME}
. Это местоположение можно настроить, установив переменную среды, напримерAIRFLOW_HOME
илиKUBEFLOW_HOME
. Это поведение может быть изменено в будущих выпусках. Этот каталог используется для хранения информации о конвейере, включая идентификаторы конвейеров в кластере Kubeflow Pipelines, которые необходимы для создания запусков или обновления конвейеров. - До TFX 0.25 эти файлы располагались в папке
${HOME}/${ORCHESTRATION_ENGINE}
. В TFX 0.25 файлы из старого местоположения будут автоматически перемещены в новое местоположение для плавной миграции. - Начиная с TFX 0.27, kubeflow не создает эти файлы метаданных в локальной файловой системе. Однако ниже приведены другие файлы, создаваемые kubeflow.
- Метаданные конвейера, считанные из конфигурации, хранятся в папке
- (Только для Kubeflow) Dockerfile и образ контейнера
- Kubeflow Pipelines требует двух типов входных данных для конвейера. Эти файлы создаются TFX в текущем каталоге.
- Один из них — это образ контейнера, который будет использоваться для запуска компонентов в конвейере. Этот образ контейнера создается, когда конвейер для Kubeflow Pipelines создается или обновляется с флагом
--build-image
. TFX CLI сгенерируетDockerfile
если он не существует, а также создаст и отправит образ контейнера в реестр, указанный в KubeflowDagRunnerConfig.