Điều phối các đường dẫn TFX

Người soạn nhạc tùy chỉnh

TFX được thiết kế để có thể di chuyển sang nhiều môi trường và khung điều phối. Các nhà phát triển có thể tạo các bộ điều phối tùy chỉnh hoặc thêm các bộ điều phối bổ sung ngoài các bộ điều phối mặc định được TFX hỗ trợ, cụ thể là Local , Vertex AI , Airflow và Kubeflow .

Tất cả người điều phối phải kế thừa từ TfxRunner . Bộ điều phối TFX lấy đối tượng đường ống logic, chứa đối số đường ống, các thành phần và DAG, đồng thời chịu trách nhiệm lập lịch các thành phần của đường ống TFX dựa trên các phụ thuộc được xác định bởi DAG.

Ví dụ: hãy xem cách tạo bộ điều phối tùy chỉnh bằng BaseComponentLauncher . BaseComponentLauncher đã xử lý trình điều khiển, người thực thi và nhà xuất bản của một thành phần duy nhất. Người điều phối mới chỉ cần lên lịch cho Trình khởi chạy thành phần dựa trên DAG. Một bộ điều phối đơn giản được cung cấp dưới dạng LocalDagRunner , chạy từng thành phần theo thứ tự tôpô của DAG.

Bộ điều phối này có thể được sử dụng trong Python DSL:

def _create_pipeline(...) -> dsl.Pipeline:
  ...
  return dsl.Pipeline(...)

if __name__ == '__main__':
  orchestration.LocalDagRunner().run(_create_pipeline(...))

Để chạy trên tệp DSL Python (giả sử nó có tên là dsl.py), chỉ cần thực hiện như sau:

python dsl.py