TFX パイプラインのオーケストレーション

Apache Airflow

Apache Airflow は、ワークフローをプログラミングによってオーサリングし、スケジュールを設定して監視するプラットフォームです。TFX は Airflow を使って、ワークフローをタスクの有効非巡回グラフ（DAG）として作成します。Airflow のスケジューラは、指定された依存関係に従いながら、ワーカーの配列でタスクを実行します。機能の豊富なコマンドラインツールが提供されているため、DAG での複雑な操作は瞬時に行うことができます。また、機能性豊かなユーザーインターフェースでは、必要な場合に、本番で実行しているパイプラインの視覚化、進捗状況の監視、問題のトラブルシューティングを簡単に行えます。ワークフローをコードとして定義すれば、保守、バージョン管理、テスト、およびコラボレーションがさらに簡単になります。

Apache Airflow のインストールと使用方法に関する詳細は、Apache Airflow をご覧ください。