コアコンポーネント
AirflowのCore ComponentsはWeb Server、Database、そしてSchedulerで構成されている。
Web Server
ユーザーはWeb ServerのUIを通じてDAGsを管理し、Taskの状態を確認することができる。 ユーザーインターフェースを提供する。
Meta Database
Meta DatabaseにはPostgreSQL、MySQL、SQL Liteを使用することができる。 Airflowのメタデータ(Task instances、workflowsなど)を保持する。
Scheduler
Schedulerはexecutorを使用して実際の動作を実行する。 Celery、Kubernetes、Local Executorの中から希望するExecutorを選択して動作させる。
WorkerはSubprocessまたはDedicated machineになることができる。 依存関係を確認しながらタスクをスケジュールする。
クイズ
Q1: 「Airflowの基礎」の主なトピックは何ですか?
Apache Airflowの基礎
Q2: Web Serverとは何ですか?
ユーザーはWeb ServerのUIを通じてDAGsを管理し、Taskの状態を確認することができる。
ユーザーインターフェースを提供する。
Q3: Meta Databaseの核心的な概念を説明してください。
Meta DatabaseにはPostgreSQL、MySQL、SQL Liteを使用することができる。 Airflowのメタデータ(Task
instances、workflowsなど)を保持する。
Q4: Schedulerの主な特徴は何ですか?
Schedulerはexecutorを使用して実際の動作を実行する。 Celery、Kubernetes、Local
Executorの中から希望するExecutorを選択して動作させる。 WorkerはSubprocessまたはDedicated
machineになることができる。 依存関係を確認しながらタスクをスケジュールする。