Airflow 速查
共 25 条 Apache Airflow 常用概念与命令,涵盖核心概念、定义 DAG、调度与触发、运维命令、变量与连接。 支持搜索与分类筛选,点击即可复制。
核心概念
DAG 与任务是调度基本单元。
| 命令 | 说明 |
|---|---|
| 一组按依赖组织的任务集合 | |
| 任务与任务模板(Python/Bash/SQL 等) | |
| 调度周期,如 "0 2 * * *" | |
| 是否补跑历史周期 | |
| 任务实例 / 任务间传递数据 |
定义 DAG
Python 文件即是 DAG。
| 命令 | 说明 |
|---|---|
| 用上下文创建 DAG | |
| Python 任务 | |
| Bash 任务 | |
| 用装饰器定义任务 | |
| 设置依赖(>> 与并行) |
调度与触发
时间与手动触发。
| 命令 | 说明 |
|---|---|
| 手动触发 DAG | |
| 补跑历史区间 | |
| 内置调度预设 | |
| 禁用自动调度 | |
| 设置起始日期 |
运维命令
初始化与服务管理。
| 命令 | 说明 |
|---|---|
| 初始化 / 升级元数据库 | |
| 列出 DAG / 查看导入错误 | |
| 单任务本地测试 | |
| 启动调度器 | |
| 启动 Web UI |
变量与连接
配置与任务间通信。
| 命令 | 说明 |
|---|---|
| 读取 / 设置变量 | |
| 获取连接 | |
| 推送 XCom | |
| 拉取上游 XCom | |
| DAG 参数 |
使用说明
Airflow 速查:核心概念、定义 DAG、调度与触发、运维命令、变量与连接;支持搜索与分类筛选,点击即可复制。
- 按用途点分类:核心概念、定义 DAG、调度与触发、运维命令、变量与连接。
- 点「命令」列复制到 DAG 文件或终端。
- 开发调试先用 airflow tasks test 单跑一个任务,再整体触发。
- 用 XCom 在任务间传递小数据,大文件走对象存储传路径。
常见问题
- catchup 要不要开?
- 首次上线或补数据时可控;日常调度常设 catchup=False,避免一次性补跑大量历史周期。
- DAG 没被识别怎么办?
- 用 airflow dags list-import-errors 查看导入报错,常见是依赖缺失或语法错误。
- 需要联网吗?
- 速查内容本地可用;运行需 Airflow 环境。
延伸阅读
相关工具
BQ
BigQuery 速查
bq query / UNNEST / PARTITION BY / dry_run 速查
ZK
ZooKeeper 速查
zkServer / zkCli / 四字命令速查
NMD
Nomad 速查
nomad job run / HCL / alloc logs 速查
ASTRO
Astro 速查
astro add / 内容集合 / client:load 速查
REMIX
Remix 速查
loader / action / Form / nested routes 速查
SOLID
SolidJS 速查
createSignal / Show / For / createStore 速查