素材阁

Airflow 速查

共 25 条 Apache Airflow 常用概念与命令,涵盖核心概念、定义 DAG、调度与触发、运维命令、变量与连接。 支持搜索与分类筛选,点击即可复制。

核心概念

DAG 与任务是调度基本单元。

命令说明
一组按依赖组织的任务集合
任务与任务模板(Python/Bash/SQL 等)
调度周期,如 "0 2 * * *"
是否补跑历史周期
任务实例 / 任务间传递数据

定义 DAG

Python 文件即是 DAG。

命令说明
用上下文创建 DAG
Python 任务
Bash 任务
用装饰器定义任务
设置依赖(>> 与并行)

调度与触发

时间与手动触发。

命令说明
手动触发 DAG
补跑历史区间
内置调度预设
禁用自动调度
设置起始日期

运维命令

初始化与服务管理。

命令说明
初始化 / 升级元数据库
列出 DAG / 查看导入错误
单任务本地测试
启动调度器
启动 Web UI

变量与连接

配置与任务间通信。

命令说明
读取 / 设置变量
获取连接
推送 XCom
拉取上游 XCom
DAG 参数

使用说明

Airflow 速查:核心概念、定义 DAG、调度与触发、运维命令、变量与连接;支持搜索与分类筛选,点击即可复制。

  1. 按用途点分类:核心概念、定义 DAG、调度与触发、运维命令、变量与连接。
  2. 点「命令」列复制到 DAG 文件或终端。
  3. 开发调试先用 airflow tasks test 单跑一个任务,再整体触发。
  4. 用 XCom 在任务间传递小数据,大文件走对象存储传路径。

常见问题

catchup 要不要开?
首次上线或补数据时可控;日常调度常设 catchup=False,避免一次性补跑大量历史周期。
DAG 没被识别怎么办?
用 airflow dags list-import-errors 查看导入报错,常见是依赖缺失或语法错误。
需要联网吗?
速查内容本地可用;运行需 Airflow 环境。

延伸阅读

相关工具