Dagster 速查
共 25 条 Dagster 常用写法,涵盖基础(Asset)、核心对象、运行与开发、IO 与配置、部署与集成。 支持搜索与分类筛选,点击即可复制。
基础(Asset)
以数据资产为核心。
| 命令 | 说明 |
|---|---|
| 安装 | |
| 引入 | |
| 定义一个资产 | |
| 依赖上游(参数即依赖) | |
| 理念 |
核心对象
资产/操作/作业/调度。
| 命令 | 说明 |
|---|---|
| 资产 | |
| 操作 | |
| 作业 | |
| 触发器 | |
| 资源 |
运行与开发
本地开发。
| 命令 | 说明 |
|---|---|
| 启动开发服务与 Web UI(:3000) | |
| 指定入口文件 | |
| 可视化 | |
| 物化 | |
| 分区 |
IO 与配置
存储与参数。
| 命令 | 说明 |
|---|---|
| IO 管理器 | |
| 配置 | |
| 元数据 | |
| 质量检查 | |
| 实例配置 |
部署与集成
上线。
| 命令 | 说明 |
|---|---|
| 生产组件 | |
| 部署目标 | |
| 生态集成 | |
| 命令行物化 | |
| 范式 |
使用说明
Dagster 常用写法速查:基础(Asset)、核心对象、运行与开发、IO 与配置、部署与集成;支持搜索与分类筛选,点击即可复制。
- 按用途点分类:基础(Asset)、核心对象、运行与开发、IO 与配置、部署与集成。
- 点「写法」列复制,替换资产名与依赖后使用。
- @asset 描述数据产物,参数即上游依赖,形成资产图。
- 用 dagster dev 本地开发,Web UI 查看资产与物化历史。
常见问题
- Software-Defined Asset 是什么?
- 把「数据资产」作为一等公民:代码声明要产出什么数据、依赖什么,由调度器推断执行顺序,比只声明「任务」更贴近数据视角。
- IO Manager 干什么的?
- 负责资产之间的读写:把上游产物写到存储(本地/S3/DB)、下游再读回来,让资产逻辑只关心计算,不必关心落盘细节。
- 和 Airflow 有何不同?
- Airflow 以任务(DAG)为中心;Dagster 以资产为中心,强调数据血缘、类型、分区与可测试性,更适合现代数据工程。