素材阁

Dagster 速查

共 25 条 Dagster 常用写法,涵盖基础(Asset)、核心对象、运行与开发、IO 与配置、部署与集成。 支持搜索与分类筛选,点击即可复制。

基础(Asset)

以数据资产为核心。

命令说明
安装
引入
定义一个资产
依赖上游(参数即依赖)
理念

核心对象

资产/操作/作业/调度。

命令说明
资产
操作
作业
触发器
资源

运行与开发

本地开发。

命令说明
启动开发服务与 Web UI(:3000)
指定入口文件
可视化
物化
分区

IO 与配置

存储与参数。

命令说明
IO 管理器
配置
元数据
质量检查
实例配置

部署与集成

上线。

命令说明
生产组件
部署目标
生态集成
命令行物化
范式

使用说明

Dagster 常用写法速查:基础(Asset)、核心对象、运行与开发、IO 与配置、部署与集成;支持搜索与分类筛选,点击即可复制。

  1. 按用途点分类:基础(Asset)、核心对象、运行与开发、IO 与配置、部署与集成。
  2. 点「写法」列复制,替换资产名与依赖后使用。
  3. @asset 描述数据产物,参数即上游依赖,形成资产图。
  4. 用 dagster dev 本地开发,Web UI 查看资产与物化历史。

常见问题

Software-Defined Asset 是什么?
把「数据资产」作为一等公民:代码声明要产出什么数据、依赖什么,由调度器推断执行顺序,比只声明「任务」更贴近数据视角。
IO Manager 干什么的?
负责资产之间的读写:把上游产物写到存储(本地/S3/DB)、下游再读回来,让资产逻辑只关心计算,不必关心落盘细节。
和 Airflow 有何不同?
Airflow 以任务(DAG)为中心;Dagster 以资产为中心,强调数据血缘、类型、分区与可测试性,更适合现代数据工程。

延伸阅读

相关工具