Dask 速查
共 25 条 Dask 常用写法,涵盖基础、Delayed 与 Array、集群与调度、DataFrame 要点、工具与集成。 支持搜索与分类筛选,点击即可复制。
基础
平行的 pandas/numpy,惰性执行。
| 命令 | 说明 |
|---|---|
| 安装(含分布式) | |
| 引入 dataframe 接口 | |
| 读取(多文件/分区) | |
| compute 才真正执行 | |
| 探索 |
Delayed 与 Array
通用并行。
| 命令 | 说明 |
|---|---|
| 包装任意函数 | |
| 构建任务图并计算 | |
| 大数组分块 | |
| 像 numpy | |
| 依赖图 |
集群与调度
本地与分布式。
| 命令 | 说明 |
|---|---|
| 启动本地调度器 | |
| 连远程集群 | |
| 自定义工作进程 | |
| 命令行启动 | |
| 监控面板 |
DataFrame 要点
尽量贴合 pandas。
| 命令 | 说明 |
|---|---|
| 减少 groupby 报错 | |
| 分区级操作 | |
| 缓存 | |
| 写出 | |
| 兼容程度 |
工具与集成
生态。
| 命令 | 说明 |
|---|---|
| 多格式 | |
| ML 集成 | |
| dask-ml | |
| K8s 集成 | |
| GPU |
使用说明
Dask 常用写法速查:基础、Delayed 与 Array、集群与调度、DataFrame 要点、工具与集成;支持搜索与分类筛选,点击即可复制。
- 按用途点分类:基础、Delayed 与 Array、集群与调度、DataFrame 要点、工具与集成。
- 点「写法」列复制,替换数据路径与列名后使用。
- Dask 是惰性的:构建任务图后用 .compute() 才真正执行。
- 多机用 dask-scheduler/dask-worker,或 Client 连到调度器。
常见问题
- Dask 和 pandas 有何不同?
- Dask 把大数据切成多个分区并惰性、并行计算,接口尽量贴合 pandas;适合单机放不下的数据,小数据直接用 pandas 更省心。
- 为什么一定要 compute?
- DataFrame/Array 只构建惰性任务图,compute() 才触发调度与执行;不 compute 就得不到实际结果,也不会真正读数据。
- groupby 报错怎么办?
- 常见于列类型未定(如 pandas 未定 dtype)。读取时显式指定 dtype(如 dtype={'id':'int64'}),能让 Dask 正确推断与聚合。