素材阁

Dask 速查

共 25 条 Dask 常用写法,涵盖基础、Delayed 与 Array、集群与调度、DataFrame 要点、工具与集成。 支持搜索与分类筛选,点击即可复制。

基础

平行的 pandas/numpy,惰性执行。

命令说明
安装(含分布式)
引入 dataframe 接口
读取(多文件/分区)
compute 才真正执行
探索

Delayed 与 Array

通用并行。

命令说明
包装任意函数
构建任务图并计算
大数组分块
像 numpy
依赖图

集群与调度

本地与分布式。

命令说明
启动本地调度器
连远程集群
自定义工作进程
命令行启动
监控面板

DataFrame 要点

尽量贴合 pandas。

命令说明
减少 groupby 报错
分区级操作
缓存
写出
兼容程度

工具与集成

生态。

命令说明
多格式
ML 集成
dask-ml
K8s 集成
GPU

使用说明

Dask 常用写法速查:基础、Delayed 与 Array、集群与调度、DataFrame 要点、工具与集成;支持搜索与分类筛选,点击即可复制。

  1. 按用途点分类:基础、Delayed 与 Array、集群与调度、DataFrame 要点、工具与集成。
  2. 点「写法」列复制,替换数据路径与列名后使用。
  3. Dask 是惰性的:构建任务图后用 .compute() 才真正执行。
  4. 多机用 dask-scheduler/dask-worker,或 Client 连到调度器。

常见问题

Dask 和 pandas 有何不同?
Dask 把大数据切成多个分区并惰性、并行计算,接口尽量贴合 pandas;适合单机放不下的数据,小数据直接用 pandas 更省心。
为什么一定要 compute?
DataFrame/Array 只构建惰性任务图,compute() 才触发调度与执行;不 compute 就得不到实际结果,也不会真正读数据。
groupby 报错怎么办?
常见于列类型未定(如 pandas 未定 dtype)。读取时显式指定 dtype(如 dtype={'id':'int64'}),能让 Dask 正确推断与聚合。

延伸阅读

相关工具