Spark 速查
共 24 条 Apache Spark 常用操作，涵盖基础操作、聚合与连接、Spark SQL、RDD 与优化、提交与运行。 支持搜索与分类筛选，点击即可复制。
基础操作
DataFrame 是主要 API。
| 命令 | 说明 |
|---|---|
| 创建入口会话 | |
| 读取数据 | |
| 查看数据 / 结构 / 行数 | |
| 选取与过滤 | |
| 新增 / 派生列 |
聚合与连接
分组与表连接。
| 命令 | 说明 |
|---|---|
| 分组聚合 | |
| 排序取前 N | |
| 连接（inner/left/right/full） | |
| 去重 / 丢弃空值 | |
| 按列名合并两个 DataFrame |
Spark SQL
注册临时视图后用 SQL。
| 命令 | 说明 |
|---|---|
| 注册临时视图 | |
| 执行 SQL | |
| 查询过滤 | |
| 从 SQL 建视图 |
RDD 与优化
底层 API 与缓存。
| 命令 | 说明 |
|---|---|
| 创建 RDD 与映射 | |
| 扁平映射（一对多） | |
| 缓存复用 | |
| 重分区 / 合并分区 | |
| 按列分区写出 |
提交与运行
spark-submit 与调试。
| 命令 | 说明 |
|---|---|
| 本地运行 | |
| 提交到 YARN 集群 | |
| 附加依赖与配置 | |
| Python / Scala 交互式 shell | |
| 查看执行计划 |
使用说明
Apache Spark 速查：基础操作、聚合与连接、Spark SQL、RDD 与优化、提交与运行；支持搜索与分类筛选，点击即可复制。
- 按用途点分类：基础操作、聚合与连接、Spark SQL、RDD 与优化、提交与运行。
- 点「命令」列复制到脚本或命令行。
- 优先用 DataFrame / SQL，Catalyst 会做优化；RDD 仅在需要底层控制时使用。
- 反复使用的 DataFrame 记得 cache/persist，排查性能用 explain 看执行计划。
常见问题
- repartition 和 coalesce 区别？
- repartition 会做完整洗牌、可增可减分区；coalesce 只是合并分区、不会引起洗牌，常用于减少输出文件数。
- 数据倾斜怎么办？
- 可对倾斜键加盐打散、广播小表做 map join，或调整分区与并行度。
- 需要联网吗？
- 速查内容本地可用；运行需 Spark 环境。