Hadoop 速查
共 24 条 Hadoop 命令用法,涵盖 HDFS 文件操作、HDFS 管理、YARN 作业、提交作业、环境与配置。 支持搜索与分类筛选,点击即可复制。
HDFS 文件操作
hdfs dfs 与 hadoop fs 等价。
| 命令 | 说明 |
|---|---|
| 列出目录 | |
| 创建目录(-p 递归) | |
| 上传本地文件到 HDFS | |
| 从 HDFS 下载 | |
| 删除(递归)/ 移动 / 复制 | |
| 查看内容 / 末尾 / 大小 |
HDFS 管理
dfsadmin 查看集群状态。
| 命令 | 说明 |
|---|---|
| 集群容量与节点状态 | |
| 安全模式查询 / 退出 | |
| 检查文件块与副本状态 | |
| 设置副本数并等待 | |
| 数据均衡 |
YARN 作业
资源与任务管理。
| 命令 | 说明 |
|---|---|
| 列出运行中的应用 | |
| 终止应用 | |
| 查看应用日志 | |
| 节点列表 / 资源占用 | |
| 查看队列状态 |
提交作业
MapReduce 与打包 jar。
| 命令 | 说明 |
|---|---|
| 提交 MapReduce 作业 | |
| 传配置参数 | |
| 查看作业 | |
| 作业监控 |
环境与配置
常用变量与文件。
| 命令 | 说明 |
|---|---|
| 安装目录 | |
| 核心配置(fs.defaultFS、副本数、调度器) | |
| 查看类路径 / 版本 | |
| 多集群切换 |
使用说明
Hadoop 速查:HDFS 文件操作、HDFS 管理、YARN 作业、提交作业、环境与配置;支持搜索与分类筛选,点击即可复制。
- 按用途点分类:HDFS 文件操作、HDFS 管理、YARN 作业、提交作业、环境与配置。
- 点「命令」列复制到终端。
- HDFS 操作用 hdfs dfs;作业与资源用 yarn application。
- 排错先看 yarn logs 与 ResourceManager UI(8088)。
常见问题
- hdfs dfs 和 hadoop fs 有什么区别?
- 功能等价,都操作 HDFS;hdfs 命令是专用入口,hadoop fs 更通用(可对接其它文件系统)。
- 安全模式(safemode)是什么?
- NameNode 启动或异常时的只读保护状态,此期间不能写;确认块副本正常后用 dfsadmin -safemode leave 退出。
- 需要联网吗?
- 速查内容本地可用;部署与下载需联网。