素材阁

Hadoop 速查

共 24 条 Hadoop 命令用法,涵盖 HDFS 文件操作、HDFS 管理、YARN 作业、提交作业、环境与配置。 支持搜索与分类筛选,点击即可复制。

HDFS 文件操作

hdfs dfs 与 hadoop fs 等价。

命令说明
列出目录
创建目录(-p 递归)
上传本地文件到 HDFS
从 HDFS 下载
删除(递归)/ 移动 / 复制
查看内容 / 末尾 / 大小

HDFS 管理

dfsadmin 查看集群状态。

命令说明
集群容量与节点状态
安全模式查询 / 退出
检查文件块与副本状态
设置副本数并等待
数据均衡

YARN 作业

资源与任务管理。

命令说明
列出运行中的应用
终止应用
查看应用日志
节点列表 / 资源占用
查看队列状态

提交作业

MapReduce 与打包 jar。

命令说明
提交 MapReduce 作业
传配置参数
查看作业
作业监控

环境与配置

常用变量与文件。

命令说明
安装目录
核心配置(fs.defaultFS、副本数、调度器)
查看类路径 / 版本
多集群切换

使用说明

Hadoop 速查:HDFS 文件操作、HDFS 管理、YARN 作业、提交作业、环境与配置;支持搜索与分类筛选,点击即可复制。

  1. 按用途点分类:HDFS 文件操作、HDFS 管理、YARN 作业、提交作业、环境与配置。
  2. 点「命令」列复制到终端。
  3. HDFS 操作用 hdfs dfs;作业与资源用 yarn application。
  4. 排错先看 yarn logs 与 ResourceManager UI(8088)。

常见问题

hdfs dfs 和 hadoop fs 有什么区别?
功能等价,都操作 HDFS;hdfs 命令是专用入口,hadoop fs 更通用(可对接其它文件系统)。
安全模式(safemode)是什么?
NameNode 启动或异常时的只读保护状态,此期间不能写;确认块副本正常后用 dfsadmin -safemode leave 退出。
需要联网吗?
速查内容本地可用;部署与下载需联网。

延伸阅读

相关工具