Hadoop集群常用命令

1. 启动 Hadoop 集群

# 启动 HDFS
start-dfs.sh

# 启动 YARN
start-yarn.sh

2. 停止 Hadoop 集群

# 停止 YARN
stop-yarn.sh

# 停止 HDFS
stop-dfs.sh

3. HDFS 常用命令

• 查看 HDFS 状态

  hdfs dfsadmin -report
  

• 上传文件到 HDFS

  hdfs dfs -put /local/path/to/file /hdfs/path/
  

• 从 HDFS 下载文件

  hdfs dfs -get /hdfs/path/to/file /local/path/
  

• 列出 HDFS 目录内容

  hdfs dfs -ls /hdfs/path/
  

• 删除 HDFS 文件或目录

  hdfs dfs -rm /hdfs/path/to/file
  hdfs dfs -rm -r /hdfs/path/to/directory
  

• 创建 HDFS 目录

  hdfs dfs -mkdir /hdfs/new_directory
  

4. YARN 常用命令

• 查看 YARN 应用程序状态

  yarn application -list
  

• 查看特定应用程序的详细信息

  yarn application -status 
  

• 提交 MapReduce 作业

  yarn jar /path/to/your/mapreduce.jar YourMainClass /input/path /output/path
  

• 杀死正在运行的应用程序

  yarn application -kill 
  

5. 监控和管理命令

• 查看 Hadoop 日志

  yarn logs -applicationId 
  

• 查看 Namenode 日志

  tail -f $HADOOP_HOME/logs/hadoop-hadoop-namenode-.log
  

• 查看 Datanode 日志

  tail -f $HADOOP_HOME/logs/hadoop-hadoop-datanode-.log
  

6. 配置和管理命令

• 检查 Hadoop 配置

  hadoop checknative -a
  

• 格式化 Namenode

  hdfs namenode -format