配置集群-编写hadoop启动停止脚本

为了方便启动和停止 Hadoop 集群,可以编写脚本实现一键式操作。以下分别给出 Linux 系统下启动和停止 Hadoop 集群的脚本示例,同时包含了脚本代码和详细解释。

启动脚本

下面是启动 Hadoop 集群的脚本 start-hadoop.sh

#!/bin/bash

# 设置 Hadoop 安装目录
HADOOP_HOME="/path/to/your/hadoop"

# 启动 HDFS
$HADOOP_HOME/sbin/start-dfs.sh

# 等待 HDFS 启动完成
sleep 10

# 启动 YARN
$HADOOP_HOME/sbin/start-yarn.sh

# 启动 MapReduce 历史服务器
$HADOOP_HOME/sbin/mr-jobhistory-daemon.sh start historyserver

echo "Hadoop 集群已启动!"

脚本解释
1. 设置 Hadoop 安装目录:将 HADOOP_HOME 设置为你实际的 Hadoop 安装路径。
2. 启动 HDFS:使用 start-dfs.sh 脚本启动 HDFS 服务,它会启动 NameNode、DataNode 和 SecondaryNameNode。
3. 等待 HDFS 启动完成:使用 sleep 命令暂停 10 秒,确保 HDFS 完全启动后再启动 YARN。
4. 启动 YARN:使用 start-yarn.sh 脚本启动 YARN 服务,它会启动 ResourceManager 和 NodeManager。
5. 启动 MapReduce 历史服务器:使用 mr-jobhistory-daemon.sh 脚本启动 MapReduce 历史服务器,方便查看作业历史记录。
6. 输出提示信息:最后输出启动成功的提示信息。
停止脚本
下面是停止 Hadoop 集群的脚本 stop-hadoop.sh:

#!/bin/bash

# 设置 Hadoop 安装目录
HADOOP_HOME="/path/to/your/hadoop"

# 停止 MapReduce 历史服务器
$HADOOP_HOME/sbin/mr-jobhistory-daemon.sh stop historyserver

# 停止 YARN
$HADOOP_HOME/sbin/stop-yarn.sh

# 停止 HDFS
$HADOOP_HOME/sbin/stop-dfs.sh

echo "Hadoop 集群已停止!"

脚本解释
1. 设置 Hadoop 安装目录:同样需要将 HADOOP_HOME 设置为你实际的 Hadoop 安装路径。
2. 停止 MapReduce 历史服务器:使用 mr-jobhistory-daemon.sh 脚本停止 MapReduce 历史服务器。
3. 停止 YARN:使用 stop-yarn.sh 脚本停止 YARN 服务。
4. 停止 HDFS:使用 stop-dfs.sh 脚本停止 HDFS 服务。
5. 输出提示信息:最后输出停止成功的提示信息。
使用方法
1. 将上述脚本保存为 start-hadoop.sh 和 stop-hadoop.sh。
2. 赋予脚本执行权限:
 

chmod +x start-hadoop.sh
chmod +x stop-hadoop.sh

3.启动 Hadoop 集群:

./start-hadoop.sh

4.

./stop-hadoop.sh

停止 Hadoop 集群:

你可能感兴趣的:(hadoop,java,大数据)