Hadoop 配置历史服务器及日志的聚集 （六）

配置历史服务器
为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下：

1 ） 配置 mapred-site.xml

只需在mapred-site.xml配置文件加两个参数：
[leokadia@hadoop102 hadoop]$ vim mapred-site.xml
在该文件里面增加如下配置。
 

 
 
    mapreduce.jobhistory.address 
    hadoop102:10020 
 
 
 
 
    mapreduce.jobhistory.webapp.address 
    hadoop102:19888 

2 ） 在 hadoop102 启动历史服务器

[leokadia@hadoop102 hadoop]$ xsyn user/local/hadoop/mapred-site.xml

3 ） 在 hadoop102 启动历史服务器

先重新启动一下集群，先stop后start

4 ）再启用历史服务器

[leokadia@hadoop102 hadoop]$ mapred --daemon start historyserver

 5 ）查看历史服务器是否启动

[leokadia@hadoop102 hadoop]$ jps

 

 6 ）测试

先创建一些数据
[leokadia@hadoop102 hadoop-3.1.3]$ hadoop fs -mkdir /input
[leokadia@hadoop102 hadoop-3.1.3]$ hadoop fs -put wcinput/word.txt /input
[leokadia@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input output
 

 7 ） 查看 JobHistory

 

 直接跳转到http://hadoop102:19888/jobhistory

 

 

 配置日志的聚集

 

 日志聚集概念：应用运行完成以后，将程序运行日志信息上传到 HDFS 系统上。

 

日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。
注意：开启日志聚集功能，需要重新启动 NodeManager 、ResourceManager 和HistoryServer。
开启日志聚集功能具体步骤如下：

1 ） 配置 yarn-site.xml

[leokadia@hadoop102 hadoop]$ vim yarn-site.xml
在该文件里面增加如下配置。
 

 
 
    yarn.log-aggregation-enable 
    true 
 
 
   
    yarn.log.server.url   
    http://hadoop102:19888/jobhistory/logs 
 
 
 
    yarn.log-aggregation.retain-seconds 
    604800 
 

 

 

2 ） 分发配置

[leokadia@hadoop102 hadoop]$ xsync usr/local/hadoop/yarn-site.xml

注意：分发完毕后一定要重启一下yarn

 

3 ） 关闭 NodeManager 、ResourceManager 和 HistoryServer

关闭HistoryServer
[leokadia@hadoop103 hadoop-3.1.3]$ mapred --daemon stop historyserver

 关闭 NodeManager 、ResourceManager
[leokadia@hadoop103 hadoop-3.1.3]$ sbin/stop-yarn.sh

 

因为更改了yarn的配置，所以需要重启yarn
HDFS配置没有修改，所以不需要重启HDFS

4 ） 启动 NodeManager 、ResourceManage 和 HistoryServer

启动 NodeManager 、ResourceManage
[leokadia@hadoop103 ~]$ start-yarn.sh

启动 HistoryServer
[leokadia@hadoop102 ~]$ mapred --daemon start historyserver
 

 现在查看logs页面

 

发现还是没有日志，需要再执行一遍任务就会出现日志

5 ） 删除 HDFS 上已经存在的 输出 文件

[leokadia@hadoop102 ~]$ hadoop fs -rm -r /output

6 ） 执行 WordCount 程序

[leokadia@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output
 

 

7 ） 查看日志

（1）历史服务器地址

http://hadoop102:19888/jobhistory

 （2）历史任务列表

 

（3）查看任务运行日志 

 （4）运行日志详情