spark配置历史服务

1：配置spark-default.conf文件, 开启 Log
cp spark-defaults.conf.template spark-defaults.conf
在spark-defaults.conf文件中, 添加如下内容:

spark.eventLog.enabled           true
spark.eventLog.dir               hdfs://hadoop213:9000/spark-job-log

 

2: 修改spark-env.sh文件，添加如下配置.
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=30 -Dspark.history.fs.logDirectory=hdfs://hadoop213:9000/spark-job-log"

 

3：配置spark的历史服务
在yarn的页面中点击 history 无法直接连接到 spark 的日志.
可以在spark-default.conf中添加如下配置达到上述目的
spark.yarn.historyServer.address=hadoop213:18080
spark.history.ui.port=18080

如果在 yarn 日志端无法查看到具体的日志, 则在yarn-site.xml中添加如下配置

    yarn.log.server.url
    http://hadoop213:19888/jobhistory/logs

 

4：启动spark自己的历史服务

5，查看spark的历史服务
http://hadoop213:18080/