Spark 配置历史服务器

类似Hadoop，Spark也有自己的history server，这里我们就来配置下：

1. 修改 spark-defaults.conf.template 文件名为 spark-defaults.conf

mv spark-defaults.conf.template spark-defaults.conf

2. 修改 spark-default.conf 文件，配置日志存储路径

spark.eventLog.enabled           true
spark.eventLog.dir               hdfs://KengicCluster/SparkLogDir

注意：需要启动Hadoop集群，并且这个目录要提前存在！！！（hadoop fs -mkdir /SparkLogDir）

3. 修改 spark-env.sh 文件, 添加日志配置

export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.fs.logDirectory=hdfs://KengicCluster/SparkLogDir -Dspark.history.retainedApplications=30"

• 参数 1 含义：WEB UI 访问的端口号为 18080
• 参数 2 含义：指定历史服务器日志存储路径
• 参数 3 含义：指定保存 Application 历史记录的个数，如果超过这个值，旧的应用程序信息将被删除，这个是内存中的应用数，而不是页面上显示的应用数。

4. 为了从 Yarn 上关联到 Spark 历史服务器，需要配置关联路径——修改spark-defaults.conf

spark.yarn.historyServer.address=cdh-01:18080
spark.history.ui.port=18080

5. 集群每个节点同步配置文件

xsync spark-defaults.conf
xsync spark-env.sh

6. 启动history服务

sbin/start-history-server.sh

7. 提交一个job，看看效果

./bin/spark-submit --master yarn --class org.apache.spark.examples.SparkPi ./examples/jars/spark-examples_2.11-2.4.6.jar 3

登录cdh-01:18080，即使job运行完毕，也可以看到job运行结果和日志：

登录cdh-01:8080，也可以从Yarn上面进入job：

进入application具体页面后：