搭建Spark On YARN集群

一、Spark On YARN架构

二、搭建Spark On YARN集群

(一)搭建Spark Standalone集群

(二)修改Spark环境配置文件

Spark On YARN模式的搭建比较简单,仅需要在YARN集群的一个节点上安装Spark即可,该节点可作为提交Spark应用程序到YARN集群的客户端。Spark本身的Master节点和Worker节点不需要启动。
使用此模式需要修改Spark配置文件spark-env.sh,添加Hadoop相关属性,指定Hadoop与配置文件所在目录
搭建Spark On YARN集群_第1张图片

存盘退出后,执行命令:source spark-env.sh,让配置生效

三、提交Spark应用到集群运行

(一)启动HDFS和YARN

  • 执行命令:start-dfs.sh

你可能感兴趣的:(spark,big,data,hadoop)