Spark master HA

1.原理

只针对Spark自带的Standalone资源调度框架,因为Yarn本身就是高可用的

Standalone集群只有一个Master，如果Master挂了就无法提交应用程序，需要给Master进行高可用配置，Master的高可用有两种实现方式:fileSystem(文件系统)和zookeeper（分布式协调服务）。

fileSystem只有存储功能，可以存储Master的元数据信息，用fileSystem搭建的Master高可用，在Master失败时，需要我们手动启动另外的备用Master，这种方式不推荐使用。

zookeeper有选举和存储功能，可以存储Master的元素据信息，使用zookeeper搭建的Master高可用，当Master挂掉时，备用的Master会自动切换，推荐使用这种方式搭建Master的HA。

Spark  zookeeper高可用原理

2.master HA配置

1) 在Spark Master节点上配置主Master，配置spark-env.sh文件

spark-env.sh配置如下

2) 发送到其他worker节点上(node02,node03)

3) 找一台节点（非主Master节点,此处我选择的是node02）配置备用 Master,修改spark-env.sh配置节点上的SPARK_Master_IP为node02

node02节点修改SPARK_MASTER_IP主机名

4) 启动集群之前启动zookeeper集群,在node02,node03,node04节点上zkServer.sh start：

5) 启动spark Standalone集群，手动启动备用Master

node01主master节点上启动Spark集群

node02备master节点上启动master

6) 打开主Master和备用Master WebUI页面，观察状态

主master WEBUI界面

备master WEBUI界面

7)尝试kill掉 主master进程

kil 掉node01 master

刷新备master的web UI界面发现 Status状态切换为ALIVE

Master 配置HA成功

3. 注意点

1):主备切换过程中不能提交Application。

2):主备切换过程中不影响已经在集群中运行的Application。因为Spark是粗粒度资源调度。