如何搭建spark yarn模式的集群

Spark YARN 模式集群搭建指南​
一、环境准备​
硬件准备：准备多台服务器作为集群节点，至少包含 1 个主节点（Master Node）和多个工作节点（Worker Node）。各节点的硬件配置根据实际业务需求而定，例如每台节点建议配备 8GB 以上内存、多核心 CPU 以及足够的磁盘空间。​
软件准备：确保所有节点安装相同版本的 Linux 操作系统（如 CentOS 7），并且各节点之间网络互通，可通过ping命令测试节点间的网络连接。同时，关闭所有节点的防火墙和 SELinux，避免网络通信受到限制。​
​
TypeScript
取消自动换行
复制
# 关闭防火墙​
systemctl stop firewalld​
systemctl disable firewalld​
# 关闭SELinux​
sed -i's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config​
setenforce 0​
​
时间同步：为保证集群各节点时间一致，所有节点需配置时间同步服务。可以使用 NTP（Network Time Protocol）进行时间同步，以阿里云 NTP 服务器为例，执行以下命令：​
​
TypeScript
取消自动换行
复制
yum install ntp -y​
vim /etc/ntp.conf​
# 在文件中添加以下内容​
server ntp.aliyun.com iburst​
# 重启NTP服务​
systemctl restart ntpd​
systemctl enable ntpd​
​
二、安装配置 JDK​
下载 JDK：从 Oracle 官网下载适合 Linux 系统的 JDK 安装包（如 JDK 1.8），将安装包上传至所有节点的指定目录（如/opt/software）。​
解压安装：在所有节点上执行以下命令解压 JDK 安装包：​
​
TypeScript
取消自动换行
复制
tar -zxvf jdk-8uxxx-linux-x64.tar.gz -C /opt/​
​