spark-2.1.1-hadoop2.7+Ubuntu14完全分布式集群搭建

需要先安装Hadoop2.7完全分布式集群搭建。

一、安装Scala

1.下载scala-2.11.8.tgz,并解压

tar -zxvf ~/Downloads/scala-2.11.8.tgz  -C /usr/local

2.修改Scala-2.11.8目录所属用户和用户组

sudo chown -R hadoop /usr/local/scala-2.11.8

3.修改环境变量文件

sudo vim ~/.bashrc

添加一下内容

#scala Env
export SCALA_HOME=/usr/local/scala-2.11.8
export PATH=$PATH:$SCALA_HOME/bin

使环境变量生效

source ~/.bashrc

4.验证Scala安装

image.png

5.slave机器安装同上（1-4）

二、安装spark

1.下载spark-2.1.1-bin-hadoop2.7.tgz

2.解压并移动到相应目录

sudo tar -zxvf ~/Downloads/spark-2.1.1-bin-hadoop2.7.tgz  -C /usr/local
sudo mv /usr/local/spark-2.1.1-bin-hadoop2.7 /usr/local/spark   #修改目录名字
sudo chown -R hadoop /usr/local/spark

3.修改环境变量

sudo vim ~/.bashrc

添加一下内容

#spark Env
export SPARK_HOME=/usr/local/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

三、spark配置

1.进入spark配置目录，修改spark-env.sh

cd /usr/local/spark/conf  #进入目录
cp spark-env.sh.template spark-env.sh #复制模板
sudo vim spark-env.sh #编辑复制的模板

添加一下配置信息：

export SCALA_HOME=/usr/local/scala-2.11.8
export JAVA_HOME=/usr/local/jdk1.8.0_131
export SPARK_MASTER_IP=192.168.1.103 #此处修改为自己master的ip
export SPARK_WORKER_MEMORY=10g
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop 

2.配置slaves

cd /usr/local/spark/conf
cp slaves.template  slaves #复制重命名
sudo vim slaves 

编辑其内容为：

Master
slave2  

3.复制配置好的spark到slave机器

scp -r /usr/local/spark hadoop@slave2:~/Downloads
ssh slave2
cp ~/Downloads/spark  /usr/local
sudo chown -R hadoop /usr/local/spark 

四、启动spark集群

1、启动Hadoop集群

start-all.sh
jps #查看进程 

image.png

在slave2上查看进程

image.png

2.启动spark集群

(1) 启动Master节点

运行start-master.sh，结果与启动Hadoop对比如下：

image.png

(2)启动worker节点

运行start-slaves.sh，运行结果与启动Hadoop对比如下：

image.png