搭建Spark的单机版集群

租用的阿里云 CentOS 7.3 64位
用 SecureCRT 连接服务器，需要设置下安全组，才能连接上

安全组设置

SecureCRT 向服务器上传文件 用 rz命令，然后会弹出文件框来选择

vim /etc/profile // 添加java、scala 的环境变量

set java environment

JAVA_HOME=/usr/java/jdk1.7.0_80
JRE_HOME=/usr/java/jdk1.7.0_80/jre
CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export JAVA_HOME JRE_HOME CLASS_PATH PATH

set scala

export SCALA_HOME=/usr/java/scala-2.11.11
export PATH=$PATH:$SCALA_HOME/bin

下载Spark

wget http://d3kbcqa49mib13.cloudfront.net/spark-1.4.0-bin-hadoop2.6.tgz

wget https://archive.apache.org/dist/hadoop/core/hadoop-2.6.0/hadoop-2.6.0.tar.gz

tar xvf 文件名 //分别解压hadoop 与 spark 压缩包

rm -f filename //如果版本有误需要删除文件

vim .bash_profile //配置Spark 环境变量

export SPARK_HOME=/usr/spark/spark-1.4.0-bin-hadoop2.6
export HADOOP_HOME=/usr/hadoop/hadoop-2.6.0
export HADOOP_CONF_DIR=/usr/hadoop/hadoop-2.6.0/etc/hadoop
export PATH=$PATH:$SPARK_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source .bash_profile // 让配置文件生效

// 修改spark 配置文件
cd /usr/spark/spark-1.4.0-bin-hadoop2.6/conf/

cp spark-env.sh.template spark-env.sh

vim spark-env.sh

export SCALA_HOME=/usr/java/scala-2.11.11
export SPARK_MASTER_IP=shan
export SPARK_WORKER_MEMORY=712m
export JAVA_HOME=/usr/java/jdk1.7.0_80

// 配置配置slaves
cp slaves.template slaves
vim slaves //将localhost修改为shan

//启动master
spark-1.4.0-bin-hadoop2.6]$ sbin/start-master.sh