spark学习4：spark安装

1.下载spark安装包

2.配置环境

1.cd /bigdata/spark-3.0.1-bin-hadoop3.2/conf/

2.4.添加动态库

在hadoop-3.2.2/bin目录下添加hadoop.dll和winutils.exe文件，可以从https://github.com/cdarlint/winutils和https://github.com/steveloughran/winutils获取对应版本的文件。
 

配置spark环境

2.cp spark-env.sh.template spark-env.sh

3.vi spark-env.sh

基本内容：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0
export SPARK_MASTER_IP=192.168.43.100
export SPARK_MASTER_HOST=192.168.43.100
export SPARK_MASTER_PORT=7077

#combine your spark and hadoop
export HADOOP_CONF_DIR=/home/hzp/software/hadoop/hadoop-3.2.1/etc/hadoop/

其他可选内容：
export SCALA_HOME=/usr/local/scala-2.13.1
export JAVA_HOME=/usr/local/jdk1.8.0_221
export HADOOP_HOME=/usr/local/hadoop/hadoop-2.6.5
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
SPARK_MASTER_IP=master
SPARK_LOCAL_DIRS=/usr/local/spark-2.4.4-bin-hadoop2.6
SPARK_DRIVER_MEMORY=1G

配置集群节点

4.cp slaves.template slaves

5.vi slaves
slave1
slave2

配置环境变量

6.vi /etc/profile
SCALA_HOME=/usr/local/scala-2.13.1
PATH==P A T H : PATH:PATH:SCALA_HOME/bin

SPARK_HOME=/bigdata/spark-3.0.1-bin-hadoop3.2
PATH=P A T H : PATH:PATH:SPARK_HOME/bin

复制节点配置

7.复制spark到从节点，更改从节点环境变量/etc/profile
 

spark和hadoop的 搭载

配置spark的env 环境

1. cd spark-3.0.1/conf  找到spark-env.sh 文件

2.在配置文件中 添加 

export HADOOP_CONF_DIR=/home/hzp/software/hadoop/hadoop-3.2.1/etc/hadoop/               

彩色这部分 是变化的，填写hadoop 的根目录

2.