Spark2.1.0源码编译

1、在Spark官网下载源码，选择source code下载解压即可（也可以git clone spark源码）

2、在环境变量里设置maven内存大小，我本机使用默认大小也通过了，根据实际情况决定。

export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m"

3、官方编译示例：

# Apache Hadoop 2.2.X
./build/mvn -Pyarn -Phadoop-2.2 -DskipTests clean package

# Apache Hadoop 2.3.X
./build/mvn -Pyarn -Phadoop-2.3 -Dhadoop.version=2.3.0 -DskipTests clean package

# Apache Hadoop 2.4.X or 2.5.X
./build/mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -DskipTests clean package

# Apache Hadoop 2.6.X
./build/mvn -Pyarn -Phadoop-2.6 -Dhadoop.version=2.6.0 -DskipTests clean package

# Apache Hadoop 2.7.X and later
./build/mvn -Pyarn -Phadoop-2.7 -Dhadoop.version=2.7.0 -DskipTests clean package

# Different versions of HDFS and YARN.
./build/mvn -Pyarn -Phadoop-2.3 -Dhadoop.version=2.3.0 -Dyarn.version=2.2.0 -DskipTests clean package

4：可以使用dev/make-distribution.sh脚本

make-distribution.sh --name custom-spark --tgz  --mvn ${MAVEN_HOME}/bin/mvn -Phadoop-2.4 -Phive -Phive-thriftserver -Pmesos -Pyarn

其中参数含义分别为:

--name custom-spark //指定压缩包名字

--tgz   //生成部署包

--mvn ${MAVEN_HOME}/bin/mvn   //指定使用自己本地配置的mvn，不指定默认使用spark-source/build下面的mvn

5、最后在Spark-source根目录生成安装包