修改并编译spark源码

阅读更多

这里说一下spark源码的编译，可以修改一些源码，进行编译，这里我们修改一下spark-shell启动时输出消息的代码，这地方不用多说，使用 idea导入spark官网 下载的spark1.6源码，然后修改，回到spark源码解压目录，这里首先配置maven，jdk等环境变量。

./build/mvn -Pyarn -Phadoop-2.6 -Dhadoop.version=2.6.0 -DskipTests clean package

先执行上面的命令，会下载各种依赖jar和pom什么的，此过程比较长，大约1小时左右。成功后，再执行下面的命令

./make-distribution.sh --name custom-spark --tgz -Psparkr -Phadoop-2.6 -Dhadoop.version=2.6.1 -Phive -Phive-thriftserver -Pyarn

执行完成后，我们在spark源码目录会发现多个一个压缩文件

spark-1.6.3-bin-custom-spark.tgz

这个压缩包就可以用来安装spark了，解压，我们在bin目录执行spark-shell命令，结果如下，我们发现修改后的代码编译有效了。