| (1)初学者对于spark的几个疑问 | http://aperise.iteye.com/blog/2302481 |
| (2)spark开发环境搭建 | http://aperise.iteye.com/blog/2302535 |
| (3)Spark Standalone集群安装介绍 | http://aperise.iteye.com/blog/2305905 |
| (4)spark-shell 读写hdfs 读写redis 读写hbase | http://aperise.iteye.com/blog/2324253 |
spark开发环境搭建
- jdk下载安装
- Scala下载安装
- Scala IDE for Eclipse下载安装
- IntelliJ IDEA for scala下载安装
- IntelliJ IDEA Ultimate破解版安装
- 在线安装SCALA插件
- 离线安装SCALA插件
- 创建maven scala工程
- intellij IDEA 常用设置
- intellij IDEA本地开发无法解析hadoop ha下虚拟的ha-cluster名称
spark源代码开发语言是Scala，Scala是一个基于JVM的开发语言，所以后期开发最好是选择Scala，因为可以不断的练习你的Scala开发技能，从而更深入的去查看spark源代码，更深层次提高自己能力。
spark支持的比较好的语言还有java和Python，这里只讲Scala开发环境搭建。
1.JDK安装
Oracle官网各种java版本下载地址：http://www.oracle.com/technetwork/java/archive-139210.html
(1)jdk下载
jdk1.7下载 http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.tar.gz
jdk1.8下载 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
jdk版本上选择看自己需求，然后自己去下载。
(2)jdk环境变量配置
我的jdk1.7所在位置为：D:\Java\jdk1.7.0_55
设置环境变量JAVA_HOME如下：
JAVA_HOME=D:\Java\jdk1.7.0_55
设置环境变量CLASSPATH如下：
CLASSPATH=.;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar
设置环境变量PATH，这里注意了，不要把PATH全部覆盖了，毕竟这里有windows环境下DOS命令配置，这里要做的是将;%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;追加到PATH环境变量之后如下
PATH=这里是之前已经存在的PATH变量值;%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;
测试JDK是否安装成功，命令窗口输入java -version查看java版本
2.Scala安装
(1)scala下载
Scala 2.10.6下载http://www.scala-lang.org/download/2.10.6.html
Scala 2.11.8下载http://www.scala-lang.org/download/2.11.8.html
(2)Scala环境变量配置
官网关于Scala环境变量设置介绍地址http://www.scala-lang.org/documentation/getting-started.html
我的Scala的位置为：D:\scala\scala-2.10.6
设置环境变量SCALA_HOME如下：
SCALA_HOME=D:\scala\scala-2.10.6
设置环境变量PATH，这里注意了，不要把PATH全部覆盖了，毕竟这里有windows环境下DOS命令配置，这里要做的是将;%SCALA_HOME%\bin追加到PATH环境变量之后如下
PATH=这里是之前已经存在的PATH变量值;%SCALA_HOME%\bin
设置完毕后，在命令窗口检测是否Scala安装成功
3.IDE工具安装
(1)Scala IDE for Eclipse
下载地址：http://scala-ide.org/download/sdk.html
(2)IntelliJ IDEA for free(java scala andorid)
这里下载的是免费版本的IntelliJ IDEA，如下图
下载地址为：http://www.jetbrains.com/idea/download/download-thanks.html?code=IIC
4.IntelliJ IDEA Ultimate破解版安装
4.1 下载地址：https://www.jetbrains.com/idea/download/#section=windows
在官网下载最新idea Ultimate版(默认只能免费使用一个月，后面会讲破解)，也就是任何功能不受限制的版本。
4.2 下载IntelliJ IDEA破解文件
百度云链接：http://pan.baidu.com/s/1geJ108z 密码：qdzi
4.3 安装IntelliJ IDEA
这里我下载的是ideaIU-2016.2.4.exe，双击安装，步骤如下：
4.4 激活IntelliJ IDEA
首先解压IntelliJ IDEA 16破解.rar，得到如下文件：
双击运行文件IntelliJIDEALicenseServer_windows_386.exe
运行已经安装的IntelliJ IDEA,首次运行会提示只有30天的使用期限，也可以输入购买的lisense,这里说下如何破解：
点击OK，然后选择Lisence Server并且输入激活服务器地址http://127.0.0.1:1017
激活成功后出现如下界面：
激活成功时候，原来的激活服务窗口提示如下：
5.在线安装SCALA插件
破解完Intellij IDEA后，首次打开时候，scala插件默认是没有安装的，这时候需要自己手动安装，这里讲解如何在线安装。
如果你已经打开intellij IDEA，可以在如下菜单找到插件安装窗口
如下步骤继续：
6.离线安装SCALA插件
下载的插件版本和地址在这里已经有提示了
7.创建maven scala工程
7.1 File->New Project
7.2 set Project SDK
7.3 create from achetype
7.4 set Groupid and antifactid
7.5 set maven
7.6 set project name
7.7 change maven pom.xml
4.0.0 com.XXX spark-offline 1.0-SNAPSHOT jar 2008 2.10.5 1.6.0 2.7.1 2.9.0 2.4.2 1.2.1 UTF-8 scala-tools.org Scala-Tools Maven2 Repository http://scala-tools.org/repo-releases scala-tools.org Scala-Tools Maven2 Repository http://scala-tools.org/repo-releases org.scala-lang scala-library ${scala.version} junit junit 4.4 test org.specs specs 1.2.5 test org.apache.spark spark-core_2.10 ${spark.version} org.apache.spark spark-sql_2.10 ${spark.version} org.apache.hadoop hadoop-client ${hadoop.version} redis.clients jedis ${jedis.version} org.apache.commons commons-pool2 ${commons-pool2.version} org.apache.hbase hbase-client ${hbase.version} org.apache.hbase hbase-common ${hbase.version} org.apache.hbase hbase-server ${hbase.version} src/main/scala src/test/scala org.scala-tools maven-scala-plugin compile testCompile ${scala.version} -target:jvm-1.5 org.apache.maven.plugins maven-eclipse-plugin true ch.epfl.lamp.sdt.core.scalabuilder ch.epfl.lamp.sdt.core.scalanature org.eclipse.jdt.launching.JRE_CONTAINER ch.epfl.lamp.sdt.launching.SCALA_CONTAINER org.scala-tools maven-scala-plugin ${scala.version}
7.8 use maven plugin install scala project
8.intellij IDEA 常用设置
8.1 set UI theme
设置完成后，效果如下：
8.2 set font and colors
为了不破坏默认的配置，首先我们需要另存一个自己的配置文件，这里取名myself
这里我们将代码字体调大到16
8.3 set code template
/**
* Project Name:${PROJECT_NAME}
* File Name:${FILE_NAME}
* Package Name:${PACKAGE_NAME}
* Date:${DATE}${TIME}
* User:${USER}
* Description: TODO
* Copyright (c) ${year}, [email protected] All Rights Reserved.
*/
8.4 SET SCALA SDK
8.4 export your own settings and import your own settings anlywhere
在项目开发过成中，已经设置了很多代码模板、代码编程风格，这些个性化设置可以很方便的导出以便后续使用，这里导出步骤如下：
在任意地方，你可以导入之前已经保存的个性化设置文件settings.jar
8.5 keymap Refrence
详见附件“Intellij IDEA default keymap.pdf”
9.intellij IDEA本地开发无法解析hadoop ha下虚拟的ha-cluster名称
9.1.windows本地使用intellij IDEA开发spark
hadoop安装的是采用HA的方式，现在本地开发环境开发spark时候，无法解析hadoop-ha方式下的cluster名称，原因是本地程序不知道加载的cluster ha对应的namenode名称和IP，解决办法是通过sparkconf追加参数，让spark 本地local模式知道hadoop ha配置，如下：
val spark = SparkSession
.builder()
.master("local[2]")
.appName("HtSecApp UserEvent Processor")
.getOrCreate()
val sc = spark.sparkContext
val hadoopConf = sc.hadoopConfiguration
hadoopConf.set("dfs.nameservices", "mycluster")
hadoopConf.set("dfs.client.failover.proxy.provider.mycluster", "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider")
hadoopConf.set("dfs.ha.namenodes.mycluster", "nn1,nn2")
hadoopConf.set("dfs.namenode.rpc-address.mycluster.nn1", "192.168.77.38:9000")
hadoopConf.set("dfs.namenode.rpc-address.mycluster.nn2", "192.168.77.39:9000")
解决如下问题：
9.2.服务端spark无法解析hadoop ha解决办法
首先spark-env.sh里添加参数让spark知道哪里加载hadoop ha配置文件：
xport HADOOP_HOME=/home/hadoop/hadoop-2.7.1
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export HADOOP_USER_CLASSPATH_FIRST=true
其次采用spark-submit时候可以明确指定参数--files让spark读取额外的hadoop配置
./spark-submit \
--master spark://hadoop31:7077,hadoop35:7077 \
--class "com.xxx.offline.FridayReportAnalysis" \
--files "/home/hadoop/hadoop-2.7.1/etc/hadoop/core-site.xml,/home/hadoop/hadoop-2.7.1/etc/hadoop/hdfs-site.xml" \
/home/hadoop/sparkoffline/spark-offline-1.0-SNAPSHOT.jar \
20170303
