Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01

创建一个Scala IDEA工程:

Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01_第1张图片

点击“Next”:

Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01_第2张图片

点击“Finish”完成工程的创建:

Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01_第3张图片

修改项目的属性:

Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01_第4张图片


首先修改Modules选项:

Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01_第5张图片


在src下创建两个文件夹,并把其属性改为source:

Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01_第6张图片

再修改Libraries:

Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01_第7张图片

因为要开发Spark程序,所以需要把Spark的开发需要的jar包导进来:

Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01_第8张图片


导入包完成后,在工程的scala下面创建一个package:

Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01_第9张图片


创建一个Object对象:

Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01_第10张图片

完成初始类的创建:

Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01_第11张图片


首先构建Spark Driver的模板代码:

Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01_第12张图片

该程序是对前面的搜狗日志的处理代码,只不过这个时候在IDEA中编写而已。

你可能感兴趣的:(filter,map,SparkContext,sortByKey,SparkConf)