使用IDEA编写Spark应用程序（Windows+Maven+Scala）

1、新建Maven工程

File->New->Project->Maven->Next

Name:SimpleApp，如下所示：

2、修改pom.xml配置文件，如下所示：

参考：https://search.maven.org/search?q=g:org.apache.spark

    4.0.0

    com.example
    SimpleApp
    1.0-SNAPSHOT
    
    
        
            org.apache.spark
            spark-core_2.12
            3.0.0-preview2
        
        
            org.apache.spark
            spark-sql_2.12
            3.0.0-preview2
        
    

3、激活自动导入

在右下角自动弹出的对话框中选择“Enable Auto-Import”，如下所示：

4、添加框架支持

在项目名称上单击右键，在弹出的对话框中选择“Add Framework Support”，如下所示：

在弹出的对话框左侧选择“Scala”，右侧选择“scala-sdk-2.12.10”，如下所示：

注意：IDEA需要提前安装Scala，参考Scala官方文档：https://docs.scala-lang.org/getting-started/intellij-track/getting-started-with-scala-in-intellij.html

5、生成package，如下所示：

在弹出的对话框中输入“com.example”，如下所示：

6、生成Scala类，如下所示：

在弹出的对话框中输入“SimpleApp”，如下所示：

7、添加SimpleApp类内容，如下所示：

参考Spark官方文档：http://spark.apache.org/docs/latest/quick-start.html#self-contained-applications

package com.example

import org.apache.spark.sql.SparkSession

object SimpleApp {
  def main(args: Array[String]) {
    // val logFile = "YOUR_SPARK_HOME/README.md"
    // 应该是你系统上的一些文件
    val logFile = "D:\\IdeaProjects\\Spark\\SimpleApp\\src\\main\\resources\\data.txt"
    val spark = SparkSession.builder.appName("Simple Application").getOrCreate()
    val logData = spark.read.textFile(logFile).cache()
    val numAs = logData.filter(line => line.contains("a")).count()
    val numBs = logData.filter(line => line.contains("b")).count()
    println(s"Lines with a: $numAs, Lines with b: $numBs")
    spark.stop()
  }
}

8、添加SimpleApp/src/main/resources/data.txt，如下所示：

hello world
hello spark
hello baby

9、配置运行环境

Run->Edit Configurations->Application，如下所示：

注意：VM options :  -Dspark.master=local

10、启动Spark服务，如下所示：

11、运行服务

在SimpleApp.scala类上单击右键，在弹出的对话框中选择“Run ‘SimpleApp’”，如下所示：

12、运行结果，如下所示：