如何在idea中写spark程序

在 IntelliJ IDEA 中编写 Spark 程序，可按以下步骤进行：

1. 创建新项目

• 打开 IntelliJ IDEA，选择File -> New -> Project。
• 在左侧面板选择Maven或者Gradle（这里以 Maven 为例），确保Project SDK选择合适的 JDK 版本。
• 点击Next，设置项目的GroupId、ArtifactId等信息，最后点击Finish完成项目创建。

2. 添加 Spark 依赖

打开项目中的pom.xml文件，添加 Spark 相关依赖。以下是一个使用 Spark 3.2.1 版本的示例：

xml

    
    
        org.apache.spark
        spark-core_2.12
        3.2.1
    
    
    
        org.apache.spark
        spark-sql_2.12
        3.2.1
    

添加完依赖后，Maven 会自动下载所需的库文件。

3. 编写 Spark 程序

在src/main/java（如果是 Java 项目）或者src/main/scala（如果是 Scala 项目）目录下创建一个新的类文件，下面分别给出 Java 和 Scala 的示例代码。

Java 示例

java

import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.sql.SparkSession;

import java.util.Arrays;
import java.util.List;

public class SparkJavaExample {
    public static void main(String[] args) {
        // 创建SparkSession
        SparkSession spark = SparkSession.builder()
               .appName("SparkJavaExample")
               .master("local[*]")
               .getOrCreate();

        // 创建JavaSparkContext
        JavaSparkContext sc = new JavaSparkContext(spark.sparkContext());

        // 创建一个包含整数的列表
        List data = Arrays.asList(1, 2, 3, 4, 5);
        // 创建RDD
        JavaRDD rdd = sc.parallelize(data);

        // 计算RDD中所有元素的总和
        int sum = rdd.reduce(Integer::sum);

        System.out.println("Sum: " + sum);

        // 停止SparkContext和SparkSession
        sc.stop();
        spark.stop();
    }
}

Scala 示例

scala

import org.apache.spark.sql.SparkSession

object SparkScalaExample {
  def main(args: Array[String]): Unit = {
    // 创建SparkSession
    val spark = SparkSession.builder()
      .appName("SparkScalaExample")
      .master("local[*]")
      .getOrCreate()

    // 创建一个包含整数的列表
    val data = List(1, 2, 3, 4, 5)
    // 创建RDD
    val rdd = spark.sparkContext.parallelize(data)

    // 计算RDD中所有元素的总和
    val sum = rdd.reduce(_ + _)

    println(s"Sum: $sum")

    // 停止SparkSession
    spark.stop()
  }
}

4. 运行程序

• 右键点击代码编辑区域，选择Run 'SparkJavaExample.main()'（如果是 Java 示例）或者Run 'SparkScalaExample'（如果是 Scala 示例）。
• 若要在集群上运行，可将代码打包成 JAR 文件，然后使用spark-submit命令提交到集群。

注意事项

• 示例代码中master("local[*]")表示在本地模式下运行，若要在集群上运行，需修改为合适的集群 URL，如yarn。
• 确保你的开发环境中已经正确安装和配置了 JDK、Maven 或 Gradle 以及相应的 Scala 插件（如果使用 Scala）。