Spark教程3：SparkSQL最全介绍

Spark SQL 最全介绍

一、Spark SQL 概述

Spark SQL 是 Apache Spark 的一个模块，用于处理结构化和半结构化数据。它提供了两种主要的编程接口：

• DataFrame：分布式数据集，带有结构化信息（Schema）。
• SQL 查询：支持执行标准 SQL 语句。

核心特点：

• 统一接口：支持 SQL 查询和 DataFrame API，无缝集成 RDD 和外部数据源。
• 优化执行：通过 Catalyst 优化器生成高效执行计划。
• 多语言支持：Python、Scala、Java 和 R。
• 数据源集成：支持 Hive、Parquet、JSON、JDBC 等多种数据源。

二、SparkSession：入口点

SparkSession 是 Spark SQL 的核心入口，替代了旧版本中的 SQLContext 和 HiveContext：

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("SparkSQLExample") \
    .config("spark.some.config.option", "some-value") \
    .getOrCreate()

三、DataFrame 基础操作

1. 创建 DataFrame：

   # 从 RDD 创建
   data = [("Alice", 25), ("Bob", 30)]
   columns = ["name", "age"]
   df = spark.createDataFrame(data, columns)
   
   # 从文件创建
   df = spark.read.json("path/to/data.json")
   df = spark.read.csv("path/to/data.csv", header=True, inferSchema=True)
   

2. 查看 DataFrame：

   df.show()         # 显示数据
   df.printSchema()  # 打印表结构
   df.columns        # 获取列名
   df.count()        # 统计行数
   

3. 选择与过滤：

   df.select("name", "age").show()
   df.filter(df.age > 25).show()
   df.where("age > 25 AND name LIKE 'A%'").show()
   

4. 排序与聚合：

   from pyspark.sql.functions import avg, count
   
   df.sort("age", ascending=False).show()
   df.groupBy("department").agg(avg("salary").alias("avg_salary")).show()
   

5. 列操作：

   df.withColumn("age_in_decades", df.age / 10).show()
   df.withColumnRenamed("name", "full_name").show()
   df.drop("age").show()
   

四、SQL 查询

1. 注册临时视图：

   df.createOrReplaceTempView("people")
   

2. 执行 SQL 查询：

   result = spark.sql("SELECT * FROM people WHERE age > 25")
   result.show()
   

3. 复杂查询：

   spark.sql("""
       SELECT department, AVG(salary) as avg_salary
       FROM people
       GROUP BY department
       HAVING avg_salary > 5000
       ORDER BY avg_salary DESC
   """).show()
   

五、Spark SQL 函数

1. 内置函数：

   from pyspark.sql.functions import *
   
   df.select(upper(df.name)).show()          # 字符串函数
   df.select(current_date()).show()          # 日期函数
   df.select(sqrt(df.age)).show()            # 数学函数
   df.select(date_format("dob", "yyyy-MM")).show()  # 日期格式化
   

2. 用户自定义函数 (UDF)：

   from pyspark.sql.functions import udf
   from pyspark.sql.types import IntegerType
   
   def square(x):
       return x**2
   
   square_udf = udf(square, IntegerType())
   df.withColumn("age_squared", square_udf(df.age)).show()
   

六、与 Hive 集成

1. 访问 Hive 表：

   # 创建支持 Hive 的 SparkSession
   spark = SparkSession.builder \
       .appName("HiveIntegration") \
       .enableHiveSupport() \
       .getOrCreate()
   
   # 查询 Hive 表
   spark.sql("SELECT * FROM hive_table").show()
   

2. 创建 Hive 表：

   spark.sql("CREATE TABLE IF NOT EXISTS hive_table (id INT, name STRING) STORED AS PARQUET")
   df.write.mode("overwrite").saveAsTable("hive_table")
   

七、数据源操作

1. Parquet 文件：

   # 读取
   parquet_df = spark.read.parquet("path/to/parquet")
   
   # 写入
   df.write.parquet("output.parquet", mode="overwrite")
   

2. JSON 文件：

   json_df = spark.read.json("path/to/json")
   df.write.json("output.json", mode="overwrite")
   

3. CSV 文件：

   csv_df = spark.read.csv("path/to/csv", header=True, inferSchema=True)
   df.write.csv("output.csv", header=True, mode="overwrite")
   

4. JDBC 数据源：

   jdbc_df = spark.read \
       .format("jdbc") \
       .option("url", "jdbc:mysql://localhost:3306/dbname") \
       .option("dbtable", "tablename") \
       .option("user", "username") \
       .option("password", "password") \
       .load()
   

八、DataFrame 与 RDD 互转

1. DataFrame 转 RDD：

   rdd = df.rdd  # 每个元素变为 Row 对象
   

2. RDD 转 DataFrame：

   # 使用反射推断 Schema
   from pyspark.sql import Row
   
   rdd = sc.parallelize([Row(name="Alice", age=25), Row(name="Bob", age=30)])
   df = spark.createDataFrame(rdd)
   
   # 或通过 StructType 定义 Schema
   from pyspark.sql.types import *
   
   schema = StructType([
       StructField("name", StringType(), True),
       StructField("age", IntegerType(), True)
   ])
   df = spark.createDataFrame(rdd, schema)
   

九、高级特性

1. 窗口函数：

   from pyspark.sql.window import Window
   from pyspark.sql.functions import row_number
   
   window_spec = Window.partitionBy("department").orderBy("salary")
   df.withColumn("rank", row_number().over(window_spec)).show()
   

2. Join 操作：

   df1 = spark.createDataFrame([(1, "Alice"), (2, "Bob")], ["id", "name"])
   df2 = spark.createDataFrame([(1, 25), (2, 30)], ["id", "age"])
   
   joined_df = df1.join(df2, on="id", how="inner")  # inner, left, right, full
   

3. 聚合操作：

   from pyspark.sql.functions import collect_list, first
   
   df.groupBy("department").agg(
       collect_list("name").alias("employees"),
       first("salary").alias("first_salary")
   ).show()
   

十、性能优化

1. 数据分区：

   df.repartition(10)  # 增加分区数
   df.coalesce(5)     # 减少分区数
   

2. 广播小表：

   from pyspark.sql.functions import broadcast
   
   small_df = spark.createDataFrame([...])
   large_df.join(broadcast(small_df), on="key").show()
   

3. 数据缓存：

   df.cache()  # 缓存到内存
   df.persist(StorageLevel.MEMORY_AND_DISK)  # 内存 + 磁盘
   

4. 谓词下推：

   # Spark SQL 自动将过滤条件下推到数据源
   df.filter("age > 25").write.parquet("output")
   

十一、Catalyst 优化器

Catalyst 是 Spark SQL 的查询优化器，包含四个主要阶段：

1. 分析（Analysis）：将 SQL 语句转换为逻辑计划。
2. 逻辑优化（Logical Optimization）：应用规则优化逻辑计划（如谓词下推、投影修剪）。
3. 物理计划生成（Physical Planning）：生成多个物理计划并选择最优。
4. 代码生成（Code Generation）：将执行计划编译为 Java 字节码。

查看执行计划：

df.filter("age > 25").explain(True)  # 显示详细执行计划

十二、Spark SQL 应用场景

• 交互式数据分析：通过 SQL 快速分析数据。
• ETL 作业：从多种数据源提取、转换和加载数据。
• 数据仓库：构建企业级数据仓库。
• 与 BI 工具集成：连接 Tableau、Power BI 等工具。
• 实时流处理：结合 Structured Streaming 处理实时数据。

十三、常见问题与解决方法

1. 内存溢出 (OOM)：

   • 增加 spark.executor.memory
   • 使用 repartition 或 coalesce 调整分区数
   • 避免在单个节点处理过大数据

2. 数据倾斜：

   • 对倾斜的键进行加盐处理
   • 使用广播变量替代 JOIN

3. 性能调优：

   • 启用谓词下推
   • 使用列式存储（如 Parquet）
   • 调整 Shuffle 分区数：spark.sql.shuffle.partitions