Spark核心概念与DAG执行原理笔记

Spark核心概念与DAG执行原理笔记

本文档基于手写笔记和学习资料，使用Mermaid图表总结Spark的核心概念、DAG执行原理和Stage划分机制，便于复习和理解。

1. Spark核心概念总览

mindmap
  root((Spark核心概念))
    RDD
      弹性分布式数据集
      五大特性
        不可变性
        分区性
        依赖关系
        惰性计算
        持久化
      操作类型
        转换操作Transformations
        行动操作Actions
    DAG
      有向无环图
      逻辑执行计划
      依赖关系
        窄依赖
        宽依赖
    共享变量
      广播变量Broadcast
      累加器Accumulator
    执行流程
      Driver程序
      Executor执行器
      Task任务
      Stage阶段

2. DAG构建与Stage划分流程

窄依赖

宽依赖

用户代码

RDD转换操作

构建DAG

DAGScheduler分析依赖

依赖类型判断

同一Stage内执行

Stage边界划分

生成Task

新Stage创建

TaskScheduler调度

Executor执行Task

返回结果

3. RDD依赖关系详解

宽依赖 (Wide Dependencies)

窄依赖 (Narrow Dependencies)

子RDD分区1

父RDD分区1

子RDD分区2

父RDD分区2

父RDD分区3

操作: groupByKey, reduceByKey

特点: 一对多

需要Shuffle

Stage边界

子RDD分区1

父RDD分区1

子RDD分区2

父RDD分区2

子RDD分区3

父RDD分区3

操作: map, filter, union

特点: 一对一或多对一

无需Shuffle

可管道化执行

4. Spark作业执行架构

Driver Program DAGScheduler TaskScheduler Cluster Manager Executor 1. 提交Job 2. 构建DAG 3. Stage划分 4. 提交TaskSet 5. 申请资源 6. 启动Executor 7. 分发Task 8. 执行Task 9. 返回结果 10. Stage完成通知 11. Job完成 Driver Program DAGScheduler TaskScheduler Cluster Manager Executor

5. Stage划分原理图

Stage 2

Stage 1

Stage 0

Shuffle Write

Shuffle Write

collect

sortByKey

reduceByKey

flatMap

textFile

filter

mapToPair

窄依赖操作
可在同一Stage执行

宽依赖操作
产生Stage边界

Action操作
触发Job执行

6. Task数量与分区关系

RDD分区数

Task数量

影响因素

数据源分区

Shuffle分区配置

手动设置分区

HDFS Block数量

文件数量

spark.sql.shuffle.partitions

默认200个分区

repartition()

coalesce()

每个分区对应一个Task

并行度 = 分区数

7. 共享变量使用场景

累加器 Accumulators

计数器

sc.longAccumulator()

求和操作

错误统计

调试监控

accumulator.add(value)

accumulator.value()

广播变量 Broadcast Variables

大型只读数据

sc.broadcast(data)

查找表/字典

配置信息

避免数据重复传输

broadcastVar.value()

8. Spark 4.0.0 新特性概览

mindmap
  root((Spark 4.0.0))
    核心升级
      JDK 17默认
      Scala 2.13默认
      丢弃JDK 8/11支持
    Spark Connect
      轻量级Python客户端
      ML on Spark Connect
      Swift客户端支持
    Spark SQL
      VARIANT数据类型
      SQL UDFs
      会话变量
      管道语法
      字符串排序规则
    PySpark增强
      绘图API
      Python数据源API
      Python UDTFs
      统一性能分析
    Structured Streaming
      任意状态API v2
      状态数据源
      改进的容错机制

9. 学习要点总结

Spark学习重点

理解RDD本质

掌握DAG原理

熟悉Stage划分

优化性能调优

不可变分布式数据集

血缘关系与容错

惰性计算机制

依赖关系分析

执行计划优化

任务调度理解

窄依赖vs宽依赖

Shuffle操作识别

并行度控制

分区策略优化

缓存策略选择

资源配置调优

10. 实践建议

10.1 代码优化建议

• 优先使用DataFrame/Dataset API而非RDD
• 合理使用缓存机制（cache/persist）
• 避免不必要的Shuffle操作
• 选择合适的分区策略

10.2 性能调优要点

• 调整并行度（分区数）
• 优化内存配置
• 选择合适的序列化方式
• 监控和分析Spark UI

10.3 故障排查思路

1. 查看Spark UI中的DAG可视化
2. 分析Stage执行时间和数据倾斜
3. 检查Task失败原因和重试情况
4. 监控资源使用情况（CPU、内存、网络）

---

注意: 本笔记结合了手写笔记中的DAG、Stage划分、Task调度等核心概念，以及Spark 4.0.0的新特性，形成了完整的知识体系图谱，便于系统性复习和理解Spark的工作原理。