Spark技术系列(三):Spark算子全解析——从基础使用到高阶优化

Spark技术系列(三):Spark算子全解析——从基础使用到高阶优化

1. 算子核心概念与分类体系

1.1 算子本质解析

  • 延迟执行机制:转换算子构建DAG,行动算子触发Job执行
  • 任务并行度:由RDD分区数决定(可通过spark.default.parallelism全局配置)
  • 执行位置优化:基于数据本地性的任务调度策略

1.2 官方分类标准

你可能感兴趣的:(#,Spark,spark,大数据,分布式)