Spark是什么？与MapReduce的对比

Spark是一个基于内存的集群计算系统，是一个分布式的计算框架。Spark可以将计算任务分发到多个机器并行计算。目前Spark集成了SQL查询，图处理，机器学习，流处理等，在计算引擎中生态比较健全，所以其适用范围比较广。Spark主要解决计算的并行化，集群资源的管理与分配，容错与恢复，任务的分发与回收管理等问题。

Spark vs MapReduce

1. Job的划分方式不同，MapReduce中一个map和一个reduce划分为一个Job，在Spark中Job的划分是以action算子作为提交算子，transformation 算子为惰性算子。
2. 中间数据不落盘，MapReduce中每个Job计算完成后，会将中间数据落盘后再执行下一个算子。而Spark Job的中间数据可以直接存储于内存，方便下一个Job直接使用，更有利于迭代较多的场景。
3. Spark的编程模型（RDD）抽象级别更高，Spark不仅提供了Map/Reduce算子，还提供了其他的迭代算子，操作编程更加灵活。MapReduce仅仅提供了Map和Reduce两个算子，开发者需要维护MR状态机。
4. Spark和MapReduce任务执行的并行模式不同，Spark在Worker节点通过Executor进程创建执行Task的线程，是多线程模式。MapReduce是多进程模式。
5. Spark的容错支持两种方式，一个是RDD的血缘机制，一个checkpoint, 失败后可以通过血缘机制重新计算。MapReduce依赖于硬盘驱动器而非内存，在执行过程中失败可以从中断处恢复，Spark是从头重新计算。
6. Spark不仅批处理，Spark Streaming, Spark structured Streaming 支持流处理。

Spark 与 MapReduce shuffle 对比

shuffle涉及到序列化反序列化、跨节点网络IO以及磁盘读写IO等，所以说Shuffle是整个应用程序运行过程中非常昂贵的一个阶段。

1. mapreduce shuffle

[图片上传失败...(image-a0cad4-1636857590558)]

MapReduce 是 sort-based，进入 combine() 和 reduce() 的 records 必须先partition、key对中间结果进行排序合并。这样的好处在于 combine/reduce() 可以处理大规模的数据，因为其输入数据可以通过外排得到（mapper 对每段数据先做排序，reducer 的 shuffle 对排好序的每段数据做归并）。

2. spark shuflle

Spark的Shuffle实现，在DAG阶段以shuffle为界，划分stage，上游stage做map task，每个map task将计算结果数据分成多份，每一份对应到下游stage的每个partition中，并将其临时写到磁盘，该过程叫做shuffle write；下游stage做reduce task，每个reduce task通过网络拉取上游stage中所有map task的指定分区结果数据，该过程叫做shuffle read，最后完成reduce的业务逻辑。

1.基于Hash的Shuffle实现:

Spark是一个基于内存的集群计算系统，是一个分布式的计算框架。Spark可以将计算任务分发到多个机器并行计算。目前Spark集成了SQL查询，图处理，机器学习，流处理等，在计算引擎中生态比较健全，所以其适用范围比较广。Spark主要解决计算的并行化，集群资源的管理与分配，容错与恢复，任务的分发与回收管理等问题。

Spark vs MapReduce

1. Job的划分方式不同，MapReduce中一个map和一个reduce划分为一个Job，在Spark中Job的划分是以action算子作为提交算子，transformation 算子为惰性算子。
2. 中间数据不落盘，MapReduce中每个Job计算完成后，会将中间数据落盘后再执行下一个算子。而Spark Job的中间数据可以直接存储于内存，方便下一个Job直接使用，更有利于迭代较多的场景。
3. Spark的编程模型（RDD）抽象级别更高，Spark不仅提供了Map/Reduce算子，还提供了其他的迭代算子，操作编程更加灵活。MapReduce仅仅提供了Map和Reduce两个算子，开发者需要维护MR状态机。
4. Spark和MapReduce任务执行的并行模式不同，Spark在Worker节点通过Executor进程创建执行Task的线程，是多线程模式。MapReduce是多进程模式。
5. Spark的容错支持两种方式，一个是RDD的血缘机制，一个checkpoint, 失败后可以通过血缘机制重新计算。MapReduce依赖于硬盘驱动器而非内存，在执行过程中失败可以从中断处恢复，Spark是从头重新计算。
6. Spark不仅批处理，Spark Streaming, Spark structured Streaming 支持流处理。

Spark 与 MapReduce shuffle 对比

shuffle涉及到序列化反序列化、跨节点网络IO以及磁盘读写IO等，所以说Shuffle是整个应用程序运行过程中非常昂贵的一个阶段。

1. mapreduce shuffle

[图片上传中...(image-c61557-1636857612114-2)]

MapReduce 是 sort-based，进入 combine() 和 reduce() 的 records 必须先partition、key对中间结果进行排序合并。这样的好处在于 combine/reduce() 可以处理大规模的数据，因为其输入数据可以通过外排得到（mapper 对每段数据先做排序，reducer 的 shuffle 对排好序的每段数据做归并）。

2. spark shuflle

Spark的Shuffle实现，在DAG阶段以shuffle为界，划分stage，上游stage做map task，每个map task将计算结果数据分成多份，每一份对应到下游stage的每个partition中，并将其临时写到磁盘，该过程叫做shuffle write；下游stage做reduce task，每个reduce task通过网络拉取上游stage中所有map task的指定分区结果数据，该过程叫做shuffle read，最后完成reduce的业务逻辑。

1.基于Hash的Shuffle实现:

[图片上传中...(image-de14a9-1636857612114-1)]

2. 基于Sort的Shuffle实现

[图片上传中...(image-b9f3e0-1636857612114-0)]

总的来说，Spark是基于内存的计算引擎，适合在资源充足，竞争不太激烈的集群上。Spark更适合处理迭代任务。MapReduce适合处理类似与ETL的一遍处理的批任务，运行完Job进程立即终止，能与其他服务较好的共存。

2. 基于Sort的Shuffle实现

[图片上传失败...(image-fdeaf6-1636857590556)]

总的来说，Spark是基于内存的计算引擎，适合在资源充足，竞争不太激烈的集群上。Spark更适合处理迭代任务。MapReduce适合处理类似与ETL的一遍处理的批任务，运行完Job进程立即终止，能与其他服务较好的共存。