spark处理速度为什么比MapReduce快?

速度快这个词对于任何架构需要针对应用场景来描述。
spark处理速度为什么比MapReduce快?_第1张图片
官网的这张图下边有一行字:Logistic regression in Hadoop and Spark

迭代场景下spark的处理速度大致是hadoop的100倍。

原因
那么快的原因主要有两点:

  1. 基于内存,spark中间结果不落盘(hadoop频繁落盘)
  2. 有DAG(有向无环图):来切分任务的执行先后顺序。

对比:
MR(mapreduce):

  • spark处理速度为什么比MapReduce快?_第2张图片
    Spark:
  • spark处理速度为什么比MapReduce快?_第3张图片
    可以看出MR中间频繁读写落盘,而spark则中间结果一直在内存中。

你可能感兴趣的:(Spark,spark,hadoop,大数据,mapreduce)