SparkCore:RDD史上最详细的解释

RDD详解

1.1. 什么是RDD

• 为什么要有RDD?
  在许多迭代式算法(比如机器学习、图算法等)和交互式数据挖掘中，不同计算阶段之间会重用中间结果，即一个阶段的输出结果会作为下一个阶段的输入。
  但是，之前的MapReduce框架采用非循环式的数据流模型，把中间结果写入到HDFS中，带来了大量的数据复制、磁盘IO和序列化开销。且这些框架只能支持一些特定的计算模式(map/reduce)，并没有提供一种通用的数据抽象。AMP实验室发表的一篇关于RDD的论文:《Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing》就是为了解决这些问题的。
  RDD提供了一个抽象的数据模型,让我们不必担心底层数据的分布式特性，只需将具体的应用逻辑表达为一系列转换操作(函数)，不同RDD之间的转换操作之间还可以形成依赖关系，进而实现管道化，从而避免了中间结果的存储，大大降低了数据复制、磁盘IO和序列化开销，并且还提供了更多的API(map/reduec/filter/groupBy…)
• RDD是什么?
  RDD(Resilient Distributed Dataset)叫做弹性分布式数据集,是Spark中最基本的数据抽象,代表一个不可变、可分区、里面的元素可并行计算的集合。
• Resilient ：它是弹性的，RDD中的数据可以保存在内存中或者磁盘里面
• Distributed ：它里面的元素是分布式存储的，可以用于分布式计算
• Dataset: 它是一个集合，可以存放很多元素

1.2.RDD的主要属性

1. A list of partitions ：
   一组分片(Partition)/一个分区(Partition)列表，即数据集的基本组成单位。
   对于RDD来说，每个分片都会被一个计算任务处理，分片数决定并行度。用户可以在创建RDD时指定RDD的分片个数，如果没有指定，那么就会采用默认值。

---

2. A function for computing each split ：
   一个函数会被作用在每一个分区。
   Spark中RDD的计算是以分区为单位的，compute函数会被作用到每个分区上

---

3. A list of dependencies on other RDDs：
   一个RDD会依赖于其他多个RDD。
   RDD的每次转换都会生成一个新的RDD，所以RDD之间就会形成类似于流水线一样的前后依赖关系。在部分分区数据丢失时，Spark可以通过这个依赖关系重新计算丢失的分区数据，而不是对RDD的所有分区进行重新计算。(Spark的容错机制)

---

4. Optionally, a Partitioner for key-value RDDs (e.g. to say that the RDD is hash-partitioned)：
   Spark中的分区函数，一个是基于哈希的HashPartitioner，另外一个是基于范围的RangePartitioner。
   对于KV类型的RDD会有一个Partitioner函数，即RDD的分区函数（可选项）
   只有对于key-value的RDD，才会有Partitioner，非key-value的RDD的Parititioner的值是None。Partitioner函数决定了RDD本身的分区数量，也决定了parent RDD Shuffle输出时的分区数量。
   

---

5. Optionally, a list of preferred locations to compute each split on (e.g. block locations for an HDFS file)：
   可选项,一个列表，存储每个Partition的位置(preferredlocation)。
   对于一个HDFS文件来说，这个列表保存的就是每个Partition所在的块的位置。按照"移动数据不如移动计算"的理念，Spark在进行任务调度的时候，会尽可能选择那些存有数据的worker节点来进行任务计算。

---

• 总结
  RDD 是一个数据集，不仅表示了数据集，还表示了这个数据集从哪来，如何计算
  主要属性包括:

1. 多分区
2. 计算函数
3. 依赖关系
4. 分区函数(默认是hash)
5. 最佳位置