【Spark】RDD(Resilient Distributed Dataset)究竟是什么?

目录

      • 基本概念
        • 官方文档
        • 概述
          • 含义
          • RDD出现的原因
          • 五大属性
      • 以单词统计为例,一张图熟悉RDD当中的五大属性
        • 解构图
      • RDD弹性
      • RDD特点
        • 分区
        • 只读
        • 依赖
        • 缓存
        • checkpoint


基本概念

官方文档

介绍RDD的官方说明:http://spark.apache.org/docs/latest/rdd-programming-guide.html

概述
含义

RDD (Resilient Distributed Dataset) 叫做 弹性分布式数据集,是Spark中最基本的数据抽象,它代表一个不可变可分区里面的元素可并行计算集合。RDD具有数据流模型的特点自动容错位置感知性调度可伸缩性。RDD允许用户在执行多个查询时显式地将数据缓存在内存中,后续的查询能够重用这些数据,这极大地提升了查询速度。

Resilient —— RDD中的数据优先装在内存当中进行处理,如果内存不够用了,就将数据放到磁盘上面去处理。
Distributed —— RDD中的数据是分布式存储的,可用于分布式计算。
Dataset —— 一个数据集合,用于存放数据的。

RDD出现的原因

RDD是Spark的基石,是实现Spark数据处理的核心抽象。
最初,第一代计算引擎为Hadoop的MapReduce时,开始可以使用代码来实现数据分析处理等。但这种方法需要使用大量代码,比较复杂不算高效
之后,第二代计算引擎——Hive出现后,使用hql来实现数据分析,摆脱了MapReduce的繁琐的代码。但这种方法的缺点依然比较明显,就是执行效率慢
第三代计算引擎impalaSpark为代表的内存计算框架,开始将数据尽量放到内存中计算,RDD的概念也伴随而生。

五大属性
- A list of partitions    分区列表
- A function for computing each split   作用在每一个文件切片上面的函数
- A list of dependencies on other RDDs  依赖于其他的一些RDD
- Optionally, a Partitioner for key-value RDDs (e.g. to say that the RDD is hash-partitioned) 可选项:对于key,value对的rdd,有分区函数
- Optionally, a list of preferred locations to compute each split on (e.g. block locations for
  an HDFS file) 可选项:数据的位置优先性来进行计算。移动计算比移动数据便宜

所谓移动计算比移动数据便宜,是指 如果文件在哪一台服务器上面,就在哪一台服务器上面启动task进行运算,尽量避免数据的拷贝

1.对于RDD来说,每个分片都会被一个计算任务处理,并决定并行计算的粒度,如果文件的block个数小于等于2,那么默认分区为2,如果大于等于2,则分区数为block的个数
2.Spark中每个RDD都会实现compute函数,以此来达到让RDD的计算都是以分片为单位的目的。compute函数会对迭代器进行复合,不需要保存每次计算的结果。
3.RDD每次转换都会生成一个新的RDD,所以RDD之间就会形成类似于流水线一样的前后依赖关系,在部分分区数据丢失时,Spark可以通过这个依赖关系重新计算丢失的分区数据,而不是对RDD的所有分区重新计算。
4.Spark中实现了两种类型的分片函数,一种是基于哈希的HashPartitioner,一种是基于范围的RangePartitioner。只有对于key-value的RDD才会有Partitioner,非key-value的RDD的Partitioner的值是None。Partitioner函数不但决定了RDD本身的分片数量,也决定了parent RDD Shuffle输出时的分片数量。


以单词统计为例,一张图熟悉RDD当中的五大属性

解构图


RDD弹性

一、自动进行内存以及磁盘文件切换
二、基于血统lineage的高效容错性。lineage记录了rdd之间的依赖关系
三、task执行失败自动进行重试
四、stage失败自动进行重试
五、checkpoint实现数据的持久化保存

基于RDDs之间的依赖,RDDs会形成一个有向无环图DAG,该DAG描述了整个流式计算的流程,实际执行的时候,RDD是通过血缘关系(Lineage)一气呵成的,即使出现数据分区丢失,也可以通过血缘关系重建分区


RDD特点

分区
只读

rdd当中的数据是只读的,不能更改

依赖
缓存

常用的rdd我们可以给缓存起来

checkpoint

对于一些常用的rdd我们也可以试下持久化

你可能感兴趣的:(Spark,大数据,spark,RDD,弹性分布式数据集,大数据自学)