spark2020面试题

一、RDD

1.spark中的RDD是什么，有哪些特性
答：RDD（Resilient Distributed Dataset）叫做分布式数据集，是spark中最基本的数据抽象，它代表一个不可变，可分区，里面的元素可以并行计算的集合。
Resilient：表示弹性的，弹性表示
Dataset：就是一个集合，用于存放数据的
Destributed：分布式，可以并行在集群计算
** 2. 抽象弹性分布式数据集对于Spark来说的弹性计算到底提现在什么地方？**
1）存和磁盘数据这两种存储方式的切换
Spark 可以使用 persist 和 cache 方法将任意 RDD 缓存到内存或者磁盘文件系统中。数据会优先存储到内存中，当内存不足以存放RDD中的数据的时候，就会持久化到磁盘上。这样，就可以最大化的利益内存以达到最高的计算效率；同时又有磁盘作为兜底存储方案以确保计算结果的正确性。
2）基于Linage的高效容错机制
Linage是用于记录RDD的父子依赖关系，子RDD会记录父RDD，且各个分片之间的数据互不影响。当出现错误的时候，只需要恢复单个Split的特定部分即可。
3）Task失败自动重试，Stage失败自动重试
TaskScheduler从每一个Stage的DAGScheduler中获取TaskSet，运行并校验是否存在故障。如果存在故障则会重试指定测试。
Stage对象可以记录并跟踪多个StageInfo，缺省的重试次数也是4次。且可以直接运行计算失败的阶段，值计算失败的数据分片。
4）数据调度弹性
3. RDD有哪些特性

1. 分区
   每一个 RDD 包含的数据被存储在系统的不同节点上，是由很多分区组成的，操作RDD的时候，对RDD里面的每一个分区进行操作。而这些操作真正的会分发到每台机器上，并且拥有容错机制。
   在物理存储中，每个分区指向一个存储在内存或者硬盘中的数据块 (Block) ，其实这个数据块就是每个 task 计算出的数据块，它们可以分布在不同的节点上。
   所以，RDD 只是抽象意义的数据集合，分区内部并不会存储具体的数据，只会存储它在该 RDD 中的 index，通过该 RDD 的 ID 和分区的 index 可以唯一确定对应数据块的编号，然后通过底层存储层的接口提取到数据进行处理。
   在集群中，各个节点上的数据块会尽可能的存储在内存中，只有当内存没有空间时才会放入硬盘存储，这样可以最大化的减少硬盘 IO 的开销。
2. 不可变
   不可变性是指每个 RDD 都是只读的，它所包含的分区信息是不可变的。由于已有的 RDD 是不可变的，所以我们只有对现有的 RDD 进行转化 (Transformation) 操作，才能得到新的 RDD ，一步一步的计算出我们想要的结果。
   这样会带来这样的好处：我们在 RDD 的计算过程中，不需要立刻去存储计算出的数据本身，我们只要记录每个 RDD 是经过哪些转化操作得来的，即：依赖关系，这样一方面可以提高计算效率，一方面是错误恢复会更加容易。如果在计算过程中，第 N 步输出的 RDD 的节点发生故障，数据丢失，那么可以根据依赖关系从第 N-1 步去重新计算出该 RDD，这也是 RDD 叫做"弹性"分布式数据集的一个原因，也会容错机制。
3. 并行操作
   因为 RDD 的分区特性，所以其天然支持并行处理的特性。即不同节点上的数据可以分别被处理，然后生成一个新的 RDD。
   4. RDD特性考察
   下面哪个不是 RDD 的特点 (C )
   A. 可分区 B 可序列化 C 可修改 D 可持久化
   5. 惰性机制
   RDD的Transformation操作都是惰性求值的。惰性求值即当对RDD调用转化操作（例如调用map()）时，操作不会立即执行。相反，Spark会在内部记录下所要求执行的操作的相关信息。
   6. 惰性机制考察
   A df.count() df.cahce() df.count()
   B df.cahce() df.count() df.count()
   A、B两个计算那个用时短？
   7. RDD和dataFrame的区别
   DataFrame 和 RDD 最大的区别 (B )
   A.科学统计支持 B.多了 schema
   C.存储方式不一样 D.外部数据源支持

二、driver、Executor相关

1. driver的功能是什么？
1）一个Spark作业运行时包括一个Driver进程，也是作业的主进程，具有main函数，并且有SparkContext的实例，是程序的人口点；
2）功能：负责向集群申请资源，向master注册信息，负责了作业的调度，负责作业的解析、生成Stage并调度Task到Executor上。
2. spark的有几种部署模式，每种模式特点？
1）本地模式：Spark不一定非要跑在hadoop集群，可以在本地，起多个线程的方式来指定。
2）Spark on yarn模式：分布式部署集群，资源和任务监控交给yarn管理，但是目前仅支持粗粒度资源分配方式，包含cluster和client运行模式，cluster适合生产，driver运行在集群子节点，具有容错功能，client适合调试，dirver运行在客户端
3）Spark On Mesos模式

三、spark存储

1. RDD持久化
Spark 中一个很重要的能力是将数据持久化（或称为缓存），在多个操作间都可以访问这些持久化的数据。当持久化一个RDD时，每个节点的其它分区都可以使用RDD在内存中进行计算，在该数据上的其他action操作将直接使用内存中的数据。这样会让以后的 action 操作计算速度加快（通常运行速度会加速 10 倍）。缓存是迭代算法和快速的交互式使用的重要工具。
RDD 可以使用 persist() 方法或 cache() 方法进行持久化。数据将会在第一次 action 操作时进行计算，并缓存在节点的内存中。Spark 的缓存具有容错机制，如果一个缓存的 RDD 的某个分区丢失了，Spark 将按照原来的计算过程，自动重新计算并进行缓存。
在 shuffle 操作中（例如 reduceByKey），即便是用户没有调用 persist 方法，Spark 也会自动缓存部分中间数据。这么做的目的是，在 shuffle 的过程中某个节点运行失败时，不需要重新计算所有的输入数据。如果用户想多次使用某个 RDD，强烈推荐在该 RDD 上调用 persist 方法。
2. Spark有几种持久化存储级别如下
1.MEMORY_ONLY：使用未序列化的Java对象格式，将数据保存在内存中。如果内存不够存放所有的数据，则数据可能就不会进行持久化。那么下次对这个RDD执行算子操作时，那些没有被持久化的数据，需要从源头处重新计算一遍。这是默认的持久化策略，使用cache()方法时，实际就是使用的这种持久化策略。
2.MEMORY_AND_DISK：使用未序列化的Java对象格式，优先尝试将数据保存在内存中。如果内存不够存放所有的数据，会将数据写入磁盘文件中，下次对这个RDD执行算子时，持久化在磁盘文件中的数据会被读取出来使用。
3.MEMORY_ONLY_SER：基本含义同MEMORY_ONLY。唯一的区别是，会将RDD中的数据进行序列化，RDD的每个partition会被序列化成一个字节数组。这种方式更加节省内存，从而可以避免持久化的数据占用过多内存导致频繁GC。
4.MEMORY_AND_DISK_SER：基本含义同MEMORY_AND_DISK。唯一的区别是，会将RDD中的数据进行序列化，RDD的每个partition会被序列化成一个字节数组。这种方式更加节省内存，从而可以避免持久化的数据占用过多内存导致频繁GC。
5.DISK_ONLY：使用未序列化的Java对象格式，将数据全部写入磁盘文件中。
6.MEMORY_ONLY_2, MEMORY_AND_DISK_2, 等等：对于上述任意一种持久化策略，如果加上后缀_2，代表的是将每个持久化的数据，都复制一份副本，并将副本保存到其他节点上。这种基于副本的持久化机制主要用于进行容错。假如某个节点挂掉，节点的内存或磁盘中的持久化数据丢失了，那么后续对RDD计算时还可以使用该数据在其他节点上的副本。如果没有副本的话，就只能将这些数据从源头处重新计算一遍了。
3. 持久化存储级别考察
默认的存储级别 (A )
A MEMORY_ONLY B MEMORY_ONLY_SER
C MEMORY_AND_DISK D MEMORY_AND_DISK_SER
下列哪个不是 RDD 的缓存方法 (C )
A persist() B Cache()
C Memory()
4. spark中cache和persist的区别

四、数据倾斜

1. 数据倾斜危害
单个或少数的节点数据量特别大，但一个 Stage 所耗费的时间，是由最慢的那个 Task 决定，所以数据倾斜会导致两个后果：

1. OOM（单或少数的节点）；
2. 拖慢整个Job执行时间（其他已经完成的节点都在等这个还在做的节点）。
   2. 数据倾斜的现象
   当发现如下现象时，十有八九是发生数据倾斜了:
   • 绝大多数 task 执行得都非常快，但个别 task 执行极慢，整体任务卡在某个阶段不能结束。
   • 原本能够正常执行的 Spark 作业，某天突然报出 OOM（内存溢出）异常。
   3. 导致Spark数据倾斜的本质
   在进行 shuffle 的时候，必须将各个节点上相同的 key 拉取到某个节点上的一个 task 来进行处理，比如按照 key 进行聚合或 join 等操作。此时如果某个 key 对应的数据量特别大的话，就会发生数据倾斜。比如大部分 key 对应10条数据，但是个别 key 却对应了100万条数据，那么大部分 task 可能就只会分配到10条数据，然后1秒钟就运行完了；但是个别 task 可能分配到了100万数据，要运行一两个小时。
3. 定位最慢的Task所处的源码位置
   步骤一：看数据倾斜发生在哪个stage。yarn-client模式下查看本地log或Spark Web UI中当前运行的是哪个stage；yarn-cluster模式下，通过Spark Web UI查看运行到了哪个Stage。
   主要看最慢的Stage各task分配的数据量，来确定是否是数据倾斜。
   步骤二：根据Stage划分，推算倾斜发生的代码（必然有Shuffle类算子）。
   根据stage划分原理，推算出来发生倾斜的那个stage对应代码中的哪一部分，这部分代码中肯定会有一个shuffle类算子。简单实用方法：只要看到shuffle类算子或Spark SQL的SQL语句会有Shuffle类的算子的句子，就可以知道该地方划分为前后两个Stage。（用Python的PySpark接口，Spark Web UI会查看task在源码中的行数。）
4. 解决方案

五、宽窄依赖、Stage、Job、task

1. 谈谈spark中的宽窄依赖
依赖关系，记录了该 RDD 的计算过程，也就是说这个 RDD 是通过哪个 RDD 经过怎么样的转化操作得到的。窄依赖允许子 RDD 的每个分区可以被并行处理产生，而且支持在同一个节点上链式执行多条指令，无需等待其它父 RDD 的分区操作。
Spark 区分宽窄依赖的原因有两点：

1. 窄依赖支持在同一节点上进行链式操作。相反，款依赖需要所有父分区都是可用的。
2. 从失败恢复的角度考虑，窄依赖失败恢复更有效，因为只要重新计算丢失的父分区即可，而宽依赖涉及到 RDD 的各级多个父分区。
3. 宽窄依赖考察
   下面哪个操作是窄依赖 (B )
   A join B filter
   C group D sort
   12.下面哪个操作肯定是宽依赖 (C )
   A map B flatMap
   C reduceByKey D sample
   3. Job、Stage、Task划分依据
   Job：由一个 rdd 的 action 触发的动作，当需要执行一个 rdd 的 action 的时候，会生成一个 job，一个job生成多个stage。
   Stage：stage 是一个 job 的组成单位，就是说，一个 job 会被切分成 1 个或 1 个以上的 stage，然后各个 stage 会按照执行顺序依次执行。而一个stage划分成多个tsak。
   目前有两个划分 stage 的依据：
   • 当触发 rdd 的 action 时
   • 当触发 rdd 的 shuffle 操作时
   Task：即 stage 下的一个任务执行单元，一般来说，一个 rdd 有多少个 partition，就会有多少个 task，因为每一个 task 只是处理一个 partition 上的数据。
   4. Job、Stage、Task考察
   Stage 的 Task 的数量由什么决定 (A )
   A Partition B Job C Stage D TaskScheduler

六、Spark性能优化

七、并发

八、pyspark内置函数、常用算子

1. 概述一下spark中的常用算子区别（map,mapPartitions，foreach，foreachPatition）
答：map：用于遍历RDD，将函数应用于每一个元素，返回新的RDD（transformation算子）
foreach：用于遍历RDD，将函数应用于每一个元素，无返回值（action算子）
mapPatitions：用于遍历操作RDD中的每一个分区，返回生成一个新的RDD（transformation算子）
foreachPatition：用于遍历操作RDD中的每一个分区，无返回值（action算子）
总结：一般使用mapPatitions和foreachPatition算子比map和foreach更加高效，推荐使用。

九、常见OOM类型报错，及解决办法

1、报错：启动时发现报错：java.lang.IllegalArgumentException: Required executor memory (102400+4096 MB) is above the max threshold (28672 MB) of this cluster! Please check the values of ‘yarn.scheduler.maximum-allocation-mb’ and/or ‘yarn.nodemanager.resource.memory-mb’.
原因:提交任务时，启动失败，memoryOverhead+memory > (Max)MonitorMemory。
解决: 减小两个参数的值即可。
2、报错：：Driver中发现报错：YarnAllocator: Container killed by YARN for exceeding memory limits. X GB of Y GB physical memory used. Consider boosting spark.yarn.executor.memoryOverhead.
原因：运行时失败，memoryOverhead+memory > MonitorMemory
解决：通过–conf spark.sql.shuffle.partitions=XXX增大partitions个数；或增大overhead/memory的大小，不超过(Max)MonitorMemory即可。若已经到max仍然报错，可以减少单个Executor的并发数(cores)，增大Executor数量。
3、报错：Excutor日志中发现报错：java.lang.OutOfMemoryError: Java heap space 、org.apache.spark.shuffle.FetchFailedException: Java heap space、 Container killed on request. Exit code is 143
原因：程序运行时所需内存 > memory。一般是因为处理数据量或者缓存的数据量较大，已有内存不足并且内存分配速度 > GC回收速度导致。
解决：增大memory、减少单个Executor的并发数(cores)、减少不必要的cache操作、尽量不要对比较大的数据做broadcast、尽量避免shuffle算子或者对程序逻辑/底层数据进行优化。
4、报错：
org.apache.spark.shuffle.FetchFailedException: java.io.FileNotFoundException: …shuffle_xxx.index (No such file or directory)
原因：OOM导致shuffle获取文件失败，此报错只是一个结果，原因是由于上述OOM导致，请详细查看日志是否有OOM的关键字。
解决：找到OOM关键字，解决OOM问题即可。 或者开启external shuffle service， --conf spark.shuffle.service.enabled=true
5、报错：
org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Operation category WRITE is not supported in state standby
原因：访问(读、写)hdfs，namenode(hdfs的管理节点)较忙压力较大时，spark超过一定时间会自动切换到namenod的standby节点尝试访问。standby会返回这个异常信息，然后spark会自动连接active节点。 所以该报错只是hdfs较忙的一个提示，并不是spark运行报错。
解决：继续等待即可，或者联系集市管理人员咨询为什么hfds压力较大。
6、
报错：YarnScheduler: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
ERROR FileFormatWriter: Aborting job null.
java.util.concurrent.TimeoutException: Futures timed out after [300 seconds]
原因: driver启动后提交job，超过300s(默认值)没有启动Executor会导致app超时失败
解决: 1. 调整任务执行时间，选择资源充足的时段执行。 2. 调整超时时间 --conf spark.sql.broadcastTimeout=900 (15分钟 或者其他值)

十、集群资源

• 由于spark节点分Driver(只有一个)和Executor(一般有多个)两种概念。但两种节点内存模型一样，且OOM常发生在Executor。
• 每个Spark Executor会单独占用一个Container，单个Container内存的上限，就是Spark Executor内存上限，后面称此值为MonitorMemory。
• MonitorMemory = spark.yarn.executor.memoryOverhead + spark.executor.memory。我们集群中，memoryOverhead设置成固定的4G，用户也可以通过参数自己调整。
• spark.executor.memory 需要用户自己设置。我们的集群中，建议 1 excutor core 对应 2~4G executor.memory。

十一、查看应用

yarn application

• -list列出所有 application 信息
  示例：yarn application -list
• -appStates跟-list一起使用，用来筛选不同状态的application，多个用","分隔；所有状态ALL,NEW,NEW_SAVING,SUBMITTED,ACCEPTED,RUNNING,FINISHED,FAILED,KILLED
  示例：yarn application -list -appStates RUNNING
• -appTypes跟-list一起使用，用来筛选不同类型的application，多个用","分隔；如MAPREDUCE。
  示例：yarn application -list -appTypes MAPREDUCE
• -kill杀死一个application，需要指定一个Application ID。
  示例：yarn application -kill application_1526100291229_206393
• -status列出某个application 的状态
  示例：yarn application -status application_1526100291229_206393
• -movetoqueue移动application到其他的queue，不能单独使用。
• -queue与movetoqueue命令一起使用，指定移动到哪个queue。
  示例：yarn application -movetoqueue application_1526100291229_206393 -queue other

Linux

• “|” 用来将前一个命令的标准输出传递到下一个命令的标准输入。
• wc指令我们可以计算文件的Byte数、字数、或是列数。-l或–lines 只显示行数，-w或–words 只显示字数。
  例子：
  yarn application -list |grep *** |wc -l
  yarn application -list |grep *** |grep *** | wc -l

问题

1 显示不被截断
results.show(20, False)