[Spark]深入解密Spark SQL源码:Catalyst框架如何优雅地解析你的SQL

本文内容组织形式

  • 总结
  • 具体例子
    • 执行语句
    • 解析层
    • 优化层
    • 物理计划层
    • 执行层
  • 猜你喜欢
  • PS

总结

先写个总结,接下来会分别产出各个部分的源码解析,Spark SQL主要分为以下五个执行部分。
[Spark]深入解密Spark SQL源码:Catalyst框架如何优雅地解析你的SQL_第1张图片

具体例子

接下来举个具体的例子来说明

执行语句

SELECT name, age FROM users WHERE age > 18

假设 我要从users这张表里面取出 name,age 两个字段

解析层

![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/4a1c0e202fe24913a36fefa6159279c6.png## 分析层
[Spark]深入解密Spark SQL源码:Catalyst框架如何优雅地解析你的SQL_第2张图片

优化层

[Spark]深入解密Spark SQL源码:Catalyst框架如何优雅地解析你的SQL_第3张图片

物理计划层

[Spark]深入解密Spark SQL源码:Catalyst框架如何优雅地解析你的SQL_第4张图片

执行层

[Spark]深入解密Spark SQL源码:Catalyst框架如何优雅地解析你的SQL_第5张图片

猜你喜欢

[LevelDB]Block系统内幕解析-元数据块(Meta Block)&元数据索引块(MetaIndex Block)&索引块(Index Block):https://editor.csdn.net/md/?articleId=147055710
一文了解LevelDB数据库读取流程:https://blog.csdn.net/luog_aiyu/article/details/145946636
一文了解LevelDB数据库写入流程:https://blog.csdn.net/luog_aiyu/article/details/145917173
关于LevelDB存储架构到底怎么设计的:https://blog.csdn.net/luog_aiyu/article/details/145965328?spm=1001.2014.3001.5502

PS

你的赞是我很大的鼓励
我是darkchink,一个计算机相关从业者&一个摩托佬&AI狂热爱好者
本职工作是某互联网公司数据相关工作,欢迎来聊,内推或者交换信息
vx 二维码见: https://www.cnblogs.com/DarkChink/p/18598402

你可能感兴趣的:(spark,sql,大数据,分布式,数据库)