sparksql的sql实现原理

SQL语句首先通过Parser模块被解析为语法树,此棵树称为Unresolved Logical Plan;Unresolved Logical Plan通过Analyzer模块借助于Catalog中的表信息解析为Logical Plan;此时,Optimizer再通过各种基于规则的优化策略进行深入优化,得到Optimized Logical Plan;优化后的逻辑执行计划依然是逻辑的,并不能被Spark系统理解,此时需要将此逻辑执行计划转换为Physical Plan。

具体流程参考博客

https://blog.csdn.net/qq_24505127/article/details/88878293

https://blog.csdn.net/cjlion/article/details/80877524

你可能感兴趣的:(Spark)