Spark第二代Tungsten引擎测试数据和引擎实现内幕

Spark2.X中的第二代Tungsten性能之所以能够提升10倍左右的原因:

1、去掉了虚函数的调用,极大的减少了CPU指令的无用的消耗!

2、数据直接放在寄存器中,至少提升了一个数量级的数据读写熟读!

3、现在的CPU等硬件架构对基本的条件语句,循环语句等进行了极大的优化,并且可以使用硬件加速;

4、对于复杂的数据操作,采用Vectorization的方式,采用列式的读写数据,就是一行是原来的一列;

优点:擅长CPU密集型的计算;

缺点:对I/O没有进行太多优化;

你可能感兴趣的:(Spark第二代Tungsten引擎测试数据和引擎实现内幕)