Hologres 揭秘：深度解析高效率分布式查询引擎

Hologres（中文名交互式分析）是阿里云自研的一站式实时数仓，这个云原生系统融合了实时服务和分析大数据的场景，全面兼容PostgreSQL协议并与大数据生态无缝打通，能用同一套数据架构同时支持实时写入实时查询以及实时离线联邦分析。它的出现简化了业务的架构，与此同时为业务提供实时决策的能力，让大数据发挥出更大的商业价值。从阿里集团诞生到云上商业化，随着业务的发展和技术的演进，Hologres也在持续不断优化核心技术竞争力，为了让大家更加了解Hologres，我们计划持续推出Hologers底层技术原理揭秘系列，从高性能存储引擎到高效率查询引擎，高吞吐写入到高QPS查询等，全方位解读Hologers，请大家持续关注！

本期我们将带来Hologers高效率分布式查询引擎的技术原理解析。

Hologres作为HSAP服务分析一体化的落地最佳实践，其查询引擎是一个完全自研的执行引擎，它的核心设计目标是支持所有类型的分布式分析和服务查询，并做到极致查询性能。为了做到这一点，我们借鉴了各种分布式查询系统，包括分析型数据库，实时数仓等，吸取了各方面的优势从零开始打造出一个全新的执行引擎。

为什么要选择从零开始做一个新的查询引擎？开源的分布式分析查询系统主要有两大类：

• 一类是传统的 Massively Parallel Processing 系统，能够支持通用的 SQL 查询，但是对实时场景支持不够好，性能不够理想。
• 一类是 Apache Druid 和 ClickHouse这些实时数仓，是专门为实时场景设计和优化的，能够比较好地支持一些常见的单表实时查询，但是复杂查询的性能比较差。
• 另外大数据生态圈基于 MapReduce 的引擎比较适合批处理 ETL，一般不太适合在线服务和多维分析的场景，性能也差不少。

Hologres 执行引擎是在一个能支持复杂查询和上述高性能实时服务查询的通用架构，先首先实现了常用的实时数仓场景，深入优化并用内部 Benchmark 验证了性能和稳定性超过包括专用实时数仓的其它竞品之后，再扩展到其它复杂查询的支持。扩展的过程中，在不可避免地系统变得越来越复杂的同时，也用 Benchmark 帮助保持简单实时查询的性能没有回退。如果在已有的查询引擎上做改进，因为很多架构和设计上的选择已经定型，牵一发而动全身，就很难达到这样的效果。

Hologres执行引擎从开发到落地实践面临了非常多的挑战，但也给我们提供了机会把这个领域的各种新进展都结合利用起来，并超越已有系统做到对各种查询类型的高性能处理，其背后主要是基于以下特点：

• 分布式执行模型：一个和存储计算分离架构配合的分布式执行模型。执行计划由异步算子组成的执行图 DAG（有向无环图） 表示，可以表达各种复杂查询，并且完美适配 Hologres 的数据存储模型，方便对接查询优化器，利用业界各种查询优化技术。
• 全异步执行：端到端的全异步处理框架，可以避免高并发系统的瓶颈，充分利用资源，并且最大可能地避免存储计算分离系统带来的读数据延迟的影响。
• 向量化和列处理：算子内部处理数据时最大可能地使用向量化执行，和存储引擎的深度集成，通过灵