Flink+Paimon/Hudi+Doris湖仓架构在各大公司落地的一些总结

记录一下各大公司落地湖仓项目的主要解决的问题和收益，从这些已经有的实践中吸收一些经验。参考的分享文档在文章末尾。

一些背景

• 阿里妈妈：实时广告决策驱动 淘天集团商业数智营销中台，阿里妈妈日均处理千亿级广告请求，传统 Lambda 架构导致实时与离线数据割裂，无法满足分钟级预算调控需求。广告归因分析需跨时段行为关联，要求数据更新延迟低于 50ms，同时需支持 700GB/h 的高并发写入。

• 腾讯视频：指标治理与时效压力 作为中国领先的在线视频平台，腾讯视频日均产生 5000 万 + TPS 用户行为数据。传统 T+1 离线数据无法支撑大促期间的实时监控需求，5000 + 个业务指标存在口径不一致问题，存储成本因多套架构高企。

• 字节跳动：EB 级数据处理挑战 字节跳动数据湖团队支撑抖音、今日头条等核心业务，日均处理 EB 级数据。Lambda 架构导致流批存储分离，开发维护成本高，实时特征生产需秒级数据可见性，同时需支持 Spark/Flink/Presto 多引擎协同。

• 快手：亿级 OLAP 查询优化 作为短视频电商平台，快手日均 10 亿次 OLAP 查询，传统 Hive 查询响应超 10 秒。数据冗余存储导致资源浪费，需直接分析 Hive/Hudi 原始数据，避免冗余同步，同时解决 ADS 层模型无效化问题。

需要解决的问题

1. 架构割裂导致的效率瓶颈

Lambda 架构之痛：离线（Hive/Spark）与实时（Flink/Kafka）双链路并行，导致开发成本倍增（如阿里妈妈需维护两套代码）、存储冗余（腾讯视频实时数据需同步至 ClickHouse）、数据一致性差（字节跳动实时与离线口径对齐困难）。 时效性滞后：传统离线处理 T+1 的数据延迟无法满足实时决策需求，如阿里妈妈广告主需分钟级调整预算，腾讯视频大促期间需秒级监控流量波动。

1. 成本与扩展性压力

资源浪费：快手每日 10 亿次查询需维护独立的 ClickHouse 集群，存储成本高昂；字节跳动实时数仓需额外部署 KV 存储进行维表关联。 数据治理困境：快手 ADS 层模型废弃后任务仍持续运行，腾讯视频指标重复加工导致计算资源浪费。

1. 业务复杂度激增

多模态数据处理：抖音电商需支持结构化日志、半结构化埋点、非结构化视频数据的统一分析。 实时特征需求：阿里妈妈算法模型需实时获取曝光/点击特征，传统批处理难以满足。

主流的技术方案和实践

阿里妈妈：Flink+Paimon 的实时湖仓

• 架构设计

  存储层： Paimon 作为湖存储，支持主键表（upsert 去重）、Append 表（高吞吐写入），结合盘古存储实现 EB 级数据管理。

  计算层： Flink 处理实时 ETL，Dolphin 引擎（基于 Hologres 优化）提供低延迟查询。

  优化策略： 异步 Compaction 减少小文件，Checkpoint 间隔调大至 60s，Writer 节点内存按 batchsize 动态调整。

• 关键技术点

  非精确 UV 计算： 通过 HLL Sketch 聚合函数，将 UV 计算成本降低 90%。

  SST 格式扩展： 支持点查 QPS 达 5 万 +，RT<70ms（原方案仅 50QPS）。

• 收益

  计算资源减少 60%，存储成本降低 75%（如多目标调控场景）。

  实时特征生产效率提升 10 倍，特秀精排 CTR 模型效果提升 2%+。

2. 腾讯视频：Iceberg+StarRocks 的流批融合

• 架构设计

  湖仓底座： Iceberg 支持事务性写入，结合 StarRocks 存算分离架构，实现冷热数据分层。

  开发模式： SQL in Jar 框架统一流批开发，Flink Batch 处理历史数据修复。

  优化策略： 物化视图替代传统 ETL，查询性能较 Presto 提升 3-65 倍。

• 关键技术点

  指标服务： 统一管理 2000 + 指标，通过 MQL 屏蔽底层存储差异。SLA 保障： 任务延迟率从 8% 降至 1.2%，报警响应时间缩短至 15 分钟。

• 收益

  开发效率提升 50%，数据口径一致性达 99.9%。 冷数据存储成本降低 80%，准实时查询 RT 从分钟级降至秒级。

3. 字节跳动：Hudi+LAS 的智能湖仓

• 架构设计

  存储层： 自研 Hudi 增强版，支持秒级数据可见，结合 BTS 内存加速层实现千万级 RPS 写入。

  计算层： Spark/Flink/Presto 多引擎协同，Presto 查询性能达开源 3 倍。

  优化策略： 行列混合存储 + 二级索引，查询 IO 减少 40%。

• 关键技术点

  Schema Evolution： 动态扩展列，支持用户画像标签实时更新。

  智能物化视图： 基于历史查询自动生成 ADS 层，资源利用率提升 30%。

• 收益

  实时数仓链路组件减少 50%，调试效率提升 1.85 小时 / 需求。

  替换 ClickHouse 后存储成本降低 60%，多维分析响应时间从小时级降至分钟级。

4. 快手：Doris+Alluxio 的湖仓加速

• 架构设计

  湖仓交互：Doris 直接查询 Hive/Hudi 数据，结合 Alluxio 分布式缓存，冷热数据命中率达 85%。

  自动物化：基于历史查询自动生成 ADS 层，模型废弃后自动下线。

  优化策略：一致性哈希分发任务，缓存命中率提升至 70%。

• 关键技术点

  Colocation Join： 通过预分桶避免 Shuffle，JOIN 性能提升 2 倍。

  全局统计信息： Spark 任务收集外表统计，CBO 优化查询计划。

• 收益

  数据同步任务减少 80%，ADS 层模型维护成本降低 60%。

  大促期间查询响应时间稳定在 100ms 内，集群资源利用率提升 40%。

关键技术方案和对比

关键区别总结

阿里妈妈侧重实时性，选择 Paimon 的Change-Log模式和Dolphin的点查优化；以毫秒级决策为核心，注重计算资源的极致优化。

腾讯视频强调数据治理，通过指标中台统一管理，结合 StarRocks 的存算分离；以指标一致性为关键，解决多端数据口径统一问题。

字节跳动注重智能湖仓，通过 BTS 内存层和自动物化降低使用门槛；以灵活性为导向，支持动态 Schema 和多场景适配。

快手聚焦湖仓交互，利用 Doris 的外表查询能力和 Alluxio 缓存提升性能；以成本为优先，通过自动物化减少冗余存储和计算。

参考分享案例

• 《阿里妈妈基于Flink+Paimon的Lakehouse应用实践》

https://mp.weixin.qq.com/s/PWQGxEqbYttzzSEHaexFAw

• 《从0到1构建湖仓体系，ApacheDoris湖仓一体解决方案全面解读》

https://mp.weixin.qq.com/s/GYj-z-GdSAP8La8jvqD1OQ https://mp.weixin.qq.com/s/MHyW-ItXHDxPBk7t4W1beg

• 《腾讯视频指标中台驱动湖仓一体建设实践》

https://mp.weixin.qq.com/s/N6QSy_p_3nFGAr4wxlOHNA

• 《干货丨字节跳动基于Apache Hudi的湖仓一体方案及应用实践》

https://mp.weixin.qq.com/s/TBdbqZmyh-ttSCIDJ0CU7g

• 《干货｜字节跳动在湖仓一体领域的最佳实践》

https://mp.weixin.qq.com/s/ikk_c5BOXqg_vVBK0xXQbQ

• 《基于 Doris 湖仓一体分析系统在快手的实践》

https://mp.weixin.qq.com/s/Wx-oGlyVv8T7o7Cbk6bzUg

• 《提效10倍：基于Paimon+Dolphin湖仓一体新架构在阿里妈妈品牌业务探索实践》

https://mp.weixin.qq.com/s/8pM5kguOpNv5-nP9MVNqBQ

300万字！全网最全大数据学习面试社区等你来！

如果这个文章对你有帮助，不要忘记 「在看」 「点赞」 「收藏」 三连啊喂！