StarRocks实战——vivo基于 StarRocks 构建实时大数据平台

目录

前言

一、数据挑战

1.1  时效性挑战，业务分析决策需加速

1.2  访问量挑战，性能与稳定性亟待提高，支撑业务稳定运行

1.3 计算场景挑战，难以满足业务复杂查询需求

1.4. 运维挑战，用户查询体验需优化

二、OLAP 选型与实践

三、应用实践

3.1 数据链路优化

3.2  列更新

3.3 集群监控告警

3.4 集群弹性部署

四、结语

    原文大佬写的这篇StarRocks实时数仓建设案例有借鉴意义，这里摘抄下来用作学习和知识沉淀。如有侵权请告知~

前言

     vivo需要基于移动终端的制造、物流、销售等各个方面的数据进行分析以满足业务决策。基于 Trino 的架构面临着数据时效、查询性能、并发能力、复杂运维等方面的瓶颈。

一、数据挑战

   在数字化演进的过程中，vivo面临着业务诉求和技术架构方面的新挑战，主要包括时效性要求提升、访问量大、计算场景复杂和运维难等问题。vivo原有数据平台是基于Trino+Hive 的架构来实现，通过 Trino来抽取业务库里的数据（MySQL、Oracle、SQLserver 等），之后将抽取数据写入到Hive中，根据业务侧需求进行数仓的加工处理。