实时数仓

说说Kappa架构

分析&回答对于实时数仓而言，Lmabda架构有很明显的不足，首先同时维护两套系统，资源占用率高，其次这两套系统的数据处理逻辑相同，代码重复开发。
学一次·2023-09-01 06:56

实时数仓构建新思路，NineData数据复制技术详解

8月30日，由NineData和SelectDB共同举办的主题为“实时数据驱动，引领企业智能化数据管理”的线上联合发布会，圆满成功举办！双方聚焦于实时数据仓库技术和数据开发能力，展示如何通过强大的生态开发兼容性，对接丰富的大数据生态产品，助力企业快速开展数据分析业务，共同探索实时数据驱动的未来企业智能化数据管理解决方案。本文根据玖章算术技术副总裁陈长城（天羽）在NineDataXSelectDB联
·2023-08-31 16:55

说说构建流批一体准实时数仓

在一些对延时要求比较高的场景，需要另外搭建基于Flink的实时数仓，将链路延时降低到秒级。但是一套离线数仓加一套实时数仓的架构会带来超过两倍的资源消耗，甚至导致重复开发。
学一次·2023-08-31 07:50

融入数据浪潮，KaiwuDB 期待与您共赴 DTCC 2023

大会以“数智赋能共筑未来”为主题，设置2大主会场，20＋技术专场，邀请超百位行业专家，重点围绕HTAP与多模数据库应用、图数据技术、云原生数据库、实时数仓等内容展开分享和探讨。
KaiwuDB·2023-08-30 23:10

flinksql实时数仓

监听binlog上传到nsqnsq转kafka，flinksql获取kafkaTable聚合将结果写到hbaseimage.png--kafkacreatetabledw_dws_pay_stored_card_recharge(recharge_novarchar,kdt_idvarchar,hq_kdt_idvarchar,operator_namevarchar,recharge_timev
qwer__·2023-08-28 02:17

《阿里云实时数仓Hologres最佳实践合集》

简介：《阿里云原生实时数仓Hologres最佳实践合集》电子书将会首次拆解HSAP核心原理，并介绍其在阿里巴巴双11核心场景落地的最佳实践。
阿里云Hologres·2023-08-27 22:38

一键实现 Oracle 数据整库同步至 Apache Doris

在实时数据仓库建设或迁移的过程中，用户必须考虑如何高效便捷将关系数据库数据同步到实时数仓中来，ApacheDoris用户也面临这样的挑战。
SelectDB技术团队·2023-08-26 19:37

离线数仓和实时数仓的区别

作者介绍@车云祥大宇无限数据产品负责人主要负责全公司底层数据治理，构建统一指标体系；主导BI系统、用户画像系统、广告投放平台、广告流量优化等设计工作；推动Snaptube、LarkPlayer、Zapee等明星产品与数据紧密结合，实现高效运转；通过对业务需求深度梳理、数据方案高质量设计、数据分析洞察与优化、营销策略闭环输出的不断实践，帮助公司实现数据驱动业务增长；“数据人创作者联盟”成员。01数仓
一个数据人的自留地·2023-08-24 20:25

【学习笔记】尚硅谷大数据项目之Flink实时数仓---DWM层

DWM层第1章DWS层与DWM层的设计1.1设计思路1.2需求梳理第2章DWM层-访客UV计算2.1需求分析与思路2.2代码实现2.2.1从Kafka的dwd_page_log主题接收数据2.2.2核心的过滤代码2.2.3将过滤处理后的UV写入到Kafka的dwm_unique_visit2.2.4测试第3章DWM层-跳出明细计算3.1需求分析与思路3.1.1什么是跳出3.1.2计算跳出行为的思路
在学习的王哈哈·2023-08-24 17:52

大数据数据仓库

数据采集和存储、对数据进行计算和分析2.项目架构2.数据分类业务数据用户行为数据爬虫数据2.离线数仓3.实时数仓
highly2009·2023-08-24 04:52

一键实现 Oracle 数据整库同步至 Apache Doris

在实时数据仓库建设或迁移的过程中，用户必须考虑如何高效便捷将关系数据库数据同步到实时数仓中来，ApacheDoris用户也面临这样的挑战。
·2023-08-23 12:48

基于阿里云 Flink+Hologres 搭建实时数仓

摘要：本文作者阿里云Hologres高级研发工程师张高迪&阿里云Flink技术内容工程师张英男，本篇内容将为您介绍如何通过实时计算Flink版和实时数仓Hologres搭建实时数仓。
Apache Flink·2023-08-23 07:33

Apache Paimon 实时数据湖 Streaming Lakehouse 的存储底座

内容主要分为四个部分：流计算邂逅数据湖PaimonCDC实时入湖Paimon不止CDC入湖总结与生态点击查看原文视频&演讲PPT一、流计算邂逅数据湖流计算1.0实时预处理流计算1.0架构截止到现在也是非常主流的实时数仓中的一个实时预处理的功能
Apache Flink·2023-08-23 07:58

Apache Paimon 实时数据湖 Streaming Lakehouse 的存储底座

内容主要分为四个部分：流计算邂逅数据湖PaimonCDC实时入湖Paimon不止CDC入湖总结与生态点击查看原文视频&演讲PPT一、流计算邂逅数据湖流计算1.0实时预处理流计算1.0架构截止到现在也是非常主流的实时数仓中的一个实时预处理的功能
·2023-08-22 10:14

1.8万字详解实时数仓建设方案及大厂案例

一、实时数仓建设背景关注公号：数元斋1.实时需求日趋迫切目前各大公司的产品需求和内部决策对于数据实时性的要求越来越迫切，需要实时数仓的能力来赋能。
少晗·2023-08-19 03:39

StoneData 2.0 正式上线阿里云市场，高性能、低成本一站式实时数仓，满足用户全场景分析需求

好消息，石原子旗下新一代离在线一体化实时数仓StoneData2.0正式上线阿里云云市场了！云市场版本交付方式为计算巢私有化部署，自动完成云资源的创建和应用部署，相比传统部署方案，大幅降低配置复杂度。
·2023-08-17 12:28

StoneData 2.0 正式上线阿里云市场，高性能、低成本一站式实时数仓，满足用户全场景分析需求

好消息，石原子旗下新一代离在线一体化实时数仓StoneData2.0正式上线阿里云云市场了！云市场版本交付方式为计算巢私有化部署，自动完成云资源的创建和应用部署，相比传统部署方案，大幅降低配置复杂度。
·2023-08-17 12:18

网易云音乐实时数仓治理优化实践

导读今天分享的主题是实时数仓治理的优化实践。
王知无(import_bigdata)·2023-08-16 18:02

基于Doris实时数据开发的一些注意事项

基于Doris的一些存储实时数仓在越来越多的场景中开始有一些实践。大家也看到了这种方案频繁出现在社区分享中。
王知无(import_bigdata)·2023-08-16 18:02

基于 Kafka 的实时数仓在搜索的实践应用

一、概述ApacheKafka发展至今，已经是一个很成熟的消息队列组件了，也是大数据生态圈中不可或缺的一员。ApacheKafka社区非常的活跃，通过社区成员不断的贡献代码和迭代项目，使得ApacheKafka功能越发丰富、性能越发稳定，成为企业大数据技术架构解决方案中重要的一环。ApacheKafka作为一个热门消息队列中间件，具备高效可靠的消息处理能力，且拥有非常广泛的应用领域。那么，今天就来
vivo互联网技术·2023-08-16 17:55

技术分享 | StoneData 的身份认证与访问控制策略：构建安全可靠的数据分析环境

身份认证与访问控制策略是构建安全可靠的数仓环境的核心要素，StoneData作为一款新一代高性能、低成本的一站式实时数仓，已具备健全的身份认证与访问控制能力。本文将围绕着账号合规
·2023-08-16 15:35

技术分享 | StoneData 的身份认证与访问控制策略：构建安全可靠的数据分析环境

身份认证与访问控制策略是构建安全可靠的数仓环境的核心要素，StoneData作为一款新一代高性能、低成本的一站式实时数仓，已具备健全的身份认证与访问控制能力。本文将围绕着账号合规
·2023-08-16 15:24

融入数据浪潮，KaiwuDB 期待与您共赴 DTCC 2023

大会以“数智赋能共筑未来”为主题，设置2大主会场，20＋技术专场，邀请超百位行业专家，重点围绕HTAP与多模数据库应用、图数据技术、云原生数据库、实时数仓等内容展开分享和探讨。
·2023-08-16 15:51

火山引擎ByteHouse助力中国地震台网中心，快速构建一站式实时数仓

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，并进入官方交流群近日，中国地震台网中心与火山引擎达成合作，双方将围绕ByteHouse实时数仓展开合作。
·2023-08-16 13:57

流批一体的近实时数仓的思考与设计

摘要：基于对数据时间旅行的思考，引出了对目前三种数仓形态和两种数仓架构的思考。结合数据湖在Flink的应用和数据湖元数据类型的思考，探索了基于数据湖的FlinkSQL流批一体的实践，在流批一体SQL表达一致、结果一致性、流批任务分离、混合调度依赖等进行了设计和探索。同时，欢迎大家多分享具体实践，一起共筑新的数据实践方式。一、数据的时间旅行和业务对数据的本质要求大规模的数据处理兴起于Hadoop生态
·2023-08-16 10:30

芒果 TV 基于 Flink 的实时数仓建设实践

一、芒果TV实时数仓建设历程芒果TV实时数仓的建设共分为三个阶段，14-19年为第一阶段，技术选型采用Storm/FlinkJava+SparkSQL
·2023-08-15 18:00

专家老师带教！现场答疑！阿里云实时计算 Flink 版线下训练营北京站来啦！

专家老师现场教学，真实还原实时计算业务和实时数仓场景，现场有机会领取Flink最新周边礼包！
·2023-08-15 18:43

Apache Doris 在约苗数据平台的实时数仓建设实践

本文导读：约苗平台是国内目前最大的成人预防接种管理服务平台。近年来，随着各功能的不断完善，用户数量不断增多，越来越多注册数据、疫苗类别点击数据、页面浏览时长等数据被生成和积累，如何有效利用这些数据进行处理分析，对于约苗提高工作效率、优化运营决策有着不容小觑的作用。基于此约苗平台历经三代架构演进，最终通过ApacheDoris重构了数据平台架构，统一了数据源出口，实现了近300倍的查询提速，目前已在
·2023-08-15 16:52

实时数仓浪潮来袭，这些宝藏开源CDC工具助您破壁 | StoneDB数据库观察 第9期

作者|祁国辉编辑|宇亭头图|Yeekin责编|韩楠实时数仓的浪潮来袭，对于用户最大的挑战，就是业务数据的变化需要实时反馈到后台系统，甚至需要针对这些变化，快速做出反应，那么就需要
·2023-08-15 16:38

BIGO 使用 Flink 做 OLAP 分析及实时数仓的实践和优化

▼关注「ApacheFlink」，获取更多技术干货▼摘要：本文整理自BIGOStaffEngineer邹云鹤在FlinkForwardAsia2021的分享。主要内容包括：业务背景落地实践&特色改进应用场景未来规划Tips：点击「阅读原文」查看原文视频&演讲PDF～一、业务背景BIGO是一家面向海外的以短视频直播业务为主的公司,目前公司的主要业务包括BigoLive(全球直播服务)，Likee(短
Apache Flink·2023-08-13 15:54

不惧流量持续上涨，BIGO 借助 Flink 与 Pulsar 打造实时消息系统

随着数据规模日益增长，产品不断迭代，BIGO消息流平台承载的数据规模出现了成倍增长，下游的在线模型训练、在线推荐、实时数据分析、实时数仓等业务对消息流平台的实时性和稳定性提出了更高的要求。
zhisheng_blog·2023-08-13 15:53

基于 Flink 的 OLAP 分析及实时数仓实践

摘要：本文整理自BIGOStaffEngineer邹云鹤在FlinkForwardAsia2021的分享。主要内容包括：业务背景落地实践&特色改进应用场景未来规划一、业务背景BIGO是一家面向海外的以短视频直播业务为主的公司,目前公司的主要业务包括BigoLive(全球直播服务)，Likee(短视频创作分享平台)，IMO(免费通信工具)三部分，在全球范围内拥有4亿用户。伴随着业务的发展，对数据平台
浪尖聊大数据-浪尖·2023-08-13 15:53

使用Flink 与 Pulsar 打造实时消息系统

随着数据规模日益增长，产品不断迭代，BIGO消息流平台承载的数据规模出现了成倍增长，下游的在线模型训练、在线推荐、实时数据分析、实时数仓等业务对消息流平台的实时性和稳定性提出了更高的要求。
ITFLY8·2023-08-13 15:22

实时数仓在滴滴的实践和落地

1.实时数仓建设目的随着互联网的发展进入下半场，数据的时效性对企业的精细化运营越来越重要，商场如战场，在每天产生的海量数据中，如何能实时有效的挖
滴滴技术·2023-08-12 03:36

实时数仓项目架构分层

一、滴滴实时数仓项目在公司内部，我们数据团队有幸与顺风车业务线深入合作，在满足业务方实时数据需求的同时，不断完善实时数仓内容，通过多次迭代，基本满足了顺风车业务方在实时侧的各类业务需求，初步建立起顺风车实时数仓
公众号:肉眼品世界·2023-08-11 14:50

实时数仓实践以及架构

从智能商业的角度来讲，数据的结果代表了用户的反馈，获取结果的及时性就显得尤为重要，快速的获取数据反馈能够帮助公司更快的做出决策，更好的进行产品迭代，实时数仓在这一过程中起到了不可替代的作用。
000X000·2023-08-11 14:50

Flink实时数仓

相关数据：启动日志：{"common":{"ar":"310000","ba":"Redmi","ch":"xiaomi","is_new":"1","md":"Redmik30","mid":"mid_7","os":"Android11.0","uid":"23","vc":"v2.1.111"},"start":{"entry":"icon","loading_time":13312,"op
黑冰vip·2023-08-11 12:53

Mysql表通过存储过程删除生产表数据

在建设实时数仓的过程中，用到了Mysql存放增量的结果数据，所以需要定时清理历史数据，为了避免影响的线上的实时数据写入，采用了按照最后更改时间，分段删除的方法。
风筝flying·2023-08-10 14:54

5 小时玩转阿里云 Flink 实时湖仓，速速报名！

小时玩转阿里云Flink实时湖仓，项目依托于传智教育博学谷线上教育平台数字化建设场景，真实还原实时计算业务细节，学完后掌握基于阿里云的FlinkCDC，Paimon，StarRocks等核心技术，收获完整实时数仓与流式数据湖构建经验
Apache Flink·2023-08-10 07:31

芒果 TV 基于 Flink 的实时数仓建设实践

一、芒果TV实时数仓建设历程芒果TV实时数仓的建设共分为三个阶段，14-19年为第一阶段，技术选型采用Storm/FlinkJava+SparkSQL
Apache Flink·2023-08-10 07:26

大屏实时计算深度剖析(Flink 入门 技术体系剖析 实战 数据处理设计方案 核心技术点)

大屏实时计算深度剖析大屏实时计算深度剖析1.实时计算应用场景1.1智能推荐1.2实时数仓1.3大数据分析应用2.Flink快速入门2.1Flink概述2.2Flink基础案例2.3Flink部署配置2.4Flink
Ybb_studyRecord·2023-08-10 05:25

基于 Flink x TiDB，智慧芽打造实时分析新方案

摘要：本文整理自智慧芽数据仓库架构师曲明星在FlinkForwardAsia2021实时数仓专场的分享。
Flink中文社区·2023-08-09 02:20

京东实时数据产品应用实践

低代码实时平台建设3.流批一体化产品体系4.产品运营：实时数据链路三道防线01京东实时产品概况1.实时数据产品支撑业务场景京东实时产品的应用涵盖集团范围内的各个体系，包括零售、物流、健康等都有实时数据的应用场景，例如实时数仓
学而知之@·2023-08-07 02:30

Doris Sequence 列

ApacheDoris在约苗数据平台的实时数仓建设实践dorissequence列sequence列目前只支持Uniq模型。
胖胖胖胖胖虎·2023-08-06 11:05

实时数仓分层介绍

ODS:原始数据，日志和业务数据。可通过Kafka进行收集。DWD:根据数据对象为单位进行分流，比如订单、页面访问等等。可存储在Kafka中。DIM:维度数据。可存储在HBase中。DWM:对于部分数据对象进行进一步加工，比如独立访问、跳出行为，也可以和维度进行关联，形成宽表，依旧是明细数据。DWS:根据某个主题将多个事实数据轻度聚合，形成主题宽表。可存储在Doris、ClickHouse、Ela
csdn-延·2023-08-03 20:21

离线数仓中，为什么用两个flume，一个kafka

实时数仓中，为什么没有零点漂移问题？因为flink直接取的事件时间用kafka是为了速度快，并且数据不丢，那为什么既用了kafkachannel，也用了kafka，而不只用kafkachannel呢？
青云游子·2023-08-02 17:04

关于数据中台的思考与总结

关于数据中台的思考与总结目录关于数据中台的思考与总结数据中台数据汇聚数据开发智能运维数据体系数据资产管理数据服务体系离线平台苏宁实时平台美团点评bilibili网易离线数仓与实时数仓从0建设离线数仓区别数据中台解决方案零售行业原文地址
akenseren·2023-07-28 21:50

大数据处理架构详解：Lambda架构、Kappa架构、流批一体、Dataflow模型、实时数仓

前言本文隶属于专栏《大数据理论体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和参考文献请见大数据理论体系姊妹篇《分布式数据模型详解：OldSQL=＞NoSQL=＞NewSQL》《分布式计算模型详解：MapReduce、数据流、P2P、RPC、Agent》《大数据存储架构详解：数据仓库、数据集市、数据湖、数据网格、湖仓一体》《大数据处理架构详解：La
Shockang·2023-07-28 15:34

review

2Flink实时数仓为何分层建模？  避免重复计算3Flink怎么优化内存？flink内存模型1.10做的最大的改动？  0.10版本之后重点4Flink任务挂了怎么办？有什么保证机制？
满床清梦覆星河·2023-07-26 17:20

HBase数仓架构

上图是实时数仓架构图，主要的存储层还是以HBase为主。第一层业务系统数据库在Mysql上。使用Maxwell，其支持白名单和黑名单。
丿灬逐风·2023-07-26 06:35
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他