实时数仓

揭秘阿里云Flink智能诊断利器——Fllink Job Advisor

丰富而复杂的上下游系统让它能够支撑实时数仓、实时风控、实时机器学习等多样化的应用场景。
阿里云大数据AI技术·2024-02-06 16:49

基于Flink的实时数仓建设

目录：一.实时计算初期二.实时数仓建设三.Lambda架构的实时数仓四.Kappa架构的实时数仓五.流批结合的实时数仓一、实时计算初期虽然实时计算在最近几年才火起来，但是在早期也有部分公司有实时计算的需求
园陌·2024-02-04 12:48

Flink实时数仓同步：拉链表实战详解

一、背景在大数据领域，初始阶段业务数据通常被存储于关系型数据库，如MySQL。然而，为满足日常分析和报表等需求，大数据平台采用多种同步方式，以适应这些业务数据的不同存储需求。这些同步存储方式包括离线仓库和实时仓库等，选择取决于业务需求和数据特性。一项常见需求是，业务使用人员需要大数据分析平台中查看历史某一天的表数据，示例如下：[Mysql]业务数据-用户表全量数据：idnamephonegende
Light Gao·2024-02-03 10:15

Flink实时数仓同步：流水表实战详解

一、背景在大数据领域，初始阶段业务数据通常被存储于关系型数据库，如MySQL。然而，为满足日常分析和报表等需求，大数据平台采用多种同步方式，以适应这些业务数据的不同存储需求。这些同步存储方式包括离线仓库和实时仓库等，选择取决于业务需求和数据特性。一项常见需求是，大数据分析平台需要能够检索某张业务表的变更记录，并以每天为单位统计每条数据的变更频率。以下是示例：[Mysql]业务数据-用户表全量数据：
Light Gao·2024-02-03 10:15

深入数仓离线数据同步：问题分析与优化措施

一、前言在数据仓库领域，离线数仓和实时数仓是常见的两种架构类型。离线数仓一般通过定时任务在特定时间点（通常是凌晨）将业务数据同步到数据仓库中。
Light Gao·2024-02-03 10:14

Flink实时数仓同步：快照表实战详解

一、背景在大数据领域，初始阶段业务数据通常被存储于关系型数据库，如MySQL。然而，为满足日常分析和报表等需求，大数据平台采用多种同步方式，以适应这些业务数据的不同存储需求。这些同步存储方式包括离线仓库和实时仓库等，选择取决于业务需求和数据特性。一项常见需求是，业务使用人员需要大数据分析平台中查看历史某一天的表数据，示例如下：[Mysql]业务数据-用户表全量数据：idnamephonegende
Light Gao·2024-02-03 10:38

实时数仓到底是什么呢？与传统数仓有什么区别？如何建设实时数仓呢？

在本地生活服务领域的两大巨头，滴滴在自己的业务如顺风车、美团在自己的业务如团购外卖中进行实时数仓的建设，为消费者提供更好的服务，如我们在滴滴上可以更快的打到更便宜的车、在美团上可以更快的取到最想要吃的餐
盐城qn·2024-02-02 18:50

Flink CDC 详述实时数据湖

在构建实时数仓的过程中，如何快速、正确的同步业务数据是最先面临的问题，本文主要讨论一下如何使用实时处理引擎Flink和数据湖ApacheIceberg两种技术，来解决业务数据实时入湖相关的问题。
000X000·2024-02-02 12:01

大厂 5 年实时数据开发经验总结，Flink SQL 看这篇就够了！

本文摘编于《FlinkSQL与DataStream入门、进阶与实战》（500页、70万字）作者羊艺超，目前就职于快手，国内最早一批FlinkSQL使用者拥有从0到1使用FlinkSQL建设、保障及治理实时数仓的丰富经验京东机械工业出版社旗舰店限时
zhisheng_blog·2024-01-31 15:29

申万宏源基于 StarRocks 构建实时数仓

作者：申万宏源证券实时数仓项目组小编导读：申万宏源证券有限公司是由新中国第一家股份制证券公司——申银万国证券股份有限公司与国内资本市场第一家上市证券公司——宏源证券股份有限公司，于2015年1月16日合并组建而成
StarRocks_labs·2024-01-29 18:23

流式湖仓增强，Hologres + Flink 构建企业级实时数仓

2023年12月，由阿里云主办的实时计算闭门会在北京举行，阿里云实时数仓Hologres研发负责人姜伟华现场分享Hologres+Flink构建的企业级实时数仓，实现全链路的数据实时计算、实时写入、实时更新
Apache Flink·2024-01-26 06:15

基于 Flink 的实时数仓在曹操出行运营中的应用

本次分享将为大家介绍实时数仓在曹操出行（互联网网约车出行企业）的实时数仓应用场景，以及通过离线场景向实时场景下加速升级而获得的业务价值。
Apache Flink·2024-01-26 06:15

基于 Hologres+Flink 的曹操出行实时数仓建设

云布道师曹操出行创立于2015年5月21日，是吉利控股集团布局“新能源汽车共享生态”的战略性投资业务，以“科技重塑绿色共享出行”为使命，将全球领先的互联网、车联网、自动驾驶技术以及新能源科技，创新应用于共享出行领域，以“用心服务国民出行”为品牌主张，致力于打造服务口碑最好的出行品牌。曹操出行业务背景介绍作为一家互联网出行平台，主要提供了网约车、顺风车、专车等一些出行服务。打车为其主要的一个业务场景
云布道师·2024-01-25 20:23

Flink（十五）【Flink SQL Connector、savepoint、CateLog、Table API】

前言今天一天争取搞完最后这一部分，学完赶紧把Kafka和Flume学完，就要开始做实时数仓了。据说是应届生得把实时数仓搞个80%~90%才能差不多找个工作，太牛马了。
让线程再跑一会·2024-01-24 07:17

Flink背景

实时数仓近年来，面向分析的数据系统发展迅速，各种新型的OLAP系统开始显露锋芒，数据湖和Lakehouse的概念也变得炙手可热。然而，数据集成仍然是人们通往数据分析之路上的主要障
201001070·2024-01-22 08:31

Hologres V2.1版本发布，新增计算组实例构建高可用实时数仓

Highlight产品介绍Hologres是阿里云自研一站式实时数仓，统一数据平台架构，将OLAP查询、即席分析、在线服务、向量计算多个数据应用构建在统一存储之上，实现一份数据，多种计算场景。
阿里云大数据AI技术·2024-01-20 21:07

超融合之道：亚信安慧AntDB 8.0版本引领数据库创新

在当今多变的数据应用场景中，AntDB作为行业领先的超融合流式实时数仓，秉承着“融合+实时”的研发理念，全面应对企业日益复杂的数据处理需求。
亚信安慧AntDB数据库·2024-01-20 01:00

基于 Hologres+Flink 的曹操出行实时数仓建设

本文整理自曹操出行实时计算负责人林震基于Hologres+Flink的曹操出行实时数仓建设的分享，内容主要分为以下六部分：曹操出行业务背景介绍曹操出行业务痛点分析Hologres+Flink构建企业级实时数仓曹操出行实时数仓实践曹操出行业务成果分析未来展望一
Apache Flink·2024-01-19 08:54

Hologres + Flink 流式湖仓建设

+Flink流式湖仓建设1Flink+Hologres特性1.2实时维表Lookup1.3高性能实时写入与更新1.4多流合并1.5Hologres作为Flink的数据源1.6元数据自动发现与更新2传统实时数仓分层方案
Direction_Wind·2024-01-18 21:56

亚信安慧AntDB-S流式数据库实现企业数智化转型

AntDB-S流式数据库是一项针对实时数仓等场景的创新技术，旨在取代传统的流式处理引擎，从而简化开发和测试过程。该流式数据库具备强大的ACID特性和高可用性，为企业降低了流式业务开发和维护的成本。
亚信安慧AntDB数据库·2024-01-15 14:11

长龙航空HTAP实践：统一技术栈，高效构建在线服务与轻量实时数仓

浙江长龙航空有限公司（以下简称“长龙航空”）是浙江省唯一的本土总部型客货综合公共运输航空公司，拥有国内国际、客运货运全牌照航空运输资质，属于中大型航空公司，居民营航空公司前列，自2011年成立至今，累计开通国内外客货运航线近600条，覆盖全国并通达日韩、港澳、东南亚、中亚等“一带一路”沿线国家和地区的170余个城市。在现代航空业运营中，高效的数据管理和可靠的数据库系统是成功运营的关键要素之一。长龙
OceanBase数据库官方博客·2024-01-14 07:30

物流实时数仓ODS层——Mysql到Kafka

目录1.采集流程2.项目架构3.resources目录下的log4j.properties文件4.依赖5.ODS层——OdsApp6.环境入口类——CreateEnvUtil7.kafka工具类——KafkaUtil8.启动集群项目这一层要从Mysql读取数据，分为事实数据和维度数据，将不同类型的数据进行不同的ETL处理，发送到kakfa中。代码1.采集流程2.项目架构3.resources目录下
雷神乐乐·2024-01-14 06:01

物流实时数仓DWD层——1.准备工作

目录1.创建主程序——DwdOrderRelevantApp类2.创建DWD层的事实表——来源于订单表和订单明细表(1)创建订单表实体类(2)创建订单明细表实体类(3)创建交易域：下单事务事实表实体类，并整合(1)与(2)，采用下单时间(4)创建交易域：支付成功事务事实表实体类，并整合(1)与(2)，采用支付时间和支付状态(5)创建物流域：揽收（接单）事务事实表实体类，并整合(1)与(2)，采用揽
雷神乐乐·2024-01-14 06:57

美团点评实时数仓平台演进与实践

1.摘要数据仓库的建设是“数据智能”必不可少的一环，也是大规模数据应用中必然面临的挑战，而Flink实时数仓在数据链路中扮演着极为重要的角色。
笔名辉哥·2024-01-14 02:50

Apache Flink 和 Paimon 在自如数据集成场景中的使用

业务背景自如目前线上有基于Hive的离线数仓和基于Flink、Kafka的实时数仓，随着业务发展，我们也在探索引入湖仓一体的架构更好的支持业务，我们对比了Iceberg、Hudi、Paimon后，最终选择
Apache Flink·2024-01-11 13:09

亚信安慧AntDB团队引领数据库创新浪潮

该数据库经过多次迭代，形成了完整的“超融合流式实时数仓”体系，为通信运营商和各行业提供卓越的服务
亚信安慧AntDB数据库·2024-01-11 12:48

基于Hologres+Flink的曹操出行实时数仓建设作者：林震｜曹操出行实时计算负责人

作者：林震｜曹操出行实时计算负责人曹操出行业务背景介绍曹操出行创立于2015年5月21日，是吉利控股集团布局“新能源汽车共享生态”的战略性投资业务，以“科技重塑绿色共享出行”为使命，将全球领先的互联网、车联网、自动驾驶技术以及新能源科技，创新应用于共享出行领域，以“用心服务国民出行”为品牌主张，致力于打造服务口碑最好的出行品牌。作为一家互联网出行平台，主要提供了网约车、顺风车、专车等一些出行服务。
阿里云大数据AI技术·2024-01-11 09:40

流式湖仓增强，Hologres + Flink 构建企业级实时数仓

流式湖仓增强，Hologres+Flink构建企业级实时数仓一、Hologres+Flink，阿里云上众多客户实时数仓的首选随着大数据从规模化走向实时化，实时数据的需求覆盖互联网、交通、传媒、金融、政府等各个领域
Elivis Hu·2024-01-08 22:52

物流实时数仓：数仓搭建（DWS）二

系列文章目录物流实时数仓：采集通道搭建物流实时数仓：数仓搭建物流实时数仓：数仓搭建（DIM）物流实时数仓：数仓搭建（DWD）一物流实时数仓：数仓搭建（DWD）二物流实时数仓：数仓搭建（DWS）一物流实时数仓
超哥--·2024-01-07 17:28

实时数仓模型

实时数仓主要是基于数据采集工具，如canal等原始数据写入到kafka这样的数据通道中，最后一般都是写入到类似于HBase这样的OLAP存储系统中。对外提供分钟级别，甚
jero_lei·2024-01-06 23:48

2022年第十三届中国数据库技术大会（DTCC2022）-核心PPT资料下载

一、峰会简介本届大会以“数据智能价值创新”为主题，设置2大主会场，20+技术专场，邀请超百位行业专家，重点围绕时序数据库、图数据技术、实时数仓技术与应用实践、云原生数据库、大数据平台与数据安全等内容展开分享和探讨
百家峰会·2024-01-05 14:25

物流实时数仓：数仓搭建（DWD）二

系列文章目录物流实时数仓：采集通道搭建物流实时数仓：数仓搭建物流实时数仓：数仓搭建（DIM）物流实时数仓：数仓搭建（DWD）一物流实时数仓：数仓搭建（DWD）二文章目录系列文章目录前言一、代码编写1.文件创建
超哥--·2024-01-04 22:27

物流实时数仓：数仓搭建（DWS）一

系列文章目录物流实时数仓：采集通道搭建物流实时数仓：数仓搭建物流实时数仓：数仓搭建（DIM）物流实时数仓：数仓搭建（DWD）一物流实时数仓：数仓搭建（DWD）二物流实时数仓：数仓搭建（DWS）一文章目录系列文章目录前言一
超哥--·2024-01-04 22:56

微信基于StarRocks的湖仓一体实践

作者：StarRocksActiveContributer、微信OLAP内核研发工程师微信作为国内活跃用户最多的社交软件，其数据平台建设经历了从Hadoop到ClickHouse亚秒级实时数仓的阶段，但仍旧面临着数据体验割裂
StarRocks_labs·2024-01-04 20:38

流式湖仓增强，Hologres + Flink构建企业级实时数仓

2023年12月，由阿里云主办的实时计算闭门会在北京举行，阿里云实时数仓Hologres研发负责人姜伟华现场分享Hologres+Flink构建的企业级实时数仓，实现全链路的数据实时计算、实时写入、实时更新
阿里云大数据AI技术·2024-01-04 16:07

实时数仓投放主备链路Diff测试工具落地实践

一、背景目前实时数仓提供的投放实时指标优先级别越来越重要，特别下游为规则引擎提供的数仓数据，直接对投放运营的广告投放产生直接影响，数据延迟或者异常均可能产生直接或者间接的资产损失；从投放管理平台的链路全景图投放全景图来看
得物技术·2024-01-04 08:02

计算机毕业设计吊打导师hadoop+spark+hive知识图谱医生推荐系统 医生数据分析可视化大屏 医生爬虫 医疗可视化 医生大数据 机器学习 大数据毕业设计

中的医生数据进行数据分析，使用高德地图解析地理位置，并将结果转入.csv文件同时上传到hdfs文件系统；3.使用hive建库建表，导入.csv数据集；4.一半指标使用离线数仓hive_sql分析，一半指标使用实时数仓实时计算
计算机毕业设计大神·2024-01-03 07:53

Flink的优势

主要应用场景包括实时数仓、实时大屏、实时推荐、实时报表、实时风控和实时监控，当然还有其他一些应用场景。总之，实时计算的业务需求，一般都会用Flink进行开发。
有味青年·2024-01-01 13:01

实时数仓应用价值（下）

博客浅析研发支出费用化和资本化的区别-CSDN博客商业银行数据资产估值白皮书，推荐系统源码下载-CSDN博客用友BIP数据资产入表解决方案白皮书，推荐系统源码下载-CSDN博客六、具体五种方案的解析业界常见的实时数仓方案有这几种
Michael_Shentu·2023-12-31 00:46

知乎实时数仓架构演进

从智能商业的角度来讲，数据的结果代表了用户的反馈，获取结果的及时性就显得尤为重要，快速的获取数据反馈能够帮助公司更快的做出决策，更好的进行产品迭代，实时数仓在这一过程中起到了不可替代的作用。
yoku酱·2023-12-27 19:34

大数据实战项目 -- 实时数仓

文章目录一、实时数据1.1日志采集器1.1日志生成器1.3日志分发器1.4采集流脚本二、实时采集2.1项目搭建2.2Kafka数据获取2.3Redis数据去重2.4ES数据存储2.5精准一次性消费2.6Kibana可视化配置2.7发布数据接口三、实时监控3.1Canal3.1.1配置MySQL3.1.2安装canal3.2CanalODS层数据分流3.3Maxwell3.4MaxwellODS层数
L小Ray想有腮·2023-12-26 18:53

Flink电商实时数仓（六）

交易域支付成功事务事实表从topic_db业务数据中筛选支付成功的数据从dwd_trade_order_detail主题中读取订单事实数据、LookUp字典表关联三张表形成支付成功宽表写入Kafka支付成功主题执行步骤设置ttl，通过Intervaljoin实现左右流的状态管理获取下单明细数据：用户必然要先下单才有可能支付成功，因此支付成功明细数据集必然是订单明细数据集的子集。要注意：Interv
十七✧ᐦ̤·2023-12-26 07:25

幸福里基于 Flink & Paimon 的流式数仓实践

幸福里业务是一种典型的交易、事务类型的业务场景，这种业务场景在实时数仓建模中遇到了诸多挑战。
浪尖聊大数据-浪尖·2023-12-25 10:45

Flink电商实时数仓（四）

日志数据结构业务数据：数据都是MySQL中的表格数据,使用FlinkSQL处理日志数据：分为page页面日志（页面信息，曝光信息，动作信息，报错信息）和启动日志（启动信息，报错信息），使用FlinkStreamAPI处理五种日志数据：“start”;启动信息“err”;错误信息“display”;曝光信息“action”;动作信息“page”;页面信息"actions":[{"action_id"
十七✧ᐦ̤·2023-12-25 02:57

Flink电商实时数仓（三）

DIM层代码流程图维度层的重点和难点在于实时电商数仓需要的维度信息一般是动态的变化的，并且由于实时数仓一般需要一直运行，无法使用常规的配置文件重启加载方式来修改需要读取的ODS层数据，因此需要通过Flink-cdc
十七✧ᐦ̤·2023-12-21 18:48

基于 Flink 的典型 ETL 场景实现方案

目录1.实时数仓的相关概述1.1实时数仓产生背景1.2实时数仓架构1.3传统数仓vs实时数仓2.基于Flink实现典型的ETL场景2.1维表Join■2.1.1预加载维表方案1：方案2：■2.1.2热存储关联
话数Science·2023-12-21 11:59

Flink实时数仓项目—项目初了解

Flink实时数仓项目—项目初了解前言一、实时数仓分层介绍1.普通的实时计算与实时数仓比较2.实时电商数仓分层规划二、实时数仓需求概览1.离线计算和实时计算的比较2.实时需求种类2.1日常统计报表或分析图中需要包含当日部分
自学大数据的菜鸡·2023-12-18 14:46

3、电商数仓（数仓数据同步策略）

实时数仓同步数据实时数仓由Flink源源不断从Kafka当中读数据计算，所以不需要手动同步数据到实时数仓。
tianyi6_6·2023-12-18 14:46

Flink电商实时数仓项目03-DWM层

1DWM层与DWS层的设计思路1.1设计思路用户行为日志：模拟日志jar->nginx->web日志服务器->kafka(ods_base_log)->flink(BaseLogApp)-分流->kafka(dwd_page_log
最佳第六六六人·2023-12-18 14:45

Flink电商实时数仓项目04-DWS层

1DWS层和DWM层的设计1.1DWS层前面的总结DWS层的定位是什么呢？轻度聚合，因为DWS层要应对很多实时查询，如果是完全的明细那么查询的压力非常大。将更多的实时数据以主题的形式组合起来便于管理，同时也能减少维度查询的次数。ODS层:--日志数据：nginx+日志采集服务器(3台)将数据采集到Kafka(ods_base_log)--业务数据：Maxwell监控MySQL(binlog)将数据
最佳第六六六人·2023-12-18 14:45
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他