实时数仓

基于大模型的数据血缘异常归因分析

本期黑客松共吸引了近50位选手参赛，有的在实时数仓领域显神通，有的则再次请出了大模型。这些小组都有个共同点——基于数据云平台DataSimba的元数据域“搞事情”。
奇点云·2023-10-17 13:49

scala项目创建

答：实时数仓却不了spark,spark离不开scala、也就是你也是不学习spark也就不用学习scala，因为有其他编程语言可以代替它。2、特点答：1）是一门多范式语言，支持面向对象和函数式编程。
鱼得三金·2023-10-16 20:02

Flink1.11.0 SQL与hive整合

一、前言此次flinksql整合hive主要是能在flinksql中读写hive数据,为flink实时写数据进入hive构建实时数仓做准备工作。
天涯到处跑·2023-10-14 17:58

flink-2

实时数仓项目第1章分层设计在之前介绍实时数仓概念时讨论过，建设实时数仓的目的。主要是增加数据计算的复用性。每次新增加统计需求时，不至于从原始数据进行计算，而是从半成品继续加工而成。
不爱吃鱼的馋猫·2023-10-12 19:02

Flink+Doris 实时数仓

Flink+Doris实时数仓Doris基本原理Doris基本架构非常简单，只有FE(Frontend)、BE(Backend)两种角色，不依赖任何外部组件，对部署和运维非常友好。
不二人生·2023-10-09 04:42

基于 Kafka 的实时数仓在搜索的实践应用

一、概述ApacheKafka发展至今，已经是一个很成熟的消息队列组件了，也是大数据生态圈中不可或缺的一员。ApacheKafka社区非常的活跃，通过社区成员不断的贡献代码和迭代项目，使得ApacheKafka功能越发丰富、性能越发稳定，成为企业大数据技术架构解决方案中重要的一环。ApacheKafka作为一个热门消息队列中间件，具备高效可靠的消息处理能力，且拥有非常广泛的应用领域。那么，今天就来
谁叫我土豆了·2023-10-06 14:30

数据湖｜Flink + Iceberg 全场景实时数仓的建设实践

整理｜路培杰（Flink社区志愿者）摘要：ApacheFlink是目前大数据领域非常流行的流批统一的计算引擎，数据湖是顺应云时代发展潮流的新型技术架构，以Iceberg、Hudi、Delta为代表的解决方案应运而生，Iceberg目前支持Flink通过DataStreamAPI/TableAPI将数据写入Iceberg的表，并提供对ApacheFlink1.11.x的集成支持。本文由腾讯数据平台部
大数据技术架构·2023-10-05 13:31

大数据-玩转数据-Flink+Hologres构建实时数仓

企业最常见的做法就是通过构建实时数仓来满足对数据的快速探索。
人猿宇宙·2023-10-03 21:18

数据仓库（DW）的分层架构

目录1说明2数据仓库“分层”的优势3离线数仓的数据分层4实时数仓的数据分层1说明离线过程与实时过程的数仓的分层一般有所不同2数据仓库“分层”的优势（1）把复杂的问题简单化；通过把复杂的问题分解成多层，每次只处理简单任务
芋辕-·2023-10-01 12:22

实时数仓Hologres：推出计算组实例/支持JSON数据/向量计算+大模型等新能力

阿里云ODPS系列产品以MaxCompute、DataWorks、Hologres为核心，致力于解决用户多元化数据的计算需求问题，实现存储、调度、元数据管理上的一体化架构融合，支撑交通、金融、科研、等多场景数据的高效处理，是目前国内最早自研、应用最为广泛的一体化大数据平台。本期将重点介绍Hologres推出计算组实例Hologres支持JSON数据Hologres向量计算+大模型能力Hologre
阿里云云栖号·2023-09-28 10:34

实时数仓混沌演练实践

一、背景介绍目前实时数仓提供的投放实时指标优先级别越来越重要，不再是单独的报表展示等功能，特别是提供给下游规则引擎的相关数据，直接对投放运营的广告投放产生直接影响，数据延迟或者异常均可能产生直接或者间接的资产损失
得物技术·2023-09-27 17:12

实时数仓入门训练营：实时计算 Flink 版 SQL 实践

简介：《实时数仓入门训练营》由阿里云研究员王峰、阿里云高级产品专家刘一鸣等实时计算Flink版和Hologres的多名技术/产品一线专家齐上阵，合力搭建此次训练营的课程体系，精心打磨课程内容，直击当下同学们所遇到的痛点问题
阿里开发者·2023-09-27 16:14

大数据Flink（九十）：Lookup Join（维表 Join）

LookupJoin（维表Join）LookupJoin定义（支持Batch\Streaming）：LookupJoin其实就是维表Join，比如拿离线数仓来说，常常会有用户画像，设备画像等数据，而对应到实时数仓场景中
Lansonli·2023-09-27 09:42

基于 DTS 同步 MySQL 全增量数据至 CKafka，构建实时数仓的最佳实践

背景介绍随着IT技术与大数据的不断发展，越来越多的企业开始意识到数据的价值，通过大数据分析，可以帮助企业更深入地了解用户需求、更好地洞察市场趋势。目前大数据分析在每个业务运营中都发挥着重要作用，成为企业提升市场竞争力的关键举措之一。通常企业会构建数据湖仓，将多个数据源通过数据集成技术，汇集一起进行数据分析。由此，数据集成成为了构建数据湖仓的必经之路，然而企业在数据集成过程中却面临很多棘手问题。全量
·2023-09-26 21:29

实时数仓 Hologres：推出计算组实例/支持JSON数据/向量计算+大模型等新能力

阿里云ODPS系列产品以MaxCompute、DataWorks、Hologres为核心，致力于解决用户多元化数据的计算需求问题，实现存储、调度、元数据管理上的一体化架构融合，支撑交通、金融、科研、等多场景数据的高效处理，是目前国内最早自研、应用最为广泛的一体化大数据平台。本期将重点介绍Hologres推出计算组实例Hologres支持JSON数据Hologres向量计算+大模型能力Hologre
·2023-09-25 15:09

【学习笔记】尚硅谷大数据项目之Flink实时数仓---DWD和DIM

DWD和DIM1.需求分析及实现思路1.1分层需求分析1.2每层的职能1.3DWD层数据准备实现思路2.环境搭建3.准备用户行为日志DWD层3.1主要任务3.1.1识别新老用户3.1.2利用侧输出流实现数据拆分3.1.3将不同流的数据推送下游的Kafka的不同Topic中3.2代码实现3.2.1接收Kafka数据，并进行转换3.2.2识别新老访客3.2.3利用侧输出流实现数据拆分3.2.4将不同流
在学习的王哈哈·2023-09-25 04:49

尚硅谷大数据项目《在线教育之实时数仓》笔记002

视频地址：尚硅谷大数据项目《在线教育之实时数仓》_哔哩哔哩_bilibili目录第06章数据仓库环境准备P006P007P008P009P010P011P012P013P014第06章数据仓库环境准备P006P007P008http
upward337·2023-09-25 04:19

Flink 对线面试官：6 个面试高频实战问题

:star:架构设计的能力：在实时数仓的分层设计中，具体的分层设计方案是怎样的？和离线数仓又有什么区别？你设计的实时
十一技术斩·2023-09-24 16:52

阿里云实时计算 Flink 版 x Hologres: 构建企业级一站式实时数仓

企业最常见的做法就是通过构建实时数仓来满足对数据的快速探索。
Flink中文社区·2023-09-23 21:48

实时数仓新选择——Doris构建实时数仓落地方案详解

一、实时数据仓库概述**首先，**我们从数据仓库说起。数据仓库的概念可以追溯到20世纪80年代，当时IBM的研究人员提出了商业数据仓库的概念。数据仓库概念的提出，是为了解决和数据流相关的各种问题，特别是多重数据复制带来的高成本问题。数据仓库之父BillInmon在1991年出版的《BuildingtheDatlaWarehouse》一书中首次提出了数据仓库的概念。Inmon将数据仓库描述为一个面向
胖胖胖胖胖虎·2023-09-23 13:32

华为云 FusionInsight 大数据技术普惠创新，释放千行百业数据价值

专题日上，还重磅发布实时数仓新品。大会的精彩内容，让我们一起来看下吧！大数据技术普惠创新，释放千
数据湖洞见·2023-09-23 10:37

【ODPS 新品发布第 2 期】实时数仓 Hologres：推出计算组实例/支持 JSON 数据/向量计算+大模型等新能力

云布道师阿里云ODPS系列产品以MaxCompute、DataWorks、Hologres为核心，致力于解决用户多元化数据的计算需求问题，实现存储、调度、元数据管理上的一体化架构融合，支撑交通、金融、科研、等多场景数据的高效处理，是目前国内最早自研、应用最为广泛的一体化大数据平台。本期将重点介绍ꔷHologres推出计算组实例ꔷHologres支持JSON数据ꔷHologres向量计算+大模型能力
云布道师·2023-09-23 06:25

一百八十二、大数据离线数仓——离线数仓从Kafka采集、最终把结果数据同步到ClickHouse的完整数仓流程（待续）

三、业务需求（一）预估数据规模（二）指标查询频率指标的实时查询由Flink实时数仓计算，离线数仓这边提供指标的T+1的
天地风雷水火山泽·2023-09-23 05:38

实时数仓混沌演练实践

一、背景介绍目前实时数仓提供的投放实时指标优先级别越来越重要，不再是单独的报表展示等功能，特别是提供给下游规则引擎的相关数据，直接对投放运营的广告投放产生直接影响，数据延迟或者异常均可能产生直接或者间接的资产损失
·2023-09-22 16:55

Apache Druid 数据结构及架构原理介绍

由于Druid能够同时提供离线和实时数据的查询，因此Druid最常用作为GUI分析、业务监控、实时数仓的数据存储系统。
zxf126126·2023-09-21 18:04

Hologres揭秘：优化COPY，批量导入性能提升5倍+

Hologres（中文名交互式分析）是阿里云自研的一站式实时数仓，这个云原生系统融合了实时服务和分析大数据的场景，全面兼容PostgreSQL协议并与大数据生态无缝打通，能用同一套数据架构同时支持实时写入实时查询以及实时离线联邦分析
阿里云Hologres·2023-09-20 20:38

【大数据】Doris 构建实时数仓落地方案详解（三）：Doris 实时数仓设计

本系列包含：Doris构建实时数仓落地方案详解（一）：实时数据仓库概述Doris构建实时数仓落地方案详解（二）：Doris核心功能解读Doris构建实时数仓落地方案详解（三）：Doris实时数仓设计Doris
G皮T·2023-09-20 08:10

【大数据】Doris 构建实时数仓落地方案详解（一）：实时数据仓库概述

本系列包含：Doris构建实时数仓落地方案详解（一）：实时数据仓库概述Doris构建实时数仓落地方案详解（二）：Doris核心功能解读Doris构建实时数仓落地方案详解（三）：Doris实时数仓设计Doris
G皮T·2023-09-20 08:40

【大数据】Doris 构建实时数仓落地方案详解（二）：Doris 核心功能解读

本系列包含：Doris构建实时数仓落地方案详解（一）：实时数据仓库概述Doris构建实时数仓落地方案详解（二）：Doris核心功能解读Doris构建实时数仓落地方案详解（三）：Doris实时数仓设计Doris
G皮T·2023-09-20 08:40

【大数据】Doris 构建实时数仓落地方案详解（三）：Doris 实时数仓设计

本系列包含：Doris构建实时数仓落地方案详解（一）：实时数据仓库概述Doris构建实时数仓落地方案详解（二）：Doris核心功能解读Doris构建实时数仓落地方案详解（三）：Doris实时数仓设计Doris
G皮T·2023-09-20 08:38

MatrixDB数据库学习——筑梦之路

为万物互联的智能时代提供坚实、简洁的智能数据核心基础设施，为物联网应用、工业互联网、智能运维、智慧城市、实时数仓、智能家居、车
筑梦之路·2023-09-20 05:55

幸福里基于 Flink & Paimon 的流式数仓实践

幸福里业务是一种典型的交易、事务类型的业务场景，这种业务场景在实时数仓建模中遇到了诸多挑战。
Apache Flink·2023-09-19 07:26

Flink相关

知乎实时数仓架构演进_天池技术圈-阿里云天池关于flink实时数仓的实际问题_flinkdatastream按天,小时写入hdfs_一个写湿的程序猿的博客-CSDN博客基于Flink+Hudi的实时数仓在
丢雷劳谋·2023-09-19 07:24

【大数据】Doris 构建实时数仓落地方案详解（一）：实时数据仓库概述

Doris构建实时数仓落地方案详解（一）：实时数据仓库概述1.数据仓库的发展历程2.数据仓库技术的发展3.数仓的相关技术栈4.OLAP查询5.MPP架构6.实时数仓定义7.实时数仓的难点数据仓库的概念可以追溯到
G皮T·2023-09-19 04:45

【大数据】Doris 构建实时数仓落地方案详解（二）：Doris 核心功能解读

Doris构建实时数仓落地方案详解（二）：Doris核心功能解读1.Doris发展历程2.Doris三大模型3.Doris数据导入4.Doris多表关联5.Doris核心设计6.Doris查询优化7.Doris
G皮T·2023-09-19 04:14

幸福里基于 Flink & Paimon 的流式数仓实践

幸福里业务是一种典型的交易、事务类型的业务场景，这种业务场景在实时数仓建模中遇到了诸多挑战。
·2023-09-18 17:57

【遇见Doris】Doris在作业帮实时数仓中的应用&实践

9月20日的ApacheDoris线上Meetup——壹佰案例峰会预热沙龙圆满成功，现在为大家带来这次Meetup的内容回顾。本次Meetup请到了来自作业帮和百度画像团队的技术大牛带来ApacheDoris应用与实践上的经验分享，了解更多详情请关注Doris官方公众号。嘉宾分享回顾会陆续放出，公众号后台回复“0920”立即get回放录像。糜利敏作业帮大数据查询引擎负责人伴随着业务的快速发展，由于
ApacheDoris·2023-09-18 08:07

实时数仓方案如何选型和构建（建议收藏）

一、为何需要实时数仓架构最初企业存储数据都在数仓中存储，但是随着数据量的增大，传统数据的方案在时效性上和数据维护上变得越来越困难。实时数仓架构应运而生。
also&lucky·2023-09-16 11:30

离线数仓和实时数仓割裂的痛点,数据湖方案

离线数仓和实时数仓割裂的痛点：1)离线加工数据产出时效性不足2)实时加工可观测性，可运维性较弱3)批流双链路，双份资源开销4)全天计算资源高峰集中在凌晨数据湖方案：数据入湖增量计算，提升时效流表二像性，
秉寒-CHO·2023-09-16 08:53

【学习笔记】尚硅谷大数据项目之Flink实时数仓---数据可视化接口实现

这里写自定义目录标题第1章数据可视化接口1.1设计思路1.2需求梳理1.2.1最终显示效果图1.2.2分析可视化大屏1.2.3接口执行过程第2章Sugar数据大屏2.1产品介绍2.2使用入口2.3创建数据大屏第3章总成交金额接口3.1Sugar组件：数字翻牌器3.1.1添加组件3.1.2配置组件3.1.3查询组件需要的数据格式3.1.4接口访问路径以及返回格式3.2数据接口实现3.2.1创建数据接
在学习的王哈哈·2023-09-13 13:31

尚硅谷大数据项目《在线教育之实时数仓》笔记001

视频地址：尚硅谷大数据项目《在线教育之实时数仓》_哔哩哔哩_bilibili目录P001P002P003P004P005P001以在线教育采集系统和离线数仓为前置基础，分为三个部分讲解：实时数仓架构介绍
upward337·2023-09-13 13:00

实时数仓方案五花八门，实际落地如何选型和构建！

编辑|韩楠约4,989字|10分钟阅读01文章概览（一至五）✦一、为何需要实时数仓架构二、数仓如何分层&各层用途三、数仓分层的必要性四、从Lambda架构说起五、Kappa架构解决哪些问题0
浪尖聊大数据-浪尖·2023-09-12 07:34

一文彻底搞懂实时数仓如何选型和构建

目录前言01为何需要实时数仓架构02数仓如何分层&各层用途03数仓分层的必要性04从Lambda架构说起05Kappa架构解决哪些问题06深入实时数仓架构方案1：Kappa架构方案2：基于标准分层+流计算方案
csdn-延·2023-09-12 06:33

【珍藏版】数仓平台、推荐系统架构选型及解决⽅案

持续输出敬请关注大数据架构湖仓一体化流批一体离线+实时数仓各种大数据解决方案各种大数据新技术实践持续输出敬请关注【好文推荐】【好文推荐】【好文推荐】【好文推荐】【好文推荐】⼤数据平台基础架构及解决⽅案_
大数据研习社·2023-09-12 06:02

【数仓建设系列之五】数仓选型架构概览

【数仓建设系列之五】实时数仓选型架构概览离线数仓（OfflineDataWarehouse）和实时数仓（Real-timeDataWarehouse）是数仓领域两种常见的数据存储和处理架构，它们在数据处理的方式
码猿小站·2023-09-12 06:30

基于flink实时数据仓库-第一讲基本情况介绍

实时数据仓库1、电商实时数仓分层介绍1.1普通实时计算和实时数据仓库比较1.2实时数据仓库，项目分层2.实时需求概述2.1离线计算和实时计算比较2.2实时需求种类3.统计架构分析3.1离线架构3.2实时架构
大数据学习爱好者·2023-09-10 15:34

时序数据库插入性能评测：MatrixDB是InfluxDB的78倍，TDEngine的38倍

TDengine不能确保数据不错不重不丢MatrixDB在各种规模数据写入时，内存消耗小而且平稳；InfluxDB占用内存较多；TDengine占用内存最多MatrixDB支持冷热分级存背景在物联网和实时数仓场景中
YMatrix 官方技术社区·2023-09-07 20:25

大数据线上问诊实时数仓项目

尚硅谷线上问诊实时数仓项目延续了离线数仓的业务逻辑，以线上问诊开处方为基础业务逻辑，真实表现了线上问诊数据的实时分析统计。
尚硅谷铁粉·2023-09-01 18:46

新一代云原生实时数仓 SelectDB 登顶 ClickBench 榜单！

近期，在ClickHouse发起的分析型数据库性能测试排行榜ClickBench中，新一代云原生数仓SelectDB强势登顶，性能表现超越一众国内外产品，多项指标排行前列，并在业界最为通用的c6a.4xlarge,500gbgp2机型下排行全球第一！在ClickBench性能排行榜中，测试数据均取自真实生产环境、涵盖数据类型多样、覆盖了即席查询和统计报表等典型场景，能真实反映各大数据库在生产环境中
张家锋·2023-09-01 17:35

【大数据】数据湖：下一代大数据的发展趋势

下一代大数据的发展趋势1.数据湖技术产生的背景1.1离线大数据平台（第一代）1.2Lambda架构1.3Lambda架构的痛点1.4Kappa架构1.5Kappa架构的痛点1.6大数据架构痛点总结1.7实时数仓建设需求
G皮T·2023-09-01 16:24
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他