数据湖

Hive 部署

HiveMetastore（HMS）提供了一个中央元数据存储库，可以轻松地进行分析，以做出明智的数据驱动决策，因此它是许多数据湖架构的关键组件。
有人看我吗·2023-12-27 23:54

Flink实时电商数仓之Doris框架（七）

主要实现的功能有：实时看板面向企业内部分析师和管理者的报表面向用户或者客户的高并发报表分析即席查询统一数仓构建：替换了原来由Spark,Hive，Kudu,Hbase等旧框架数据湖联邦查询：通过外表的方式联邦分析位于
十七✧ᐦ̤·2023-12-27 16:47

DataFunSummit：2023年数据湖架构峰会-核心PPT资料下载

面对如此大规模的数据，无论是分析型场景、流批一体、增量数仓都得益于湖仓一体等数据湖技术的发展而变得越来越容易解决。从核心架构、性能优化、湖仓一体、最佳实践等方面带来数据湖的最新技术和内容实践经验总结。
百家峰会·2023-12-27 16:03

Hadoop真的要死了吗？

我们已经看到了运营由这两家公司和其他公司部署的所有数据湖的巨大机会，而这样的机会在两年前可能连想都不敢想”。Conflue
伯雅之英·2023-12-27 11:23

数据分享 I 2022年各省市POI数据，数据总量上亿，推荐下载！

数据名称:POI数据数据格式:Shp、Excel数据时间:2022年数据几何类型:点数据坐标系:WGS84坐标系数据来源：网络公开数据湖北省POI数据示意图广东省POI数据示意图上海市POI数据示意图浙江省
吧唧数据·2023-12-27 09:59

从零开始学大数据框架Hudi，这些学习网站，助你一臂之力！

介绍：ApacheHudi是一个开源的流数据湖平台，由Uber开发并现在已经成为Apache的顶级项目。
知识分享小能手·2023-12-26 20:39

Iceberg1.4.2 java 表管理（DDL和DML）操作

数据湖目前最大的问题是缺少数据治理能力，像元数据管理，表管理等能力都没有，一般这种管理需要通过web应用进行管理。
smileyboy2009·2023-12-26 10:26

idea开发delta.io数据湖

delta.io是三大数据湖之一，Iceberg和hudi.国内人用的比较多，delta国外的大厂用的比较多，主要来源与databrack.像苹果，adobe，阿里等公司用的是delta.io，相对来说比较成熟一些
smileyboy2009·2023-12-26 10:52

数据湖(Data Lake)系列2-数据湖的前世今生

今天继续数据湖的话题，主要是梳理一下数据湖的前世今生。开始前，简单回顾一下知识点。
allwit·2023-12-25 21:49

数据处理演进：EtLT崛起，ELT正在告别历史舞台

虽然Hadoop时代主要依赖ELT（Extract、Load、Transform）方法，但实时数据仓库和数据湖的兴起使得ELT变得过时。EtLT已成为将数据实时加载到数据湖和实时数据仓库的标准架构。
涤生大数据·2023-12-25 10:00

【Flink SQL API体验数据湖格式之paimon】

前言随着大数据技术的普及，数据仓库的部署方式也在发生着改变，之前在部署数据仓库项目时，首先想到的是选择国外哪家公司的产品，比如：数据存储会从Oracle、SqlServer中或者Mysql中选择，ETL工具会从Informatica、DataStage或者Kettle中选择，BI报表工具会从IBMcognos、SapBo或者帆软中选择，基本上使用的产品组合都类似，但随着数据量的激增，之前的部署方式
以茉萱·2023-12-25 08:01

数据之道读书笔记-05面向“联接共享”的数据底座建设

本章将讲述华为数据底座的总体架构和建设策略，详细说明华为如何通过数据湖和数据主题联接的建设，实现数据的汇聚和联接，打破数据孤岛和垄断，重建数据获取
潘小磊·2023-12-24 02:45

数据中心与数据湖与数据虚拟化 Data Hub vs Data Lake vs Data Virtualization

总览所有大型组织都拥有大量数据，通常将其分散在许多不同的系统中。这不是一个有意识的选择，而是一系列务实的权衡。筒仓是技术债务，随着软件即服务（SaaS）应用程序和其他云产品的采用，筒仓正在增加，这加剧了业务与IT之间的摩擦。众所周知，集成这些数据孤岛非常困难，并且在尝试使用传统数据仓库方法时面临明显的挑战。因此，IT组织寻求现代方法来完成工作（应企业的紧急要求）。这种比较涵盖了三种现代的数据集成方
时见疏星·2023-12-23 18:40

华纳云：怎么通过Apache Hudi和Alluxio建设高性能数据湖

ApacheHudi(HadoopUpsertsDeletesandIncrementals)和Alluxio都是用于构建高性能数据湖的强大工具，它们可以在存储和处理大规模数据时提供更好的性能和灵活性。
华纳云IDC服务商·2023-12-22 19:53

Apache Paimon核心原理和Flink应用进阶

1.1简介Flink社区希望能够将Flink的Streaming实时计算能力和Lakehouse新架构优势进一步结合，推出新一代的StreamingLakehouse技术，促进数据在数据湖上真正实时流动起来
王知无(import_bigdata)·2023-12-22 11:57

StarLake：汇量科技云原生数据湖的探索和实践

简介：快速了解汇量科技在云原生数据湖领域的探索和实践，详解StarLake的架构及业务应用案例。
阿里云云栖号·2023-12-22 07:49

阿里云EMR 2.0：定义下一代云原生智能数据湖

摘要：本文整理自阿里云高级技术专家/数据湖存储负责人郑锴(铁杰)；阿里云高级技术专家/开源大数据OLAP负责人范振(辰繁)在阿里云EMR2.0线上发布会的分享。
阿里云云栖号·2023-12-22 07:49

Hudi 表类型和查询类型

数据湖hudi的表类型定义了数据在DFS上如何组织布局，同时实现一些timeline等操作（表类型定定义数据是如何写入的）；查询类型则是定义如何读取DFS上的数据。
Bonyin·2023-12-21 03:52

数据中台架构原理与开发实战：从监控告警到故障处理

基础设施层：包括数据仓库、数据湖、数据源管理、ETL工具、消息队列等组件。业务逻辑层：提供基于数据的决策支持系统、机器学习系统、推荐引
禅与计算机程序设计艺术·2023-12-21 02:17

Flink CDC 系列 - 同步 MySQL 分库分表，构建 Iceberg 实时数据湖

但是为了方便数据分析，通常需要将分库分表拆分出的表在同步到数据仓库、数据湖时，再合并成一个大表。
四月天03·2023-12-20 23:16

缺少反向ETL能力？ETLCloud帮你清障

Extract-Transform-Load，它是将大量的原始数据经过提取（extract）、转换（transform）、加载（load）到目标存储数据仓库的过程，那么反向ETL我们就可以理解为从数据仓库或数据湖中将数据反向加载回源系统的过程
ETLCloud数据集成社区·2023-12-20 14:20

Databend 开源周报第 124 期

新增对Delta和Iceberg表引擎的支持Databend新增对Delta和Iceberg格式表引擎的支持，以帮助用户对接由不同数据湖
Databend·2023-12-20 13:31

基于 Flink 构建实时数据湖的实践

本文整理自火山引擎云原生计算研发工程师王正和闵中元在本次CommunityOverCodeAsia2023数据湖专场中的《基于Flink构建实时数据湖的实践》主题演讲。
字节跳动云原生计算·2023-12-20 06:39

数据中台架构原理与开发实战：数据中台的数据可视化工具与平台

数据仓库和数据湖作为企业级的基础设施建设的重要组成部分，可以提供数据源头，汇聚和加工各种异构数据源并形成统一的价值信息。
禅与计算机程序设计艺术·2023-12-20 05:03

Apache Doris 2.0.3 版本正式发布

亲爱的社区小伙伴们，ApacheDoris2.0.3版本已于2023年12月14日正式发布，该版本对复杂数据类型、统计信息收集、倒排索引、数据湖分析、分布式副本管理等多个功能进行了优化，欢迎大家下载体验
SelectDB技术团队·2023-12-19 14:20

我对大数据的理解

在这种大环境下，部分企业或政府建立的大数据平台，并且在此之上建立了数据湖、数据仓库、数据中台。相关概念或定义如下：大数据平台是一个以处
王永翔·2023-12-19 07:54

一文讲清数据集市、数据湖、数据网格、数据编织

本文介绍数据仓库、数据集市、数据湖、数据网格和数据编织相关概念和使用案例，帮助你选择并利用好数据的力量来完成明智的决策。
Java学研大本营·2023-12-18 02:22

数仓、数据湖、湖仓一体、数据网格的探索与研究

整理不易，转发请注明出处，请勿直接剽窃！点赞、关注、不迷路！摘要：了解每一代数据存储的定义、数据类型、功能、总结。第一代：数据仓库定义为解决数据库面对数据分析的不足，孕育出新一类产品数据仓库。数据仓库（DataWarehouse）是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策和信息的全局共享。数据类型结构化数据功能数据仓库对于数据的处理可分为数据集成（装载）、数据加
五块兰州拉面·2023-12-18 02:51

数仓、数据湖、湖仓一体、数据网格概论

数仓、数据湖、湖仓一体、数据网格概论数据仓库定义为解决数据库面对数据分析的不足，孕育出新一类产品数据仓库。
互联网小白兔·2023-12-18 02:21

大数据存储架构学习摘要：数据仓库、数据集市、数据湖、数据网格、湖仓一体

整体思维导图数据仓库数据仓库是一个面向主题的（SubjectOriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（TimeVariant）的数据集合。数据仓库的主要目标是提供一致、可靠、易于访问的数据，以支持企业的决策制定和分析。它可以帮助企业了解自己的业务、市场以及客户，并提供决策支持和预测分析的能力。数据仓库在商业智能和数据分析领域有着广泛的应
耗子背刀PK猫·2023-12-18 02:19

2w字详解数据湖：概念、特征、架构与案例

最近，数据湖的概念非常热，许多前线的同学都在讨论数据湖应该怎么建？有没有成熟的数据湖解决方案？各大厂商的数据湖解决方案到底有没有实际落地的案例？怎么理解数据湖？数据湖和大数据平台有什么不同？
公众号:肉眼品世界·2023-12-17 15:33

什么是BI、数据仓库、数据湖和数据中台，他们有什么差异？

随着大数据技术的不断更新和迭代，数据管理工具得到了飞速的发展，相关概念如雨后春笋一般应运而生，如从最初决策支持系统(DSS)到商业智能(BI)、数据仓库、数据湖、数据中台等，这些概念特别容易混淆，本文对这些名词术语及内涵进行系统的解析
公众号:肉眼品世界·2023-12-17 15:03

奇瑞捷豹路虎上云历程和深度优化之道（二）：清理和标准化

2022年8月奇瑞捷豹路虎汽车有限公司（以下简称：奇瑞捷豹路虎）的SAP系统全面开启云上之旅项目，数据湖等应用也迁入亚马逊云科技的LandingZone（着陆区）后，团队在初始阶段对新的资源管理模式感到相当困惑
亚马逊云开发者·2023-12-16 13:06

Apache Doris 开源最顶级基于MPP架构的高性能实时分析数据库

这些都使得ApacheDoris成为报表分析、即席查询、统一数据仓库和数据湖查询加速等场景的理想工具。在ApacheDoris上，用户可以构建各种应用，如用户行为分析、AB测试平台
码农小旋风·2023-12-16 11:51

数据中台架构原理与开发实战：理解数据湖与数据中台的关系

1.背景介绍随着互联网、移动互联网、云计算等新兴技术的不断推进，越来越多的公司开始了数据集成、数据处理和分析的大规模工程建设。但是，由于需求的不断变化，公司面临的数据维度爆炸、数据价值难以量化、数据分析延迟增长等一系列数据管理难题，如何构建一个具有自主知识产权保护能力和数据价值的数据中台成为迫切需求。数据中台（DataHub）是一个数据平台，它作为多个异构数据源的集合点，能够汇聚各类数据并进行数据
禅与计算机程序设计艺术·2023-12-15 19:08

【华为数据之道学习笔记】5-2华为数据湖的特点

华为数据湖是逻辑上对内外部的结构化、非结构化的原始数据的逻辑汇聚。数据入湖要遵从6项入湖标准，基于6项标准保证入湖的质量，同时面向不同的消费场景提供两种入湖方式，满足数据消费的要求。
码农丁丁·2023-12-15 11:47

re:Invent 2023 | 简化复杂数据湖环境中的数据安全

关键字:[AmazonWebServicesre:Invent2023,AmazonS3AccessGrants,DataAccessControl,DataGovernance,S3Access,DataSecurity,DataLake]本文字数:900,阅读完需:4分钟视频如视频不能正常播放，请前往bilibili观看本视频。>>https://www.bilibili.com/video/
taibaili2023·2023-12-15 11:40

揭秘数据库、数据仓库、数据湖和数据湖之家

什么是数据湖和数据湖屋？让我们用一个假设的例子来理解这些。Bookster.biz是全球图书销售领域的新热点。
沃趣数据库管理平台·2023-12-15 10:13

干货 | 携程酒店基于血缘元数据的数据流程优化实践

作者简介九号，携程数据技术专家，关注数据仓库架构、数据湖、流式计算、数据治理。
携程技术·2023-12-15 10:45

提升数据分析效率：Amazon S3 Express One Zone数据湖实战教程

实现概述技术架构组件实现步骤概览第一步：构建数据湖的基础第二步：选择并查看数据集第三步：在Athena中搭建架构第四步：数据转换与优化第五步：查询和验证数据第六步：将更多数据添加到表第七步：性能和成本效益分析体会结语附录提升数据分析效率
AI_Maynor·2023-12-15 08:43

Apache Paimon流式湖仓学习交流群成立

ApachePaimon是一个流式数据湖平台。致力于构建一个实时、高效的流式数据湖平台。这个项目采用了先进的流式计算技术，使企业能够实时处理和分析大量数据。
大数据流动·2023-12-06 13:25

玩转大数据7：数据湖与数据仓库的比较与选择

1.引言在当今数字化的世界中，数据被视为一种宝贵的资源，而数据湖和数据仓库则是两种重要的数据处理工具。本文将详细介绍这两种工具的概念、作用以及它们之间的区别和联系。
沛沛老爹·2023-12-06 06:42

大数据转型方案：首推数据湖！

最近行业大佬都在聊怎么部署数据湖，这波操作未来走向如何？数据湖技术能够实现全量数据的单一存储，通常存储原始格式的对象块或者文件。
zhisheng_blog·2023-12-05 02:12

数据治理的湖仓一体架构

1.2数据仓库、数据湖和湖仓一体的差异数据仓库、数据湖和湖仓一体之间的差异（见表1）主要体现在以下几点。
AIGC方案·2023-12-04 07:55

Apache Doris 整合 FLINK CDC 、Paimon 构建实时湖仓一体的联邦查询入门

1.概览多源数据目录（Multi-Catalog）功能，旨在能够更方便对接外部数据目录，以增强Doris的数据湖分析和联邦数据查询能力。
hf200012·2023-12-03 16:07

大数据湖项目建设方案：文档全文101页，附下载

关键词：大数据解决方案，数据湖解决方案，数据治理解决方案，数据中台解决方案一、大数据湖建设思路1、明确目标和定位：明确大数据湖的目标和定位是整个项目的基础，这可以帮助我们确定项目的内容、规模、所需的技术以及如何评估项目的效果
方案365·2023-12-03 08:05

数据湖和中央数据仓库的设计

设计数据湖或中央数据仓库是许多大型组织的主要职能，这些组织每天处理数百万笔交易，并对这些交易进行进一步的报告、预测或机器学习项目分析。
小技术君·2023-12-03 05:23

一本书读懂数据治理

读后感数据湖和数据仓库的对比数据治理的价值数据管理存在的问题数据治理的4个层面数据治理8项举措数据治理7种能力数据治理7把利剑书摘企业
4935同学·2023-12-02 23:24

重温 re:Invent，分享十年成长：我和 re:Invent的故事

文章目录前言背景我和re:Invent的交际历届峰会主题2012突破技术垄断2013革新数据服务2014更好用的云服务2015打通最后一-公里2016迈向云上数据湖时代2017重构云计算基础2018云能力的再进化
想你依然心痛·2023-11-30 14:44

解决Spark SQL读数据库时不支持某些数据类型的问题

之前开发数据湖新版本时使用SparkSQL来完成ETL的工作，但是遇到了SparkSQL不支持某些数据类型（比如ORACLE中的TimestampwithlocalTimezone）的问题。
alexlee666·2023-11-28 20:49
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他