数据湖第2页

2025-03-21（DS复习）： Databricks 的技术架构

其技术架构结合了分布式计算、数据湖、数据仓库和机器学习的能力，提供了一个统一的数据分析平台。

BgShkTech 必杀技·2025-05-09 05:23

构建高质量数据湖：大数据治理在湖仓一体架构下的实践指南

数据湖（DataLake）因其支持海量、原始、多类型数据的存储优势，在数据治理体系中扮演着越来越关键的角色。

慌ZHANG·2025-05-08 07:31

从零认识阿里云OSS：云原生对象存储的核心价值

阿里云对象存储OSS（ObjectStorageService）作为云原生的分布式存储服务，凭借其独特的架构设计和丰富的功能矩阵，正在成为企业构建数据湖、管理非结构化数据的首选方案。

小黄人2025·2025-05-07 14:15

大数据面试问答-数据湖

1.概念数据湖（DataLake）：以原始格式（如Parquet、JSON等）存储海量原始数据的存储库，支持结构化、半结构化和非结构化数据（如文本、图像）。

孟意昶·2025-05-03 20:14

大数据领域数据产品的技术选型与架构设计案例

内容涵盖数据采集、存储、处理、分析、应用五层架构的核心组件选型原则，对比传统数据仓库、数据湖、湖仓一体等架构的适用场景，结合电商、金融、智能制

大数据洞察·2025-05-03 02:07

docker安装minIO

它专为大规模的AI/ML、数据湖和数据库工作负载而构建。它可以在本地和任何云（公有或私有）上运行，从数据中心到边缘都可以运行。

JiMoXiaoHunRen·2025-05-02 10:52

大型连锁酒店集团数据湖应用示例

目录一、应用前面临的严峻背景二、数据湖的精细化构建过程（一）全域数据整合规划（二）高效的数据摄取与存储架构搭建（三）完善的元数据管理体系建设（四）强大的数据分析平台构建三、数据湖带来的显著应用效果在全球旅游市场持续扩张的当下

佟格码路·2025-05-01 22:02

理解数据湖

佟格码路·2025-05-01 09:10

《淘宝 API 数据湖构建：实时商品详情入湖 + Apache Kafka 流式处理指南》

构建淘宝API数据湖，将实时商品详情数据纳入其中，并借助ApacheKafka进行流式处理，能够为企业提供强大的数据支撑，助力精准营销、市场分析等业务决策。

API_technology·2025-04-30 23:03

【LLM新概念】什么是深湖（DeepLake）

目录一、说明二、深湖的意义三、深湖特色四、深湖与数据湖（DeepLakevsDataLake）五、深湖vs抱脸（DeepLakevsHuggingface）一、说明 DeepLake是专门用于深度学习用例的数据湖

无水先生·2025-04-30 08:26

数字化转型关键：人事信息管理系统如何助力企业降本增效？

MokaHRIS的数据湖架构支持PB级员工信息存储，同时满足实时查询和分析需求，帮助企业构建真正可信赖的人才数据资产。云端考勤管

人事百宝箱·2025-04-29 06:46

基于Delta lake、Hudi格式的湖仓一体方案

简介：DeltaLake和Hudi是流行的开放格式的存储层，为数据湖同时提供流式和批处理的操作，这允许我们在数据湖上直接运行BI等应用，让数据分析师可以即时查询新的实时数据，从而对您的业务产生即时的洞察

呆呆咸猪手·2025-04-27 02:06

数据湖架构：从Delta Lake到Hudi实战对比

数据湖架构：从DeltaLake到Hudi实战对比随着大数据技术的飞速发展，数据湖架构逐渐成为企业处理大规模、多样化数据的首选方案。

喜欢编程就关注我·2025-04-27 01:35

信用租赁系统技术架构与风控创新

从底层的数据湖到顶层的用户界面，系统用区块链技术给每个信用行为打上"防伪钢印"，再通过央行征信接口实时调取用户金融画像，活脱脱一个会算命的电子账房先生。

hd75232·2025-04-25 22:02

算力协同创新驱动多域生态演进

量子计算与光子计算的架构升级，正在突破传统芯片制程与网络协议的物理限制，而智能算法的持续优化与数据湖架构的演进，显著提升了模型训练与科学计算的能效水平。

智能计算研究中心·2025-04-25 12:51

一文弄懂数仓、数据湖、湖仓一体

一、大白话解释：数仓、数据湖、湖仓一体1.数据仓库（数仓）定义：就像一家超市的「整理货架」，把所有商品（数据）按类别（主题）摆放得整整齐齐，方便随时找到需要的商品（生成报表）。

IT界的奇葩·2025-04-24 17:40

快速认识：数据库、数仓（数据仓库）、数据湖与数据运河

数据技术核心概念对比表概念核心定义核心功能数据特征典型技术/工具核心应用场景数据库结构化数据的「电子档案柜」，按固定schema存储和管理数据，支持高效读写和事务处理。实时事务处理（增删改查），确保数据一致性（ACID特性），支持单表/关联查询。结构化数据（表格式），Schema固定，数据高度清洗。关系型：Oracle、MySQL、PostgreSQL、TiDB非关系型：MongoDB、Redis

白-胖-子·2025-04-22 21:59

Doris + Iceberg 构建冷热分层数据湖架构：架构设计与实战指南

本篇将深入探讨如何结合ApacheDoris与ApacheIceberg构建一套高性能、可扩展的数据湖架构，支持冷热数据自动分层、快速查询与灵活扩展。一、背景：为什么需要冷热数据分层？

晴天彩虹雨·2025-04-21 13:49

数据中台架构与技术体系

数据存储层数据湖（DataLake）：存储原始

Aurora_NeAr·2025-04-21 04:27

鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目

主要分为以下四个部分：一、鹰角数据平台架构二、数据湖选型三、湖仓一体建设四、未来展望一、鹰角数据平台架构首先给大家介绍一下鹰角目前的数据平台架构。在介绍之前，关于鹰角我先给大家做简单的介绍。

·2025-04-17 04:47

Trino深度解析

其核心目标是提供低延迟、高吞吐的查询能力，支持从GB到PB级数据的跨源分析，适用于数据湖、实时报表、ETL加速等场景。

Debug_TheWorld·2025-04-16 08:15

Flink+Iceberg搭建实时数据湖实战

点击上方蓝色字体，选择“设为星标”回复"面试"获取更多惊喜全网最全大数据面试提升手册！第一部分：Iceberg核心功能原理剖析：ApacheIceberg摘自官网：Apache Iceberg is an open table format for huge analytic datasets.可以看到Founders对Iceberg的定位是面向海量数据分析场景的高效存储格式。海量数据分析的场景，

王知无(import_bigdata)·2025-04-12 18:30

大数据（7.4）Kafka存算分离架构深度实践：解锁对象存储的无限潜能

1.1数据爆炸时代的存储挑战1.2存算分离的核心价值矩阵二、对象存储集成架构设计2.1分层存储核心组件2.2关键配置参数优化三、深度集成实践方案3.1冷热数据分层策略3.1.1存储策略性能对比3.2跨云数据湖方案四

一个天蝎座白勺程序猿·2025-04-11 08:15

GitHub优秀项目：数据湖的管理系统LakeFS

使用户可以像管理代码一样管理数据湖。借助lakeFS，可以构建可重复、原子化和版本化的数据湖操作--从复杂的ETL作业到数据科学和分析。

开源项目精选·2025-04-09 18:35

数字政府建设如何开展数据共享与整合效率

数字政府建设如何开展数据共享与整合效率一、技术手段（一）数据中台与数据湖数据中台：数据中台是将不同系统、不同格式的数据进行整合、分析和共享的平台。

AI糊涂是福·2025-04-08 06:36

Spark内容分享(二十七)：阿里云基于 Spark 的云原生数据湖分析实践

目录Spark与云原生的结合1.传统Spark集群的痛点2.Spark与云原生结合的优势SparkonK8s原理介绍1.Spark的集群部署模式2.SparkonK8s的部署架构3.SparkonK8s部署架构——对比4.SparkonK8s社区进展5.Spark3.3新特性介绍SparkonK8s在阿里云EMR上的实践1.EMRSparkonACK2.充分利用云上弹性优势3.使用RSS优化shu

之乎者也··2025-04-06 23:24

Delta Lake 解析：架构、数据处理流程与最佳实践

DeltaLake是一个基于ApacheSpark的开源存储层，主要解决传统数据湖（DataLake）缺乏ACID事务、数据一致性和性能优化的问题，使大数据处理更加可靠、高效。

codebat_raymond·2025-04-06 22:48

架构师之路：数据中台产品策略与规划

数据中台的主要作用在于提升数据仓库、数据湖、数据应用三者之间的数据价值，建立统一的业务域数据模型，以及统一的数据开发流程、数据服务接口及标准化。

AI天才研究院·2025-04-03 12:18

百观科技基于阿里云 EMR 的数据湖实践分享

作者：百观科技数据工程团队高级工程师齐鹏背景介绍公司介绍百观科技成立于2016年，是以数据为核心驱动力的市场研究和信息服务公司。百观以全域数据为基础，通过客观科学的数据分析，解锁数据价值，为客户提供具有现实指导意义的洞察和解决方案。百观的数据产品和解决方案目前覆盖10+行业、200,000+企业的上百种商业分析维度，获得了市场广泛的认可。当前，百观的客户主要包括国内外大型基金、主权基金、PE/VC

·2025-04-02 21:45

《论湖仓一体架构及其应用》审题技巧 - 系统架构设计师

传统的数据管理方式，如数据湖和数据仓库，已难以满足当前多样化、异质性数据的实时处理需求。湖仓一体架构的提出，正是为了应对这一挑战，它融合了数据湖的低成本存储与数据仓库的事务处理和

程序员古德·2025-04-02 08:12

AI 基础设施的图书馆：智能化知识管理与推荐

《AI基础设施的图书馆：智能化知识管理与推荐》关键词AI基础设施，知识管理，推荐系统，数据处理，存储，数据仓库，数据湖，协同过滤，内容推荐，混合推荐，算法公平性，透明度，性能优化摘要本文深入探讨了AI基础设施中的智能化知识管理与推荐系统

AI天才研究院·2025-03-31 22:04

【Azure 架构师学习笔记】- Azure Databricks (12) -- Medallion Architecture简介

接上文【Azure架构师学习笔记】-AzureDatabricks(11)–UC搭建前言使用ADB或者数据湖，基本上绕不开一个架构“Medallion”，它使得数据管理更为简单有效。

發糞塗牆·2025-03-31 03:51

Debezium系列之：使用Debezium和Apache Iceberg构建数据湖

Debezium系列之：使用Debezium和ApacheIceberg构建数据湖DebeziumServerIceberg“DebeziumServerIceberg”消费者设置数据复制Upsert模式保留已删除的记录使用

快乐骑行^_^·2025-03-29 17:33

RFID标签与数据采集器融合及数据湖集成方案

一、系统架构设计无线信号MQTT/OPCUAKafka/RESTAPIRFID标签数据采集器

小赖同学啊·2025-03-29 09:40

数据湖和Apache Iceberg，Apache Hudi，Delta Lake

1什么是数据湖？

西土城计划·2025-03-27 05:17

Apache Iceberg 解析，一文了解Iceberg定义、应用及未来发展

ApacheIceberg是一种开源的表格式（TableFormat），专为超大规模数据分析场景设计，通过标准化数据存储规范与访问协议，解决了传统数据湖在元数据管理、事务控制、查询性能等方面的核心痛点。

镜舟科技·2025-03-27 05:17

如何利用 StarRocks 加速 Iceberg 数据湖的查询效率

数据湖作为一种存储各种类型数据的集中式存储系统，以其灵活性、可扩展性和低成本的优势受到越来越多企业的青睐。

镜舟科技·2025-03-27 05:16

大数据（2）Hadoop架构深度拆解：HDFS与MapReduce企业级实战与高阶调优

目录一、分布式系统的设计哲学演进1.1从Google三驾马车到现代数据湖二、企业级HDFS架构全景图2.1联邦架构的深度实践2.2生产环境容灾设计2.3性能压测方法论三、MapReduce引擎内核解密3.1Shuffle

一个天蝎座白勺程序猿·2025-03-25 13:48

数据湖Iceberg、Hudi和Paimon比较_数据湖框架对比(1)

4.Schema变更支持对比项ApacheIcebergApacheHudiApachePaimonSchemaEvolutionALLback-compatibleback-compatibleSelf-definedschemaobjectYESNO(spark-schema)NO（我理解，不准确）SchemaEvolution：指schema变更的支持情况，我的理解是hudi仅支持添加可选列

2301_79098963·2025-03-23 17:45

【数据治理】数据湖治理实践：腾讯云数据湖元数据实践指南

最近数据湖非常的火，但是一旦没弄好，就会变成“数据沼泽”。如何避免“数据湖”变成“数据沼泽”呢？最好的办法就是治理先行。

菜鸟蜀黍·2025-03-21 17:59

LakeHouse湖仓一体成为下一站灯塔，数仓、数据湖架构即将退出群聊

摘要：当前的大数据技术应用趋势表明，客户对单一的数据湖和数仓架构并不满意。

科杰科技·2025-03-21 17:26

数据湖：Apache Iceberg在腾讯的探索和实践

本文结合腾讯大数据技术分享内容和2020全球软件开发大会分享内容进行整理，主要内容包括：1、数据湖技术概述2、ApacheIceberg的简介3、腾讯为什么选择ApacheIceberg4、腾讯看点万亿数据下的业务痛点

学而知之@·2025-03-20 00:15

Apache Doris整合Iceberg + Flink CDC构建实时湖仓体的联邦查询分析架构

简介实时湖仓体是一种灵活、可扩展的数据架构，结合了数据湖和数据仓库的优势。ApacheDoris是一款开源的分布式SQL引擎，专注于实时分析和查询。Iceberg是一种开放式表格格式

MfvShell·2025-03-20 00:10

使用 DingoDB 创建自查询检索器的实战演示

DingoDB深入解析与实战演示DingoDB是一种分布式多模向量数据库，它结合了数据湖和向量数据库的特点，能够存储任何类型和大小的数据（如Key-Value、PDF、音频、视频等）。

fgayif·2025-03-19 19:34

使用 Doris 和 Iceberg

作为一种全新的开放式的数据管理架构，湖仓一体（DataLakehouse）融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势，帮助用户更加便捷地满足各种数据处理分析的需求，在企业的大数据体系中已经得到越来越多的应用

向阳1218·2025-03-15 15:10

使用 Doris 和 LakeSoul