28、 拥抱数据湖架构

拥抱数据湖架构

1. 数据湖简介

在当今数据驱动的世界中，数据湖架构已经成为处理和存储海量数据的有效解决方案。数据湖不仅能够保存来自各种不同来源的原始格式的数据，还为企业提供了灵活且强大的数据分析能力。本文将探讨数据湖架构的概念、优势以及如何在实际中应用数据湖架构来解决数据存储和处理的问题。

数据湖的概念最早于2011年被提出。与传统数据仓库不同，数据湖允许企业在不预先定义数据结构的情况下存储大量数据。数据湖中的数据可以在查询时（读时模式）定义其结构，而不是在存储时（写时模式）。这种灵活性使得数据湖能够处理结构化、半结构化和非结构化数据，从而为企业提供了更多的数据分析机会。

1.1 数据湖 vs 数据仓库

特性	数据湖	数据仓库
数据格式	结构化、半结构化和非结构化	主要是结构化
存储方式	写时模式（Schema-on-read）	写时模式（Schema-on-write）
数据来源	多种来源	主要是事务系统
查询性能	较低	较高