什么是BI、数据仓库、数据湖和数据中台,他们有什么差异?

随着大数据技术的不断更新和迭代,数据管理工具得到了飞速的发展,相关概念如雨后春笋一般应运而生,如从最初决策支持系统(DSS)到商业智能(BI)、数据仓库、数据湖、数据中台等,这些概念特别容易混淆,本文对这些名词术语及内涵进行系统的解析,便于读者对数据平台相关的概念有全面的认识。

一、BI

商务智能(BI,Business Intelligence)是一种以提供决策分析性的运营数据为目的而建立的信息系统。它将数据仓库、在线分析处理、数据挖掘等技术与客户关系管理等应用系统结合起来,并应用于企业活动实际过程当中,最终实现服务于管理层决策的目的 。

BI利用信息科技,将分散于企业内、外部各种数据加以整合并转换成知识,并依据某些特定的主题需求,进行决策分析和运算;用户则通过报表、图表、多维度分析的方式,寻找解决业务问题所需要的方案;这些结果将呈报给决策者,以支持策略性的决策和定义组织绩效,或者融入智能知识库自动向客户推送 。

二、数据仓库

数据仓库(Data Warehouse),也称为企业数据仓库,它是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合存储系统,它将来自不同来源的结构化数据聚合起来,用于业务智能领域的比较和分析,数据仓库是包含多种数据的存储库,并且是高度建模的 。

数据仓库系统的作用能实现跨业务线、跨系统的数据整合,为管理分析和业务决策提供统一的数据支持。数据仓库能够从根本上帮助人们把公司的运营数据转化成为高价值的可以获取的信息或知识,并且在恰当的时候通过恰当的方式把恰当的信息传递给恰当的人 。

三、数据湖

数据湖(Data Lake)是Pentaho公司CTO James Dixon提出来一种数据存储理念——即在系统或存储库中以自然格式存储数据的方法。数据湖作为一个集中的存储库,可以在其中存储任意规模的结构化和非结构化数据。在数据湖中,可以存储不需要对其进行结构化的数据,这样就可以运行不同类型的分析 。

数据湖能够帮助企业实现数据的集中式管理等多种能力。数据湖融合了先进的数据科学、机器学习和人工智能技术,帮助企业构建更加优化的数据运营模型,为企业提供预测分析、推荐模型等能力,这些模型能够刺激企业能力的持续增长,不断赋能于企业增长 。

四、数据中台

“数据中台”这个新概念最早于2014年被阿里从芬兰引入国内,目前仍处于“定义混乱期”,不同的人对数据中台都有着各自的理解。部分数据专家将其解读为数据中台是一套可持续“让企业的数据用起来”的机制,是一种战略选择和组织形式,是依据企业特有的业务模式和组织架构,通过有形的产品和实施方法论支撑,构建的一套持续不断把数据变成资产并服务于业务的机制。阿里云在对数据中台的战略解读中提出“中台包含先进技术(技术竞争力) ,但不仅仅是技术,更重要的是组织可以依托先进技术,利用其所拥有的核心资源(资源竞争力) ,构建其在企业数字化转型中的竞争力、话语权,及生态向心力(生态竞争力) , 中台是一种能力(技术、使能、赋能、创新、生态) 。”

数据中台通过对企业内外部多源异构的数据采集、治理、建模、分析和应用,使数据对内优化 管理提高业务价值,对外进行数据合作让业务价值得到释放,使之成为企业数据资产管理中枢。数据中台建立后,会形成数据API服务,为企业和客户提供高效各种数据服务 。

五、数据仓库 VS 数据湖

在储存方面上,数据湖能处理所有类型的数据,如结构化数据,非结构化数据,半结构化数据等,数据的类型依赖于数据源系统的原始数据格式。数据仓库,主要处理历史的、结构化的数据,通常从事务系统中提取 。

数据湖适用于深度分析,它拥有足够强的计算能力用于处理和分析所有类型的数据,可以做数据挖掘和数据分析。数据仓库主要是处理结构化数据,将它们或者转化为多维数据,或者转换为报表,以满足后续的高级报表及数据分析需求 。

与数据仓库相比,数据湖缺乏结构性,而且更灵活,并且提供了更高的敏捷性。数据仓库具有高性能、可重复性的特点 。

六、数据仓库 VS 数据中台

数据仓库的出发点为一个支撑性的技术系统,强调数据质量和元数据管理;而数据中台的第一出发点不是数据而是业务,更加注重思考业务问题需要什么样的数据服务 。

在具体的技术处理环节,二者也有明显不同,数据的预处理流程正在从传统的ETL结构向ELT结构转变。传统的数据仓库集成处理架构是ETL结构,这是构建数据仓库的重要一环,即用户从数据源抽取出所需的数据,经过数据清洗,将数据加载到数据仓库中去。而大数据背景下的架构体系是ELT结构,其根据上层的应用需求,随时从数据中台中抽取想要的原始数据进行建模分析 。

七、数据仓库 VS BI

商业智能 BI 相比于数据仓库,它是一个更大的概念。商业智能可以说是基于数据仓库,经过了数据挖掘后,得到了商业价值的过程。所以说数据仓库是个金矿,数据挖掘是炼金术,而商业报告则是黄金。数据仓库就像是 BI 这个房子的地基,搭建好 DW 这个地基之后,才能进行分析使用,最后产生价值 。

推荐阅读:
世界的真实格局分析,地球人类社会底层运行原理
不是你需要中台,而是一名合格的架构师(附各大厂中台建设PPT)

企业IT技术架构规划方案

论数字化转型——转什么,如何转?

华为干部与人才发展手册(附PPT)

企业10大管理流程图,数字化转型从业者必备!

【中台实践】华为大数据中台架构分享.pdf

华为的数字化转型方法论

华为如何实施数字化转型(附PPT)

超详细280页Docker实战文档!开放下载

华为大数据解决方案(PPT)

你可能感兴趣的:(数据仓库,数据挖掘,大数据,编程语言,机器学习)