为什么全网都在看衰数据中台,数据中台是陷阱,还是利器?

今天的文章,我们聊一聊:为什么全网都在看衰数据中台?

“数据中台是大数据的下一站”

“还没有构建数据中台,你的企业 OUT 了”

“为什么说建设数据中台是企业数字化转型的必要环节”

...

相信很多人,在前两年都在网上看过类似的文章,没错,前两年数据中台的地位很高,说它是“当红炸子鸡”一点也不为过。

可疫情过后,一切都变了。

现在,我们看到的网上信息都在唱衰数据中台,从被各界追捧到人人唾弃,数据中台发生了什么?平静下来冷静判断,它到底是陷阱还是利器?

| 01 发展历程

说到数据中台,还得从如日中天的阿里说起,2016/17年时,阿里一度成为亚洲市值最高的互联网企业,为了解决自身多业务线数据打通、避免重复建设及口径不一致等问题,率先提出了数据中台概念。

2018 年数据中台在大数据圈正式走红,当时,如果和别人沟通不提起数据中台,都不太好意思,生怕别人说自己落伍了。(和当下的 AI 大模型爆火的情形如此相像)。

短短几年,数据中台在国内迅速得到推广,也诞生了一批围绕着数据中台建设的准独角兽企业,比如袋鼠云、奇点云、数澜科技等等(他们也都是阿里系出来的创业团队)。

一起看一下数据中台的发展时间线和关键事件:

2010年 数据湖概念提出 Cloudera, Hortonworks 为大数据存储和分析提供了新的架构
2013年 Alibaba提出数据中台概念 阿里巴巴 数据中台在中国逐渐被广泛接受
2015年 阿里巴巴正式推出数据中台 阿里巴巴 成立阿里数据中台团队,助力业务创新
2016年 京东建立数据中台 京东 京东通过数据中台提升运营效率
2017年 腾讯建立数据中台 腾讯 数据中台助力腾讯云、大数据业务发展
2018年 美团点评成立数据中台 美团点评 数据中台推动美团业务精细化运营
2019年 数据中台标准化推进 阿里巴巴,腾讯,京东等 多家中国互联网公司共同推动数据中台标准化
2020年 国际数据中台解决方案涌现 Google, Microsoft, AWS 云服务厂商提供数据中台解决方案
2021年 数据中台进入金融和制造业 工商银行,华为,西门子等 数据中台在更多传统行业得到应用
2022年 数据中台智能化发展 阿里巴巴,华为,百度等 引入AI和机器学习,提升数据中台的智能分析能力
2023年 元数据管理成为数据中台重点 Informatica, Collibra 加强数据治理和元数据管理,提升数据中台的可信度和可靠性
2024年 数据中台进一步融合云原生技术 Google, Microsoft, AWS 云原生数据中台解决方案成为主流,提高系统弹性和扩展性

| 02 谈谈价值

数据中台火了之后,企业纷纷把它作为企业数字化转型的金钥匙。

投入百万甚至千万,寄希望于数据中台帮助企业解决数据价值挖掘和使用效率问题,推进企业完成数字化转型,创造企业第二增长曲线。

最终结果先按下不表,我们先看一看数据中台有哪些价值。

要谈价值必先谈企业遇到的问题,如果没有对应的问题,数据中台自然对你来说也就缺少了价值,是吧。

2.1 企业面临的挑战

数字化并不是目的,企业在做数字化转型的过程,其实,主要是为了解决自身业务发展的问题。

当下,全球企业都面临流量枯竭,业务增长乏力,但企业的经营成本却在不断增加,利润在急速下滑。

以往靠堆人头,或者个人经验判断推进业务增长的模式已经失灵了,因此,企业越来越重视,数据在企业经营中的作用。

内部构建了越来越多,基于数据的应用产品,比如数据经营看板、促销活动地图、供应链智能管理、生产制造协同管控等等。

随着,企业数字化化程度的逐渐深入,数据应用/产品越来越多,暴露出了越来越多的问题,主要有:

  • 指标口径不一致。

    市场部在统计销售额时,包含了所有商品的销售收入,而财务部则只统计实际到账的收入,不包含退货和折扣。结果,两部门在分析月度销售数据时,得出了截然不同的结论,市场部认为销售业绩很好,而财务部则认为销售有所下滑。

  • 重复性开发建设。

    线上部门利用电商平台的数据开发了一套客户推荐系统,线下部门则基于门店会员数据开发了另一套推荐系统。由于缺乏统一的数据平台,这两套系统各自为战,无法共享数据和算法模型。

  • 数据流通和共享效率低下。

    市场部需要采购部提供最新的库存数据,以便合理安排促销商品和数量,但采购部的数据系统较为封闭,数据提取和共享效率低下,导致促销策划过程中常常因为数据滞后而无法及时调整策略。

  • 数据质量差

    一位客户在门店注册时使用手机号,而在电商平台注册时使用邮箱,系统未能合并这两个账号,导致重复记录。由于这些数据质量问题,市场部在进行会员营销活动时无法准确定位目标客户,影响了营销效果。

2.2 数据中台价值

针对以上问题,阿里提出著名的三个 ONE(ONEDATA /ONEMEDLE/ ONESERVICE)方法论,用于指导数据中台的构建。

数据中台有以下价值:

  1. 数据共享与复用:打破数据孤岛,实现跨部门的数据共享,提升数据利用率。

  2. 数据质量提升:通过统一的数据治理,确保数据的一致性、准确性和完整性。

  3. 敏捷响应业务需求:快速响应市场变化,支持灵活的数据分析和应用开发。

  4. 降低成本:减少数据冗余,优化数据存储和处理成本。

  5. 提升决策效率:通过数据驱动的洞察,支持更科学的业务决策。

其实以上说的都是通用的数据中台价值,有读者可能说太虚了。

你说的对,单纯凭借这些价值点,是很难认可数据中台的价值的。不过可以针对业务问题,进一步细化下价值。

比如上面说的指标口径不一致的问题,本质上就是业务口径定义和管理不一致,存在重复指标加工,数据来源也可能不支持,这么多变量,任何一个环节出问题,都可能导致指标同名不同义、同义不同名等问题。

那么,数据中台如何解决这个问题呢?

首先,将原先分散的数据加工和指标管理逻辑,收拢到数据中台里,由一个团队统一负责指标口径的管理和开发。

其次,在中台中构建统一的数据标准(包含模型标准和指标标准),确保相同粒度的度量或指标只加工一次,并构建全局统一的公共维表。

同时,企业内部可以便捷的获取到所需的指标,并能清晰的查看指标的定义和口径。

这里用到数据中台的两个模块,分别是数据建模和数据地图的能力。

多个数据消费场景,要能够便捷使用指标,避免无数可用的窘境。针对指标的消费和使用,有 2 个途径:

一个是通过数据中台的数据服务模块,将指标快捷的发布成数据 API,然后,到下游系统使用,比如 BI 可视化报表,直接添加 API 来源,进行指标的分析。

另外一个是使用数据中台内置的自助取数/即系查询等能力,主要满足在中台工具内部直接完成数据的消费闭环,不过,一般服务于临时性或者一次性的数据获取场景。

这就是数据中台针对企业内部指标口径不一致问题的一个简单说明,用于佐证数据中台可以帮助企业更好的解决这类问题。

小结:

数据中台之所以被很多企业认可和采购,并不仅仅是由阿里提出的概念或方法论。

更重要的是数据中台,确实能够帮助企业构建标准的、安全的、统一的、共享的数据组织,有效的消除了冗余数据,构建了企业级数据资产,提高了数据的共享能力。

| 03 为什么看衰数据中台

为什么现在全网都在看衰数据中台呢?

发生了什么?

失败案例太多了,成功案例则寥寥。

背后的因素千差万别,就像托尔斯泰在《安娜·卡列尼娜》里面有一句名言名句

“幸福的家庭都是相似的,不幸的家庭各有各的不幸。”

特别是阿里为首的互联网企业,近些年的发展并不顺利,股价也跌到了地下室。

以及,阿里这两年开始内部复盘变革,逐渐地拆中台,去中台化。中台的提出和传播者开始拆中台去中台,这对中台的生态打击非常大。

其实,阿里这里的拆中台更多指的是业务中台,并不是数据中台,可媒体朋友们可不管这些,反正中台不行了,关你什么中台...于是,大家可以看到大量中台不行的内容。

阿里于数据中台,真是:“成也萧何败萧何”。

当然,这些都是表面现象,更为重要的因素是,国内复杂的企业形态,以及繁琐多变的数据需求。

3.1 数据中台不是万能的

数据中台虽然并不特指某一个软件工具,更偏向于一个抽象概念。

但是,很多企业管理者并不去这么分,我要搞数据中台,搞了数据中台就能帮我解决企业内部的数据问题。

殊不知,数据中台只是扮演一个工具属性,内部的组织管理和制度,才是更为重要的存在,比如匹配的组织架构、内部数据管理制度、数据加工及使用流程等等。

如果按照重要程度来划分的话,数据中台工具集最多占到 20%。

3.2 错位强匹配

是否企业遇到任何数据问题,都需要用数据中台这个所谓的“终极方案”?

完全不是的。

很多企业管理者被第三方销售或者顾问画各种大饼,自己也没有判断能力,不管三七二十一,上数据中台就对了。

但是,内部根本没多少数据可用,企业还没解决数据采集的问题,很多数据都还在线下,通过人工手工方式采集,这时候,上数据中台简直就是拿大炮打苍蝇。

3.3 缺少专业的数据治理专家

这个是多数企业数据中台项目失败的最核心原因,没有之一。

一方面是,这块人才非常紧缺。一般都在某个甲方企业内(对,不是乙方,乙方很多所谓的数据治理专家都是产品专家,缺少业务视角),也比较难挖。

另一方面,企业管理者未重视这类人才的投入,认为内部的 IT部门或者业务部门协作,就完全可以填补这块的人才缺失,而不需要专门招这类人员。

大错特错,愚蠢啊。

200 万的数据中台预算都花了,为啥还要 50 万招一个数据治理专家,没搞明白这点的 CIO ,可能永远无法理解,为什么自己负责的数据中台项目会失败。


PS:

懂业务又懂数据开发流程和系统的综合性人才非常稀缺。

AI 大模型出现以后,很多的数据开发和分析师职业发展受到了极大的挑战,其实,可以深耕某一个行业,往这个方向发展。

AI 短时内依然只能替代一些重复、机械性的工作,写 SQL 这项技能越来越不重要,未来肯定会被更强的大模型给取代,但是,对于业务的理解和内部的协同和沟通这件事情 AI 永远无法做到,至少我们这一代是看不到了。

动起来,不要只做 SQL BOY(表哥/表姐)。

(正文完)


今天的分享就到这里,希望对你能有多帮助和启发。

我是云祁,Focus on BigData,聚焦在「数据知识体系」「思维进化」这两块, 感兴趣的小伙伴,可以点击关注。

86e6edb05167428621dc0e2a8f182387.gif

数据体系构建

  • 数仓实践:总线矩阵架构设计

  • 数仓解惑:什么是 OneData 体系?

  • 数仓实践:建模方法论综述

  • 数仓实践:浅谈 Kimball 维度建模

  • 数仓实践:OLAP数仓总结

  • 数据思考:数据驱动业务的四个层次

  • 数据仓库:关于事实表的设计与实践

  • 数仓实践:关于维度表的设计与实践

  • 数仓实践:浅谈维度建模优劣分析

  • 数仓实践:数据仓库建设公共规范指南

  • 深入解读:数据团队工作全貌

  • 数仓实践:维度建模标准规范定义

  • 数仓实践:一文读懂数仓 ODS 层模型设计

更多精彩

你可能感兴趣的:(人工智能)