从大数据的发展史，看数据中台的核心价值

木子姐 2023-07-24 16:44:32

“数据中台”是进今年比较火的一个词，正在做数字化转型的传统型公司都会首选做数据中天项目，建设数据中台嫣然成为传统企业数字转型的首选。

但为什么要做中台、好处是什么、能给企业带来什么价值、是不是所有公司都适合做数据中台，这是随之而来的问题。

一、大数据发展的历史

上个世纪90年代开始出现数据仓库概念，他帮助企业做出经营分析决策，例如在销售行业的门店管理中，如何使单个门店的利益最大化，就需要分析每个商品的销售、库存数据，按照不同的时间周期：每日、每周、每月，找到商品销售规律以及关联影响，然后制定出合理的商品采购计划和促销活动，这些都是依赖与大量的数据分析。

比尔.恩门给出的数据仓库定义：数据仓库是在企业管理和决策中面向主题的集成的、与时间相关的，不可修改的数据集合。

所以数据仓库是会按照主题去集成数据，你可以把主题理解成一个目录。主题是不会轻易改变，所以划分主题时要尽量做到与业务相关，且容易区分数据划分规则。

进入互联网时代后，数据规模前所未有的快速增长：

例如：抖音、微信，每天都在产生千亿级的用户行为数据，同时数据结构也在变得复杂多样化，有结构化、非结构化、半结构化的数据产生；
例如：app、web的埋点数据、后台日志数据。

这些特点都是传统数据仓库所难以承载的。

所以hadoop出现了，他有两个优势：

完全分布式，易扩展，而且使用廉价的计算机就可以集成一个计算、存储能力很强的集群，满足海量数据处理需求；
弱化数据格式，数据集成到hadoop后，数据模型与数据存储分离，在数据使用时，按照不同的数据模型读取数据，满足多种数据结构的分析需求。

随着hadoop技术成熟，出现了数据湖的概念，数据湖的出现我认为标志这hadoop是走向商业化成熟的标志，企业可以基于hadoop构建数据湖，将数据作为企业核心资产。

接下来如何让数据的加工能够像流水线一样作业，大数据平台的概念就被提出来了，就是为了提升研发的效率，降低数据研发的门槛，让数据像流水线一样被加工。

大数据平台服务的对象是数据研发人员，可分为数据集成、数据模型开发、数据测试、数据运维，底层是以HADOOP为代表的大数据框架，包含，存储、计算、资源调配（HDFS、MapReduce、yarn）。

大数据平台就像流水线设备，数据就是被加工的内容，最后产出指标，呈现在各BI或其他的数据产品中，随着经济、业务快速增长，业务人员也对数据采集响应要求变快，数据指标共享也逐渐变多，逐渐又出现了数据中台概念。

前面讲的都是数据发展历史，是为了让大家明白每一次演变的本质都是满足业务需求或者痛点。

数据中台也是一样的道理，先说下大部分企业数据的痛点：烟囱式的业务发展模式，导致数据也是烟囱式的发展，数据是割裂的，导致大量的重复开发、计算、从而导致研发效率的浪费、计算存储资源的浪费，大数据的应用成本也越来越高，比如本人所在公司每年投入的硬件资源都是过亿，同时这种带来的还有不同数据应用平台展示相同指标的结果会不一致。为了解决这些问题，数据中台的价值也就出来了。

数据中台最核心的价值：

避免数据的重复计算
提升数据服务力
提高数据共享力
将数据资产化管理。

最后可以看出，数据中台是构建数据湖之上，具备数据湖能够处理多样化结构的数据计算、存储能力；数据中台依赖于hadoop大数据平台，数据中台比大数据平台增加了数据治理和数据服务的内容；数据中台借鉴了传统数据数据仓库面向主题的数据建模理论，构建统一的数据共享层。

二、数据中台与业务数据相结合

数据中台价值的产生一定要是与业务数据应用场景相结合，举个案例：

保险行业的队伍管理的增员场景看，主管要促进自己的团队架构裂变就需要进行增员，在这个过程中主管需要分析哪些人适合增员，增员的成功通常需要满足哪些条件，每日还要对代理人的增员进行效果追踪。要做这些分析就要用到代理人的行为和业绩数据，同时还要有标杆案例数据，通常这些数据都存放在不同的数据库里面，并且要以日的频率提供数据到页面上进行展示。

传统数据处理逻辑：各业务系统对数据进行加工处理，然后将结果提供给报表平台进行展示，但这个会出现，A报表和B报表对于相同的指标可能指标结果不一致，并且各系统之间指标重复计算。

数据中台是把各业务系统的增员数据进行汇报，然后统一做数据清洗，加工建模，最后以API接口形式提供结果给应用系统在不同的页面进行展示。既避免了重复计算，也提升了开发效率，还提供数据共享，同时也保证了数据的一致性。

最后讲下数据资产化管理，可以分两块看：

从面向开发角度看：数据中台可以提供开发血缘关系分析和指标、标签字典，开发通过血缘关系、指标、标签字典查询可以快速掌握数据结构，了解业务数据的逻辑。

从面向业务角度看：通过数据中台可以产出数据资产目录及报告，让数据资产以可视化形式展示，管理层了解公司数据情况，例如：公司数据资产目录，每个部门对数据的使用情况，最核心资产是哪块。通常都会有一个数据资产管理平台去承载。

不是所有公司都适合做数据中台，要满足特定条件才适合建立数据中台，以下条件可供参考：

首先公司是否有大量的数据应用场景，数据中台自身是不能直接产生业务价值，本质是快速支持数据应用，当企划有较多的数据应用场景时就考虑；

其次，公司业务经历过一轮野蛮式快速扩展，产生大量的数据，存在较多的业务数据孤岛，需要整合各业务系统的数据，进行关联分析；

业务对数据的需求有明显提升，数据采集要求高，指标准确性，开发团队面临大量的数据开发、数据质量、数据效率、数据成本等问题；

企业面临经营困难，需要通过数据实现新的业务突破点，提升业务运营效率的时候。

数据中台投入大，时间周期长，说的通俗点数据中台适合有钱稳定的大公司，不适合初创型的小公司。

本文作者 @木子姐