数据治理系列01：初识数据治理
随着企业数据爆炸式增长，企业在用数时，会存在数据孤岛问题、数据建设不规范、指标口径不统一、数据查询计算不稳定、数据安全等问题。因而各个公司也开始了数据治理，推动数据规范建设及使用。
接下来草帽小子将开启数据治理的系列篇，结合借鉴业界先进的数据治理经验及个人工作实践经历，帮助大家系统化地了解数据治理。
一、数据治理是干什么的
按照国际数据管理协会（DAMA）的定义，数据治理是对数据资产的管理活动形式权利和控制的活动集合（规划、监控和执行）。
按IBM的定义，数据治理是企业通过不同的策略和标准，提高组织数据的可用性、质量和安全性的一整套制度与管理活动，数据治理的目标是维护安全且易于访问的高质量数据，以获取更深入的业务洞察。
名词解释：
- 元数据：描述数据的数据，例如记录数据的存储位置、模型定义、血缘关系等信息，类似画像
- 主数据：描述企业核心业务实体的数据，例如客户、产品、账户等，主数据具有较高的业务价值，可在企业内跨各个业务部门被重复使用
数据治理要点是数据稳定、规范、安全，就像盖楼盘一样，需要设计好楼盘架构，打好地基，制定建设规范，并推动各团队人员进行搭建。
二、为什么要做数据治理
1. 从发展阶段，看数据治理的发展原因
①第一阶段：2005-2009年
2005年左右，早期的数据仓库在中国兴起，一开始主要由商业银行、通信运营商主导，随后能源等行业企业加入。商业银行通过与埃森哲、IBM等国外IT咨询公司合作，最早将数据治理的概念在中国予以实践。
数据仓库建设涉及从不同来源的平台中抽取数据并进行整合，在这一过程中，需要确保数据质量，包括数据口径、数据标准和数据模型统一等。通过数据治理，建立起数据标准、数据模型等管理体系，能够提升数据质量，确保数据仓库建设顺利推进，进而能够更好地支撑起BI等数据分析型应用。
草帽小子：数据治理的发展阶段与大数据的发展息息相关，只要涉及大数据建设，就势必有数据规范、数据质量、数据安全等问题。
②第二阶段：2010-2014年
这一阶段的数据治理需求主要集中于银行业，主要由监管政策驱动。为了推动中国银行参加到国际清算体系中，2011年中国推出《银行监管统计数据质量管理良好标准》，该标准从组织机构及人员、制度建设、系统保障和数据标准、数据质量的监控、检查与评价、应用和存储等方面对银行数据治理提出要求。
草帽小子：银行等金融机构，对底层数据质量的要求更高，并面临着一定的监管压力，势必需要数据治理
③第三阶段：2015-2018年
2015年左右，企业兴起了大数据平台的建设，并且到2018年，数据中台概念流行，数据中台中包含统一资产管理、统一数据元管理等与数据治理相关的内容。在这个阶段，越来越多的企业开始搭建数据治理的专职团队。
2018年，中国银保监会发布《银行业金融机构数据治理指引》，包含数据治理架构、数据管理、数据质量管控、数据价值实现。
④第四阶段：2019年-至今
2019年以来，企业数字化转型进入快车道，在这一阶段，数据治理已内化成为企业机制建设的一部分。
如2020年9月，国资委发布的《关于加快推进国有企业数字化转型工作的通知》，针对央企数字化转型工作，明确提出构建数据治理体系的要求。包含明确数据治理归口管理部门，加强数据标准化、元数据和主数据管理工作，定期评估数据治理能力成熟度。加强生产现场、服务过程等动态数据采集，建立覆盖全业务链条的数据采集、传输和汇聚体系。
草帽小子：国家层面推动国有企业数据化，国有企业会逐步建设数据平台并进行数据治理，企业对数据人才的需求仍会不断增多。
在包括金融、通信、能源、制造等数据治理开展相对成熟的行业，较多企业都已设置数据治理的专职部门和岗位，而且越是数据治理成熟的企业，专职部门越是靠近业务侧，且专职部门级别越高。
2021年工信部发布的《“十四五”大数据产业发展规划》，以释放数据要素价值为导向，加强数据高质量治理。
2. 从现状问题看数据治理对企业的价值
我们来看阿里云dataworks团队，在数据建设推进与应用中遇到的阶段性问题。
①起步阶段：数据量与稳定性的矛盾
随着数据量的增长，数据稳定性不足，任务调度随着规模增大经常挂掉，集群计算资源不足，问题处理时间长。
②应用阶段：数据普惠与使用效率的矛盾
在数据应用时，使用数据的人增多，数仓人员疲于取数，数据团队压力增大，数仓建设会逐步变得混乱，反而会阻碍后续使用数据效率。
③规模阶段：灵活便捷与风险管控
数据出口多，人为泄露行为管控难，安全保障有待提高，各类数据安全的管理动作，往往会与效率背道而驰，数据分类分级难度高。
④成熟阶段：业务变化与成本治理的矛盾
数据成本压力大，不知道数据成本在哪，数据不敢删、任务不敢下。
草帽小子：国有企业在政策的指引下，逐渐推动数字化转型、数据治理；私营企业在业务数据不断增长的驱动下，逐渐推动数据治理。
3. 不同类型企业如何做数据治理
传统企业的数据治理跟数字化转型息息相关，数据治理动作往往融入了数据化建设的每个环节中。
（1）互联网
以阿里为例，阿里建设社dataworks大数据开发治理平台，建设的能力包括指标数仓规范设计、数据分析、元数据管理、数据安全管理等能力。
（2）能源
包含煤炭、电力、光伏、电站等，如国家电网、中石化等。
能源行业如电力的数据治理，不能单纯以数据质量、血缘分析、元数据管理等传统IT技术为主，需要在数据治理中紧密结合业务，与各个业务环节紧密配合。
例如：设备检修：电网公司通过对设备运行的海量数据挖掘，开展预测性检修的研究，以较高的准确率预测出设备运行的未来状态，预判设备发生故障的可能性，从而达到基于设备状态来指导检修的目的。
常见的挑战，包含：
- 数据类型多：电力行业广泛部署的物联网设备，产生了格式不同、频率不同、定义不同的多源异构数据
- 海量数据，时效性强：电力的产生、传输与消费情况瞬息万变，片刻间便能产生海量的数据资源，如何及时获取、可靠存储、快速计算？
- 数据链路长：能源价值链整合的参与者众多，价值活动之间存在紧密联系，各方数据交互标准、质量、规范如何有效把握？
关键治理方式，包含：
- 自动采集各类数据资产信息：根据不同的数据源，开发不同的采集适配器，实现不同种类的数据自动化采集
- 全面管理企业数据资产：在实现企业元数据、技术元数据、模型元数据的全面采集后，企业做好整体数据资产的梳理、数据质量的管理
- 数据资产服务化：提供自助查询服务、自动获取数据服务
（3）金融
金融数据治理是金融行业数字化转型的重要切入点，也是推动金融业从高速增长向高质量发展转变的关键点。银保监会发布的《银行金融机构数据治理指引》，从数据治理团队、数据管理的标准、数据质量管控、数据价值实现等方面展开。
金融数据治理的常见的挑战，包含：
- 数据价值发现和数据信息保护的矛盾：《数据安全法》、《个人信息保护法》陆续实施，要求金融从业机构将个人客户信息安全、隐私保护，贯穿在数据采集与应用的全过程。
- 金融如银行机构，存在各地分行多，经营数据割裂，数据流通困难等问题
关键治理方式：
- 治理服务化：管理理念转为服务理念，通过提供便利的工具或服务，全面为业务提供服务。
- 治理流程化：结合开发流程，将数据模型、数据字典管理流程化，从数据源头落实数据标准。
- 治理场景化：与监管报送相结合，全流程监控报送质量。
- 标准开放化：构建数据标准运营体系，探索更多开放共享场景，应用数据治理成果。
- 资产智能化：构建智能数据资产管理，结合先进技术，全面释放数据价值。
4. 数据人才的机会
在国家推动企业数字化转型的趋势下，不仅仅是互联网企业需要进行数据人才，较多传统企业包括能源、通信、金融、制造等也需数据人才。
企业信息化、数据化的程度不同，所面临的问题也不同，所需数据人才的能力侧重点也会有所差异。但在整体数字化推进时，也会需要一定的通用能力，如数据采集、数据分析、数据计算、数据治理、数据应用等。
因而，个人在工作实践上，可不断增长对大数据平台，各个模块的实践与了解，尽可能掌握整个大数据体系；同时可放眼外界，多对比了解不同行业的数字化建设差异。
版权声明
本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处。如若内容有涉嫌抄袭侵权/违法违规/事实不符，请点击 举报 进行投诉反馈！
