一文讲透：数据治理难点与应对策略
数据已经成为新时代的生产要素，在数字经济时代数据已经成为继土地、劳动力、资本、技术后的新型生产要素。从手工记录信息到信息线上化，再到如今的数字化、智能化，数据已成为企业数字化转型中的重要依赖资产。本文我将以自身多年的项目总结，通过在实际项目中数据治理遇到的疑难问题加以概括和分析，针对这些常见的难点，提出数据治理整体应对策略，为数字化转型中的企业提供一些参考思路和建议。
第一部分：数据治理难点分析
数字化转型是当下企业不得不面对的时代挑战，顺应时代转型是与时俱进，不转型守株待兔就是等死，是把命运托付给竞争对手。企业的数字化转型始于被动成于主动，转型的目标不是为了提升数字化水平，而是为了提升企业核心竞争力。数字化转型的核心要素就是数据，在今天，数据连接着一切，要成功完成数字化转型，基础工作就是打通数据，数据如果不“拉通”，标准不一致，数据质量低下，数据口径矛盾，就无法联通企业内外。
相信做过企业数字化转型工作的人都会有这样的一些疑惑：数字化转型的基础工作是数据管理工作，组织中多次进行数据治理项目，花费了很大成本，但效果不明显；数据治理感觉是空中楼阁，无法落地；数据管理工作为何是一个长期持续的工作，不能短期快速实现吗。这些都是数据治理工作中经常遇到的疑难点，今天笔者就带着大家一起分析一下数据治理项目中经常会遇到的七大困难点。
1. 数据标准统一难
首先要讲的是数据标准规范，没有标准要求的数据治理就是一团浆糊，永远说不清楚。实际上数据的标准就是数据统一的准则规范，是对企业或组织所有数据相关方的行为约束，包括业务和系统的管理行为。
因涉及范围广，是组织大部分人员甚至是全员都有切身利益影响的事情，所以要想统一数据标准相当于要统一所有业务部门的意见及诉求，这一过程既要做到求同存异，又要有的放矢，抓住重点，这是一项艰难抉择的任务，比如数据治理中公共核心的主数据它属于跨部门，跨系统的核心共享数据，各业务职能对其数据颗粒度、数据维护时点、维护规则有着不同的需求，正所谓“众口难调”。
比如房地产行业中项目开发全周期过程阶段如投资定案、土地获取、报规报建、预测阶段、实测阶段有着不同阶段的数据需求；项目楼栋数据对于工程运营来讲在土地获取之后就要创建，但对于营销来讲预售阶段才需要创建。那如何达成一致的标准时点和统一颗粒度呢？解决方案如时点的原则有“就早不就晚”，颗粒度的原则是“就细不就粗”等。
此处主要想讲述的是不同企业需要面对的业务背景不同，口径需求各不相同，但困难都是类似的：数据标准涉及部门多，人员范围广，众口难调，所以制定统一的数据标准是比较困难但又非常重要的事情，思想不统一，工作就打折扣。
2. 数据组织权责建立难
数据治理中一套清晰可靠的组织将驱动数据治理项目的成功运行，数据治理工作是一项需要跨业务组织协调的工作，清晰的组织是支撑数据工作落实的保证。比如数据治理中的指标数据，企业集团层级的核心指标属于企业共享通用的数据，各个业务部门都有很强的需求，该数据指标的owner方确定好后，将接受下游使用方的数据监督和挑战，一旦数据规则及口径有歧义或有问题，可能就会追溯到数据源头，数据owner方就需要担责。
在我了解的企业中，如果没有高层领导指定，几乎没有一个企业中某个部门会主动愿意承当起数据源头录入工作，认为这可能是一件吃力不要讨好的事情。当然站在企业CEO的角度来看这又是一个势在必行的工作。数据Owner确定的过程是一个反复的过程，要有权责相匹配，在数据录入过程中有担责，也应当给予相应的奖励评价，同时最好把数据的工作嵌入到业务平时的一个常规工作环节中，这样执行起来也更贴近业务。
3. 数据价值评估难
经常听到的一句话就是“数据治理这么多年，为何迟迟不见价值凸显”，在市场瞬息万变的情况下，没有快速价值收益就等于失败，而数据治理是一项需要长期稳步推进的工作。后疫情时代，企业将更难生存，以利润为目标的企业很难坚持三到五年的时间来研究数据治理工作，这也是很多国内企业做不成的原因，“心急吃不了热豆腐”。做了很多年的数据治理，但效果不明显，主要原因有以下两点：
1）难以持之以恒
这里描述的持之以恒不仅在于坚持数据核心生产要素的企业管理战略，还在于坚持一套科学有效的治理方法。数据治理其实是一个系统性工程，很多企业一年不出成果就换人，好不容易积累的经验又得从零开始，一个数据管理者一套方法论，可能并没有真正的对错，但很明显，每一套方法的起点都是梳理数据标准规则，制定数据管理流程制度，搭建数据管理组织等，到最后发现，数据治理的前几个步骤，来回反复的走，却始终没有到达终点，浪费成本不说，甚至让企业管理者对数据工作失去信心。老板一旦对数据治理工作失去信心，那就可以宣告失败了。
2）缺少科学的价值评估体系与方法
数据治理的价值度量目前在数据理论研究中仍然是一个难题，无论是国际咨询公司如IBM、德勤还是国内的大型公司，对于如何有效度量出对目标数据治理的价值，都还停留在探索的理论阶段，而价值模糊将影响老板对其投入的程度的评估。目前市场上的数据价值评估方法主要有成本法，收益法、市场法，但均难以有效的度量出数据价值，所以在未见明显价值的情况下，很难有企业老板愿意持续不断的投入资金做数据治理工作。
4. 数据质量管理难
符合业务使用的数据，才能称之为符合质量，高质量的数据促使业务提效，低质量的数据会影响工作效率，增加成本，甚至会让企业损失及面临法律风险。在数据质量管理中，对于数据质量的要求也是以满足业务经营为最基本要求的，造成数据质量问题的原因有多方面：
1）本身数据源头录入质量难以控制
这包括数据录入标准和要求需要清晰规范，要有明确的录入指引，数据口径要各方认可，对录入人员要有严格的培训及考核要求。事实上很多时候数据来源方或者数据生产方都存在不统一的口径，同一公司不同区域的标准不一样，如果标准制定太严格，所有地方一刀切，也很难落地，还会造成用户的抵制。解决思路是什么呢，核心还是要简化数据标准，求同存异，抓大放小，关注最核心的数据质量问题，切忌洁癖和吹毛求疵。
2）下游系统应用方式导致的数据问题
通常来讲当数据源系统解决了录入问题之后，录入人对数据质量的敏感度并不高，因为用户真正应用接触的通常是数据使用方，这些系统的架构设计可能因为历史的原因，存在很多的问题，甚至短期内是难以改变的，所以也很难使用考核的方式“逼其就范”。
5. 历史数据清理难
历史数据是企业过去多年累积形成的数据，从大型的集团企业来看，企业大数据在一年年累积起来，随着企业经营逐步扩大，企业管理思路也一直在变化。数据在企业不同时期的形态与结构也差异很大，当面对这些企业历史数据处理时，很多的数字化转型解决专家也显得力不从心，无太多好的解决办法。
对于有大量历史数据的企业来讲，如何做好数据清理将极大影响未来数据治理工作的效果，甚至影响整个企业数字化转型的成败。数据清理为什么这么难，回归到数据的本质，数据是客观事实的记录，正因为是客观事实的反馈，所以某个时期的数据都有时代的特征和管理要求的烙印。
数据在企业发展过程中，精确的记录企业当时经营的管理要求，不同时代场景下，形成的数据可能各不相同，不同的业务部门在数据应用中同样存在不一致的精度需求，如针对供应商的合同数据，包含了历史合同的录入标准，合同下制定的付款申请单、付款方式，付款凭证等，这些数据存在整个项目的全阶段，而不同业务部门对数据清理的内容、范围要求也不同，这些都需要达成一致
数据的清理既要考虑现有的规则标准，也要考虑历史情况，对于主数据，参考数据、事务数据、指标数据的清理之间的相互影响也是需要充分考虑的。
另一方面，历史数据不仅只有数据是历史的，就连企业组织结构，员工、系统都是历史的，而要做数据清理的人员甚至是才刚刚接手，对于历史遗留的文件资料或证据都难以溯源，有些即使找到也难以客观的对其准确理解和判断，这样就会导致数据失真，最终无法清理出高质量的数据。遇到这种情况，几乎难有解决方法，只能不断通过经验的积累和仿佛验证来修复数据，加上数据清理人员的仔细推敲，尽可能地清理出准确的数据。
6. 数据系统落地难
目前市面上数据产品可谓数不胜数，可一款好的数据管理产品却依旧可望而不可求，原因很多，有不同行业难复用性问题、有国内很多软件厂商专业性问题，也由自身企业发展独特的环境因素。数据通过系统客观反馈业务问题，但很多职能型项目，数据规则不明确或者朝令夕改，这种情况下，很难将数据标准固化在系统，讲究人情的系统就无法落地。数据系统与业务系统的关系到底是什么，数据管理系统是否应该与业务系统一起建立，是该坚持系统规则还是便利于人情世故，种种的问题影响着对数据产品设计的定位和管理。
比如业内主数据产品比较主流的两种思路：第一种，企业的主数据系统独立部署，单独建设，与各业务系统相互独立。这样的建设优点是能保证企业级数据的严肃性，不受单个业务部门影响；它的缺点是：容易造成企业级的数据录入独立，缺少核验，导致录入修改时及时性及规范性降低，因为主数据对象的产生一般都是业务流程到达一定的业务节点时需要创建的，缺少业务流程的支撑，整个业务的连贯性就会减低。
第二种，主数据系统和业务系统相绑定，这样可以让业务流和主数据流统一，驱动用户录入数据、修改及更新。这种方式的缺点也很明显，容易被单个业务系统的管理范围及局限性限制，导致数据屈从源头业务端的需求，失去企业级视角，难以发挥企业级别的影响力。
7. 数据治理长期执行难
很多数字化项目刚开始一切安好，系统也能顺利上线，一段时间后发现前期制定的标准方案执行不下去了。究其原因在于，很多企业项目之初，借助高层的大力支持和外部专业厂商的合作，从数据的方案制定到系统落地，上线都很顺利，期间也形成标准化的数据月度会议，但标准化执行几个月或一两年的时间后，随着外部专家的撤离，领导对其关注度降低，相关的人员就逐步对原先制定的数据标准失去耐心，并无暇顾及，导致又回到了原点。
很多数据治理项目短期能够顺利上线，系统和方案堪称完美，但难点往往发生在运营阶段，如何将这一套理论方案和系统可持续化地执行下去，这里就得提出数据管理制度的重要性，数据系统的执行过程中，发布配套的数据管理制度，制定晾晒和考核机制，能够不断的驱动数据相关方，持续遵循数据标准规范。
第二部分：数据治理应对策略
结合上面提出的七大数据治理难点，实际情况中可能远不止于此，总体来说，数据治理工作永远是自上而下推进的，没有上传下达，就无法成功。企业需要及早规划，制定数据战略目标，脚踏实地，一步步去干，过程中不断优化和调整，包括华为、阿里、腾讯等数字化成熟企业，没有哪一家是一蹴而就的。
我们可以学习一些先进的数据管理思维方法，如国家颁布的DCMM方法指导我们做数据管理工作；如DAMA的数据管理知识体系中讲到数据成熟度模型评估，如不了解自身企业数据管理水平，我们在做数据治理工作之前可以做数据成熟度评估，如下：
利用这一套成熟度评估模型，每年可以做一次评估企业数据管理的真实情况，找出缺陷，制定计划，可以指导我们结合企业的实际情况去做针对性的数据治理。
解决数据治理的难点和方案，参考《DCMM数据成熟能力模型评估》中的数据治理内容，我在此归纳出企业数据治理七个大方向的解决策略，包括数据战略、数据组织体系、数据管理制度、企业数据架构、数据管理标准、数据质量管理、数据执行与落地。
1. 数据战略
数据战略是数据治理的远景，明确企业数据价值观，根据《DAMA数据管理知识体系第二版》描述的“数据战略需要一个支持性的数据管理战略——一个维护和改进数据质量、数据完整性、访问和安全性的规划，同时降低已知和隐含的风险”，数据战略中需要明确数据管理是什么，为什么重要，数据管理对自身工作会带来哪些影响；我们进行数据管理的目的是什么，要贯彻到该组织高层领导，达到上下同心，齐心协力才行。
同时数据战略至少应该包含目标和规划，目标分为短期目标、中期目标、长期目标：短期目标是3~6个月以内完成，中期目标是6个月至3年以内，长期目标3年以上。明确目标才能让组织中的每个人清晰的知道数据管理工作的方向，进一步理解数据对业务价值的影响，规划中需要明确出数据对未来企业数字化转型必要性，具有什么战略性意义。
2. 数据组织体系
数据所有的政策、制度、管理办法、手册难以有效落地很多时候可能还得从组织未起到作用说起，有些企业没有数据组织，有些企业有数据管理组织，但执行半年发现所有的组织都没有按照组织要求的权责做事，导致数据管理很多工作并没有执行下去。
企业数据组织是企业数字化转型的驱动者，是真正执行数据管理的先决条件。数据管理组织可以是专岗，也可以是兼岗，但一定要做实事，有实际具体的计划和工作内容，如数据标准化管理委员会、数据管理指导委员会这样的牵引组织，保证数据战略能够落地下去，数据管理工作是交错复杂的，企业内部会涉及跨部门数据协调与拉通，这样组织的决策人一般都需要企业一把手来担任，便于快速协调决策，如示例：
有了组织也必须有相应的会议机制，主要用来决策数据管理工作中的争议点。所有数据执行工作做需要定期反馈所遇到的问题，数据管理组需要尽快给出处理方案及建议，如果发现无法达成一致就要升级数据决策组讨论决策。数据管理会议可以定期召开如月度数据运营会议，季度数据成果汇报会等。有了组织和常态化数据会议才能让数据管理工作落下去。
数据管理组织很多企业缺乏专业的数据管理人才，数据指挥官缺乏对数据规划的把控，导致最终数据项目的失败。企业数据治理中我们应该将专业的人员放到对应的岗位上，取长补短，加强专业培训，不断提升数据管理人员素质。数字化转型是一项鲜明的系统工程，需要数据管理者有包容及快速应对新技术变化的能力，既要有业务思维也要有懂技术，能将两者有机结合，敢想敢为，一丝不苟才能破茧成蝶，获得成效。
3. 数据管理制度
有了数据管理组织后，一切就可以按部就班来推进了，组织中缺少有经验的人员，不知道怎么做，怎么办呢，这就需要数据管理制度了，数据管理组织中明确分工与职责，明确数据组织中每个成员的工作要求，制定成可执行的数据管理制度和指引，管理制度分为三个层次，由粗到细的分工是这样的。
1）数据管理办法
描述了企业主数据的总体要求，内容相对较粗，一般格式采用的都是“第XX条……”，这是针对某一方面企业管理企业制度要求。办法的要求是不带主观判断的语言，需明确制度要求。如主数据管理办法要明确企业在主数据管理方面各单位应该要遵循的最重要的原则。办法章节中内容要描述清晰、公平公正、合法合规，内容可包含管理办法实施的目的是什么、适用的范围、整体遵循的原则、组织架构、过程管控要素等。
2）数据管理规范
管理规范主要拆解管理办法的框架，进行细则分解，管理办法的每个条例中解释到了不同的数据实体对象，数据管理规范中要加以细化规范说明，同时将业务管理和系统管理的要求关联起来，业务管理在每个条例中需要怎么做，如何执行，包括时点、人物、权责、流程都需要在这里写清楚。
每个流程都有明确对应的组织人员和业务对象这样的规范才能落地，类似如下流程：只有明确到具体操作岗位、操作内容、动作之后这样的数据管理规范才能有效执行。如房地产中项目工程师在规划报建阶段，依据规划报建图纸录入楼栋数据信息。
3）数据管理指导手册
属于执行操作层面的内容，具有可操作性，如数据绩效考核是针对于结合数据组织架构中的人员执行效果、权责加以考评，这个制度可以单独存在，也可以纳入整体的人员绩效考核中。核心是相关的权责方在数据治理中对数据的规范执行，数据质量的评价。
需要写清楚数据评估的等级、标准要求、考核的步骤，不同人员考核的维度、量化指标。同时也考虑指标要求，要接地气，得到各部门认可和支持的指标才有意义，制定数据评价系统的目的不是考核人员，而是让组织更有活力，让数据有效落地。编写和发布企业相应的数据管理制度文件，引导员工高效参与数据治理工作中。
4. 企业数据架构
企业架构分为企业业务架构、企业数据架构、企业应用架构、企业技术架构，来自DAMA数据管理知识架构，如下图：
很多人对四个架构难以区分，在此做一个分享。企业业务架构核心须有企业单位业务搭建梳理出企业架构，如管理组织、业务板块划分等属于企业架构；企业数据架构聚焦于数据在业务架构的基础下如何划分管理，如供应商数据是否有采购部门管理，公司合作法人数据由财务统一管理，这样的划分结构就属于数据架构。
企业应用架构类似于系统的功能应用，什么样的业务逻辑想设计的系统功能模块，这些功能模块如何设计，防止重复建设和开发，这都属于应用架构范围。技术架构主要管理软件平台部署、技术工具部署、通用技术能力分布的架构搭建。
企业数据架构就是数据治理工作的骨架，合理的架构将有利于数据工作的高效推进，集中资源，统一思想建设，高效完成从业务到系统的建设工作。数据架构设计是为了优化数据系统之间的集成共享，例如，如果数据架构师想要实现数据集成，那么它将需要两个系统之间的交互，考虑数据架构顶层设计，可以实现流程中数据交互的远景模型，而模型输出就是数据架构设计的成果物，这里包括概念模型、逻辑模型和物理模型。
5. 数据管理标准
数据管理标准是数据执行中的标准规范，这包含了数据生产、数据传输、数据应用全周期过程中的规范要求。首先要讲的是数据录入的标准，数据的录入生产是指数据从无到有的过程，数据不会无缘无故的产生，所有的数据均是业务活动发生后的记录，所以该阶段我们重点考虑数据是如何产生的，由谁在基于什么样的动作之下产生。
企业数据生产或采集一般有两种方式，第一种数据的生产方即数据创造者，一般指的是数据生产部门或者数据生产岗位，对数据如何生产，数据何时该生产，数据应该按照什么标准规范生产有绝对规范和要求；也有些公司可能是某个岗位去创建，如数据系统管理员，需要将线下业务环节沟通好的数据按标准录入系统，这都是属于企业内部的数据生产。
另外一种数据自动采集，这些数据是用户在日常操作中，系统自动记录采集生产的数据，这里面有人员特征数据、用户浏览数据、用户交易数据等，这些机器自动读取采集的数据，需要提前预设采集数据的规则要求，在一定场景下实现数据生产和采集。这种方式是将原来需要人工录入的动作变成了自动化，毕竟是机器操作，所以这种方式对业务场景的标准规范性要求要高一些，如快递行业扫描二维码进出货、发票自动扫描等。数据生产阶段数据管理需要明确数据的录入者，录入时点及数据生产依赖的业务流程和标准。
6. 数据质量管理
数据质量管理，旨在对用户重要的数据进行质量管理，为了满足数据质量的使用要求可以制定相应的数据质量标准规则要求，DCMM中描述数据质量管理可包括：
- 形成明确的数据质量管理目标
- 明确各类数据质量管理需求
- 建立持续更新的数据质量规则库
一方面数据管理需要制定可量化的目标，什么样的数据能够满足业务使用需求，数据质量的精度将直接影响数据管理成本及难度，所以强调满足业务需求的数据就是符合数据质量要求。
另一方面，数据质量管理规则是持续更新，循序渐进的，规则的变更及完善将直接影响数据质量的变化。很多企业在数据管理中一般采用数据质量“六性”，在众多的企业管理文件中，数据质量维度是指数据的某个可测量的特性。国际上较为成熟的框架包括：Strong-Wang 框架、Redman的“可表示的三元组”还有Larry Englist的固有特征和实用特征。各企业可以根据自身的业务场景、管控要求选择不同的质量维度框架，此处只针对DAMA UK提出的六个核心维度进行阐述解释：
- 唯一性：指同一数据只能有唯一的标识符。体现在一个数据集中，没有实体多余一次出现，并且每个唯一实体有一个键值且该键值只指向该实体。例如：员工有且仅有一个有效工号。
- 一致性：指遵守统一的数据标准，记录和传递数据和信息。主要体现在数据 记录的规范和数据是否符合逻辑。例如：同一工号数据在不同系统的员工姓名不一致。
- 准确性：指真实、准确记录原始数据，无虚假数据及信息。数据准确反映其所建模的“真实世界”实体。例如：员工的身份信息必须与身份证件上的信息保持一致。
- 完整性：指数据在创建、传递过程中无缺失和遗漏。包括实体完整、属性完整、记录完整和字段值完整四个方面，完整性是数据质量最基础的评判维度。
- 有效性：指数据的值、格式和展现形式符合数据定义和业务定义的要求。描述数据格式、数据类型、值域和相关业务规则的有效性。例如：员工的国籍类型必须存在于国家基础数据中定义的允许值。
- 及时性：指及时记录和传递相关数据，满足业务对信息获取的时间要求。数据交付的及时性，及时抽取、及时展现，如果数据交付时间过长，可能导致分析结论失去参考意义。
质量规则设置示例如下：
规则实现效果如下：有排名，有问题代办提醒，能够有效督促数据录入人员改正数据，提升数据质量。
7. 数据执行与落地
该部分将其概括为包括数据系统建设、数据安全管理、数据生命周期管理标准等等，此处重点讲讲系统根据落地，归根到底执行与落地重点在于如何设计一套数据管理系统促进企业应用，可能很多的软件供应商有各种各样的系统软件，大同小异，笔者从事多年数字化工作，也有幸接触了各种各样的大中型软件供应商，总结了其中一些系统落地过程中容易犯的错误，主要有以下三方面：
1）数据管理系统控制与业务规则的平衡
虽然数据系统的搭建已经完成，但很多时候在既定的业务方案及规则内，也在考验人性，规则是往左靠一些呢还是往右边考一点，原来的业务标准流程已经运行多年，突然打破习惯，必然会带来业务用户的不适应。
所以站在数字化转型的大背景下，系统转变不够，核心在于业务要转型。如果怕短期的变革痛而放弃数字化改变，系统变了业务流程还是原有的，这样的数字化转型肯定是不合格的。数据驱动业务转型，这是本质思想，不忘初心，保持孜孜不倦的精神去做数字化产品或系统，既满足当下的企业组织管理适用性，同时也要能驱动企业流程完成蜕变，化蛹成蝶。
2）系统操作人性化
每一套好的数字化产品都是富有人性的，如支付宝、微信，每个功能的推出都是考虑不同人群的使用舒适度。像苹果产品一样追求极致的用户体验，就是要让系统的目标客户舒服。对于to B端的产品来说难点是要考虑企业管控与用户操作体验平衡，有时这两点见有时矛盾的。比如一个员工录入数据，工作量非常大，是否有一些自动识别的方法帮助完成数据录入工作，在减轻员工录入工作量的同时，也满足了企业对数据的管理诉求。
3）系统控制强逻辑
数据产品的控制主要在于数据管理标准及规则要求，为何要借助系统管理，因为我们可以让系统不讲情面，“依法办事”。很多数据质量的控制都可以通过系统来做。
前些年SAP ERP系统能够用风靡全球，成为全球500强企业合作的首选，这不仅是SAP系统稳定，开发效率高，而在于它有德国人严谨的制造企业先进管理理念，这一套控制告诉了我们做事要讲究规范，不能丢三落四。每一个数据产生背后代表的都是一个实际的业务发生，每一个步骤都得按规范来，如果允许各种特殊情况一直干扰，那最终必然导致的是产生的数据无法达到企业数据管理的标准需求，甚至成为垃圾数据。
说在最后，数据治理方法大同小异，但我们需要活学活用，不同的组织或者企业面临内部和外部情况各不相同，没有一套绝对正确的方法教你去做企业数据治理工作，但我们可以通过方法论的牵引，结合企业自身的实际业务背景，潜心研究，在实践中不断总结经验，集中精力解决企业的数据治理中最急需的数据问题。这样的数据管理工作价值才会更明显，才能更快提高企业数字化能力，通过数字化，让我们更快一步完成企业战略转型、思维方式转型和业务转型，提升企业未来市场竞争力。
作者：赛助力；公众号：老司机聊数据
本文作者 @Data-one 。
版权声明
本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处。如若内容有涉嫌抄袭侵权/违法违规/事实不符，请点击 举报 进行投诉反馈！
