10分钟,讲通透银行数据治理该怎么做

数据治理的目的是什么?数据治理的最终目标是提升数据的价值。

数据治理是一个从上到下的工作,资源的调动,制度的设计、执行、监督,最终都要落实在人上,只有获得组织内部全链条的支持,最终才能取得成效。

一、为什么说数据治理是脏活累活呢?

数据的收集、治理和管理是个长期的活,需要的资源多,项目周期长,不懂的领导不太明白这块工作的价值和工作量。

数据治理长期且繁杂,而且大多数时候很难看到立竿见影的效果,很多坑容易踩到,一不小心就以失败告终,所以经常被吐槽为“脏活累活”。

吐槽归吐槽,但数据治理的重要性也不可否认。做数据治理很难,但对于一些正在数字化转型道路上迈步前行的银行来说,这又是一件关系到发展战略的不得不做的基础工程,银行早在10年前已经开始进行数据治理,只是大家的治理的水平和阶段不一致而已。

1.源数据

烟囱式开发:业务繁多、数据库多而乱,系统与系统之间错综复杂

数据库种类:架构经历多次变迁,切换不完全,需要从Mysql、oracle、hbase甚至excle表中跨库、跨实例、跨种类才能获得有效业务数据

数据结构混乱:同一字段,类型、命名都不一致

文档缺失:无数据库文档或文档陈旧

2.变迁

系统版本升级:每一次升级都只是掩盖之前的错误,数据治理需要从源头

人员变更:梳理过程中的大部分问题最终答案:“不清楚,原来维护人已离职”

数据流转:数据从源头经过很多次不规范的同步

3.存量

各自为政:各业务部门已有自己的统计逻辑和报表,同一指标汇总维度又不一致,梳理、治理、输出还要尽量不影响已有报表结果

半途而废:前任都知道数据治理、统一出口的重要性,但只完成一部分就放弃了。问题在于“完成的一部分”有人还在用。

二、数据治理闭环

10分钟给你讲通透银行数据治理该怎么做

1、组织固定的数据治理团队

行里分管的领导需要组建一支对数据治理有足够认识、有治理经验、熟悉业务的团队,给予团队有相对的资源和足够权限,得到各部门的全力配合和支持。

2、清楚行内数据质量和任务

行内的数据采集情况、数据存储情况,数据从分散的系统集中到数据仓库。评估当前数据质量,保证数据完整性、准确性、及时性、一致性、唯一性,明确数据治理的任务和阶段目标。

3、规范治理流程和建立制度

数据治理团队可以选择从业务流程,也就是数据产生的源头开始,对其进行规范化、流程化、标准化处理,并建立相关业务规则文档,保证业务部门能够在人员流动中保持数据治理意识。

4、确认业务指标,划分数据层级

在数据治理工作中,对数据进行指标、标签分类非常重要,数据治理团队自己要熟悉业务和各个系统,与业务部门充分沟通,并要求合作为业务数据建立对应的指标体系,划分核心数据指标,进行分类分级。

5、建立平台,自动化处理机制

治理过程中需要建立自动化治理平台,让业务数据能够自动传输到对应数据仓库中。

6、关注异常数据,完善业务系统

数据治理团队建立监控预警机制,分析数据质量和异常数据,协调技术人员完善业务系统。

7、完善业务数据闭环

数据治理团队可以对整个数据治理周期流程进行整合,形成一套完整的“业务-数据-处理-存储-调取-利用-分析-可视化-预警-决策-业务”闭环流程,让数据在过程中不断优化,持续提高数据质量。

三、数据治理体系

银行数据治理体系包括数据质量管理、元数据管理、主数据管理、数据资产管理、数据安全及数据标准等内容。

10分钟给你讲通透银行数据治理该怎么做

1、数据质量

一般采用常用的标准来衡量数据质量的好坏:完整性、准确性、一致性和及时性。

完整性:数据的记录和信息是否完整,是否存在缺失情况。

准确性:数据汇总记录的信息和数据是否准确,是否存在异常或者错误。

一致性:多个业务数仓间的公共数据,必须在各个数据仓库中保持一致。

及时性:数据能及时产生和预警。

10分钟给你讲通透银行数据治理该怎么做

2、元数据管理

元数据是关于数据的组织、数据域及其关系的信息,通俗理解,元数据就是描述数据的数据。

10分钟给你讲通透银行数据治理该怎么做

元数据包含技术元数据和业务元数据,让数据分析人员对银行的数据情况一目了然,数据存储在哪里,如何抽取、清理、维护这些数据,血缘关系怎么样。

元数据确立数据业务含义可解释性。

提升数据整合和溯源能力,血缘关系可维护性。

建立数据质量稽核体系,分类管理监控。

3、主数据管理

银行的数据分为三部分:主数据、交易数据、指标数据。其中,主数据和交易数据合称为基础数据。主数据指银行内一致并共享的业务主体,常见的主数据比如银行的员工、客户数据、渠道数据、产品数据。

主数据还包括一些关系数据,它们描述了主数据之间的关系,比如客户与产品的关系、产品与地域的关系、客户与客户的关系、产品与产品的关系等。

4、数据资产管理

数据资产管理主要关心数据有没有被合理利用?如何产生最大价值?这些都是数据资产管理关心的核心工作,数据资产从业务角度和技术角度进行合并,输出统一的数据资产分析,向外提供统一的数据资产服务。

10分钟给你讲通透银行数据治理该怎么做

如何盘活数据,形成数据资产,提供完整的数据资产全景视图,让数据管理部门和业务部门全局、宏观地掌控银行资产动态。

5、数据安全

数据安全是银行数据建设必不可少的一环,我们的数据都存储在服务器中,需要对数据进行核查、敏感字段加密、访问权限控制,确保数据能够被安全地使用。

6、数据标准

数据要有统一的标准,保障数据内外部使用和交换的一致性和准确性的规范性约束,通过统一规范,消除二义性。

定制统一的数据标准平台,包括字段标准管理,码值标准管理以及字典管理,业务源数据和中台数据统一标准。

四、数据治理的几点误区

1、数据治理是否要做得大而全

不同阶段和规模的银行,数据治理的实施程度会有所不同,一般建设先根据自身的数据状况分阶段进行,避免盲目铺开规模,过程中可调整。

2、数据治理是技术部门的事吗

数据治理不仅仅是技术团队的事,而银行各部门一起协作完成,包括各业务线以及其它网点和营销点。

3、数据治理不是短期的项目

数据治理是个长期过程,随着业务发展和银行规模增长,业务系统的不断的迭代,数据治理是一个长期而持续的项目。

4、一定需要建设平台吗

前期平台不是必须的,首先要有成熟的数据治理体系和策略,自建平台和采购平台都可以,先把体系建设好。

5、数据质量问题各类原因

有业务方面的数据定义不明确,也有技术方面的数据抽取不完整。

有管理方面的岗位职责不清晰,也有执行层面的数据操作不规范。

有数据处理加工过程中出现了错误,也有数据源本身就有问题。

有数据治理系统功能有缺陷,也有系统强大但是没人用……

五、小结

数据治理是银行数据建设必不可少的一个环节。好的数据治理体系可以盘活整条数据链路,最大化保障银行数据的采集、存储、计算和使用过程的可控和可追溯。

数据治理是几乎需要所有部门参与和支持的项目,进行长期且持续的坚持才能实现成功的系统项目。

数据治理的最终目标是赋能业务,提升数据价值。这是一个持续漫长的运营过程,需要逐步完善、分步迭代,指望一步到位完成数据治理是不现实的。

项目型的数据治理,是不全面的,无延续性,能够解决一时的数据问题,但很难获得持续的数据价值。

作者

汤向军,公众号:营销数字化转型(ID:Fi-Digital)。专注于银行数字化转型。

本文

版权声明

本文来自互联网用户投稿,文章观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处。如若内容有涉嫌抄袭侵权/违法违规/事实不符,请点击 举报 进行投诉反馈!

相关文章

立即
投稿

微信公众账号

微信扫一扫加关注

返回
顶部