数据地图如何助力企业实现数据资产化管理？

最近在给数据资产管理和治理方向的数据产品同学做求职辅导，如何有“深度”地总结一个数据资产相关的产品，是面试过程中的必答题，所以以数据地图这个产品为例，分享从业务痛点、产品要解决的问题，以及需要规划的相关功能的过程。

数据资产是数据中台的重要根基，没有资产的数据中台是无源之水，就只能叫做数据工具。在数据中台架构中，数据资产建设、管理、治理是重头戏。那么数据资产到底该如何管理，怎样治理呢?本文主要分享资产管理模块，后期输出资产建设流程规范、资产治理相关内容。

数据资产所处数据中台中的位置

一、企业数据资产管理面临的问题

数据资产的用户场景可以概况为两类，找数据和管数据。找数据主要是数据分析、产品运营等数据消费者，基于数仓加工好的数据进行分析、应用。找数据时，主要的痛点如下：

1.数据找不到

数据生产者和消费者会存在业务上的天然屏障。对于很多一线的业务同学并不能第一时间数据的输出。例如，一个新入职的产品要做产品首页的改版，想先分析下目前页面各个流量入口的点击与转化情况，只能去问其他的PM或者去找数据同学，流量数据是哪个数据表，事件埋点规则又在哪里?

2.数据不敢用

数据处理逻辑不清楚，业务找到了订单数据在XX表中，但是对订单状态的枚举值含义不清楚，或者不知道营收的数据计算口径，不敢用，只能咨询表的负责人。

数据质量问题，搞数据的人都知道数据质量是数据团队的生命线，但是却又是无法避免的老大难问题，故障出的多了，用户拿到数据的第一反应是先和数据人员确认下，今天数据没问题吧。

管数据，主要是数据开发者，他们的目标是让自己生产的数据可以更安全地被更多人复用，在实践过程中，面临的问题主要是以下几种

（1）用户咨询多

用户用数据找不到或者找到了数据不敢用，就只能向数据负责人进行咨询，不同人的相同问题，或者不同问题。每天处理用户问题可能就要花个几个小时。

（2）数据复用低

数据中台建设要解决的也是数据复用问题，对于数据工作者经常遇到做好了数据模型使用者寥寥无几的问题，有酒香但巷子深无人知晓的因素，也有部门墙、数据安全限制因素。

（3）价值感知弱

数据开发者做了很多的数据模型，但不知道有多少人在使用，用到了哪里，产生了多少业务价值。数仓开发不生产数据，只是数据的搬运工，“工具人”的感受强烈。

（4）问题排查路径长

用户反馈数据异常时，需要翻代码，对数据加工链路进行追根溯源，排查路径长，消耗时间久。

（5）工作评估难

作为数据管理者，对于资产最关心的莫过于建设的怎么样，如何评估数据工作的成果。做了很多的数据模型，绩效就应该好吗?

二、数据消费者与生产者的诉求

1.找数据

数据消费端，通过数据地图寻找目标数据，进行分析或者数据应用。

业务场景：

• 不知道所需要的数据在哪里，“逛数据”,发现目标
• 知道表名或字段信息，确认数据逻辑或元数据信息

用户：

• 核心用户：数据分析、数据挖掘、数据开发
• 重要用户：产品、运营
• 覆盖用户：业务开发、商务等

产品诉求：

• 资产分级分类，提供简单易用的资产“地图”导航，快速找到目标表
• 强大的搜索功能，可以基于关键词、字段、指标搜索目标表
• 元数据信息完善，辅助决策，确定表是不是所需要用的，能不能用，以及逻辑说明

2.管数据

数据生产者，负责数据加工处理，对数据质量、资产元数据、资产管理负责。

业务场景：

• 维护表元数据信息
• 数据资产审计，管理用户权限、使用日志
• 数据治理，针对数据表的使用情况，定期下线不用表或者冷数据归档
• 追根溯源：数据质量异常通知下游，数据问题快速排查定位问题

用户：

• 核心用户：数据开发
• 覆盖用户：数据表创建者

产品诉求：

• 元数据维护操作简单、快捷，支持批量操作
• 可以清楚的知道自己负责的资产元数据覆盖、用户使用情况
• 平台提供方便的数据追踪、溯源的功能，可以快速定位数据血缘

3.数据团队管理者

评价数据资产业务价值、数据对业务支撑或赋能效率，对数据开发人员进行量化考核。并对数据资产的健康度、数据成本进行管控。

业务场景：

• 评价数据资产建设的到底怎么样
• 数据人员工作量化考核
• 平台健康度管控，降本增效

用户：

• 数据开发管理者
• 数据部门负责人

产品诉求：

• 能够提供资产健康度评价的全面的指标，如模型覆盖度、复用度、元数据完善度、数据质量等
• 资产责任人到人，可以量化考核每个数据开发者的工作数量和质量

三、数据地图需要具备的数据资产管理能力

1.资产大盘

资产大盘按照不同角色的用户，提供从总体到部门(租户)以及个人的资产视图，主要作用是客观描述资产现状，并且以健康度评价体系，提供资产建设优化指引。主要服务于数据工作者及管理团队。例如：

• 资产数量：资产总数、新增数量、治理数量
• 资源消耗：存储资源、生产消耗计算资源
• 健康度：元数据覆盖度100%表占比、数据质量异常数、高耗时任务及列表、跨层引用数、近90天无访问数
• 治理维度：治理资产数量、治理效果、待治理数量

图：阿里数据地图

2.数据探索

数据检索方式包括基于业务域、主题、标签等层级筛选，表中英文、字段信息搜索，以及热门推荐、个人收藏、数据专题等快捷方式。在实际应用时，搜索功能是第一优先级的，至少要先让用户能够精准触达目标。因为业务域划分、主题标签维护很难做到没有二义性，让用户可以顺利筛选出目标数据。表的元数据信息是指可以给找数据的用户提高更加全面、准确的业务元数据、技术元数据等一系列的信息。包括：

• 基本信息：如表中英文名称、负责人、业务描述、字段中英文、分区字段、字段处理逻辑、业务域、主题、标签层级
• 数据预览：提供示例数据预览功能，可以快速查看字段内容或结构
• 产出信息：产出时间、任务耗时及趋势、最后更新时间
• 数据血缘：数据表上下游，一键通知能力
• 数据质量：数据质量监控规则覆盖、最新监控结果是否正常
• 数据审计：表使用信息、变更记录

图：阿里数据地图

3.资产管理

资产管理主要是面向资产创建者，对所负责的资产进行业务元数据、技术元数据的维护及配置，对资产健康度负责。数据地图需要的功能包括：

• 元数据信息维护：业务描述、字段描述、业务逻辑、审批流程配置
• 元数据更新：表结构变更，如字段删减、新增
• 批量配置：批量授权、批量修改主题、层级;权限移交、复制
• 数据治理流程：主要建立和数据质量监控、数据质量等平台的联动，做到跟进用户使用情况，快速跳转至治理平台，一键治理(归档、下线、删除)

4.配置管理

提供业务域、数据层级、主题、标签配置，以及部门(租户)公共参数配置能力，主要服务于数据仓库或数据资产管理员，负责资产层级、架构以及创建流程规范的规划。

5.个人工作台

个人资产盘点，例如有权限的资产，是否有权限即将到期，需要进行批量续期。自己负责的资产，用户权限列表、资产使用分析。

代办事项：数据资产管理要建立从上到下的管理和考核机制，否则资产创建时，为了图快不进行元数据信息维护，就必然会导致资产复用度低。资产大盘服务于资产管理者，提供不同维度的资产健康度评价指标。而个人代办则提供每个资产创建者，需要关注的优化任务，例如元数据覆盖不足100%，近XX天无访问，任务耗时长，跨层引用等等。

四、总结

数据资产管理是提升企业数据复用度的重要数据产品之一，在产品规划和设计时，需要从用户需求场景以及产品目标出发，提供更快速找到数据，以及更方便维护资产信息的能力，同时，为数据工作的量化考核以及开发人员的工作改进提供指引方向。阿里Dataworks、网易猛犸、火山引擎都提供了商业化的数据地图产品解决方案可供参考。

版权声明

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处。如若内容有涉嫌抄袭侵权/违法违规/事实不符，请点击 举报 进行投诉反馈！