聊一聊数据报表/数据分析的【对数】日常

一、数据比对的痛

“这数不对”。

“为什么A这里的数据和B的数据不一致?”

“为什么平时这个数是C今天变成了D?”

“为什么这么高?”亦或是“为什么这么低?”

——【我的对数日常】

一旦有人对某数据提出质疑,就会开始令所有人崩溃的对数。

尤其是经营分析会、月度会议期间,数据团队面临反复且高频的折磨,不同需求方不同角度都等着回答和解释。

  • 领导:不理解,为什么没有人能给出来正确的数据?
  • 业务:技术给的结果不准…数据质量差,又不能用,又要自己算,数据量太大算不动。
  • 数据团队:数据不是我录的、业务数据库不是我设计的、指标逻辑也不是我定义的、运营逻辑和策略调整对数据的影响我也不知道。数据根据逻辑加工出来就是这个样子,不是你想要的,我该解释什么?

非常无辜,非常无语,活还是要干!

不考虑模型设计、不讲数据治理、制度和流程梳、不谈组织合理性、不谈数据意识和数据团队地位,不与业务battle。

落在当下,必须要面对的工作面前,只是想聊一聊“对数到底应该怎么对?”

希望通过这篇文章与数据相关从业的朋友聊一聊“面对常态化数据质疑的处理方式,在不同的场景下数据团队的观点输出”。

二、对数对数,对的是什么

1. 数据比对的场景

  • 新旧指标对比,新指标上线替换就应用;
  • 全新指标上线,证实数据准确;
  • 同预期不符或数据波动大,进行数据查验;
  • 应用端数据不一致,维度汇总不一致给出解释;
  • 数据A和相关数据B不匹配,交叉验证。

2. 数据团队的心态

数据技术有门槛,但数据是公司的数据、是业务的数据。

数据本身没有价值,数据脱离业务应用,就只是磁盘上的文件而已。

对数占用了数据团队大量的时间和精力,消耗耐心和斗志,这种情况下应秉持怎样的心态?

下面是数据团队避无可避的问题:

1)提升团队数据素养

  • 对数属于不复杂但大多数人做不好事情,好的数据团队人人都是数据分析师,具有数据思维,懂业务。
  • 清楚业务规则,懂业务数据流向。清楚数据映射的业务流程,识别数据问题的业务构成。
  • 遇到问题知道从什么地方分析原因,知道要看什么数据。

2)提升公司数据意识和数据产品的可信度

  • 数据有天然门槛和屏障,如何拉齐各方的认知?
  • 如何方便用户去使用数据?当不缺数据的时候,如何有效使用数据?如何给用户呈现数据?
  • 产品思维,数据是结果但对数据的理解是主观的。
  • 如何直观、不引导的客观呈现数据?

3)解放人力实现自动化

  • 化被动为主动,怎样从无尽的对数中抽离。
  • 能提前识别异常、提示变动、给出对照。
  • 数据稳定,线下数据走通后,便可以逐步切线上,固化比对逻辑。

3. 对数对数,对的是什么

对数就是实际和预期的弥合,为什么A不是B?

A是数据部门输出的数据,B可能是之前某版本的数据、可能是心理预期、可能是某业务线的手工数据、可能是去年同期数据、可能是上个月的数据。

解决方案有几种:证实“A是对的”;证否“B是错的”。

证实”A/B都是对的,但有cdef造成了两者的数据差异”。

都要给出结论、对照和明细凭据。

三、通用可复制的方法

数据比对是有目的的数据分析。

著名的咨询公司Gartner于2013年总结、归纳、提炼出一套数据分析的框架,Gartner把数据分析分为四个层次,分别是:

聊一聊数据报表/数据分析的【对数】日常

  1. 描述性分析(Descriptive Analysis)——发生了什么?
  2. 诊断性分析(Diagnostic Analysis) ——为什么会发生?
  3. 预测性分析(Predictive Analysis) ——什么可能会发生?
  4. 处方性分析(Prescriptive Analysis) ——该做些什么?

数据比对是描述性分析,即对数据现状拆解出数据依据。

那么数据比对的过程,就是描述性数据分析的过程,可按以下顺序进行:

  1. 确认分析的目的和思路;
  2. 数据准备、处理及分析;
  3. 撰写数据结论及报告。

下面具体说如何操作,让观点可执行

1. 确认分析的目的和思路

1)假设验证确认分析思路

(1)明确对照项[A-B]

确定问题,明确目标,得出A、B哪个正确?差异原因。

首先明确对照项A、B的定义,判断其定义、口径、算法是否一致?

(2)对照指标数据流向及构成

对照数据流向,分析数据构成及计算过程。

确认比对项,时间、口径、统计粒度,度量和维度做筛选还是过滤。

(3)收集数据进行证伪推断,得出结论

准备基础明细数据,导入excel,通过vlookup、透视表等关联分析,关系走通,记录过程数据,提供结果数据。

Example:统计结果比对(数值1vs数据2,差异值)、12明细、差异明细比较。

Tips:明确分析目的和方案前,别急着到处要数,可能费力要了又用不上。

2. 数据一致性验证方式

1)基础认识一致性验证

  • 指标的设计过程:定义、计算公式、统计维度(时间)、维度含义、属性定义。
  • 指标的技术属性:技术方式、数据源、更新时间。

Example 1:实时、离线指标不一致属于正常情况,可直接解释原因:

  • 更新时间天然不同,离线为批处理定时调度任务模式,而实时对数据的时序性有要求,在某些场景并不能保证与离线同等的一致性;
  • 计算逻辑无法对齐,离线逻辑相对复杂,支持补偿逻辑,实时处理却相对比较简单;
  • 数据源不一致,比如日志在一些场景不能做到完全一致。

Example 2:回款率单位为%,城市结果值求平均并不等于全国数值,也可直接告知业务原因。

2)正向验证

  • 确认是否是业务正常变动,如大促暴涨、广告行业的1&2月淡季周期性异常。
  • 交叉维度汇总不一致,数据缺失向上汇总记录的处理方式。

3)反向验证

  • 任务是否正常?数据是否更新?集群崩溃、任务失败、任务超时、源数据系统字段变更;
  • 处理过程是否正常?数据漂移、数据发散、数据倾斜;
  • 业务口径数据和数据库数据映射是否一致?不同含义指标取相同名字。

2. 数据准备、处理及分析

1)数据准备

在分析思路确定的基础上,准备收集准备数据,可能是:系统导出、数据提取。

2)数据处理(清洗、转化、提取、计算)

基础数据准备完毕,按既定的思路计算、比对,加工需要的可用于分析的数据。

3)数据分析(数据统计、数据挖掘、数据呈现)

比对后发现并分析差异,用适当的分析方法及工具(极大多数场景Excel足够),对处理过的数据进行分析,提取有价值的信息,形成有效结论。

3. 数据结论及报告

1)明确结论

  • 哪个数据是准确的?是什么造成了数据差异,数据差异的构成和占比差异是否合理?
  • 是否需要进行修正,计划、难点分别是什么。

2)结果呈现

数据比对的报告不需要精致,能够做到逻辑清晰,图表搭配,层次分明。

让阅读者一目了然理解差异和差异构成就可以进行结果数值比对、差异明细、对照过程及明细。

呈现饼图和柱形图足够了,柱形图看差异,饼图看差异构成。

四、 数据人的下一步

应对被动的数据比对之后,如何化被动为主动,进行常态化的数据监控,不再耗心费力疲于应对,提升数据健康度,对数据异动监控提示,实现数据可用可查有提示可预警。

唯一且艰难的道路:有数据质量标准是基础,在制定数据质量计划的标准上,进行周期性的数据质量盘点和数据治理!

这条道路需要数据团队有决心、信心,有足够的耐心和体力,去细致打磨适合企业的数据标准。

需要对每个数据域、数据实体、数据项,甚至到字段、属性,定义数据标准,核实数据质量。

1. 数据质量

聊一聊数据报表/数据分析的【对数】日常

(GB/T 36344-2018 数据质量评价标准)

Example:

  1. 完整性:指数据元素和数据记录完成性,例如:字段是否存在空值,指标数据维度是否足够支撑业务分析。
  2. 准确性:指数据可信度,例如:是否数据正确、格式合规、唯一性、无脏数据。
  3. 一致性:指相同数据一致性和关联数据一致性,如:相同指标在不同场景下数值是否一致。
  4. 时效性:指基于时间段的正确性、基于时间点及时性、时序性,例如:实时能否保证1分钟以内延时,离线能否保证每天9点定时更新。

聊一聊数据报表/数据分析的【对数】日常

(GB/T 36344-2018 数据质量评价标准-数据质量评价过程)

2. 数据清洗

在建立数据规范的基础上,就可以进行数据质量提升的行动,也就是“数据清洗”。

数据清洗,就是从数据库表中更正和删除不准确的数据。

1)数据清洗

  1. 识别数据问题;
  2. 评估问题及解决方案;
  3. 清洗计划:更正、删除、合并、替换、补齐;
  4. 数据应用及周期性质量评估清。

2)数据清洗实践要点

  1. 数据问题是业务数据问题,需要多方人员参与,全面的考虑上下游联动影响,包括产生数据的、使用数据的。
  2. 提升源端质量是根本之法,增加系统界面端和数据库输入的的限制,如某些字段非空校验、数据类型校验、唯一约束等。
  3. 做好备份!做好备份!做好备份!

3. 监控预警

监控预警是化被动为主动的方法,可根据数据质量规则制定监控策略。

通过数据质量监控工具来提示数据异常或数据波动,来确保对业务数据稳定的掌控感和保证数据的准确性,问题处理的及时性。

质量规则不再多说,可以聊一聊波动性,什么样的指标波动可以看作是“异常”呢?

指标波动不可怕,数据波动是业务发生的正常情况,业务产生自然会发生数据变化。

比如每周的销售额肯定不一样,脱离业务场景没法谈数据波动。

但像之前都1000w,这周只有200w,是不是就属于异常状态?

监控可以根据公司业务情况和数据情况来综合评定,通过绝对值预警、相对值预警两方面来设定。

具体的方法有:绝对值、同比环比、周期平滑、假设检验(3σ原则)、时间序列、算法模型。

4. 提前准备

在新需求的设计过程中,就提前准备数据比对的工作。

评估不同线上线下、离线实时的差异,找出可能产生问题的原因并解决,技术架构方案选择,或预评估差异。

5. 一些提醒

1)再次强调:业务、业务、业务

数据必须和业务结合才有意义,熟悉业务才能看到数据背后隐藏的信息。

缺乏对行业、公司业务认知,数据应用和数据分析结果都会出现偏离,变成自嗨或者空中楼阁。

要懂上下游数据,也要弄清楚公司所在行业结构,对行业的上游和下游的经营情况有大致的了解。

2)数据敏感度

数据本身是客观的,但被解读出来的数据是主观的。

同样的数据由不同的人分析很可能得出完全相反的结论,所以一定不能提前带着观点去分析。

Example:比如指标预警没有合适方法,可暂定波动值超过5%预警。

如果一个变量符合正态分布,则其95%的值会落到均值左右二个方差内。

3)迭代化思维

业务是不断调整和发展的,依托的系统和数据也是不断迭代变化,相应指标也需要随着业务不断调整,更加精确的度量业务。

4)精细度控制好,不要追求极细

细分是深入的分析的基础,但不要追求极细,细分意味着复杂,要判断公司团队数据意识和业务精细化管理是否到了匹配的阶段。

 

本文作者 @申墨扬 。

版权声明

本文来自互联网用户投稿,文章观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处。如若内容有涉嫌抄袭侵权/违法违规/事实不符,请点击 举报 进行投诉反馈!

相关文章

立即
投稿

微信公众账号

微信扫一扫加关注

返回
顶部