我好像看到了假的数据分析？

2017-09-12 10:45:00

看似基于理性和事实的雄辩，然而有可能是有意或无意的诡辩。

作为一个小头目，经常会读到来自各种团队的数据分析报告，看似基于理性和事实的雄辩，然而有可能是有意或无意的诡辩。搞得我经常像傻白甜的美少女面对追求的少男一样，面对这些严谨的数据分析也不得不多长几个心眼。

1、可视化的误导

一般来说，画出图表就容易让人肃然起敬，至少架势是足的，然而其中却容易出现诡计。

下图的作者为了表达中国城镇化率的增加以及家庭小型化趋势对房价的支撑作用，摆出了两个柱状图，然而为了表达这两个指标的强烈趋势，Y轴都不是从0开始，于是在视觉上更容易让人有冲击力，然而却含有误导性。（不过被误导也就罢了，一二线这个趋势，早几年买房也不是坏事儿）

作者为了表达软件开发类不等级别之间的工资巨大差异，居然把最低值、平均值和最高值叠加在一起进行呈现。效果是出来了，但逻辑和节操却大珠小珠落玉盘。

2、使用孤证或者不靠谱的绝对值

“林子大了什么鸟都有”，这句俗语特别适合于使用孤证或者不靠谱绝对值来证明自己价值的数据分析，这是大公司里经常出现的一些场景，因为大公司产品经理偏爱依赖巨大流量来尝试一些新功能。

比如最近某产品推出类社区的产品功能，大家都质疑其与主方向毫无关系。产品经理立即跳出来反驳，使用该功能的n个用户已经找到了工作（找工作是该产品的核心功能之一）。然而每天上千万用户在产品里晃来晃去，做出啥事儿都不稀奇，举出孤证有意思吗？这时候想起知乎名言：脱离剂量，谈论食物毒性，都是耍流氓。

所以为了印象深刻，参考“奶子大了什么鸟都有”，这句俗语可以考虑改成“数字大了什么鸟都有”。

3、推理逻辑混乱

许多数据分析虽然带有翔实的数据，但是逻辑推理极其混乱。

前段时间遇到某产品在一级入口上线新功能X，然而却有可能和位于二级入口的原有功能Y冲突，X抢夺了使用Y的用户。

如同大家都了解的，大公司里面做产品，经常发生的事情就是左兜掏右兜，把用户像赶鸭子一样赶来赶去；不过总有一个兜的人因为数据大增要得到嘉奖。这里面最直观的例子就是：不少公司的小程序用户大增而受表扬，不过主App的数据跌了。

当挑战这个产品经理的时候，他经过一天的数据分析后得意宣称：担心是多余的，因为数据显示，使用X功能的用户有60%使用了Y功能。

画外音：那么使用X而不用Y的40%用户在干嘛呢？算不算Y功能的流失？

4、扶不上墙的小规模测试

产品经理为了工作的严谨性，经常利用小规模测试甚至是AB测试来观察新功能。然而一个诡异的现象却是，小规模测试效果不错的功能，全量之后却差强人意。这往往可能是因为取样偏差造成的，因为求胜心切，产品经理在取样时很容易有意或无意得形成取样偏差。这里面常见的两个偏差是幸存者偏差和辛普森偏差。

幸存者偏差。前一段我们公司搞用户开放日，与应邀前来的用户做Focus Group（用户焦点访谈）。结果在访谈中用户对我们产品简直是满意无比，大大出乎我们意料。除去用户保持绅士风或淑女风不敢当面怼我们之外，更主要的原因是邀约是通过我们App上面的推广，来的用户都不是被我们伤碎了心的人，所以好感爆棚。如果基于这些用户去做新功能的小规模测试，一定会出现偏差。

辛普森偏差。从网上摘取的一个关于肾结石治疗方案的AB测试。单个病例看，A方案都优于B方案；然而，总体看，结论反转。这么诧异的结论主要是来源于样本的不同：大小结石病例在A和B中的构成比例相差较大，从而形成两个完全不同的样本，从而造成这样的结果反转。