谈谈数学检验分析在产品上线测试中的应用

2017-03-07 13:48:00

数据运营分析能够很好地帮助我们提高工作效率，文章列举了一个工作中的实例提供参考，希望对各位的工作有所帮助。

产品运营因为在不同行业不同领域要面对的用户和产品形态存在种种差别，导致运营中需要使用的方法也是各有千秋。比如，创业小团队里，产品运营可能还要肩负起部分市场营销、推广运营的工作。而在大公司中，不少产品运营只需要就某一个产品点进行细致的精细化耕作。

笔者运气较好，在大学里就完成了第一次创业，这几年既在阿里这样的大公司待过，也在小团队、上市公式工作过，逐渐从最早对完全没有运营概念，到今天建立了相对完善的运营认知，体会颇多。其中影响最深的是对数据运用分析的技能提升——从初入运营时，以开发身份兼职运营推广，到如今带领团队一起完成数据分析和模块上线测试，数据的运用分析成为我尤为关注的重要运营手段。

虽然，稍大的公司已经有了数据分析师的职位，但在部门内拥有自己的对数据先行分析预判的技能，只会带来更大的效率提升，并不会造成资源的浪费；而没有数据分析师的岗位，数据分析技能也能让你尽可能脱离粗暴的直觉判断，拥有更系统的产品武器。

一.数据分析的运用场景

那么，数据分析有哪些用处，又对我们的产品有哪些帮助呢？来看一下这个不会感到陌生的应用场景：

某产品功能即将收尾，迎来重要的里程碑版本，但上线前产品和运营就其中一个可能导致用户转化指标上升或下降的功能产生了分歧。讨论会后，产品决定对产品先进行A/B分桶测试，收集用户反馈数据后再做对比决定更细致的方案选择。

在这个场景中，核心的需求是提升用户转化，分歧的重点是在用户的反馈上，解决分歧的关键在于数据的分析对比。

需要补充的是，产品中还有其它很多数据分析的情况，这里只举了上述比较场景易懂的案例。

二.数据分析的过程

在上述的场景中，要如何解决数据的分析对比数据呢？也许有人会说，数据都收集回来看，直接看不就能解决了吗，还用得着分析？

其实，数据的差异有时候没有你想象的那么大，用户在市场中的操作不会过于强烈，但是在产品体验上用户却呈现出蝴蝶效应的趋势，小细节小疏忽做得不好，用户就流失了。另一方面，市场搜集的数据样本有时很大，数据对比并不是迅速可以用肉眼解决的。所以，数据分析要讲求基本的数据检验模型。

在这个案例中，我们假设收集回来的两组数据是下面这两种结果的样子（为方便举例，考虑A、B两组用户，数值代表用户的停留时长）：

调查一

调查二

你告诉我，这个产品功能的更改，对用户而言到底有没有显著差异？我先说结论，图一的结果，显示功能的更改对用户造成了显著的差异影响，而图二的结果，正好与图一结论相反。

分析的过程，来源于数学上我们都学过的t检验法。数据分析过程为：

我们先建立一个假设，令为H0假设，H0代表两组结果不存在显著差异。
我们使用如下的t检验公式，计算出t值。公式中的符号比较好懂，分子代表两组平均数的差值，分母代表样本方差之和与方差系数乘积的差，除以样本总数减去1后，再开平方根的值。
得到t值后，我们在网上搜索得到t校验表单，对比t值与表中相应临界值的大小，就能判断得出结果是否显著了。