续：你的 A/B 测试结果真的靠谱吗？

2019-04-16 19:16:00

原文再续，书接上回，Z检验醒木拍案，AB组高下立判，但究竟是霄壤之别，还是聊胜一筹，且听本回分解～

之前在《你的A/B测试结果真的靠谱吗？》一文中，我们分享了如何用假设检验的方法，来确定两组之间的差异是否显著，但两组之间的真实差异有多大，是否和数字表面上的差距一样呢？
为此，我们需要了解另一个知识点—置信区间。

知识点：置信区间

在回顾知识点的时候，大家还是不要慌张，让我们循序渐进，用讲人话的方式来重新认识课本上这些晦涩难懂的公式定理。
首先还是先看一下百度百科的定义：
置信区间是指由样本统计量所构造的总体参数的估计区间。
在统计学中，一个概率样本的置信区间（Confidence interval）是对这个样本的某个总体参数的区间估计。置信区间展现的是这个参数的真实值有一定概率落在测量结果的周围的程度，其给出的是被测量参数的测量值的可信程度，即前面所要求的“一个概率”。
上一文中，我们了解了AB测试的原理，其实就是用随机样本的表现，来预估总体的表现，而样本的结果可能会存在偏差，并不一定真实反映总体的情况。那么，样本对总体的估计会存在一个合理的区间范围，这个区间范围其实就是置信区间。
那怎么计算出这个置信区间呢？
以上一次的这个正态分布图为例：中间最高的部分对应的是分布的均值，我们在做估计时，当然要以均值为基准，然后估一个上下浮动的范围。

如果为了保守起见，我们可以把上下浮动的范围放大一些，这样总体均值落在这一区间的概率也就更大一些。
我们也可以把浮动范围缩小一点，那么总体均值落在这个区间的概率也就相对小一点。
目前，我们一般使用的是95%置信度，也就是说要保证总体均值有95%的概率落在这一区间内，这个区间范围也就是95%置信区间。
通俗一点来讲，比如：你之前的绩效系数基本都在1左右，偶尔也有几次拿到了1.5，还有几次表现不好，只拿到了0.5。快到年终了，还有几个月的绩效系数没有出，你的同事让你估计一下，你的全年的汇总绩效是多少，那么你会怎么估算呢？
首先，你到目前为止，绩效系数均值是1，在估算全年总绩效时，你可以大致判断，应该也是在1附近，所以你大可以直接告诉Ta，你的全年绩效差不多应该是1。
这个时候，你的同事说：如果你估错了，就要请整个组的人吃饭。
于是，你慌了，连忙改口说你预估全年绩效应该在0.5到1.5之间。
当然，这样会显得非常无趣，因为你估了一个最值框定的范围，或者说是100%置信区间。
如果是熟悉置信区间的朋友，这个时候可以迅速掐指一算，计算出一个95%置信区间，然后报出你估计的范围是0.7到1.3之间。
那么，你猜中的概率就是95%，也就是说你只有5%的概率会请大家吃饭，不失趣味的同时透露着心机妙算。
下面就为大家展示置信区间的计算公式：
其中，

μ：样本均值
Zα/2：95%置信度下的固定值为1.96
S2：样本方差
n：样本量

了解完置信区间后，我们知道了如何用样本去估计总体，但是做AB测试的核心是比较，因此我们更需要的是去估计两个总体之间的差值。
对于总体均值差的区间估计方法和上面类似，我们先上公式：

其中：

μ1：样本组1的均值
μ2：样本组2的均值
Zα/2：95%置信度下的固定值为1.96
S12：样本组1的方差
S22：样本组2的方差
n：样本组1的样本量
m：样本组2的样本量

这个公式和之前提到的Z检验公式是不是非常相似，接下来我们来看一看Z检验和置信区间的关系。

应用题

最后，我们回到AB测试的结果上，接着上一篇文章中的例子，如果我们要验证两种不同活动方案的效果差异，首先随机抽取用户分成AB两组，其中A组人数为n1，B组人数为n2。
然后，对两组用户施加不同的活动干预，最后得到两组用户的转化率分别是p1和p2，那么对应的方差就应该是：
S12=p1(1-p1)=p1q1
S22=p2(1-p2)=p2q2
最终，置信区间的公式就变成了：

我们以实际的数据来看一看，假设我们有两个实验组，分别施以不同的活动策略，两组的相关指标数据如下：

通过上述的公式，我们可以计算得到，组2相比于组1转化率差值的95%置信区间为：（-1%~11%）
同时，Z值为1.66我们现在为组2补了40个用户，发现组2的转化率仍为10%，按照组2的样本量为140个，转化率10%来重新计算95%置信区间：（0%~10%）
Z值约等于1.96，Z检验的结果显著，说明两种活动方案的转化率有明显差异，组2方案的转化率有95%的概率比组1高。
现在，我们知道了为什么当Z值>1.96时，证明差异在95%的置信度上显著了，Z检验其实就是比较Z值和这里的Zα/2。
当Z值足够大时，两个总体均值差的下限就会远大于0，说明两个总体具有明显的差异。
至此，各位看官不妨试一试，看看你的AB测试结果真的靠谱吗？

作者：Mr.墨叽，公众号：墨叽说数据产品