日常运营中，如何做好 A/B test？

运营汪成长日记 2023-07-23 05:46:27

我相信运营对于AB测试一定不陌生。当我们从数据中发现了一定的问题，但是也不敢确定想出来的办法一定能解这个问题的时候，领导便会说：小范围测试一下吧。

这时候说的测试就是AB实验，简单来说，AB测试是为产品的界面或流程制作两个（A/B）或多个（A/B/n）版本，在同一时间维度，分别让组成成分相同（相似）的访客群组（目标人群）随机的访问这些版本，收集各群组的用户体验数据和业务数据，最后分析、评估出最好版本，正式采用。

进行AB实验能够有利于优化用户体验，提升漏斗或者单个节点的转化率，从而使得产品的最终效果变得越来越好。

那么该怎么去进行测试呢？如何才能保证测试的数据有效性，在最短的时间内测试出来结果，以便后期能够更好地进行调整。小步快跑，关键是步子要小，结果要快，后期才能更好地运用在运营过程中。

今天就来和大家聊聊，在日常的运营中，如何才能运用好AB测试，通过数据反馈，AB测试，测试结果分析，运营策略优化等过程，最终将产品转化的每一个环节做好，从而更好地提升在AARRR环节的某一项数据指标。

日常运营中，如何做好AB实验？

一、从数据中发现问题

前面，我写过一遍文章：运营人如何进行数据分析？从日常的数据中发现问题，找到出现异常的那些数据。

最终，从数据中发现问题，也需要回到数据中去解决问题。一般来说，在数据折线图中，数据出现下降拐点的很在程度上为异常数据。在进行数据分析的时候，可以着重关注这些数据。

如下图的各个渠道周新增用户趋势图，就可以重点分析，为什么第四周之后，新增用户的增长幅度降低，是因为预算减少了吗？还是说，在用户注册的过程中遇到了什么问题，导致新增用户下降。

日常运营中，如何做好AB实验？

在日常的运营中，数据分析运用的比较多的便是漏斗模型，不一定是AARRR模型，而是用户路径中每一个关键步骤都会出现流失，转化率下降的问题，只是说这个流失是否在合理范围内，和业内的平均数据相比，这个数据是否还存在可优化的空间。

从关键用户路径出发，从数据中能够快速找到，用户在哪个环节可能出现了一定的问题，用户在哪个环节停留的时间比较长，用户在某个环节转化率急剧下降，这些可能就是AB实验的关键点。

做好其中一个环节的优化，便能够带来明显数据的提升，从而更好地提升转化率。

如，用户在淘宝上搜索一个产品的路径可能是：直接输入关键词——点击某个产品——查看产品信息（包括详情页和评论等）——询问客服——选择产品规则——下单购买。

而这些步骤，每个环节都会出现用户流失的情况。如果每天的曝光很高，但是却没有点击，那么说明在首图中还需要去进行优化，了解用户为什么没有点击的原因：是因为人群不精准，还是因为和竞品的首图更吸引人，还是其他什么原因。这些都可以去通过AB实验去进行测试，不断优化用户路径中的关键步骤。

接下来就进入重点了，如何去进行AB实验，在这过程中，需要注意什么，什么样的实验才真正算一个好的实验。

二、如何进行AB实验？

进行AB实验，我主要会在以下4个方面进行说明。

1）确定实验的核心目标

2）确定测试的样本量

3）确定实验的周期

4）AB实验遵从的原则

以上这4个关键点，是我认为进行AB实验最关键的核心，将这些东西弄明白，基本上就能进行一个完整的AB实验了。接下来，我将举例说明。

1. 确定AB实验的核心目标

这个应该不用多说，运营是目标导向的，做实验的时候也不例外。只有确定了做AB实验的核心目的，才能更好地进行后续的AB实验。

在核心目标这里，需要延伸出来，其他两个和核心目标相关的两个指标，第一个是辅助指标，第二个是反向指标。有这两个指标之后，我们才能更好地确定核心目标，后期也才能更好地检测这是否是一次成功的实验。如果核心指标提升了很多，但是同时反向指标也上升了很多，那么可能相当于是亡羊补牢，拆了东墙补西墙，最终也很难将核心指标提升上去。

接上边的那个列子，在用户搜索产品的时候，我们发现用户的点击率很低，远远低于行业平均水平，假设行业平均水平是5%，而目前你的产品的点击率才2%。

假设核心目标是将商品点击率从2%提高到5%，而同时辅助指标是购买转化率在一定程度上会有所提升，毕竟要保证进来的流量不是虚假流量，最终能够形成一定的转化。而反向指标是，页面的跳失率在一定程度上不会收到太大的影响。