3步打造完美A/B实验版本,让增长效果翻倍!
一、实验版本设计要点
在这一部分要回答的问题是实验所做的改动在哪里?设计几个版本,它们之间的区别是什么?以及这些流量在版本之间是如何分配的。
1. 明确实验改动的位置
设计实验版本的第一步,是要明确实验所做的改动在哪里。这一点比较简单,例如你的改动可能在APP的主页、营销落地页的按钮,或者是整个新用户注册流程等。
明确改动位置后,工程师和设计师就知道去哪里做开发和设计了。
2. 确定实验版本数量和区别
第二步是针对改动位置,考虑设计几个版本,以及版本之间有什么区别。这里有几个要点:
(1) 新版本数量取决于实验假设数量
新版本的数量其实取决于针对改动点,你有几个实验假设。
假设数量多,可能就要设计多个新版本;假设只有一个,那就只需设计一个新版本。
(2) 选择高质量实验假设,避免随意改动
我们要注意的是,不要随意想当然地改动。所有的实验假设和版本设计,都要选择那些高质量、有依据的,这样才能提高实验成功率,避免浪费开发设计资源。
(3) 区分优化实验和探索实验
a.优化实验:每个版本只改变单一变量
举例来说,如果你要优化一个落地页,想看每个元素如何改动效果最好,那你可以试试不同颜色的按钮、不同文案、不同图片,每个版本只改变一个变量如颜色、文案或图片。
这样可以明确判断每个改动的影响。等确认了哪些改动有效,最终版本再把它们合并起来。
b.探索实验:可同时改变多个变量或设计全新版本
另一类是探索性实验,你可以在一个版本中同时改变多个变量,或者设计一个全新的版本。常见于两种情况:
要么是之前已经做了很多局部优化实验,洞察积累多了,想要突破局部最大化的瓶颈;
要么是现有版本表现太差,与其慢慢优化,不如推倒重来,设计一个理想版本。此类实验允许大刀阔斧地改动。
(4) 版本数量越多,所需总样本量越大
需要强调的是,版本数量越多,实验所需的总样本数就越大。如果你的用户量不够大,建议不要设置太多的版本。
3. 若分流不均匀,实验结论可信性降低
在明确了几个实验版本之后,下一个问题是如何在这些版本之间分配用户流量。
我们还是以一个红蓝按钮的例子来说明。假设在一个实验中,50%的用户看到蓝色版本,另外50%看到红色版本。
我们的实验假设是,红色按钮更醒目,所以点击率会更高。
如果实验观测到,红色版本的点击率比蓝色高出50%,据此我们得出结论:红色版本比蓝色版本更好。但事实真的如此吗?
举一个极端例子,如果分到红色组的用户全是红绿色盲,你还能得出这个结论吗?显然不能。
这说明了,AB实验中的样本分流是否均匀,会极大影响实验结论的可信性。如果样本分流做得不好,实验结果可能根本没有参考价值。
二、样本科学分流的重要性
1. 分流均匀可消除外在因素影响,确保实验组和对照组的可比性
样本分流之所以要做到均匀,就是要消除一切外在因素的影响,确保对照组和实验组之间唯一的区别就是实验改动点,其他条件都一致。
这样才能放心地将最终指标的差异归因于实验改动,而非其他随机因素。
举个例子,复联中的灭霸要随机消灭一半人口。这里的”随机”很关键,如果消灭的方式有选择性,比如留下的都是实力较弱的超级英雄,那他们最后输给灭霸,并不能说明这些英雄真的不如灭霸。因为消灭过程不是随机的,不符合分流均匀的要求。
2. 样本科学分流需达到四个标准
(1) 均匀性
分流人群各维度分配比例均匀
(2) 唯一性
同一用户始终保持在原实验分组
(3) 定向性
针对特定用户类型设定实验受众分层分流
(4) 可重复性
不同实验之间的分流不冲突
3. 科学分流需从技术层面保证,以支持AB测试结果的可信性
(1) 使用第三方AB测试工具可简化样本分流过程
第三方AB测试工具可以很方便地完成样本分流。
以吆喝科技产品为例,可以在后台设置有多少流量进入实验,如果有多个实验同时进行,还能设置不同实验之间的流量分配。
然后再进一步设置实验内部的分组,如50%进入对照组,50%进入实验组。
第三方工具可以保证分流的均匀性和唯一性。
(2) 自建AB测试系统需关注分流系统的建设
如果要自建AB测试系统,分流系统是需要重点关注的。
这里分享一个电商公司自建分流系统的案例,他们大概花了一个月时间搭建了基本的分流架构:
增长 or 运营团队提交分流需求 → 工程师后端进行用户分流,前端APP和小程序埋点不同实验版本 → 后端控制前端执行相应实验版本,收集数据 → 分析师手动进行统计分析。
综上所述,明确改动点,创造高质量假设,并科学分配流量,是设计实验版本的根本。
三、实验设计步骤(系列文章小结)
1. 选择实验指标
选择指标时,除了核心指标,还要考虑辅助指标和反向指标,以全面评估实验效果。
2. 确定实验受众
需要考虑:受众范围、样本量和实验时长评估。
(1) 统计显著性与所需样本量的关系
实验需要的样本量,与原版本转化率、新版本预期提升幅度、统计显著性要求都有关系。
(2) 样本量过大时的实验设计调整方法
如果评估发现所需样本量过大,可以考虑加大改动幅度、减少版本数量等方式,对实验设计进行调整。
3. 设计实验版本
需明确改动位置、版本数量和类型。
(1) 实验假设数量决定版本数量
在设计实验版本的时候,要考虑有几个高质量的实验假设,那就设计几个实验版本。
(2) 优化实验与探索实验的版本设计区别
同时我们也要考虑我们这个实验是一个优化实验还是一个探索实验。优化实验建议去做单变量的测试,而探索实验可以做一个全新的设计。
4. 进行流量分配
科学分流是获得可信实验结果的关键。流量分配必须严格执行科学分流,不管是用第三方工具还是自建分流系统,这是获得可靠实验数据和结论的基础。
5. 实验开发上线总结优化
最后,在实验版本开发上线后,我们就可以收集数据,得出实验结果,总结实验心得,并规划后续优化计划,从而完成一次完整的AB实验。
最后总结一下,实验设计的艺术在于精确识别改动点、构建可靠实验假设、执行科学流量分配。通过本文的学习,希望你可以更系统、科学地进行实验,从而更精准地优化运营策略,提升运营效果。
版权声明
本文来自互联网用户投稿,文章观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处。如若内容有涉嫌抄袭侵权/违法违规/事实不符,请点击 举报 进行投诉反馈!