产品做A/B测试必须考虑这些事

问题：产品为什么要做A/B测试？

原因：因为实践是检验真理的唯一标准。A/B测试是一个科学的统计方法，着一统计的诞生，再也不用为了争吵是使用A图片好，还是使用B图片好，好不好按照效果说了算。这样极大的避免了产品经理凭借感觉定方案的情况。

所以本篇文章主要介绍在进行AB测试时需要考虑的点及一些小的细节介绍，并通过一个案例进行结合体验。

一、确定测试目的

A/B测试需要一个目标，以便正确执行：比如产品经理的目标就是想通过测试弄清楚某个颜色方式，或者某个标题能否产生更多订单的转化。而如果你的A/B测试没有目标，那只能是在浪费时间和精力。

确定A/B测试的目标是什么（即要得出什么结论）？

比如我之前做过的百度平台视频类型的小程序播放页A/B测试，目标为：测试在百度平台内部，视频类型的小程序播放页哪种样式（页面布局）效果更好；

目标好（适合）的标准是什么？

视频类型的播放页，好的标准是什么：

1. 页面的人均点击视频数多；
2. 页面的人均收益高。

文案好的标准是什么？

按钮的点击与曝光比率越高效果越好。

二、确认参与A/B测试的几版方案

在选择参与A/B测试的几种方案需要想清楚理由，即回答为什么能参与到这次A/B测试中；其次确认参照方案，即参与A/B测试之后的方案除了相互之间进行比较，最终要和哪个方案进行终极PK（当然我直接选用了线上的方案作为参照）。

播放页样式测试方案简介

feed样式：当前视频软件上基本都采用这种feed流样式（腾讯视频、爱奇艺、优酷）。

大图样式：为了与百度小程序广告组件的大图/视频广告样式保持一致。

• 原因一：提升页面的整体视觉；
• 原因二：猜测采用这种样式会增加收益（与广告样式相近）；

左图右文：目前很多家视频公司相关推荐的主流样式（好看视频、西瓜视频、哔哩哔哩等）。

三、确定所需数据来源（得出结论需要哪些数据做支撑）

1.怎么算人均点击

我所理解的人均点击有两个维度：

1. 在该页面发生点击的人有没有增多；
2. 每个人点击的视频数有没有增多。

主要的计算方式如下：

怎么算人均收益

人均收益的计算方式：页面总收入/页面UV

1. 确认页面收益来源：主要有哪些广告位；
2. 页面UV：每种样式的播放启动用户数。

四、埋点方案确定

根据我们在（三）分析的所需数据进行埋点方案确定

1. 我们需要在页面的展现上报中上报播放页样式值，用来区分每一个样式曝光了多少次；
2. 在视频的点击上报中区分行为发生在那种播放页。

五、方案执行

以描述案例做方式执行的步骤：

1. 与前端约定样式，当推荐返回哪个字段时前端展示什么样式；（别忘了让前端小哥哥加上报吆，若是增加字段了，需要进行数据备案）
2. 与推荐约定每个样式的投放比例。

当时做测试时样式约定的值及投放的比例（如下图）：

六、线上数据跟踪

到这个步骤了，说明前期规划的产品已经上线了。我们的产品经理就需要盯着数据分析结果了，我的建议是线上跟踪所需的数据明细最好在思考（三）阶段的时候列好，这样在数据跟踪时我们只需要按照设想进行数据填充分析即可（当然有不合适的地方还是需要及时改正的）。

eg：百度平台视频小程序播放样式A/B测试人均收益数据明细表（具体数据就不放置了）

七、结论输出

结论输出建议采用的方式：图表配文字结论（直观、清晰）

结论：

1. 单分析人均收益效果，大图样式明显好于feed样式及左图右文样式；
2. 从曲线图看出，大图样式的收益高于feed样式，但是人均点击视频数略低于feed样式；所以需要更长的周期去测试这两种样式，最后由更多人去决定选择收益还是体验；
3. 经过长达6天的测试结果可以看出，左图右文收益与点击效果均是最差，所有在后期继续的测试中可以去掉该样式，将此部分用户分给feed样式。

本文作者 @李笑笑吆

版权声明

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处。如若内容有涉嫌抄袭侵权/违法违规/事实不符，请点击 举报 进行投诉反馈！