如何运用 A/B 测试突破业务增长瓶颈？

2017-09-13 10:31:00

文章介绍了A/B 测试在产品改版过程中的落地过程，希望对你有所启发。

获客拉新在产品发展的中早期一直是市场和运营日常工作中非常重要的工作之一，活动落地页的设计对于一款互联网产品来说，重要性不言而喻，但落地页如何设计和改版，不是仿照其他产品的样式那样简单，由于每一个产品所处的行业、营销活动目的、公司资源各不相同，所以也就没有一成不变的策略，我们需要分析活动表象下面的数据，通过数据来思考我们下次行动的方向。

最近我们产品官网做了一次大改版，线索转化率较之前提升2%，Demo 内任意事件操作转化率提升1.3%（登录 Demo 使用产品是我们产品核心功能之一，只有新用户注册后登录 Demo 体验了产品，才能让用户真正体验到我们产品的价值，即新用户过来后我们一定要让他们体验到产品的真正价值，这样后续才能持续转化）。

一、为什么要做改版？

线索增长率趋于平缓，稳中有降，业务增长进入瓶颈，观察用户行为数据发现了一些有趣的现象，也是我们现有版本的问题：

从新用户来源的关键词来看，用户更关心用户行为分析、数据分析平台、网站数据分析等
从用户点击图来看，用户更想进入 Demo 页一探究竟，间接说明从落地页未获得自己想要的信息
从用户行为来看，用户在注册申请账号体验 Demo 时遇到了阻碍，有大量用户流失
从用户路径来看，用户注册成功后有一部分用户找不到登录入口，也就不能体验产品核心价值功能

二、改版的目标是什么？

新用户来到落地页后，能够很方便的获取足够的信息，有申请账号试用的冲动
每个 Demo 的文案描述，直切用户需求痛点
梳理注册账号体系，优化泄漏点，提升注册转化率
注册成功后新手引导流程，可快速找到 Demo 登录入口，减少反复和流失

三、A/B测试落地过程

设计用户分流规则

将用户访问的匿名 ID 按照100取余，余数在0-49之间的用户访问 A 版本，余数在50-99之间的用户访问Ｂ版本，这样能确保分流过程足够随机。B 版本为新版本，A版本为旧版本。

数据追踪埋点

无追踪就不能复盘分析，所以需要对产品埋好点，为所有埋点数据增加一个属性参数比如app_version，用于追踪不同版本的表现。

梳理账号体系

将核心关键步骤每一步骤都埋好点，便于分析转化和流失点。

四、效果评估

最终确定的A、B两个版本对比图（限于篇幅只截了头图）

不同版本的宏观表现：跳出率、平均停留时长、平均访问深度

显然B版本的跳出率要低于 A 版本的跳出率，说明用户对 B 版本的第一印象不错。但是 B 版本的平均停留时长和平均访问深度略低于 A 版本，那 B 版本到底表现是好还是不好？关于这个问题，对不同产品而言，有的产品并不是平均停留时长和平均访问深度越高就越好的，如果他在较短的时间内和浏览了较少的页面就去注册了，恰恰说明他在短时间内快速获得了自己所需要的信息，并急于申请试用。

不同版本的目标实现：线索转化率和 Demo 登录转化率

关于线索转化率的衡量可谓是一波三折，有惊有喜。

第一波，线索转化率和 Demo 登录转化率 B 版本均高于 A 版本。

从浏览首页到点击申请试用按钮的转化率提升了2%，成功申请后到登录 Demo 体验 Demo 的转化率提升了1.3%，皆大欢喜！

一个星期后，戏剧性的事情翻转了…

第二波，Demo 登录转化率 B 版本低于 A 版本11%

任何事情还真不能高兴的太早，一个星期后，老板问，B 版本的表现居然低于A版本11个百分点，你们看看这到底怎么回事？所有参与新官网设计的人都很焦虑，难道辛辛苦苦设计的新版本比老版本差这么多？

开始追本溯源，注册转化率 B 版本高于 A 版本，但是 Demo 登录转化率反降低了，所以问题出在从浏览体验 Demo 页到 demo 登录页这个部分。

于是又测试了一遍从注册到登录 Demo 的流程：

发现从新官网完成注册之后，跳转到 Demo 体验页面居然是旧官网的体验 Demo 页面，会给用户带来错觉，这还是我最开始访问的那个网站吗？最后紧急替换成新的体验 Demo 页面。

第三波，从浏览 Demo 页到 Demo 登录转化率提升后，1个多星期后再次下降了

这次数据的下降，其实老板并没有发现，所以要赶在老板发现前，先把问题找出来，汗颜…

各种假设找原因中，会不会是在 Demo 页，新版本点击登录的比例小于旧版本？于是把成功提交申请后到 Demo 登录的过程再次细化，在浏览 Demo 页到 Demo 登录之间增加一步“点击登录按钮”，看看问题是不是出在这里？

很失望，新版本从浏览Demo页到点击登录的比例大于旧版本，所以问题应该不是出在 Demo 页上，继续假设排查中…

这些浏览 Demo 页后没有成功登录 Demo 的这些流失的人都干什么去了？此时我们可以借助用户分群，给这些流失的人打个标签，看看这批流失的人整体的访问路径是什么？

从中可以看出，新用户从 Demo 页跳转到登录页后，有一定的用户分流，有相当大比例的用户重新来到了首页，重新进行申请试用，也就是说存在同一个用户申请多次的现象，所以又查看了人均申请次数这个指标，确实存在人均申请多次的情况，申请间隔还恰好是1分钟。

很奇怪，他们不是成功申请了吗，为什么还要再申请？

从用户登录 Demo 的界面来看，猜想，很有可能在以下两个地方出问题：

这一段时间有可能短信系统出问题，导致发送账号存在一定的延迟，用户收不到账号密码，以为出问题了，就重新点击了“还没账号，申请试用”，所以也就不奇怪为什么会有人重新来到首页，重新申请了。
密码输入错误，但是又不支持找回密码，只能重新申请。从数据中我们也验证了该假设，确实存在同一个用户密码输入错误多次的现象。