带来转化率 75% 提升的一次官网 A/B 测试复盘
“你们的注册太复杂，你知道你挡住了多少有需求的人吗？”
我们的产品很牛逼，我们的团队很牛逼，为什么在注册转化上还是不够好。症结在哪里，怎么解决？
如果注册这个很关键的环节没做好，流失的极有可能是一位有价值的潜在客户。
问题可能出在转化漏斗的任一环节，也可能是所有环节。所幸，我们找到了我们的症结，而解决的方法就是A/B测试。
事实上，网站优化的全环节是都能进行A/B测试的，这里以我们自己在注册流程的优化为例，讲讲A/B测试带给我们的改变。
试验背景
从用户反馈，以及对更多用户线索的需求，我们发现在现有基础上增加用户申请注册数量，获得更多有效商务线索，既必要，也必须。
在A/B测试之前，官网的申请流程是信息准入制的，用户需要先填写5项信息，提交审核发码，这个流程。审核是需要人工介入的，而且必不可少，那么能不能通过降低用户申请成本，来带来更高转化和销售线索呢？测试了才知道。
试验方案
版本设置：加上原始版本，一共4个版本，分别是“5项全能”（需要申请者填写姓名、产品/公司名称、手机、邮箱、月活量级）、“邮箱版本”、“电话版本”和“邮箱+电话版本”。这几个版本都需要运营同学审核后，才会发码。
优化指标：设定提交申请按钮的点击次数、成功提交申请的次数为主要优化指标，同时将各版本最终带来的有效线索转化情况作为参考数据。
试验过程分析
第一阶段试验
这一阶段一共在线3个版本（包括原始版本、邮箱版本、电话版本），每个版本分配给试验流量的33%。运行1周后，发现邮件版本的回复率相对较低。考虑到申请信息的跟进可能性，产品运营部门决定将邮件版本的流量调低至20%，为了更好地对比版本数据，所以把试验中的其他版本的试验流量也统一调降至20%。
试验运行3周后，各个版本的差异逐渐显著。从试验均值和转化人数的比较中，能够观察出每个版本的不同特征，并可以针对性的做出优化改进。
两个试验版本点击提交的用户数远高于原始版本，看来在降低申请成本后，用户提交申请的意愿是有明显提升的。
但邮件和电话版本的数据，也说明了各自的特征和问题：电话版本的提交用户数最多，但经运营核实后，无效申请数量也排在前列，同时在与有效申请用户沟通的过程中，邮箱核实的过程比较困难。
邮箱版本筛除了大量个人用户，一旦用户回复则表明试用意愿很强，而问题在于通过邮件交流等待用户回复的周期较长（甚至有时收不到回复）。
考虑到本次试验的目的，是在增加用户提交申请数量的前提下，找到更多有效的、可跟进的商务线索，因此产品和运营部门在讨论之后，决定对试验做出如下修改：为保证数据对比更清晰，决定结束现有试验进程，通过克隆功能创建新的试验，同时去掉电话版本，替换成试验版本三，即电话+工作邮箱版本（用户须填写有效手机号和工作邮箱），原始版本、邮件版本保持不变。
第二阶段试验
这一阶段运行了12天。我们发现，邮件版本的提交按钮点击率明显占优，提交率比原始版本高出90%，但经运营审核后的有效转化率却最低。说明尽管准入信息缩减到一个后，用户的提交意愿明显上升，但由于增加了对公共邮箱的筛查，所以屏蔽了大量以个人名义的尝试了解的非目标用户，因此真正能够转化成有效线索的数量相对其他版本来说没有明显差异。
此外，考虑到邮件版本的跟进可控性较差，因此，产品和运营部门做了本次试验的第二个调整：将邮件版本停止（试验流量调为0%），原始版本和电话+邮件版本流量各分配50%的试验流量。我们希望通过放大试验流量，收取更多用户数据，以便做出最终的优化决策。
第三阶段试验
随着版本流量调整并即时生效，试验各版本的单日流量明显增多，在10天之后，产品运营部门终于得到了本次试验的最终结果。
根据我们A/B测试平台的数据统计，产品运营部门将相关测试数据和最终有效转化数据汇总统计如下：
“邮箱+电话”版本的漏斗有效率提升了143%，有效销售线索的比例也提高了75%。
试验分析解读
1）本次试验只改变用户进入申请浮窗后的信息内容，因此申请流程的最底端转化（官网的“免费试用”点击）与试验结果无关；
2）在剔除内部测试数据后，电话+邮箱版本的提交转化率略高于原始版本；
3）由于对工作邮箱的筛选条件，成功提交率方面原始版本表现较好，但最终经过运营联系后的有效线索转化，依旧是电话+邮箱版本胜出；
4）进一步筛选原始版本中提交工作邮箱的数据，发现整体表现介于原始版本和电话+邮箱版本之间；
5）另外，从运营的人工成本来看，电话+邮箱版本效率的更高。
综上所述，电话+邮箱版本的综合表现最佳，我们在 AppAdhoc 后台将试验版本全流量发布。试验版本发布后，官网申请入口统一变成电话+工作邮箱的准入内容，产品和运营部门可通过工作邮箱用于过滤无效用户，通过预留电话进行人工审核，更加便捷的获取有效商务线索。
试验经验总结
试验流量会影响试验周期，若分配流量过小（一般来说建议每个版本单日至少分配1000 UV），会导致试验周期整体拉长，同时数据结果很难得到统计学显著性；
相关部门要实时关注试验数据，及时调整各版本流量，保证试验进度处于积极态势；
合理应用 AppAdhoc A/B Testing 的各项功能，在试验运行正常的基础上，保证不同版本增减后的环境一致性；
此外，在解读试验数据时，应结合产品自身数据统计工具，综合考量试验中各版本的优化效果。
无实验，不增长
If you’re not running experiments, you’re probably not growing .（无实验，不增长！）增长黑客之父——Sean Ellis
增长黑客之父 Sean Ellis 在之前的一次线下分享中也说了：在保证产品价值的同时，需要为产品设定测试目标，并且需要尽可能多，影响力高的测试。测试非常重要，测试能够驱动增长。因为如果我们不去测试的话就无法确定这个想法能否可行。所以我们要尽量的去多做测试，去确定什么是有用的，什么是没有用的。
官网是获取销售线索的重要渠道，对企业服务和 SaaS 行业来说尤其如此。不管互联网是否进入下半场，通过A/B测试这种科学方法的精细运营来挖掘现有流量的价值都是没错的。
本文作者：吴嘉玮@ 吆喝科技
（微信：appadhoc）
关键字：产品经理, 转化率, AB测试
版权声明
本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处。如若内容有涉嫌抄袭侵权/违法违规/事实不符，请点击 举报 进行投诉反馈！
