Netfli 的 AB 测试之道
几周前,我在旧金山的Yelp总部参加了一场设计师与极客们的活动,Anna Blaylock和Navin Iyengar两位都是Netflix的产品设计师,他们分享了自己多年在千万级用户群中做A/B测试的经验。他们也展示了相关的产品案例,帮助与会者思考自己的设计。
下面是我关于他们演讲做的记录,其中包含我最喜欢的一些精华。
演讲的照片
实验
我非常喜欢PPT的第一页——_绝命毒师_里的这张图用得很聪明,能表现实验的概念。
科学的方法
假设
在科学中,假设是指一个想法或一套解释,需要通过研究和实验来验证。在设计里,一套理论或猜想同样可以被称为假设。
假设的基本概念,是没有确定结果的。它经得起检验,这些测试也可以被重现。
_“A/B测试背后的总体概念,是创造一套实验,有对照组和一个或更多实验组(在Netflix中这被称作‘单元’),对他们进行区别对待。在实验中,每个用户都属于唯一的单元,其中一个单元会被设计成‘默认单元’。这个单元代表着对照组,使用体验与所有没有加入实验的Netflix用户相同。”
Netflix的A/B测试是这样进行的:随着测试启动,它们会记录特定的重要指标。例如播放时间和留存率之类的因素。一旦测试者得出足够有意义的结论,他们就会进一步观察每组实验的效果,定义出各个版本中的优胜者。
“A/B测试是研究用户行为最可靠的方式。”
实验
许多像Netflix这样的公司通过实验保障用户数据。同样重要的是,投入时间和精力合理安排实验,确保数据的种类和数量足以有效地阐明他们感兴趣的问题。
你可能会注意到,Netflix首页的焦点区域似乎随着登录状态改变。它们都是Netflix复杂实验的一部分,让你观看他们的节目。
我首次登录看到的首页。
PPT中的图片:用户注销后会看到纸牌屋的页面。
我第二次登录时看到的页面。
我换了另一个账号登录看到的页面。
我换了一个“儿童”账号登录看到的页面。
我未登录时看到的页面。
A/B测试的概念,是向不同用户群呈现不同内容,收集他们的反应,通过结果来建立未来的策略。Netflix工程师Gopal Krishnan写的这篇文章里提到:“如果不在90秒内吸引一个用户的注意力,这个用户就很可能失去兴趣,去做其他的事情。这些失败的情况,往往是因为我们没有呈现正确的内容,或者我们呈现了正确的内容但没有提供足够的观赏理由。”
Netflix早在2013年做过一个实验,用来研究是否可以通过创造一些不同版本的作品,来提高某个标题的收视率。结果如下:
Krishnan补充道:“这个信号很早提示我们,用户对于封面变化的敏感。这个信号也表明,还有更好的方式,可以通过Netflix的用户体验,帮助用户找到他们要的那一类故事。”
Netflix后来打造了一套系统,能自动根据纵横比、裁剪、润色和不同语言的同一张背景图为作品分组。他们在TV节目上也重复这个实验,用来追踪相关作品的表现。例子如下:
两张带有标记的图片明显胜过其他版本。_
最后一张带标记的图片明显胜过其他版本。_
我的收获
A/B测试是研究用户行为的最可靠的方式。作为设计师,我们应该通过实验的角度,思考自己的项目。
PPT中的图片:你的直觉未必正确。
- 何时以及为何进行A/B测试? 设计完工后,运用A/B测试调整设计细节,追求2项指标:留存率和收入。通过A/B测试,全产品全天候追踪用户,可以发你的改变是否提升了留存率或者增加了收入。如果没有,则采用默认方案。用这种方式,A/B测试可以持续用来提升业务指标。
- 用户的需求和行为,是你希望的那样吗? 我的经验是,通常,用户并不能像你期望的那样迅速完成一个任务。而且有时候,他们甚至找不到你放在页面上的某个特定的按钮。原因可能有很多种:设计不够直观;颜色不够鲜明;用户对技术陌生;他们不知道如何做决定,页面上太多选项;其他等等。
- 你的直觉正确吗? 遗憾的是,涉及到用户行为时,我们的直觉可能是错的——唯一的证明方法就是通过A/B测试。A/B测试是检验哪种用户体验设计更加有效的最佳方案。在工作中,我们的用户产品团队,就通过A/B测试在我们的房地产网站上得到了验证。比如,他们想了解是否可以通过设计改进,来提高用户点击Google广告的注册率。他们创造了几个不同的实验性设计,对它们进行测试。他们认为那些去掉了房产图片的设计会胜出,但最终发现去掉房产图片和价格信息的转化率最高。
“了解用户是设计过程中最令人兴奋的部分。”
探索边界。 最佳创意来自任何的创意探索。在工作中,我们的产品团队协作进行许多项目。由于牵扯到太多方面(从设计师到产品经理,再到开发者),我们必须一起探索边界。测试了我们的原型之后,有些最佳创意来自开发者或产品经理。
观察人们的行为,忽略他们的言辞。 与用户交谈时,牢记一点:_他们总是言行不一。_我这周发起了一些用户测试,有充分的理由告诉你为什么。我让一个用户试用联系人列表界面的原型,我问他会不会经常排序和过滤联系人。他说不会,因为他不需要。但是当他发现新的下拉筛选菜单,他感到很惊奇,原来同时排序和筛选多个选项如此方便——然后他马上问产品什么时候上线这个功能。
用数据来估计机会大小。 一切都在于为什么。数据可以支撑创意成型。
了解用户是设计过程中最令人兴奋的部分。设计没有成品,许多的改版和迭代可以改进设计,给用户带来尽可能好的体验。
关键字:设计, 测试, netflix, 产品经理
版权声明
本文来自互联网用户投稿,文章观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处。如若内容有涉嫌抄袭侵权/违法违规/事实不符,请点击 举报 进行投诉反馈!