设计效果检验之道：如何去除其他噪点，让设计因素成为唯一的验证点

2017-04-14 11:10:00

设计效果检验，即针对设计师的设计方案进行数据验证，通过客观的数据来量化一部分设计方案中较为主观或存在争议的地方，以此判断设计方案的优劣，从而得出检验结论。

众所周知，每个人对设计的评判是主观的，设计效果也不容易被直接量化。所以针对设计效果的数据检验变得很有必要，它可以辅助设计决策，沉淀出优秀的设计案例，并且进一步衍化出更好的方案，同时好的设计方法论得以传承。从长远角度来看，设计价值得以彰显，设计师的说服力得到提升。

同时我们是在一家商业公司，好的设计除了为用户带来良好体验，还要体现商业价值。而商业价值可较为直观的从数据中体现，这也是设计效果检验的目的之一。

那么，如何做好设计效果检验？换个说法，如何去除其他噪点，让设计因素成为唯一的验证点，从而得到严谨可靠的检验结论？且听我一一道来。

一、检验结论的可靠性

我们先从一个例子说起：

临近农历春节，设计师为所在业务设计了一套春节氛围，并在除夕前几天发布上线。节后观察数据，发现春节期间页面顶部续费按钮点击率波动上升，相较春节前提升幅度很大：

因此，我们得出如下结论：

由于春节氛围的设计充分渲染喜庆的感觉，用户被情感化的设计所打动，并转化为实际的付费行为。该设计为业务带来了 XX 倍的数据提升，创造了 XX 的收入。后续氛围设计都可以参考该风格。

看完上述结论后，你有何想法？你觉得它是否科学可靠？为什么？

OK，相信你们内心已经有了答案。上述结论的论证过程不够严谨，因此结论也不够让人信服，这里列出几点原因：

从发布时间看：氛围恰好在春节假期上线，流量激增
从运营策略看：春节是运营活动推广的高峰期，用户的消费欲被大大刺激
从用户角度看：春节用户的消费能力更强（年轻人有红包、工薪族有奖金）
从对比方式看：数据比较应该和上一年春节比（同比），而非和节前一段时间比（环比）

所以，想要得出一个科学可靠的检验结论，其论证过程就必须严谨可靠，那有哪些影响因素需要注意呢？

二、检验结论影响因素

通过日常工作中实践与总结，我罗列了可能会对数据可靠性造成影响的因素：

时间因素（周末、月初月尾、节假日）
运营策略（红点、新增入口）
用户属性（身份态、性别）
内容因素（内容、排序）
其他因素（网页访问速度）

1、时间因素

一般来说，周末的流量相较于工作日会更高，用户有更多的时间体验产品，所以流量会提升，因此不应该拿周末的数据和工作日的数据做对比；节假日同理，而且节假日往往伴随着消费能力的变化，正如上面提及的春节，用户的消费能力更强；而月初月尾为什么是一个纳入考虑的时间因素，是因为 QQ 主要的用户是年轻的群体，不管是中小学生或大学生，月初一般是父母给生活费、零花钱的时候，数据也表明月初的营收数据相较于月尾要更好。