如何衡量和验证UE设计的效果？
前段时间在项目复盘会上，产品经理向设计团队提出了这个问题。
我认为这是一个很好的问题，我目前负责的业务是一款教育问答产品，受众是以大学生青年群体为主，机构发布悬赏题目来吸引大学生回答，从而帮助完善机构题库，大学生从中获取悬赏报酬，而我们平台则从中赚取佣金。
于是我开始思考究竟怎样的衡量和验证方法，能够应用在我当前的业务场景内。
绝大多数设计岗位存在的意义是为了达到目标。那么该怎么判断目标通过我的设计达成了？达成的效果好不好？我的设计产生的影响又该怎样被量化，是否有足够客观的评价方式？
相信很多人会回答我，可以通过数据来进行量化。
的确如此，但新的问题也随之到来：
- 在开展设计前，我如何知道需要检测哪些数据来辅助验证设计效果？
- 在拿到数据后，我又该怎样通过数据来判断我设计的效果究竟是好还是坏？
带着问题，我查阅了一些资料，参考了Google产品团队定义的UX指标，发现数据指标可以通过用户体验质量和产品目标两步来确定。
用户体验质量简单来说即你想要观测设计的哪些方面的效果。
产品目标则是基于你想要观测的这些方面，按照「目标 → 标志 → 指标」的顺序确定数据指标。
假设以某C端产品为例，结合这种方法来制订数据指标，思路会更加清晰明了，总体过程会呈现出如下一个矩阵表格（左侧为用户体验质量维度，上方为业务角度的思路梳理）：
一、用户体验质量
我们可以从如下5个维度来枚举衡量指标：
1. 情感（Emotion）
用于衡量用户使用产品时的态度和感受，例如用户对本次功能的满意程度、用户对操作流程感知的易用性程度等。
1.1 NPS净推荐值
（推荐人数-批评人数）/总测试人数
举例说明：推荐人数指打9-10分的人；批评人数指打0-6分的人数。如果一个产品的推荐人数有70人，批评人数有30人，那么推荐值为（70-30）/100=40%。
数据用途：NPS净推荐值用以测算用户对当前产品或功能的推荐程度，也是产品传播的重要核心指标。
1.2 Feedback问题占比
通过反馈平台收集的相关活动、功能或界面的问题反馈数/总反馈数
举例说明：在某任务上线一周后收到的3000条反馈中，有800名用户反馈新的任务界面不会操作或不好用，那么说明占比26%的反馈人群对本次设计存在不满意点。
数据用途：Feedback问题占比用以直观评估用户操作过程中的感受，多数以主观感受反馈为主，需要结合进一步调研来确定问题发生在哪里，以便于进一步的优化。
2. 参与（Engagement）
用于衡量用户对新产品或新功能的参与度，例如每位用户每周对新功能的访问次数或每位用户每天在产品内花费的时长。
2.1 活跃用户数
一段时间内访问的已登录用户数，通常分为日活（DAU）和月活（MAU）。一个用户一天通过相同的渠道多次访问产品，DAU仍只算一个；在一月内多次访问产品，MAU仍只算一个。
举例说明：10月15日上线新功能或新活动，一共有300万个登录用户访问了产品（包含通过其他渠道链接进入），则10月15日当天的DAU为300万（去重）；截至11月15日共有1800万个登录用户访问了产品，则该30天的MAU为1800万（去重）。
数据用途：活跃用户数用于衡量产品对用户的粘性。方便产品和设计人员了解产品的每日用户情况，了解产品的用户变化趋势。
平均DAU=DAU/MAU
- DAU越高，说明有刚需的忠实用户越多。
- MAU越高，说明新增的非忠实用户越多。
- 平均DAU的值越接近1，说明用户粘性越高，留存效果越好。
平均DAU变高
- DAU增加显著。说明产品的近期改动或推广召回了部分老用户。
- MAU减少显著。说明非忠实用户开始流失，忠实用户依然保留在平台内。
平均DAU变低
- DAU减少显著。说明用户开始严重流失。
- MAU增加显著。说明产品的改动或推广使非忠实用户活跃度提升，但改动和影响不具备可持续性。
2.2 页面访问次数（PV）和人数（UV）
- PV=运营活动/页面/功能曝光在用户视野内的次数；
- UV= 运营活动/页面/功能曝光在视野内的用户数，一个终端只算一个UV。
举例说明：用户进入首页，算一次访问次数，用户刷新页面/退出重进时访问次数累加。用户进入首页，算一个展现UV，退出重新进来UV不累计。一个用户在00:00-24:00内多次进入知乎，则UV只算一个。
数据用途：页面访问次数（PV）用于判断该活动/页面/功能被用户查看的次数；页面访问人数（UV）用于判断有多少个用户查看过该活动/页面/功能。这两个指标能够用于衡量页面入口的设计是否足够引人注目。
2.3 点击次数和人数
点击次数=点击行为发生的次数（不去重）；点击人数=有点击行为的用户数（去重）。
举例说明：
10月15日有400万人访问任务聚合页，其中10万人点击任务聚合页侧边中的筛选按钮，则该按钮的点击人数为10万；10万人点击了12万次，则点击次数为12万。
数据用途：点击人数和点击次数用于了解用户的使用行为，用于辅助判断PV/UV点击率和人均点击次数3处数据。
2.4 PV点击率和UV点击率
PV点击率=点击次数/页面访问次数（PV）；
UV点击率=点击人数/页面访问人数（UV）。
举例说明：同上例子，100个用户访问了任务聚合页，其中只有10个用户点击了任务聚合页上的筛选按钮，但是每人平均点击了5次，那么UV点击率为10%，但PV点击率为50%，说明筛选内容并不是对所有用户都合适，但对那些多次点击的部分用户而言，会觉得筛选的内容很符合他们的需求。如果100个人都点击了，那么UV点击率为100%，说明筛选内容对所有用户都比较适合。
数据用途：PV点击率和UV点击率用于衡量页面或功能中的内容对用户的吸引程度。
2.5 人均点击次数
点击次数/点击人数。
举例说明：同上例子，10月16这天有10万人点击了筛选按钮，其中一共点击了12万次，那么人均点击次数为12/10=1.2次。
数据用途：通过人均点击次数可以判断交互/视觉的设计要求是否足够引人注目，也可以用于衡量该功能对用户而言是否为强需求。
2.6 平均停留时长
所有用户的停留时长总和/用户数。
举例说明：
所有用户在任务页的停留时长为100万小时，一共在任务页停留的用户有200万，则平均停留时长为0.5小时。
数据用途：平均停留时长用来衡量页面吸引度，对内容页来说，停留时间越长，用户粘性越强。当然也有反面场景，比如登录注册的表单填写， 停留时间越长，说明体验越差。
2.7 人均使用时长
用户平均每天停留在产品的时间。
举例说明：10月16日有100万个用户一共在产品内使用了50万个小时，则10月16日的人均使用时长为0.5个小时。
数据用途：用来衡量用户使用产品的深度，判断用户使用产品的粘性和依赖度。用户对产品的使用时长越高，说明对产品越依赖。
3. 接纳（Adoption）
用于衡量上线产品或功能的新用户增长程度。例如功能上线后最近7天创建的帐户数或使用该功能的新用户占比。这对于新产品功能或正在重新设计的产品特别有用。
3.1 新用户留存数
一段时间内再次访问的新用户数，通常分为次日留存、7天留存、30天留存指标。
举例说明：如下虚拟数据，1月，新增用户有80人。到2月时，1月新增的80人中的75人再度访问了产品，则第二个月的新用户留存数为75人，流失数为5人。
数据用途：用来衡量产品的用户粘性和产品的留存用户规模。留存用户数可以很好地展示留存用户数的人数规模。并了解新增用户对产品的使用粘性。
3.2 新用户留存率
某周期内新用户留存数/某周期内第一天访问的新增用户总数，一般周期为次日、7日或者30日。
举例说明：接3.1案例，1月新增用户80人，2月留存人数75人，1月新增用户在2月的留存率为75/80=93.75%。
数据用途：日留存率通常用来衡量产品粘性；周留存率通常用于判断产生的忠实用户数；月留存率通常用于衡量版本迭代的效果，例如产品改版后，月留存率提升了，且其他变量没有变化时，说明设计改版成功。通过留存率可以很宏观的判断产品的用户粘性是上升还是下降，这也是产品体验最直观的数据。
3.3 新用户流失率
某周期内新用户流失数/某周期内第一天访问的新增用户总数，一般周期为次日、7日或者30日。
举例说明：接3.1和3.2案例，1月新增用户80人1月新增用户在2月的留存率为75/80=93.75%，新用户流失率为（100-93.75）%=6.25%。
数据用途：用户流失率可用于追踪之前是什么情况导致流失数据情况，便于进一步优化产品问题。
4. 保留（Retention）
用于衡量上线产品或功能的老用户稳定程度，具体包含现有用户的留存率和流失率。例如在上线7天内产生的活跃用户在上线30天后是否仍然在活跃？
4.1 老用户留存数
一段时间内再次访问的老用户数，通常分为次日留存、7天留存、30天留存指标。
4.2 老用户留存率
某周期内老用户留存数/某周期内老用户总数，一般周期为次日、7日或者30日。
4.3 老用户流失率
某周期内老用户流失数/某周期内老用户总数，一般周期为次日、7日或者30日。
5. 完成（Task success）
用于衡量流程设计的合理性，通常适用于产品中非常注重任务的区域。例如任务的完成率和UV转化率。
5.1 完成率
完成的操作次数/开始操作的次数
举例说明：10月15日上线新任务，用户点击领取任务按钮10万次，最终完成提交按钮2万次，则完成率为 2/10= 20%。
数据用途：完成率可用于衡量操作流程的顺畅度。完成率是产品设计中重要的指标之一，完成率越高，说明产品的操作体验越好。
5.2 UV转化率
必要流程中的下一步环节操作人数/上一步环节操作人数。通常环节越多，UV转化率越低，流失率越高。
举例说明：
10月15日上线如下翻译任务，当日从任务入口点击进入该任务页的人数为1万人，点击Yes/No选项的人数为7000人，那么该环节的转化率为7000/10000=70%，流失率为30%；最终点击Submit按钮完成提交的人数为4000人，那么该环节的转化率为4000/7000=57%，流失率为43%。
数据用途：UV转化率可用于针对产品中某些关键路径的转化率的分析，以确定各环节的优劣，是否存在优化的空间等。对于业务流程相对规范、周期较长、环节较多的流程分析,能够直观地发现和说明问题所在。
5.3 页面跳出率
退出当前页并在30分钟内未再次打开的用户数/在当前页面的总人数
举例说明：用户通过任务聚合页进入某任务页，然后跳出并在30分钟内未再次打开的用户有1万人，假设进入该任务页的UV为5万人，则跳出率 1/5 =20%
数据用途：页面跳出率用于衡量页面的内容质量或交互质量。
二、产品目标
如下为从业务维度的思路梳理：
1. 目标 Goals
简单说就是，你希望设计上线后，在哪个方面达到什么样的结果。
比如任务聚合页的筛选功能，在完成指标的关键目标是：用户更快速地找到最相关的任务。
2. 标志 Signals
目标确定了，那什么信号标志着设计达到了或没达到目标呢？
比如任务聚合页在完成指标的成功标志是用户筛选后找到了自己想要的任务并进入了任务界面。失败标志是用户筛选后没有找到自己想要的任务，在筛选环节流失了。
3. 指标 Metrics
指标比标志更加落地。
例如，「用户筛选后找到了自己想要的任务并进入了任务界面」这一标志成败与否，是通过完成维度来进行衡量的，那么我们可以选取的衡量指标是「从筛选按钮到任务页的UV转化率」。
通过「目标 → 标志 → 指标」流程，结合用户体验质量指标，就能清楚地知道要验证设计的哪些方面，需要关注哪些数据来达到目的。
三、请堤防数据陷阱
1. 寻找正确的数据指标
有一位发明家打算重新设计他的个人网站，用来宣传他将要发布的新产品。
在设计网站时他做了个 AB两个方案。A 方案在网页上非常详细地介绍了将要发布的新产品，然后留了一个可填写联系方式的输入框；B 方案则没有任何关于新产品的介绍，仅放置了一个可填写联系方式的输入框，并只写了「如果你喜欢新发明，你应该对我的新产品感兴趣。请填写你的联系方式」一段提示。
最终A 方案只收到了 33 个联系方式，而没有任何介绍性内容的 B 方案却收到了 77 个联系方式。
那么，从这个实验结果可以推断出 B 方案更好吗？
事实上可能并不是。
这位发明家设计网站的初衷是为了宣传预售他的新产品，衡量完成指标的标志是「有多少人对新产品感兴趣且可能会购买它」而不是「收到更多联系方式」，而联系方式数量的数据无法成为「有多少人对新产品感兴趣且可能会购买它」的成功标志，因此「B 方案比 A 方案更好」的结论并不成立。
因此希望大家用以上表格来整理数据目标，就是为了避免从一开始搞错了目标，那么再精确的数据统计也只能得到误导性的结论。
2. 理解数据的业务价值
我发现了一个有趣的现象，当我们在谈论一家公司或一个产品是否够成功时，基本是基于单一的数字，比如某APP有2亿日活，它很棒；某平台月均UGC内容产量有3000万，它很厉害。
然后和那些盲目喊着要扩大用户数和规模的产品不一样，对我当前所处的教育问答产品而言，有人在真正花时间解答题目，才是一件意义重大的事情，因此相对单纯的生产数量数据，我们更应该关注答题者的产出质量。
假如日均答题产量很高，但用户在任务界面上平均停留时长很短，那么我认为并不觉得这是一件值得高兴的事，因为答题的质量可能会有很多问题。
我之前常常在想一个问题，为什么有些公司内部会如此热衷于推广OKR用以取代KPI，直到进入字节跳动后我才发现原本KPI 式的价值观常常给人带来误区：数字即规模，规模就是一切。
但我们可以看到，许多产品因用户数量的骤增曾备受瞩目，比如多闪，用烧钱的方式在前期积累了出大量注册用户，但最终大批量流失，走向没落。数字很重要，用户数也很重要，但相比这些，我们更应该通过思路梳理，来帮助我们想清楚对于我们的产品来说核心价值是什么、究竟什么样的数据才是最重要的。
3. 数据不是万能的
数据不是万能的。它就像问卷调查、用户访谈等任何用户体验研究方法一样有着其局限性。数据只能告诉你 What，却不能告诉你 Why。
Data can only make a good design great, but can never make a bad design good.
数据可以用于支撑或验证设计师的某项决定，但数据无法代替设计的直觉，更无法代替深入的用户研究、可用性测试和设计同理心。
感谢您的阅读~
#作者#
愚者秦，微信公众号：feather-wit。先后任职于爱奇艺、字节跳动的一枚体验设计师，同时是兼职写小说的斜杠青年，善于总结和抽象设计方法，热衷于探索不同用户场景下的产品策略。
本文
版权声明
本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处。如若内容有涉嫌抄袭侵权/违法违规/事实不符，请点击 举报 进行投诉反馈！
