深度总结可用性测试（下）：定量与定性

交互思维铺子 2023-07-26 21:43:27

定性与定量这两种互补类型的用户研究在迭代设计周期中都扮演着重要的角色。定性研究指导设计过程；定量研究为基准规划和投资回报率计算提供了基础。

要点：定性数据，由观察结果组成，确定容易或难以使用的设计特征定量数据，以一个或多个度量(如任务完成率或任务时间等等)的形式表示，反映产品是否真的好用
数据：我不要你觉得，我要我觉得

一、定性和定量的区别

1. 定性研究

定性数据提供了参与者体验系统可用性的直接评估并产生的结果，并推断出设计的哪些方面存在问题，哪些方面体验/设计得很好。然后在根据我们自己的交互/设计的知识来判断是否改变优化产品设计目标。

2. 定量研究

定量数据提供了对设计可用性的间接评估。它们可以基于参与者在特定任务上的表现(例如，任务完成时间，成功率，错误数量)，或者可以反映参与者对可用性的感知(例如，满意度评级)。

定量研究度量的标准只是简单的数字。因此，在没有参考点的情况下，它们很难解释。

例如，如果在一项研究中，60%的参与者能够完成一项任务，这是好事还是坏事？这很难说是绝对的。这就是为什么许多定量研究的目标通常不是描述一个网站的可用性，而是与一个已知的标准、竞品体验或以前的设计版本进行比较。

虽然定量数据结果可以告诉我们，我们的设计可能是不可用的，但相对于参考点，它们不能指出参与者遇到了什么问题；也没有告诉我们在设计中需要做哪些得到改变，才能在下次得到更好的结果；也没有说明为什么参与者在完成这项任务时遇到了什么困难。为了理解界面的具体可用性问题，研究人员通常需要使用定性的方法来补充定量的数据。

二、定性和定量的差异

定性和定量数据需要稍微不同的研究设置和非常不同的分析方法。他们很少同时收集一组相同的数据，因此这是定性和定量用户研究之间的差异。在迭代设计周期中，定性和定量测试也都是必不可少的。

因为只有定量研究才能让我们看到设计后给出一个数值，并清楚地说明我们的新版本比旧版本改进了多少——也就是ROI。（反正领导述职必备，你想述职的更专业，那你就学起来吧！）

（题外话：尽管正儿八经的定性定量研究在我们的实际工作场景中会很少用到，但是我还是很想去普及这件事情。在大厂这些很常见，有着专门的用研团队，想去大厂必学用研，想去专业的团队也必学。）

鸡汤：

老板和领导都是喜欢有能力的下属，这没错吧。你如何证明你有能力？图画的比别人好？那这个是仅限对你自己，对老板产生了什么价值？你想加薪老板不给，你想晋升，领导不同意。你怎么办？跳槽？还不是死循环。

什么叫有能力，就是到你表现的机会了，你就要抓住。悄咪咪的打工，然后惊艳所有人。功成名就。这就是你有能力、有价值的点。

最近又看了一遍《奇葩说》中的某一集，讲的是该不该996。这里我就不说了，期待与你们的battle。

下表总结了两类研究的差异。你也可以自己进行总结，但是核心点不是变的。

要点：

迭代设计周期：定性与定量对现有设计的评估，决定重新设计当前系统可用性。一旦新版本完成，就可以对其进行评估并与初始版本进行比较。

三、定性和定量的使用流程

第一阶段和第三阶段涉及总结性研究

它们提供一个设计的总体评估。在这些步骤中，可以使用定性、定量的研究方法(或组合)来评估设计。如果目标是明确地计算出重新设计改进了多少，就必须使用定量研究。这种定量地评估设计的每个版本并将其与以前的版本进行比较的过程称为基准测试。

第二阶段和第四阶段涉及形成性研究

(通过定性方法完成)

在重新设计阶段，用户研究扮演着一个形成性的角色，它意味着为设计提供信息，并引导它做出正确的设计。在这个阶段，设计师/研究人员获取的用户数据，以便能够在不同的设计方案中进行选择，并创建一个可用的UI。在这个阶段，定性研究通常是最合适的。我们都知道7-8参与用户定性研究可能会发现85%可用性的问题。

四、什么时候使用定性和定量？

定性研究非常适合识别设计的主要问题。例如，我们如何提高用户在填写表单时的效率，根据研究发现，我们将表单字段名称精简，减少选择，整理操作路径，后就可以提高填写效率了。

相反，我们同样针对填写表单时，用到了定量。那这个时候无疑是在增加工作成本。虽然是测试到了效率问题总结出了可用性不好等等因素，可是这些花费高成本的代价就有点得不偿失了。

要点：

定性可以在任何时候进行可用性测试而定量研究需要针对完成的项目进行。原因就是，定量研究需要大量的参与者支持，成本过于高昂。

五、结果：定性和定量

定性数据通常由一组内容发现并组成，这些发现确定(并根据严重程度划分优先级)设计的优缺点。但是，这些发现是估计的，因为它们是基于用研人员设定的问题和解释用户行为含义的知识和经验水平。不同的从业者通常会在同一个用户测试会话中识别不同的问题(这种称为评估者效应的现象)。当然啦，招募的参与者也有关系。

定量研究通常涉及相对大量的用户(通常超过30人)，并使用统计技术（如：置信区间）来保护自己不受这些随机事件的影响。

要点：

在你出去面试吹牛逼的时候，跟面试官说我做过定量。面试官对你感兴趣了，体量多少呀，30人，什么数据，效率和时间等总结出我们需要改进点，你如何区分这些点的准确性，置信区间90%，那剩下的10%，问题出现在在哪？出现在，我们与每个人交流时出现的沟通意外或者每个人的理解程度不一样。

当报告正确时，定量研究将包括关于结果统计意义的信息。例如，误差范围可以帮助你了解你有多相信研究结果。

直白了说，不管你换了多少批人都无法改变这个可信任的数值。就是这么神奇！

因此，当定量研究被正确地进行和分析时，你就可以确信他们的结果是可靠的。而不是运气。

六、方法：定性和定量

从表面上看，定量和定性的用户测试看起来非常相似(例如，它们都涉及用户在设计中执行任务)。两种类型的研究都需要遵循良好实验设计的基本规则。

由于定量的人数会比定性的人数要多好几倍，所以在话术设置和参与者背景的差异会增加测试难度，导致更大的误差范围，因此定量研究的目标是尽可能地减少差异。

1. 定量的条件需要严格的控制

确保所有的参与者都在尽可能相同的环境中运行。
从练习小任务开始（上一篇文章也具体说了要如何控制）
Think aloud 在定量研究中不推荐。
个人信息（上一篇文章也具体说了要如何控制）

2. 定性的条件可以根据情况变动

可以在不同的阶段改变研究目标
发现任务无法活动想要的数据，请及时更改。以确保下一个访谈能按需进行（随机应变）
考验的是洞察力而不是数据分析

七、结论

定性和定量用户测试是服务于不同目标的互补方法。

定性测试涉及到少量的用户（7-8），并直接识别界面中的主要可用性问题。它经常被用于形式化的设计过程，并引导它向正确的方向发展。
定量可用性测试(或基准测试)是基于大量的参与者(通常超过30人)；当分析和解释正确时，定量测试的结果对随机噪点有更高的保护（统计结果）。定量研究通过任务完成率、任务时间或满意度评分等。指标对可用性提供了一种间接的总结性评估，通常用于在设计迭代过程中跟踪系统的可用性。