用研实操 --- 大姨吗 &amp; 美柚的用户体验竞争性测试

2017-02-27 12:08:00

概要/前言

上一次测试微信小程序的时候被吐槽测试的APP她们都不知道或者不感兴趣，所以在某些人的强烈推荐下这一次选定了《美柚》和《大姨吗》两款产品进行一个可用性方面的竞争性测试。

这一次的测试遵从之前一篇文章中所推荐的逻辑，包括3部分：用户对产品的整体态度，可用性任务指标以及交互设计方面的发现。由于样本量有限，关于用户态度的调查将通过网络问卷进行收集，后二者的数据则通过邀请朋友进行可用性测试来获得。

问卷结果概要：

1. 经期管理APP在抽样人群中的渗透率为48%，美柚(20%)在市场份额上略高于大姨吗(17%)；

2. 美柚在SUS量表的总分及易学性维度上高于大姨吗，但在可用性维度上低于大姨吗；

3. 美柚与大姨吗的净推荐值(NPS)分数均为负值，但大姨吗(-21.21)的净推荐值高于美柚(-32.5)；

可用性测试结果概要：

1. 美柚在任务完成时间和难易度两个指标上均明显优于大姨吗，但二者在总体满意度的评估上并无明显差异；

2. 大姨吗提供的内容受到更多的认可，但美柚在交互流程和名词命名上更受用户喜欢。

问卷部分

所有答卷在2月9~10日两天内收集完毕。删除男性答卷64份，另通过问题‘本题请选择选项《2》’剔除不认真的答卷19份，本次测试共获得有效问卷199份。

用户属性

如下图所示，本次填写问卷的主要人群为18~25岁之间的单身女性。基本可以判断：相较于备孕/孕期休养等需求，这个用户群体的主要需求还是集中在经期管理APP的工具属性上。

经期管理APP的使用状况

只有42%左右的用户使用手机APP进行经期管理。美柚在本次抽样人群中的市场占有率略微高于大姨吗。仅有少数用户(3%)的用户使用姨妈日记等其它APP管理经期。只有个别用户同时使用多个手机APP进行经期管理，主要是因为各自具有独特的功能而难以割舍。

用户不使用手机APP进行经期管理的主要原因是：经期较为规律而不特意进行管理以及天生的乐天派而不太关注管理经期。

在只考虑名称和Icon的情况下，不使用APP进行经期管理的用户明显更倾向于选择美柚作为假想的月经助手。这可能是‘大姨妈’作为用户私密的天然属性所导致：用户拒绝将‘大姨吗’展现在手机屏幕上。

用户的整体态度

本次测试中通过SUS（系统可用性量表）评估大姨吗和美柚手机APP的整体体验情况。SUS共10个项目。有文章表明尽管该量表主要用于测量产品的整体易用性，但其题目中包括了可用性和易学性两个维度。

可以看出：大姨吗和美柚两款手机APP的整体得分都在平均（68分）之上，美柚以71.63的分数略高于大姨吗的68.41分。根据Lewis和Sauro(2009)所提供的SUS分数的11级转化表：大姨吗的易用性等级为C(第八级)，而美柚则是C+(第七级)。

然而仅从单个维度进行分析来看：大姨吗在可用性维度的得分是高于美柚的，而在易学性的维度上则是美柚显著优于大姨吗。表明二者在易用性的体验上各有其做的较为出色的部分。

净推荐值

除了SUS量表外，问卷中还包括了净推荐值(NPS)的调查。NPS询问用户对于美柚和大姨吗的推荐意愿。在本次调查中，大姨吗以-21.21的净推荐值领先于美柚的-32.50。

可以看出，NPS与SUS的结果在一定程度上相互矛盾。可能的原因有两点：1) NPS分数主要与SUS中可用性维度的分数相关，则两个量表的结果不存在矛盾；2)从之前的文章中可知NPS分数受到样本量的影响较大，而本次调查中参与评估两个产品的用户数目更适于SUS而不适用于NPS。

小结：

从问卷调查的结果来看，美柚和大姨吗在用户体验设计上各有其优势所在。二者在市场份额上的微小差异则可能在一定程度上表现出了‘易学性’对于工具性产品的重要性。接下来，在提升产品易用性的同时提高在不使用APP进行经期管理的人群中的渗透率将是二者扩大市场占有率的重要手段。

可用性测试

这一次的可用性测试主要关注于美柚和大姨吗Onboarding过程的体验和设计。因此在测试中：大姨吗的用户使用美柚APP完成任务，美柚的用户使用大姨吗APP完成任务；非2者的用户，在应用市场中挑选一个完成任务，随后使用另一个APP完成任务。

本次测试中三个任务为：

1. 查询下一次月经的起始时间及持续周期；

2. 请搜索‘月经延迟3天’的原因---目的在于探索用户对APP中内容(姐妹说&她她圈)的触达情况；

3. 请确定本月中你不太可能怀孕的一个周末---同样是对于日历的使用，任务1与3的对比将在一定程度上揭示用户学习使用APP的效率。

测试数据收集于7名用户。大姨吗和美柚的用户分别为2名，有一名用户使用Clue进行经期管理，其中除了一名用户近期开始使用美柚外，其余用户使用其APP的时间均在一年以上。剩下2名用户从未使用任何手机APP管理经期。

完成时间

每个任务均从点击桌面图标开始，到用户开始言语报告而结束（对于任务2以用户开始使用搜索功能结束）。下图为用户使用美柚和大姨吗完成3个任务分别花费的时间。

可以看出：在3个任务上，使用大姨吗完成任务均比美柚更加费时。其中由于大姨吗强制注册(第三方登录后仍需要绑定手机)，导致用户在任务1上的耗时远远长于美柚；而在任务2中，大姨吗中姐妹说的内容在触达之前仍需要强制选择兴趣标签、推荐的用户等延长了任务时间。

任务难易度

用户在每个任务结束后对该任务的难度进行7点评分。以‘在手机桌面任意点击一个APP的图标’为非常容易作为标准。下图为用户对3个任务的难易度评分。

可以看出：与完成时间的结果相关，使用大姨吗完成3个任务均比美柚更加困难。

整体满意度

用户在完成3个任务后，对整个使用过程进行1~7的满意度评分。如图，用户对大姨吗和美柚的满意度评价分别为4.4和4.6。

与此前问卷调查的结果相类似，尽管美柚在满意度得分上略高于大姨吗，但二者的差异并不算明显。如果从任务完成时间和难易度的结果进行推断，这一结果无疑是反直觉的。

小结:

1. 美柚在任务完成时间和难易度两个指标上均明显优于大姨吗；但在总体满意度的评估上，二者并无显著差异；

2. 大姨吗必须注册(第三方登录后仍需绑定手机)，以及触达内容前的标签和推荐用户的选择在很大程度上延长了用户达成目的的时间；

3. 在任务1后，完成任务3所需的时间和主观难度均有较为明显的降低，表明新用户能够快速掌握两个APP的使用和操作。

交互过程

在进行可用性测试，用户需要在完成任务的过程中进行出声思考。为我们进一步了解用户在于产品交互过程中的想法和思考提供了帮助。

交互流程

大姨吗在交互流程上为用户设置了更多的阻碍：第三方登录后的手机绑定；首次使用姐妹说功能时需要选择感兴趣的标签、推荐的用户、小组3个内容；首次使用记录时，新手指导的浮层消失后界面停留在‘自定义选项’而不是返回记录页面。

命名&内容

在初次使用时，大姨吗询问“上次月经”，而如果用户在月经期间或刚结束时使用，则很容易将其理解为上个月的月经。另外在首页和记录页面中，大姨吗对日期的标记为“排卵期、黄体期、卵泡期”等词汇相对美柚使用的“安全期、易孕期”而言过于专业难懂。

大姨吗的首页内容则被认为是有用的，而美柚的首页内容则更容易被认为是广告或是无用的信息。考虑到测试中用户在执行任务2时的典型路径是优先浏览首页的内容，这可能也是用户在大姨吗上花费了更多时间的原因之一：认为美柚的首页内容无用而迅速结束了探索。

交互细节

在记录页面中，大姨吗有个“详细-简洁”模式切换无明显的反馈和意义；用户希望了解“经期、排卵期”等名词时，点击却不提供任何信息。

美柚的日历上点击“下个月”图标时容易误触“分析”；日历底部的名词切换成农历时间/其它内容的触发和转换机制不清晰。

小结:

无疑，在交互流程、细节等方面可以看出美柚的做法更加受到用户的欣赏。但大姨吗采取强制注册等方式，也在一定程度上增大了用户放弃APP的成本，进而避免了用户的流失。

PS. 总结我就不写了…反正就是棋逢对手，但大姨吗的市场份额输的不冤之类的… 简单讲一下本次测试的不足，除了时间拖得比较长外：1. 网络回收问卷虽然获得足够多的样本，但SUS问卷在用户使用APP后进行施测会有更好的信效度；2. 任务设计中虽然咨询了女性朋友，但也充足体现了直男思维(见附录)：任务1中没有提供周期的信息、涉及注册流程没有提供统一的密码、任务2的背景被认为是“完全正常的”。

最后，来自絮絮叨叨的作者：求！工！作！自己写也好翻译也好，我在简书写的文字已经赶上我毕业论文的字数了.... 如果你们觉得这些努力还算有价值，然后正好身边又有用研或者用户体验相关的校招、有转正机会的实习岗位请拜托私信我吧！！！！！！！！