如何设计问卷,才能收集到高质量的数据?
问卷的质量会直接影响到收集到的数据的质量。在面对问卷设计的时候,我们往往过于轻敌,自以为已经做得很好,其实一些基本原则和注意事项很容易被忽视。
问卷调查的好处在于,我们能够通过来自大样本的结构化数据,对事实作出精准的描述和推断,这是定性研究所难以做到的。
但是,一个问卷调查, 如果对错误的用户提了错误的问题,收到的数据将无法反应实际情况 。更可怕的是,如果我们对此一无所知,轻信问卷数据的质量,就会得出具有误导性的结论。
问卷调查还有另一个风险,就是我们往往依赖问卷填写者的自我报告,他们填写的答案往往会受到自身的一些认知局限的影响,未必能反映客观事实,这也是我们在设计问卷的过程中需要尽量避免的。
问卷测得的数据与实际情况之间存在的偏差,主要受到以下因素的影响:
- 人
- 人的回忆是不准确的:相比于自己做过某事,人们很容易忘记自己没有做过某事;人们很难记起往事发生的确切时间;人们很难记起大多数经历的细节。
- 人在回答问题的时候可能会受到 社会期许效应 的影响。人们了解社会对人的行为有一定的期待,也担心自己的某些真实情况不被他人认可。因此他们倾向于根据社会的期许来调整自己的答案。
- 人们总是倾向于给出答案,即使自己并不清楚。
- 人们报告的往往是他们对事情的理解,未必与客观事实一致。
- 问卷
- 问题的措辞、选项的措辞、选项的顺序和前后文语境都会影响用户对问题的理解,从而也就影响了用户的回答。
那么,对于问卷设计来说, 好问题的标准是什么 ?
好问题首先要有明确的测量目标,也就是问题实际上要测量的事件是什么;其次,对于这个测量目标,好问题能够有较高的信效度,也就是能够达到稳定而准确。
信效度图解
要尽量减少测量的偏差,有几个基本条件:
- 要让用户,并且是所有的用户都能够以与你相同的方式理解问题。需要检视问题中的每一个概念,确保没有歧义。比如,“运动”是否包含“散步”?“月收入”是指税前还是税后、是否包含投资理财等其他收益?
- 确保用户能够回答你的问题。用户可能因为不知道相关信息(“你上周通过运动消耗了多少卡路里?”)、无法准确回忆起相关信息(“你上个月有几天没吃早餐?”)等原因而无法回答。
- 确保用户愿意回答你的问题。如果用户不愿意回答,他们可能随便选择一个答案来应付。如果涉及到比较敏感的问题,让用户知道为什么你要问这个问题,并且让他相信你会对此保密。
- 确保每个用户都能找到适合自己实际情况的选项,并且避免诱导他们做出不符合实际情况的选择。
研究设计
在开始动手编制问卷之前,我们需要先搞清楚一些更核心的问题。
目标调查对象是谁? 我们需要对目标群体有一定的了解,包括他们掌握的相关信息、习惯使用的术语等,才能够提出合适的问题。
研究目的是什么? 我们做的研究可能有需求方,了解清楚他们的期望。尝试用一句话描述本次调研的目的,这考验的是我们对研究关注的核心问题以及研究的根本价值的了解。
目的→假设→变量→问题。 从根本目的出发,我们可以衍生出一些具体假设。如果条件允许,可以先对目标群体做个访谈,帮助我们拓展思路和形成假设。每一个具体的假设都揭示了我们应该测量哪些变量,而每个变量可能需要用多个问题去测量。 “目的→假设→变量→问题”这个架构树帮助我们紧贴研究目标去思考应该提出哪些问题。
目的-假设-变量-问题
也可以通过让团队成员头脑风暴的方式来收集团队想要了解的问题(不需要写出规范的问卷题目)。但是需要注意的是, 每一个问题都需要有存在的理由 ,即它对研究目标的贡献是什么。最终留下的问题数量尽量不要太多。30个题目的问卷大概就需要用户花费20分钟去填写,如果超过20分钟,问卷的回应率和答题质量都会有所下降。
问题设计
我们已经列出了为了达到研究目的,我们需要知道的问题的清单。下一步是好好设计这些问题的措辞,以避免不必要的测量误差,提高测量的准确度。下面是一些通用法则:
让用户预测自己的行为往往不准确,直接问他们过去的行为可能更好。 用户在预测自己行为方面往往做得不太好,如果你问他们是否会使用某个产品或者服务,他们很可能会说“会”,但是这并不可信。直接问行为,用用户过去的行为去预测他未来的行为更加可靠。
避免问否定性的问题,填写者可能会少看了“不”字。 比如,当你的问题是“下列哪些因素对你来说最不重要?”时,用户可能因为粗心而看成“下列哪些因素对你来说最重要?”
推测原因、提供解决方案对用户来说都较难回答,尽量不让用户回答这些问题。 “你是否曾经因为找不到某个功能而放弃使用A网站?”用户也许记得放弃使用A网站的经历,但他们未必能够意识到放弃使用的原因。
不要一次问多件事。 “在购买纸质图书或电子图书时,你最看重哪些因素?”这样的问题会让用户产生困惑,究竟要回答前者还是后者,尤其是两者对应的答案不一致时。对研究员来说,这种问题的答案也很难分析,无法清晰地界定用户的选择代表的具体意义。
当用户选择“是”时,能够说明什么?
避免在问题中隐含假设。 “你最喜欢A网站的什么?”这个问题假设了用户对网站的某些部分存在好感,但是这个假设未必成立。
不要问极端的问题。 “你每次上网都浏览新闻吗?”由于极端问题出现的概率较低,对于这种问题大多数的用户会回答“否”。这样获得的数据没有太大价值。直接询问频率可以获得更加具体的信息。
明确你感兴趣的时间期限。 “你购买化妆品的频率是?”用户可能会根据最近一个月、最近半年或者最近一年的情况来作答,真正糟糕的是不同的用户可能会选择不同的时间期限。因此说明你希望用户根据哪段时间的情况做判断会更好。
选项设计
选项要对称。 选项的正向和反向形容需要有相同的粒度和强度。如下图的选项不正确地给了负向情绪以更高的强度。
选项不对称
保证所有用户都有合适的选项。 最好穷尽所有可能,如果无法做到,也可以提供一个“其他”选项给那些没有被覆盖到的用户。即使是李克特量表,有时也需要加入一个“不适用”选项,避免强迫用户选择。
应该提供一个“其他”选项
选项要很具体。 不要有含糊不清的表述,能够用数字表达的尽量不用“很少”“经常”这类表述。
选项要互斥。 如果是单选题,一个用户不能够既符合A选项,又符合B选项。如下图,“情有可原”表示“不该,但是可以理解”,那么持这种观点的用户应该选择“不该”还是“情有可原”?
选项不互斥
选项的顺序要一致。 比如1永远是最不同意,5永远是最同意(或者相反)。如果一份问卷中选项的方向发生改变,用户可能没有注意到或者习惯性按照原来的方向进行选择。
如果答案没有逻辑顺序,尽量做到随机排列。 顺序可能会影响用户的选择,我们通过随机的方式来降低这种影响。
选项的含义要清晰。 “我经常做有氧运动。——同意、不同意”当用户选择不同意的时候,表示的是自己做有氧运动的频率低于“经常”,还是高于“经常”?
顺便说说访谈
访谈和问卷调查类似,都是向用户提问题。它们之间最大的不同是,问卷调查得到的答案是封闭式的、结构化的,而访谈得到的回答是开放式的、难以预期的。
访谈和问卷遵循一些相同的提问原则,比如不要带有引导性,要尽量消除社会期许的影响,尽量询问事实而非让用户预测等。
但是 访谈是人跟人的对话,而不是人跟问题的对话 。所以访谈员未必跟着设计好的提纲走。如果被访者对问题存在疑问或者误解,访谈员有机会去发现并进行解释;访谈员还可以针对被访者的回答进行追问,以便对问题有更深入的了解。
问卷调查对问卷设计的要求很高,数据质量很大部分依赖于此。但是访谈除了遵循一些和问卷设计一样的规则之外,更多地依赖于访谈员的访谈技巧和现场发挥。
作者 Cyan_Zheng
关键字:产品经理, 问卷
版权声明
本文来自互联网用户投稿,文章观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处。如若内容有涉嫌抄袭侵权/违法违规/事实不符,请点击 举报 进行投诉反馈!