优秀产品经理如何精准发现问题（下）：效果回归与阶段性调研

一、效果回归与阶段性调研概论

1. 效果回归与阶段性调研对产品生命周期的意义

• 判断和决定产品循环是否终止
• 确定产品接下来的计划

2. 对自我成长的意义

• 验证解决方案的可行性
• 修正和巩固自身的方法论

3. 概念：阶段性调研是针对产品现状进行的系统性分析

此时的分析结论最能代表产品问题全貌，可以有效指导下阶段的产品计划

二、阶段性调研的时间节点（在什么时间会进行系统性的阶段性调研）

• 接触新产品：接手一个新的产品或者产品方向时，对产品进行深入的了解
• 周期性回顾：每个月/季度/半年进行定期的周期性回顾
• 不定期（突发性）回顾：领导、政策上的调整需要

三、阶段性调研通用方法论（普适，也适用于人生）

定义理想态——拆解未达理想态的短板——提出解决方案——验证是否解决。

阶段性调研更关注前两个环节：

step 1：找到理想态，定义理想态并以数字化的指标或其他标准来衡量。

这是一个非常严谨的定义过程，需要PM 明确的知道自己产品的目标是什么，是各个部门共同努力的方向。

step 2：抽样分析，将所以不到理想态的case抽样分析，通过分析明确各case未到理想态的原因。

step 3：优先级判断，将所有问题进行汇总，根据影响面、问题严重程度、解决问题所需成本进行优先级排序，作为接下来的项目计划。

1. 找到理想态详解

（1）如何找到理想态

任何一个产品都用来解决用户的问题满足用户的需求，所以产品的理想态可以统一的理解为：给出的方案确确实实解决了用户的问题，比如用百度查到了自己需要的信息，用滴滴到达了目的地，用头条找到了自己感兴趣的内容并消费了时间。

接下来要找到能衡量理想态的数字化指标或者明确的标准：

A. 滴滴：容易理解，使用订单成交率可以衡量用户是否到达目的地

B. 墨迹天气：使用天气准确率可以衡量用户是否获取了正确的天气

以上为刚需类、工具类产品中的策略模块，通常可以以“解决了用户的问题”作为理想态，并找到一个标志性的数据指标来衡量是否到达理想态。

C. 百度的搜索满意程度

点击率：高点击率不能说明满意，低点击率也不能说明不满意（搜索时间）。搜索结果是平台对满足大多数用户的你内容猜测，并不一定适用于每一个用户，比如在饿了么搜索麦当劳，展示所有麦当劳店铺即可，而在搜索引擎显然不能这么简单。

头条：不能确定停留时间为多长则表示用户对产品满意。

搜索：对这种产品的理想态描述较为复杂，并不明晰，更别说使用单一指标了。需要pm基于对用户的理解、参照竞品，比如搜索完肯德基创始人再搜麦当劳，那他很可能想搜麦当劳创始人。

通常这种复杂的产品，会以平台当前能够给出的最佳产品方案（PM以为最合理的状态） 作为理想态，而不一定能够100%满足所有人的所有需求。

推荐：平台是在有根据的猜测有用的非岗需求，永远不会清楚的知道最标准的答案时什么，所以同样以当前能够给出的最佳产品方案作为理想态。再用策略推荐出的结果在所有推荐候选中是否为最佳结果、用户行为指标作为发现问题的辅助手段。

注意：所有的理想态都是为阶段性产品目标服务而服务的，随着产品的发展，理想态的定义也在进化甚至质变，比如从马车到汽车的道理。

再比如滴滴：

刚开始做出租车，以司机的应答率作为核心指标，不太关心司机应答后的流程；后来做快车专车，有了更完整的使用环节，覆盖更完整的出行流程，这时以订单的成交率作为指标，监控用户从叫车到目的地的完整闭环；接下来可能会往快速到达方向进步等。

再比如百度：

刚开始，致力于用户所搜索的每个关键词都能有对应的结果；有了用户行为的反馈之后，变会对一个用户进行用户画像，从而满足每一个人的每个搜索，致力于提高每次搜索的满意度。

2. 抽样分析

正因为成本问题，时间成本、运算能力分析，使我们无法完全了解每个用户，所以采用抽样分析。样本通常被称为case。

（1）抽样步骤：确定调研目标 → 确定抽样对象 → 选择抽样方法 → 确定抽样数量 → 样本分析标注 → 整理汇总问题

调研目标决定了抽样对象和抽样方法，根据目标确定抽样对象的维度（用户、订单等），抽样方法有随机、等分等。

首先要明确调研的目标，帮助确定抽样的对象的方式！！！

案例：分析“相关视频”推荐策略的问题 → 抽取推荐视频列表，看内容和排序是否合理

分析以上模块红广告视频推荐策略，如果抽取当前展现出来的广告视频进行抽样分析，则会出现问题：只能分析出当前展示的广告的准确率，而不能分析出广告的覆盖程度，是否有其他适合展示的广告的视频下方未进行展示。而相关视频则没有覆盖率的问题。

所以要确定正确的抽样对象，同时满足准确率和覆盖率（召回），以上案例应该在有广告展示的地方调研准确率，没有广告的地方调研覆盖率。

（2）确定抽样对象：通过一定规则筛选出的待分析的全量集合

不考虑成本肯定是全量调研，但是成本有限就需要抽样。

筛选规则：

未达到核心指标（一定规则，比如只需筛选当前版本的用户而不需要筛选上一版本的用户，或者可以代表一个用户生命周期的用户，比如有循环效应的产品，用户每天的行为没什么差异，则选取一天的即可。有明显时间效应的，周末和平时不一样，则需要对一整周进行抽样）

样本类型：用户个体、行为片段（用户的行为动作session，翻页、点赞、浏览等，代表一个用户带着场景和需求在自家产品上的完整流程）、搜索词（query，抽样搜索词调研满足情况）、订单（订单的完成情况、订单后的推荐等）

案例：滴滴订单成交问题

取样：全国一周内（明天的周末效应，取一周为一个周期）内所有未成交（未成交、差评重点关注）的订单中抽样。

案例：美团搜索问题

取样：因为无法直接通过数字性指标精准筛选，所有只能从一天的全量用户session中抽样，然后人为进行进一步筛选

（3）选择抽样方式：常用的抽样方法是随机抽样

随机抽样：从N个单位中任意抽取n个，每个样本被抽中的概率相等，适用于大多数场景.随机抽样也有很多细分方法，不再赘述。

选择抽样数量：统计学角度，样本数越大越好。

统计角度，样本数量越高越好，结果的准确率就会越好，但是调研成本也会越高，所以调研成本是精度和成本的balance，有统计意义即可。

经验值：一般问题：尽量使代表某个问题的样本数量≥5，或者影响面≥3%即可。

样本标注分析：对抽样的case进行过逐一分析

人工对每个case进行分析，太过于细节，不再赘述

整理汇总问题：按照合理的逻辑框架进行整理汇总，普适

• 上下层级：总分关系
• 同层级之间：相互排斥不重叠，不遗漏

3. 优先级判断

单位成本下的收益从大到小即优先级从高到底。

单位成本下的收益：ROL=项目收益/项目成本

当ROL相同时取绝对20天内收益绝对值更大的那个，同时兼顾影响面、恶劣程度、国家政策等（也就是较为常见的四象限判断法）

计算方式：

• 项目收益：待解决问题影响面（调研结果直接得到，百分比）*解决后体验提升程度（现阶段与理想态的差距）*预期解决比例（由开发给出，解决之后可以解决到什么程度）
• 项目成本：一般指研发成本和硬件等成本

优先级判断很重要：直接决定后续的产品计划

至此，阶段性调研的方法论已全部完成。

作者：海燕是只蠢猫，微信公众号：双手伐孤木

本文作者 @海燕是只蠢猫 。

版权声明

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处。如若内容有涉嫌抄袭侵权/违法违规/事实不符，请点击 举报 进行投诉反馈！