股票交易系统评估模型

2018-03-13 10:59:00

本文将以“股票交易系统”评估为例，简要阐述做一套完整的评估工具的过程。enjoy~

做产品的人，通常要问自己这些问题：

“我们这款现在口碑如何？”
“这个功能，用户使用起来满意度怎么样？”
“这一次更新，体验有提升吗”
“和竞品A比，我们有优缺点是什么”
……

所谓“知己知彼”，我们通常更轻易“知彼”（了解竞品），因为有市场的检验、用户的口碑，还有自己切身操作体验。然而对于“知己”，则不那么确定了，一来因为主观的“先入为主、身在其中”常常让我们盲目，二来是我们常常没有一个可靠的评估系统。
评估、反馈对于产品的进化非常重要。但我们平常往往是这样做的：

“这次改版之后，用户说了什么？有不好的声音吗？”
“用户又降了，这版做的不够好吗？”
“看下用户对这次优化的总体评分怎样？”

以上信息，本质上的都是反馈，但是信息杂乱、模糊，我们无法从中得到对于产品各个侧面用户精确的满意度。
我们需要一个稳定、全面、客观的评估工具。

稳定：采用统一指标、统一度量，能够重复测量使用；
全面：所设指标包含用户和这个功能（系统）接触的所有信息面，无遗漏；
客观：要求测量指标全面、严谨，对于不同样本施测能得到稳定一致的结果。

以下，我们以“股票交易系统”评估为例，简要阐述做一套完整的评估工具的过程。

STEP 1 指标收集

交易系统的指标包括那些内容？速度流畅、还是内容丰富？这些都是未知。这第一步非常重要，因为这是所有工作的基石。所以需要尽可能全面收集信息，绝不能出现显而易见的遗漏。我们的指标内容收集主要来自：

9名内部专家用户访谈
用户问卷信息收集（343人次）
客户端后台反馈
用研已有研究积淀和舆情积淀

访谈时候需要设立一个可以主题，让受访者可以围绕这个主题充分表达出交易系统所包含的内容。
我们的访谈主题是：

目前同花顺的交易（含PC和手机）,您认为优缺点各是什么呢？
您觉得交易这个模块，未来的规划和发展方向应该是什么？

STEP 2 指标拆分

针对以上两个主题，专家和用户同一角度给出建议（诉求），所得内容，需要做语义拆分。语义拆分是一个集合经验和直觉的过程，当然也有一些方法论可以借鉴，但最重要的还是要做数据的人要熟悉产品和项目，最后出来的结果再反馈给专家把关，基本上都能正确。
根据内容我们将交易系统的评价维度归纳为以下几个大类：

性能问题
可用性问题
功能问题
内容方面

图示：部分关键信息归纳（仅示部分）
超级产品经理
同时，根据内容再细分指标。在一级指标下再分二级指标（15个）：

STEP 3 指标定义

对二级指标赋予明确定义。这一步既是对各个细分指标的解释说明，也是为了后一步的指标测量做准备。
超级产品经理

STEP 4 指标测量

根据上一步明确的指标定义，直接对目标用户实测。15个二级指标都需要真实用户评分，化为15道实测题目，用户在充分理解指标含义之后，作出评分。
题目的格式参考如下：

如：“安全：交易的安全，是指交易和资金安全有保障。——您觉得同花顺手机交易做得如何？”（评分：0-100，非常不满意——非常满意）

通过线上问卷形式实测，回收1434个数据。

STEP 5 指标统计

清理掉失真的数据，得可用数据904个（这里主要是删掉作答时间少于最低测试时间的数据）。主要分析方法：因子分析（二级指标&一级指标；一级指标&总体满意度）
注意：因为因子分析原理是靠提取少量分子来描述多个原始变量，而我们此处无需削少因子数目，所以在Extract环节提取因子数目应和原始变量数目相同，比如“功能”下面有5个二级指标，提取因子数应是“5”。
各个指标对上一级的权重（贡献力）计算如下：
超级产品经理

STEP 6 评估模型

经过上述计算，我们可得初步评估模型如下图：
超级产品经理
从这个系数图谱，我我们可以清晰看到，对交易总体满意度敏感的因素是“功能”，而对“功能”指标影响大是“创新性”和“区分度”。从整理来说，速度、流畅、以及内容方面，的确是目前我们交易系统的短板，也从数据上得到了体现。总结起来，评估模型能直观告诉设计者2个问题：