如何通过数据分析来衡量产品改版的效果？

2017-08-14 23:17:00

我们总以为产品改版会带来更佳的用户体验，提升用户留存、用户活跃，似乎每项指标都会如想象中一样蹭蹭上涨，但这只是自我认为的好结果，真正的改版效果还是需要我们落到实处的去衡量评估的。

在产品正式发布之前，产品经理的大部分工作都是围绕着需求的升级迭代来进行的，比如说定义要迭代的需求点，撰写产品新版本PRD，然后开产品评审会，接着跟踪设计、研发，最终测试没问题之后发布给产品所有用户。
前面我们也提到过，产品迭代的需求来源有这么几个大类：市场调研、竞品分析、用户反馈、数据分析和团队成员头脑风暴。其中的数据分析就是指产品上线之后，用户通过使用产品产生了相关的用户行为数据，产品和运营经常会去观察这些数据，用来指导产品的迭代和改版方向。
理想的情况，自然是产品在迭代中不断演化，用户不断增长，收益也蹭蹭蹭地往上增长，直至产品走向成功的道路。但大部分产品其实并没有这么幸运，基本都是以失败告终，当然这个失败有很多因素（市场环境、商业模式、用户习惯、运营推广、资源、团队能力等等），排除掉这些因素，还有非常大的一个点，是很多互联网公司在产品迭代部分，缺少“衡量”这么一个环节。也就是大家都以为随着产品的迭代、功能的堆砌，产品会逐渐走上成功之路，实际上只是在原地打转，有些甚至是在倒退。
作为一名合格的产品经理，总归还是要学会在产品迭代的环节中，适时地对改版效果进行衡量并确认进展，这样才能更好地了解迭代对产品本身起到的作用。
那么，在一次产品改版之后，产品经理如何能够知道这次改版是否达到预期的效果呢？
具体可以从以下几个方面来进行分析：

– 改版后，新功能是否受欢迎
– 改版后，对产品的流程转化率是否有提升
– 改版后，对产品的整体留存的影响
– 改版后，用户究竟是如何使用新功能的

问题1：新功能是否受欢迎

要衡量一个新功能是否受欢迎，基本就看这个功能上线之后，用的人数多不多，用的人越多，表示这个新功能还是挺受欢迎的（当然，这里还有一些运营推广的因素）。
一个比较好的衡量指标是功能活跃比，什么叫功能活跃比，也就是使用了新功能的用户数/同期活跃用户数，比如说新功能的用户数是1000人，而同时期产品的整体活跃用户数是10000人，那么这个功能的活跃比就是10%。
举个例子：
助理来也里面的订阅功能，定位是基于微信CUI的交互方式，为助理来也的用户提供大众化的高质量订阅内容精选。
前期迭代的目标就是为了增加整个订阅功能的订阅人数，但是当通过一系列的产品和运营手段，将订阅人数提升上去之后，接下来要考虑的就是需不需要继续深化订阅功能服务（毕竟有很多人光订阅不看的，这个时候就成了不活跃用户），这个时候功能的活跃比就很能够体现问题了，如果订阅服务的活跃人数占产品总体活跃人数比重较高的话，说明订阅服务还是满足用户对于助理来也产品定位的一个需求的。
当然，一个功能会被多少人使用还会受到功能本身之外的很多因素影响，比如说该功能是否是某一个产品流程的必经之路，无论用户是否喜欢或者需要，在产品的数据体现上，都会是一个不错的表现。但产品经理万万不可光凭这一个数据，就给整个功能打下好坏的标签，还是需要其他数据维度才能更好地进行评判。

问题2：对产品流程转化率是否有提升

很多时候，产品经理接手一个新项目之后都喜欢对原来的产品设计界面进行改版，不管之前的界面是美是丑，总之我来了，就要产出一套新的界面。当然，也不是说对产品界面改版就完全是不靠谱的事情，如果改版之后，对产品流程的转化率（或者其他数据指标）的确有提升，那还是相当有用的。
所以，这个时候，我们就需要通过去观察整个产品的流程转化率是否因为产品迭代改版而有所提升。最基本的方法，就是通过创建流程漏斗来进行数据观察，现在很多第三方的数据分析工具，都已经支持用户自己手动创建转化漏斗了，我们只需要梳理清楚一个产品流程转化漏斗都包含哪些环节。比如电商网站，最基本的转化漏斗的路径便是：
网站首页–>商品搜索–>商品详情–>加入购物车–>立即支付–>确认收货
这样，我们就可以将上述事件组装成一个转化漏斗，如果你优化了商品详情页或者是搜索页面，那么就可以很好地通过漏斗来看出，改版之前和改版之后，这个流程的转化数据发生了什么变化，每个小环节的漏斗转化率又发生了什么变化，这样就能比较准确地评估出产品迭代对流程转化率是否具备提升作用。

问题3：对产品整体留存的影响

一个好的功能是能够产生用户粘性的，这是因为用户对产品更加喜爱的话，会让用户更加频繁地使用产品（也有一部分的确是刚需的因素）。所以，我们在迭代之后，也可以好好观察一下产品的整体留存是否产生了变化，比如次日留存、周留存、月留存等等指标，是否朝着更好的方向发展。
我之前从事在线教育领域的时候，做过一个网校的项目，网站刚上线的时候用户的次周留存非常之低，大概3%都不到，大量用钱买过来的流量都白白流失了。那个时候大家经常碰在一起进行头脑风暴，分析为什么用户来了就基本不再回来了，各种原因进行拆解。
后来运营提出是否可以通过建设社区、资讯板块来增加网校的整体留存率。刚提出这个想法的时候，大家都半信半疑，一方面觉得如果社区、资讯真的能做起来，那肯定是能提高网站留存的，另一方面又觉得现在做社区太难了（天涯、猫扑不都倒下了么），就我们这么一点人力，要做社区和每日的资讯运营，谈何容易。但是也没有想出其他好的办法，最后团队还是投入了大量的人力和资源来做这件事情，但是没想到效果居然不错，网站的整体次周留存大幅提升，从原来的3%不到提高到15%，通过运营整个社区和资讯板块，来为网校课程导流也产生了不错的收益。

问题4：用户究竟如何使用新功能

虽然上面的三点都能为产品经理提供数据方面的洞察，但是最后一个问题同样非常重要，那就是用户究竟是如何使用产品新功能的，是否符合你预期设想的那样，还是说用户自己创造出了新的玩法。
要衡量一次产品迭代到底效果如何，数据表现固然是很重要的一方面，但另一方面，产品经理也该深入到用户之中，去询问和了解用户对于新功能的反馈和体验如何，或者近距离地观察一下用户是如何使用产品的。更重要的是，当出现迭代之后数据表现不佳的情况下，只有这样近距离地观察用户操作使用产品，你才能发现问题所在，也许是因为用户的微信版本比较低，导致一些功能不支持，也许是因为用户的网络不太好，导致加载信息不完整，诸如此类的异常情况，还是需要产品自己和用户产生连接，才能更好地洞察这些情况。
当然，想要综合地衡量一次产品迭代到底是否符合期望，还得看整个团队在迭代之前设定的预期收益是如何的，比如说在产品评审会的时候，你说要增加某某功能，原因是你觉得做了这个功能之后产品的日活会提升30%。那么迭代之后，日活是否真的增加了30%，或者虽然没有增加30%，但是通过上面几点数据的分析和观察，给整个产品带来了其他方面的收益，如留存上升、转化率提升等。从这个角度分析，也可以说是一次成功的迭代。

作者

壹百度，微信公众号：倒退集。在线教育企业服务领域产品经理，创业公司Team Leader。曾主导多款重量级产品的产品策划和设计工作。

关键字：数据分析, 产品设计, 产品

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处。如若内容有涉嫌抄袭侵权/违法违规/事实不符，请点击举报进行投诉反馈！