知乎 Live 整理稿：通过数据分析驱动用户增长

2016-12-01 14:33:00

本文是作者撰写的知乎Live整理稿，主要和大家分享一下如何通过数据分析驱动用户增长。

根据经验以如下几个问题展开：

互联网用户增长特点
数据分析在其中的作用
实验对产品开发的作用
A/B 测试的作用和难点
数据驱动用户增长的局限性
彩蛋：以知乎为例，一些数据分析的机会

下面就是全文字分享：

行业特点

说到互联网产品的用户增长，可能大家都有所耳闻。与传统行业相比，互联网相关的产品有几个不一样的特点。

一是由于网络效应，由于互联网相关产品更容易扩展，更有可能出现爆炸性增长的局面。

二是互联网行业更容易出现赢者通吃的局面，比如优酷和土豆的合并，携程和去哪的合并，立马形成行业垄断。

三是在行业发展前期一旦有一个好的产品领先，后来者就很难翻盘了，所以互联网行业会出现前期大量烧钱抢占市场和用户的局面，比如 Uber 是一个特别典型的例子。

Retention / 用户留存

对用户增长来说，什么是最重要的呢?有人说是用户最重要，有人说是 Acquisition 也就是新用户获取最重要。在 Facebook 内部来说，以及很多热门 Startup 来说，最重要的是 retention，也就是用户留存。这也是为什么十几年前，Facebook 刚创立的时候，大家通常用的指标都是注册用户。Mark Zuckerberg 从一开始就很明确，注册用户并不是最重要的，最重要的应该是活跃用户。

用户留存曲线

好的产品和不好的产品用户留存是什么样子的呢?有这里就需要提到一个概念 J 曲线。

如下图所示，横轴是从注册开始到现在的天数，纵轴是活跃用户的比例。这里用的例子是月活用户，也就是说如果过去一个月之内你用过这个产品，那么你就算是一个 active user。很显然，注册开始第一天，大家都是月活，第二天第三天直到30天都是如此，从第31天开始，有一部分人不是月活了，因为他们只在第一天用了，之后就再也没用过，以此类推第32天33天等等。

一个好的产品，应该是像黑色曲线这样，随着时间的推移会有下降，但是到一定程度之后会趋于跟 x 轴平行。如果你看到一条红线这样的用户留存曲线，那就你就需要好好研究一下你的产品了，因为这意味着随着时间的推移，所有注册用户都会放弃你的产品。那么即使你把全世界的人都抓来注册了，终究月活用户数也会变成0。

用户留存 vs. 新产品

推出新产品的时候，用户留存曲线是非常重要的，以确保有一个足够好的产品，接下来才是把这个产品推向更多用户的时候。其它互联网公司比如 Airbnb 也有类似的策略。当然不同的产品，关注的指标很有可能是不一样的。比如说微信，假如你看月活的话，那可能意义就不是很大了。一个月用一次微信的用户，说有不了什么问题，更应该关注的可能是日活，或者发了多少条信息这种。那么对于 Airbnb 来说，月活则是一个比较适用的指标，其它比如每个月有多少房间预订之类，也是应该关注的指标。

神奇时刻 — magic moment / Ahhhaa moment

假设现在你有一个很好的产品，用户注册之后过一了段时间也还是有很多人留下来继续使用。那么接下来怎么做用户增长?

很多社交网络产品都提到一个概念叫 magic moment，直译过来的话就是神奇时刻。什么算 magic moment 呢?比如对于 Facebook 来说，你注册之后，在上面看到你现实生活中认识的好友，看到他们的照片，状态等等。这个时候对新用户来说，心里想的是啊!原来 Facebook 是干这个用的。比如对于知乎来说，可能是在答了一个题之后，看到小红点显示有人点赞，或者是感谢，或者是关注等等。同样，对于LinkedIn，Twitter，微信，微博也是类似，新用户或者是找到他们想要联系的好友，或者是找到他们想要粉的人，这一时刻让用户有继续使用下去的动力。

例子 — 用户留存率 vs. 好友数

对于很多社交网络产品比如说 LinkedIn 来说，一个很简单便是很有效的分析方法，就是看用户留存率跟好友数的关系。当你的好友数低于某一个值的时候，用户留存率会非常的低。当好友数量达到一定数量的时候，再增加好友数对留存率的影响就很小了。那么确定下来这个值之后，工程师们要做的就是以这个为目标进行各种产品改进、优化、新产品开发等等。

有人可能会问了，这里面有个很显然的问题，就是你只能说明这是相关性，而不是因果性。但是最终解决办法其实很简单，不管 Facebook 也好，微信也好，如果你没有好友的话，肯定是没有人会继续用的。所以这里面肯定有因果性在里面。同时肯定也有相关性，很大程度上二者肯定是相互影响的，通常来说好友越多，更有使用产品的动力。产品使用的更好，好友也更多。

A/B 测试

上面一段提到在设定某一个目标之后，工程师们接下来就要通过各种产品改进、优化、新产品开发等，互联网公司基本上都是通过 A/B 测试来确定是否发布产品，是公司产品开发非常重要的一环。在湾区这边有一个 meetup 小组就是专门讲 A/B 测试的，像 Uber, LinkedIn, Netflix 等等都在这个小组介绍过各个公司是怎么做 A/B 测试的。

接下来就以 Airbnb 为例子来说明 A/B 测试为什么重要，如何做 A/B 测试，以及中间可能遇到的问题。

例子来源：http://nerds.airbnb.com/experiments-at-airbnb/

为什么要做实验

实验是最有效的证明因果关系而非相关性的工具。以 NBA 为例，数据显示，当科比出手10-19次时，湖人的胜率是71.5%;当科比出手20-29次时，湖人的胜率骤降到60.8%;而当科比出手30次或者更多时，湖人的胜率只有41.7%。

根据这组数据，为了赢球，科比应该少出手?并不一定如此。有可能科比出手少的时候是因为队友状态好，并不需要他出手太多。也有可能是因为球队早早领先，垃圾时间太多。而出手太多的比赛是因为比赛艰难或者队友状态不好，需要他挺身而出。当然，以上也只是可能之一，具体是什么情况光靠这组数据并不能得出任何结论。

A/B 测试的用处

对 Airbnb 来说，很多时候一个新产品的发布，是很难说明结果到底是新产品的呢，还是别的因素。

如下图所示，红色部分是新产品发布和撤回的时间段，这期间的变化到底是因为产品呢，还是别的因素?有可能用户受到时间的影响，比如周中和周末的区别，是否假期，天气等等。对于 Airbnb 这种旅行相关的公司来说，这些外在影响尤其大。通过实验则可以把产品的影响跟别的外在因素的影响区分开，产品做一个小的改变，跟对照组进行对比，这就是 A/B 测试。

实验需要跑多久?

A/B 测试的老大难问题：实验跑多久最合适?结束太早可能产品的真正效果还没有足够时间体现出来，实验拖太长会影响产品迭代改进的效率，这对诸如 Airbnb 这样的初创公司还是 Facebook 这样讲究 move fast 的公司来说，都是很麻烦的事情。

例子 — 搜索价格范围

Airbnb 曾经测试过把价格选择范围从最高的$300改成$1000。一周之后，根据下图的红线显示，实验效果显著 (p0.05)。

不过虽然这个测试的结果是中性的，考虑到有一部分用户的确需有查找高端房源的需要，Airbnb 还是决定把最高搜索价格从$300改成了$1000。那么到底实验应该进行多久呢?通过各种复杂的统计分析，Airbnb 总结出了一套动态决定边界(Dynamic decision boundary)，综合考虑p值和实验进行的天数。

全面理解实验结果

通常来说，选定一个或几个指标(metrics)来分析实验结果，以免主观挑选实验结果(cherry picking)。但是仅仅看一个指标也是不行的，很容易就错过全局，一叶瞕目。比如 Airbnb 做过一个非常大的改动，在用户搜索的结果显示里，更加强调房源的照片和在地图上显示的地点。项目非常大，大家都认为结果会很好，用户调研显示也是如此。

尽管如此，Airbnb 还是决定如常做一下 A/B 测试，然后发现了问题：结果基本是中性的。幸好 Airbnb 的数据科学家们并没有就此结束，相反，他们看了看不同的方面，包括在不同浏览器的效果，发现 IE 是最大问题所在。很快进一步发现，新产品在某些老版本的 IE 上会有 bug，以至于预订率了超过3%。修复了在 IE 上的 bug之后，立马预订率就变成提高超过2%，与其它浏览器上效果类似了。这是一个非常典型的例子。很多时候看到中性的实验效果，不妨根据不同的维度进行细分，比如浏览器、同家、用户类型等等。

问题： Twitter 2015 年用户增长为 11%，这是否存在增长的危机?为什么?

结果 too good to be true

不管是自己打造的 A/B 测试系统，还是使用第三方的系统，都是有可能出问题的。

如果默认系统都是有效的话，有时候麻烦就来了。有时候可能是使用过程中出了问题，有时候可能是系统本身的问题。最简单的办法是跑个 A/A 测试，也就是实验组和对照组都是一样的产品，然后看系统结果怎么说。

Airbnb 做过一系列 A/A 测试，发现在实验组和对照组的用户数量基本一致的时候，系统是正常工作的，显示中性的结果。但是当对照组的用户远超实验组(75% vs. 25%)的时候，结果显示高达-15%的偏差。最后发现原因在于对用户的追踪问题，很大一部分用户没有正常的记录到实验组里去。未必每一个公司都会碰到完全一样的问题，不过适当的进行 A/A 测试，确保系统正常工作是非常重要的。