试验

浅谈AB测试里常见的辛普森悖论

辛普森悖论（Simpson's Paradox）是英国统计学家E.H.辛普森（E.H.Simpson）于1951年提出的悖论，即在某个条件下的两组数据，分别讨论时都会满足某种性质，可是一旦合并考虑，却可能导致相反的结论。举一个辛普森悖论的简单小例子：一个大学有商学院和法学院两个学院。这两个学院的女生都抱怨“男生录取率比女生录取率高”，有性别歧视。但是学校做总录取率统计，发现
产品经理 2016年07月13日

那些年，我们在A/B测试中踩过这5个坑

随着Growth Hacking在中国的传播和兴起，作为增长黑客必杀技之一的A/B测试，也被越来越多的国内企业所接受和重视。然而，A/B测试看似简单，实则隐藏着许多沟沟坎坎，稍不注意就会导致试验结果偏离科学轨道。那么今天，我们就为大家一一细数那些年我们在A/B测试中踩过的坑。PS，文中包含大量真实案例，若能对号入座，请尽快修正试验方案。1. 轮流展现不同版本对于广告主而言，
产品经理 2016年07月14日

在云端试验时的“有所为和有所不为”

“The best way to show that a stick is crooked is not to argue about it or to spend time denouncing it, but to lay a straight stick alongside it” ― D.L. Moody(“验证一根木棒是弯曲的最好的方法不是争论或花时间去抨击，而是
产品经理 2016年11月18日

谷歌数字营销布道师：如何应用数据分析来指导商业实践

最近读了谷歌数字营销布道师 Avinash Kaushik 写的《The Lean Analytics Cycle: Metrics > Hypothesis > Experiment > Act》一文，个人认为其中的方法论对我们应用数据分析来指导商业实践是非常有价值的。我是做技术出身，不太喜欢重复造轮子，在对 Avinash Kaushik 这篇文章的大部分编译的基础上，
产品运营 2016年12月06日

小流量 AB 测试能做吗？能！

小流量AB测试能做吗？能！所以不要再以流量太小作为不做AB测试的借口。AB测试对于产品和运营优化的重要性有目共睹。为了能更快的得到试验结果，试验流量越大越好。但是当流量不够的时候怎么办呢？小流量AB测试能不能做？能！下面有多个节约流量的方法。消除异常数据的影当点击量作为指标时，有时会看到少量设备贡献了数万的点击。这些设备可能是出了bug处于异常状态，也可能是在运行自动化测试
产品经理 2017年03月22日

8个秘诀成就顶级增长黑客 ： 如何运用数据试验打造增长引擎

想做增长黑客，打造超级引擎，就AB测试开始。试验不息，增长不止。增长黑客才是公司真正的营收，商务等虽是必要的一部分，但真正动脑子的才是最棒的人。产品是价值创造，增长是让更多用户更便捷、更频繁的体验到产品的核心价值。从这角度看来，产品和增长的目的是为用户造福。产品价值实现的过程，本身就是一个双赢的过程。我们理所应当追求产品增长的最大化——增长黑客。硅谷的增长黑客们，将多年的实
产品运营 2018年03月20日