在 A / B 测试之前运行 A / A 测试，明智还是浪费？

2017-01-13 23:11:00

在这篇文章中，我们探讨一下为什么一些组织要进行A / A测试和在A / A测试时他们需要注意的事情。我们还讨论了一些方法，可以帮助企业决定是否使用某一A / B测试工具。

为什么有些公司要进行A / A测试？

A / A测试是在企业进行A/B测试之前完成的。运行A / A测试可以帮助他们：

检查A / B测试工具的准确性
设置以后A / B测试的基准转换率
确定最小样本的大小

检查A / B测试工具的准确性

托马斯·马祖尔（一个电子商务转化率优化专家）说：“ A / A测试是您运行A / B测试之前完整性检查的好办法。每当您开始使用新工具时，都应该这样做。在这些情况下，A / A测试有助于检查数据中是否存在差异（假设您在测试工具中看到的访问者数量与在网络分析工具之间看到的数量存在差异）。此外，这还有助于确保你的假设进行验证。“

在A / A测试中，如果两个被测试的版本存在明显差异，那么原因可能是一下几种：

工具未正确设置。
测试没有正确进行。
测试工具效率低下。

Americaneagle.com的A / B测试和优化主任柯尔特Swearingernk关于A / A测试有如下评论：“ 当用户不太信任A/B测试平台的时候，通常会运行一个A / A测试来证明平台的操作是正确。虽然我不经常运行A / A测试，但偶尔会使用它去证明A/B测试平台正在正确地运行“。

确定基线转换率

在进行任何A / B测试之前，您需要知道您的基准转换率，A / A测试则可以帮助您设置网站的基准转化率。那么什么是基线转化率，让我们看个例子。假设您正在运行A / A测试，其中，A版本在10,000个访问者中产生303次转化，而版本B在10,000次转化中给出307次。当两个版本之间没有差异时，A的转化率为3.03％，而B的转化率为3.07％。因此，可以设置以后A / B测试的基转换率范围可为3.03-3.07％。如果以后运行A / B测试并且结果在此范围内，那么就意味着结果不显着。

确定最小样品量

A / A测试还可以帮助了解您的网站流量的最小样本大小。如果采用较小的样本量将不会包含来自多个版本的足够流量。您可能会错过几个会影响测试结果的变量。使用较大的版本量，您有更大的机会考虑影响测试的所有版本。

Corte说，“A / A测试可以用来使客户了解需要足够的样本容量的重要性”。

米哈尔Parizek，Avast的高级电子商务与优化专家，有过类似的想法。他说：“在Avast，我们去年做了一个全面的A / A测试。它给了我们一些宝贵的见解，值得这样做！“他说，”在最终评估之前检查统计数据总是好的。”

A / A测试的问题

简而言之，A / A测试固有的两个主要问题是：

在任何实验设置中的随机性的永存元素
需要大样本量

我们将一一考虑这些：

随机元素

如前所述，检查测试工具的准确性是运行A / A测试的主要原因。但是，如果你发现基线转化率和A/B测试得到的结果之间总是存在差异那就一定能说这个A / B测试工具是错误的吗？

A / A测试的问题是，总是有一个随机的元素涉及。也就是实验的结果总是随机的。

Tomaz Mazur用现实世界的例子解释随机性。“假设你在同样的位置设置了两个完全相同的商店。很可能，两者报告的结果存在差异。但这并不总是意味着A / B测试平台效率低下。”

需要大样本量

A / A测试的另一个问题是它可能是耗时的。当测试相同的版本时，您需要一个大的样本容量，以确定A是否优于其相同的版本。这将需要太多的时间，样品和数据量，在可口可乐的盲目测试中，你需要多少人来得出结论：500人，5000人？“ConversionXL的专家解释说，优化程序的整个目的是减少对时间，资源和金钱的浪费。他们认为，即使运行A / A测试没有错，但也有更好的别的测试来节约您的时间”。

A / A测试的其他方法和替代方法

少数专家认为，A/A测试是低效的，因为它消耗了时间，原本这些时间会在实际运行A / B测试中使用。然而，另外一些人说，必须对您的A / B测试工具进行健康检查。也就是说，单独的A / A测试不足以确定一个测试工具是否应优先于另一个测试工具。当进行关键业务决策时，例如购买新的A / B测试工具的时候，还有一些其他事情需要考虑。

Corte指出，在购买新的A/B测试工具时还必须考虑其他一些事情。他提出了以下几点问题：

测试平台是否会与我们的网络分析程序集成，以便我可以进一步切割测试数据以获得更多洞察力？
该工具能让我分离对我的业务很重要的特征用户，并来测试这些特征用户吗？
该工具能否让我立即将100％的流量分配给A/B测试中获胜的版本？。如果您的测试工具允许立即将100％流量分配给获胜的版本，那么您可以在CMS中永久构建网页时获得改进的好处。
测试平台是否提供了收集关于网站访问者的定量和定性信息的方法？这些工具包括热图，滚动图，访问者记录，退出调查，页面级调查和视觉形式漏斗。如果测试平台没有这些集成，它们是否提供允许与第三方工具集成这些服务？
该工具允许个性化设置吗？如果测试结果是分段的，并且发现一种类型的内容对一个细分最有效，另一种类型的内容对第二个细分有更好的效果，该工具是否允许您为不同细分受众群永久提供这些不同的体验？

也就是说，还有一些人选择替代方案。他们会从别的角度提出问题去验证A/B测试工具的准确性而省去了AA测试。