我们为什么不做 A/B 测试

A/B测试本应是做出产品决策的一种理性方式：推出两个版本，衡量哪个表现更好，然后保留胜出者。这看起来像科学，但实际上往往并非如此。.

我们不断遇到的问题

以我们的规模而言，大多数 A/B 测试的统计功效太低，因此无法得出有意义的结论。那些 是 运行时间过长，以至于应用内或外部环境中的其他因素发生了变化，从而污染了结果。 而且，你所衡量的指标几乎从来都不是你真正关心的指标——你优化点击量，只是因为点击量可以计数，而你真正想要的深层目标（信任、留存率、用户偏好）却朝着你从未衡量的方向偏移了。.

我们采取的替代做法是

我们设计了两个方案，选择那个更能如实反映应用本质的方案，充满信心地发布它，并仔细倾听未来六周内用户评价和技术支持工单所传达的信息。我们愿意偶尔犯错，以此换取不必时刻追求统计学上的确定性。.

从某种意义上说，它变慢了；但在其他所有方面，它却变快了。.