数据分析师必看，老司机带你认识 AB 常见的10个错误

80% 的阳性测试(灰色)拒绝零假设(统计能力)：

5% 的阴性测试(白色)拒绝零假设(显著性阈值)：

结论：在 80% 的统计能力、5% 的显著性阈值和 20% 的基准率，当检验被认为是阳性(p 值<0.05)时，我们只有 16/(16+4)=80% 的机会是真阳性，而不是 95%。

在这种情况下(统计能力=80%，显著性阈值=5%)，知道你的 A/B 测试结果是有意义的，下面是一些概率，你的测试实际上是阳性的，这取决于基准率：

经验 7:(1-p 值)不是检验为阳性的概率。如果你还想计算这个概率，使用贝叶斯 A/B 测试方法。

测试所观察到的增量允让你可以计算统计显著性，但将观察到的增量视为特征带来的实际增量是错误的，这通常需要更多的用户或会话。

如果不能证明 B 优于 A ，则选择传递置信区间而不是原始增量。为了说明这一点，我们以 A/B 测试为例：

p 值为 0.014，可接受的显著性水平为 95%，此 A/B 检验为阳性，这意味着测试组显著好于对照组。可以很容易地计算出观察到的跳出率相对增量：

但将观测到的增量视为特征带来的实际增量是不正确的。你应该使用标准误差计算每组的置信区间：

其中 p 是观察到的组跳出率，n 是池样本大小，zα 是对应于置信水平 α 的 z 值(在本例中为 95%)。你可以在这里找到通常置信水平的 z 值。

（编辑：西安站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!