数据分析师必看，老司机带你认识 AB 常见的10个错误
发布时间：2019-09-20 03:26:10 所属栏目：教程 来源：skura
导读：副标题#e# 「没有数据，你只是一个有想法的人。」 这是 W. Edwards 的依据名言，它表明，A/B 测试对于做出良好的商业决策来说至关重要。在 Manomano，我们向数百万用户展示数百万 DIY 和园艺产品，并每天进行数十个 A/B 测试，以改善我们网站的用户体验。 M
|
使用此公式，你最终可以计算两个组的 95% 置信区间(CI)跳出率：
也可以反计算相对增量(pctdiff)的置信区间，但它更复杂。如果需要更多详细信息，请参阅这个调查的第 3.3.2 节。 经验 8：当你的测试为显著阳性时，应该传递置信区间而不是原始增量。 9.当 A/B 测试结果违背你的直觉时，忽略它们如果你(和你的组织)还没有准备好用新的版本更新你的产品，除了确认你的偏见，启动 A/B 测试是没有意义的。直觉在选择测试内容时至关重要，但它不应与 A/B 测试的结果相抵触。
经验 9：与利益相关者确定测试前的阈值和相关行动。 10.忘记检查 A/B 测试系统是否可靠为了保证你的 A/B 测试结果的可靠性，你的 A/B 测试系统必须经过校准并正常工作。确保这种可靠性的一种方法是持续进行 A/A 测试，并检查这两种人群之间没有显著差异：
Manomano 的连续 A/A 测试允许我们快速检测 8 月份遇到的缓存错误，由于该错误，8 月 20 日到 8 月 22 日之间进行的所有测试无效。 经验 10：持续进行 A/A 测试，以检测可靠性。 结论如你所见，在分析 A/B 测试结果时出错的风险非常高，而在测试之后所做的决策对你的公司来说至关重要。因此，你应该对给到你的 A/B 测试结果持怀疑态度，特别是当这个结果来自于一个对取得积极结果有强烈兴趣的人(例如，一个想卖给你东西的人)时尤其如此。在 ManoMano，我们有一个值得信赖的委员会，帮助分析所有内部和外部 A/B 测试的结果，并对结论有着公正的看法。
（编辑：西安站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
