词汇表A/B 测试
A/B 测试使用预先设定的方法比较两个变体，以了解它们对指标的影响。必须设定分配、样本量、持续时间和分析标准。在小样本中观察到的差异可能是偶然因素造成的。决策必须考虑不确定性和副作用。
一个具体的例子
两个随机分配的组会收到主题不同但内容相同的电子邮件，并且发送时间相同。决策指标在发送前已确定。
需要考虑的一点
在小样本量中观察到的差异可能是偶然因素造成的。避免增加变体数量，并在结果看起来令人满意时立即停止测试。
在启动测试前制定决策
指定目标人群、分布单位、主要指标、预期持续时间和需要监测的不利影响。如果想了解哪个因素起作用，请保留对照组，并避免同时更改多个因素。分析前记录排除项。不确定的结果需要谨慎得出结论；事后选择看似最有利的细分市场并不能得出肯定的结论。
需要向团队提出的问题
- 测试是否涵盖了衡量操作所需的时间？
- 在查看结果之前是否已定义停止和分析规则？
衡量才能更有效地前进。
文章