AB测试效果不显著？CUPED与序列检验技术解析

1. 为什么AB实验结果总是不显著？

做过AB测试的同学一定遇到过这种情况：辛辛苦苦设计实验、收集数据，最后却发现结果不显著。那种感觉就像精心准备了一桌饭菜，结果客人尝了一口说"还行吧"。更糟的是，这种情况在业务中非常普遍 - 根据我过去5年参与的上百个AB测试项目统计，超过60%的实验最终结果都不显著。

造成这种现象的核心原因主要有三个：

1. 指标波动太大：比如电商场景下的GMV指标，受节假日、促销活动等因素影响，天然波动就很大。这就好比在嘈杂的菜市场里，你想听清别人说话，必须提高音量。

2. 样本量不足：特别是B端产品或新功能测试时，流量本来就少。就像用显微镜观察细胞，放大倍数不够就看不清楚。

3. 效应量太小：很多优化带来的提升可能只有1%-2%，这种细微差别需要非常精确的测量才能发现。

2. CUPED：用历史数据给实验"降噪"

2.1 CUPED的核心思想

CUPED(Controlled-experiment Using Pre-Experiment Data)是我最喜欢的一个实验加速技术。它的核心思路很巧妙：利用实验前的历史数据作为"参照物"，来消除实验期间的随机波动。

想象一下，你要测量两个人的身高差，但他们都站在摇晃的船上。直接测量会很不准。但如果先记录他们站在平地上的身高，再用这个数据来修正船上的测量结果，精度就会高很多。CUPED就是这个原理。

2.2 具体实现步骤

1. 选择协变量：通常使用与目标指标高度相关的历史数据。比如：

   • 对于转化率：用实验前30天的用户转化情况
   • 对于GMV：用实验前用户的历史消费金额

2. 计算修正系数θ：

   code复制θ = Cov(Y,X)/Var(X)
   

   其中Y是实验指标，X是协变量

3. 计算修正后的指标：

   code复制Y_cuped = Y - θ*(X - E[X])
   

2.3 实战案例

去年我们优化电商搜索页时，使用CUPED将实验周期从14天缩短到9天。具体操作：

1. 选取协变量：用户过去30天在该品类的GMV
2. 计算得出θ=0.43
3. 修正后指标方差降低了37%
4. 最终在9天时就检测到了1.8%的GMV提升