A/B 测试中的 VWE 和 CUPED：方差减少

VWE与CUPED互补：降低A/B测试中的方差

A/B测试常因指标噪声过高而无法检测效应。增加流量或实验时长并非唯一解决方案。通过CUPED或VWE减少方差估计可提升灵敏度。这些方法针对不同问题：CUPED利用实验前协变量，而VWE处理单元间的方差异质性。

模拟显示，在噪声用户场景中，组合方法收益最大。结果可复现：4000个单元，300次模拟，种子=42。

CUPED机制：相关性是降噪关键

CUPED基于实验前协变量X调整指标Y：

Y_cuped = Y - θ (X - E[X])，其中θ = cov(Y, X) / var(X)

效果取决于X与Y之间的相关性ρ。当ρ≈0时，增益微乎其微（方差降低0.2%）。ρ=0.6时，降低40%；ρ=0.95时，降低90%。

模拟1： 比较普通差异与CUPED在ρ从0到0.95时的效应估计标准差。CUPED仅在协变量与结果强相关时有效。

常见错误：

• 实验前指标与Y相关性弱。
• 混合处理前与处理后数据。
• 忽略单元间的方差异质性。

VWE：应对不稳定单元

VWE应用与单元方差成反比的权重，权重由实验前观测值估计得出。适用于高活跃用户具有高单元内变异性的情况。

模拟2： 88%稳定用户（标准差=1），12%噪声用户（标准差=5）。比较RMSE（效应=0）：

| 方法 | RMSE | 标准差估计 |

|-------------|------|------------|

| 普通差异 | 0.073| 0.073 |

| CUPED | 0.064| 0.064 |

| VWE | 0.061| 0.061 |

| CUPED+VWE | 0.042| 0.042 |

组合方法使RMSE相比普通差异降低42%。由于权重重新分配，有效样本量为4000个单元中的2550个。

何时使用每种方法

优先使用CUPED

• 拥有高质量的实验前协变量。
• 与指标强相关。
• 噪声来自用户间水平变异。

将VWE作为补充

• 有重复的实验前观测值用于方差估计。
• 小部分用户群体主导方差。
• 已应用CUPED，但灵敏度仍不足。

关键要点

• CUPED通过相关协变量对抗可预测噪声，增益与ρ成正比。
• VWE通过实验前数据估计方差，最小化不稳定单元的贡献。
• 组合方法在异质数据中产生协同效应：模拟中RMSE下降42%。
• 数据验证至关重要：合成数据仅为示例，生产环境需分析噪声结构。
• VWE会缩小有效样本量——在规划时需考虑这一点。

方法的局限性

模拟简化了现实：

• 此处VWE为基础版本，未包含生产优化。
• 关注方差/RMSE，而非偏差或实施成本。
• 结果非普适——取决于指标方差分布。

在生产中，需监控权重、对异常值的鲁棒性以及对业务指标的影响。

— Editorial Team