VWE et CUPED dans les tests A/B : réduction de la variance

VWE complète CUPED : Réduire la variance dans les tests A/B

Les tests A/B échouent souvent à détecter des effets en raison du bruit élevé dans les métriques. Augmenter le trafic ou la durée de l'expérience n'est pas la seule solution. Réduire l'estimation de la variance grâce à CUPED ou VWE peut améliorer la sensibilité. Ces méthodes abordent des problèmes différents : CUPED utilise des covariables pré-expérimentales, tandis que VWE s'attaque à l'hétérogénéité de la variance entre les unités.

Les simulations montrent que la combinaison des méthodes offre le plus grand bénéfice dans les scénarios avec des utilisateurs bruyants. Les résultats sont reproductibles avec 4000 unités, 300 simulations, seed=42.

Le mécanisme CUPED : La corrélation comme clé de la réduction du bruit

CUPED ajuste la métrique Y en fonction de la covariable pré-période X :

Y_cuped = Y - θ (X - E[X]), où θ = cov(Y, X) / var(X)

L'effet dépend de la corrélation ρ entre X et Y. Avec ρ≈0, le gain est minimal (0,2 % de réduction de variance). À ρ=0,6, c'est 40 % ; à ρ=0,95, c'est 90 %.

Simulation 1 : Comparaison de l'écart type de l'estimation de l'effet pour la différence simple et CUPED avec ρ de 0 à 0,95. CUPED n'est efficace qu'avec un lien fort entre covariable et résultat.

Erreurs courantes :

• Faible corrélation entre la métrique pré-expérimentale et Y.
• Mélange de données pré- et post-traitement.
• Ignorer l'hétérogénéité de la variance entre les unités.

VWE : Gérer les unités instables

VWE applique des poids inverses à la variance unitaire, estimée à partir des observations pré-expérimentales. Utile lorsque les utilisateurs puissants ont une forte variabilité intra-unité.

Simulation 2 : 88 % d'utilisateurs stables (écart type=1), 12 % d'utilisateurs bruyants (écart type=5). Comparaison de l'erreur quadratique moyenne (effet=0) :

| Méthode | EQM | Estimation écart type |

|-------------|------|------------|

| Différence simple | 0,073| 0,073 |

| CUPED | 0,064| 0,064 |

| VWE | 0,061| 0,061 |

| CUPED+VWE | 0,042| 0,042 |

La combinaison réduit l'EQM de 42 % par rapport à la différence simple. La taille d'échantillon effective est de 2550 sur 4000 unités en raison de la redistribution des poids.

Quand utiliser chaque méthode

Prioriser CUPED

• Covariable pré-traitement de haute qualité.
• Forte corrélation avec la métrique.
• Bruit provenant de la variation inter-utilisateur.

Utiliser VWE en complément

• Des observations pré-expérimentales répétées sont disponibles pour l'estimation de la variance.
• Un petit groupe d'utilisateurs domine la variance.
• CUPED a été appliqué, mais la sensibilité reste insuffisante.

Points clés à retenir

• CUPED combat le bruit prévisible grâce à des covariables corrélées, avec un gain proportionnel à ρ.
• VWE minimise la contribution des unités instables en estimant la variance à partir des données pré-expérimentales.
• La combinaison crée une synergie dans les données hétérogènes : l'EQM baisse de 42 % dans la simulation.
• La validation des données est essentielle : les données synthétiques illustrent, mais la production nécessite d'analyser la structure du bruit.
• La taille d'échantillon effective diminue avec VWE—en tenir compte dans la planification.

Limites des approches

Les simulations simplifient la réalité :

• VWE ici est basique, sans optimisations de production.
• Focus sur la variance/EQM, pas sur le biais ou le coût de mise en œuvre.
• Les résultats ne sont pas universels—ils dépendent de la distribution de la variance des métriques.

En production, surveillez les poids, la robustesse aux valeurs aberrantes et l'impact sur les métriques commerciales.

— Editorial Team