VWE y CUPED en pruebas A/B: reducción de varianza

VWE Complementa a CUPED: Reducción de Varianza en Pruebas A/B

Las pruebas A/B a menudo no logran detectar efectos debido al alto ruido en las métricas. Aumentar el tráfico o la duración del experimento no es la única solución. Reducir la estimación de varianza mediante CUPED o VWE puede aumentar la sensibilidad. Estos métodos abordan problemas diferentes: CUPED utiliza covariables previas al experimento, mientras que VWE aborda la heterogeneidad de varianza entre unidades.

Las simulaciones muestran que combinar métodos produce el mayor beneficio en escenarios con usuarios ruidosos. Los resultados son reproducibles con 4000 unidades, 300 simulaciones, semilla=42.

El Mecanismo de CUPED: La Correlación como Clave para Reducir el Ruido

CUPED ajusta la métrica Y basándose en la covariable X del período previo:

Y_cuped = Y - θ (X - E[X]), donde θ = cov(Y, X) / var(X)

El efecto depende de la correlación ρ entre X e Y. Con ρ≈0, la ganancia es mínima (reducción de varianza del 0.2%). Con ρ=0.6, es del 40%; con ρ=0.95, es del 90%.

Simulación 1: Comparación de la desviación estándar de la estimación del efecto para la diferencia simple y CUPED con ρ de 0 a 0.95. CUPED solo es efectivo con un vínculo fuerte entre covariable y resultado.

Errores comunes:

• Correlación débil entre la métrica previa e Y.
• Mezclar datos previos y posteriores al tratamiento.
• Ignorar la heterogeneidad de varianza entre unidades.

VWE: Abordando Unidades Inestables

VWE aplica pesos inversos a la varianza de la unidad, estimada a partir de observaciones previas. Útil cuando los usuarios intensivos tienen alta variabilidad dentro de la unidad.

Simulación 2: 88% de usuarios estables (sd=1), 12% de usuarios ruidosos (sd=5). Comparación de RMSE (efecto=0):

| Método | RMSE | Estimación SD |

|-------------|------|------------|

| Diferencia simple | 0.073| 0.073 |

| CUPED | 0.064| 0.064 |

| VWE | 0.061| 0.061 |

| CUPED+VWE | 0.042| 0.042 |

La combinación reduce el RMSE en un 42% en comparación con la diferencia simple. El tamaño de muestra efectivo es de 2550 de 4000 unidades debido a la redistribución de pesos.

Cuándo Usar Cada Método

Priorizar CUPED

• Covariable de pretratamiento de alta calidad.
• Fuerte correlación con la métrica.
• Ruido proveniente de variación a nivel interusuario.

Usar VWE como Complemento

• Hay observaciones previas repetidas disponibles para estimar la varianza.
• Un pequeño grupo de usuarios domina la varianza.
• Se ha aplicado CUPED, pero la sensibilidad sigue siendo insuficiente.

Conclusiones Clave

• CUPED combate el ruido predecible mediante covariables correlacionadas, con ganancia proporcional a ρ.
• VWE minimiza la contribución de unidades inestables estimando la varianza a partir de datos previos.
• La combinación crea sinergia en datos heterogéneos: el RMSE cae un 42% en la simulación.
• La validación de datos es esencial: los datos sintéticos ilustran, pero en producción se requiere analizar la estructura del ruido.
• El tamaño de muestra efectivo se reduce con VWE—tenerlo en cuenta en la planificación.

Limitaciones de los Enfoques

Las simulaciones simplifican la realidad:

• VWE aquí es básico, sin optimizaciones de producción.
• Enfoque en varianza/RMSE, no en sesgo o costo de implementación.
• Los resultados no son universales—dependen de la distribución de varianza de la métrica.

En producción, monitorear pesos, robustez ante valores atípicos e impacto en métricas de negocio.

— Editorial Team