Calculadora de Evan Miller para Pruebas A/B

Cálculo del tamaño de muestra para pruebas A/B: La calculadora de Evan Miller

La calculadora de Evan Miller permite determinar con precisión el tamaño de muestra necesario para pruebas A/B, minimizando el riesgo de errores y optimizando recursos. La herramienta tiene en cuenta la tasa de conversión base, el tamaño del efecto esperado, la potencia estadística y el nivel de significancia, proporcionando el número requerido de observaciones para los grupos A y B.

Un cálculo adecuado evita subestimar el tamaño de la muestra, lo que conduce a una alta variabilidad, o desperdiciar recursos en un volumen excesivo de datos. Por ejemplo: con una tasa de conversión base del 56% y el objetivo de aumentarla en un 3%, se requieren aproximadamente 13.719 usuarios por grupo bajo parámetros estándar (80% de potencia, α=5%). Se recomienda un margen del 20%, lo que eleva el total a 16.463 por grupo.

Parámetros de cálculo en la calculadora

La herramienta requiere la entrada secuencial de métricas clave:

• Tasa de conversión base — la tasa de conversión actual. Se calcula como (eventos exitosos / eventos totales). Ejemplo: 280.000 visualizaciones de 500.000 correos electrónicos enviados = 56%.
• Efecto mínimo detectable (MDE) — el tamaño mínimo del efecto que se desea detectar. Se especifica en valores absolutos (unidades) o relativos (%). Para tasas de conversión, se prefieren los valores relativos.
• Potencia estadística (1-β) — la probabilidad de detectar un efecto real (el estándar es 80%). Un valor más alto requiere un tamaño de muestra mayor.
• Nivel de significancia (α) — la probabilidad de un error de Tipo I (falso positivo, el estándar es 5%).

Un gráfico en la interfaz muestra el rango de tamaños de efecto que confirmarían la hipótesis (intervalo gris desde la base + MDE).

Cómo afectan los parámetros al tamaño de la muestra

Ajustar la configuración impacta directamente en el volumen de datos requerido:

• Aumentar la potencia del 80% al 90% eleva el tamaño de la muestra de 13.719 a 18.372 por grupo.
• Un α más bajo (por ejemplo, 1%) requiere un volumen aún mayor.
• El MDE relativo es más fácil de interpretar para métricas basadas en porcentajes, mientras que el MDE absoluto es mejor para cambios fijos.

| Parámetro | Valor estándar | Efecto en el tamaño de la muestra |

|-----------|----------------|-----------------------------------|

| Potencia | 80% | Línea base |

| α | 5% | Línea base |

| Potencia 90% | 90% | +34% |

| α 1% | 1% | +~100% |

Después del cálculo, determine la duración de la prueba: tamaño de la muestra / tráfico diario promedio. Presupuesto: tamaño de la muestra × costo por adquisición.

Recomendaciones prácticas para su uso

• Añada un margen del 20% para tener en cuenta la pérdida de usuarios o fluctuaciones de tráfico.
• Divida el tráfico 50/50 entre grupos utilizando plataformas de pruebas A/B (Optimizely, Google Optimize).
• Para métricas binarias (conversión), utilice MDE relativo.
• Valide supuestos: considere la estacionalidad y la segmentación de la audiencia.

Ejemplo de código Python para verificación (usando statsmodels):

import statsmodels.stats.api as sms

effect_size = sms.proportion_effectsize(0.56, 0.56 * 1.03)
analysis = sms.NormalIndPower()
sample_size = analysis.solve_power(effect_size, power=0.8, alpha=0.05, ratio=1)
print(f"Tamaño de muestra por grupo: {sample_size:.0f}")

Salida: ~13.719, coincidiendo con la calculadora.

Conclusiones clave

• Un cálculo preciso del tamaño de la muestra reduce la probabilidad de errores de Tipo I y Tipo II.
• Los parámetros estándar (80% de potencia, 5% α) equilibran velocidad y fiabilidad.
• Un margen del 20% compensa la pérdida de datos en el mundo real.
• La integración con código permite una validación automatizada.
• Las consideraciones de tráfico determinan la duración real de la prueba.

— Editorial Team