Por qué los resultados de tu prueba A/B podrían estar ocultando la verdad debido al "efecto bola de nieve"

En el mundo del análisis de datos, a menudo nos sentimos atraídos por modelos complejos de aprendizaje automático y arquitecturas de deep learning, pero olvidamos una herramienta discreta pero poderosa: la regresión lineal. Hoy partamos de un escenario real para ver cómo puede cambiar nuestra comprensión de los resultados de una prueba A/B.

Escenario: Prueba de banners en una plataforma de comercio electrónico

Imagina que un minorista en línea lanza un nuevo diseño de banner en la página, con el objetivo de evaluar su impacto en la duración media de las sesiones de los usuarios. Realizan un experimento y recopilan datos. Ahora surge la pregunta: ¿analizar estos resultados con una prueba T o con regresión lineal?

La respuesta que da la prueba T

Con la herramienta tradicional de la prueba T, obtenemos números que parecen bastante prometedores:

El incremento estimado es de 0.56 minutos (es decir, los usuarios pasan en promedio 33 segundos más). Esto es la diferencia entre las medias de las muestras del grupo control y el grupo de tratamiento. Parece claro y sencillo.

El hallazgo interesante: la regresión lineal dice lo mismo

Pero, si usamos regresión lineal para hacer lo mismo, tomando si se muestra el banner como variable independiente y la duración media de la sesión como variable dependiente, ¿qué pasa?

El resultado sorprende: el coeficiente de la variable de tratamiento es exactamente 0.56—completamente coincidente con la prueba T.

Esto no es casualidad. Ambos métodos tienen la hipótesis nula exactamente la misma, por lo que al calcular el estadístico t y el p-valor, obtenemos resultados consistentes.

Pero aquí hay un problema importante a tener en cuenta: el R² es solo 0.008, lo que significa que nuestro modelo explica menos del 1% de la varianza. Hay muchas cosas que no estamos capturando.

El poder oculto: sesgo de selección y covariables

Aquí está el giro clave: explicar el comportamiento del usuario solo con la variable de tratamiento puede ser demasiado simplista.

En un experimento A/B real, puede existir sesgo de selección—es decir, en condiciones no aleatorias, puede haber diferencias sistemáticas entre los dos grupos comparados. Por ejemplo:

• Los usuarios habituales ven el banner nuevo con más frecuencia que los nuevos clientes
• Algunos grupos de usuarios tienden naturalmente a pasar más tiempo en la plataforma

Aunque la asignación aleatoria ayuda a mitigar esto, es difícil eliminarlo por completo.

Modelo corregido: añadir covariables

¿Y qué pasa si añadimos una covariable—por ejemplo, la duración media de sesión antes del experimento?

El rendimiento del modelo mejora de repente. El R² sube a 0.86, explicando ahora el 86% de la varianza. El efecto del tratamiento también se ajusta a 0.47 minutos.

Esta diferencia es significativa. En estos datos simulados, el efecto real del tratamiento es de 0.5 minutos. Así, el modelo con covariables (0.47) está más cerca de la realidad que el simple (0.56).

Este fenómeno a veces se llama efecto “snowballing”—una variable oculta inicial puede amplificar o atenuar la estimación, haciendo que los resultados iniciales se desvíen de la verdad.

¿Por qué elegir regresión lineal?

Entonces, ¿cuál es la respuesta correcta entre 0.47 y 0.56?

Cuando conocemos el efecto real, un modelo de regresión lineal con covariables apropiadas suele ofrecer estimaciones más precisas. Esto se debe a que:

1. Proporciona una visión completa de la calidad del ajuste del modelo: el R² indica cuánto de la varianza explica el modelo, lo cual es crucial para evaluar la fiabilidad
2. Permite controlar variables de confusión: añadiendo covariables, podemos aislar el efecto real del tratamiento y reducir el sesgo de selección
3. Mejora la precisión de la estimación: especialmente en escenarios del mundo real con diferencias sistemáticas

Reflexión adicional

Este principio no solo se aplica a la prueba T. También puedes extender el marco de regresión lineal a pruebas de Welch, chi-cuadrado y otros métodos estadísticos—aunque cada uno requiere ajustes técnicos específicos.

La clave es: no te dejes engañar por resultados que parecen simples. Profundiza en los datos, busca esas variables que el efecto “snowballing” puede estar ocultando, y descubrirás una verdad más precisa.