Por qué no realizamos pruebas A/B

Se supone que las pruebas A/B son la forma racional de tomar decisiones sobre los productos: lanzar dos variantes, medir cuál funciona mejor y quedarse con la ganadora. Parece algo científico. Pero a menudo no lo es.

Los problemas con los que nos topábamos una y otra vez

La mayoría de las pruebas A/B a nuestra escala tienen una potencia estadística demasiado baja como para ser significativas. Las pruebas que son funcionan con suficiente potencia durante tanto tiempo que algo más en la aplicación o en el mundo cambia sin que se den cuenta, lo que distorsiona el resultado. Y la métrica que estás midiendo casi nunca es la que realmente te importa: optimizas en función de los clics porque los clics se pueden contar, y lo que realmente buscabas (confianza, retención, gusto) se desvía en alguna dirección que nunca has medido.

Lo que hacemos en su lugar

Diseñamos dos opciones, elegimos la que refleje con mayor fidelidad la esencia de la aplicación, la lanzamos con confianza y escuchamos atentamente lo que nos revelen las reseñas y las incidencias de soporte técnico de las próximas seis semanas. Estamos dispuestos a equivocarnos de vez en cuando a cambio de no tener que estar estadísticamente seguros todo el tiempo.

En cierto sentido es más lento, pero en todos los demás es más rápido.