Por que razão não realizamos testes A/B

O teste A/B é supostamente a forma racional de tomar decisões sobre produtos: lançar duas variantes, avaliar qual tem melhor desempenho e ficar com a vencedora. Parece ciência. Mas, muitas vezes, não é.

Os problemas com que nos deparávamos constantemente

A maioria dos testes A/B à nossa escala tem um poder estatístico demasiado reduzido para serem significativos. Os testes que são funcionam durante tanto tempo que algo mais na aplicação ou no mundo muda por baixo delas, contaminando o resultado. E a métrica que estás a medir quase nunca é aquela com a qual realmente te preocupas — otimizas para cliques porque os cliques são quantificáveis, e o que realmente querias (confiança, retenção, preferências) desvia-se numa direção que nunca mediste.

O que fazemos, em vez disso

Concebemos duas opções, escolhemos a que melhor reflete a essência da aplicação, lançamo-la com confiança e ouvimos atentamente o que as próximas seis semanas de comentários e pedidos de apoio nos revelarem. Estamos dispostos a errar, por vezes, em troca de não termos de ter sempre a certeza estatística.

É mais lento num sentido e mais rápido em todos os outros.