Perché non effettuiamo test A/B

Il test A/B dovrebbe essere il metodo razionale per prendere decisioni relative al prodotto: lanciare due varianti, valutare quale funziona meglio e mantenere quella vincente. Sembra una questione scientifica. Spesso però non lo è.

I problemi che continuavamo a incontrare

La maggior parte dei test A/B su scala come la nostra ha una potenza statistica troppo bassa per essere significativa. I test che sono sono così potenti da funzionare per così tanto tempo che qualcos’altro nell’app o nel mondo cambia sotto di loro, contaminando il risultato. E la metrica che stai misurando non è quasi mai quella che ti interessa davvero: ottimizzi per i clic perché i clic sono quantificabili, mentre l’aspetto più profondo che desideravi (fiducia, fidelizzazione, gusto) va alla deriva in una direzione che non hai mai misurato.

Cosa facciamo invece

Progettiamo due opzioni, scegliamo quella che descrive in modo più fedele la natura dell’app, la lanciamo con fiducia e ascoltiamo attentamente ciò che ci diranno le recensioni e i ticket di assistenza delle prossime sei settimane. Siamo disposti a sbagliare qualche volta pur di non dover essere sempre statisticamente certi.

In un certo senso è più lento, ma sotto ogni altro aspetto è più veloce.