Pourquoi nous ne réalisons pas de tests A/B

Les tests A/B sont censés constituer la méthode la plus rationnelle pour prendre des décisions concernant un produit : lancer deux variantes, évaluer celle qui donne les meilleurs résultats, puis conserver la plus performante. Cela ressemble à de la science. Mais ce n'en est souvent pas.

Les problèmes auxquels nous étions sans cesse confrontés

La plupart des tests A/B menés à notre échelle ont une puissance statistique insuffisante pour être pertinents. Les tests qui sont les exécutions sont suffisamment longues pour que d’autres éléments de l’application ou du monde changent en arrière-plan, ce qui fausse le résultat. Et l’indicateur que vous mesurez n’est presque jamais celui qui vous intéresse réellement : vous optimisez pour les clics parce que les clics sont quantifiables, tandis que ce que vous recherchiez au fond (la confiance, la fidélisation, les préférences) dérive dans une direction que vous n’avez jamais mesurée.

Ce que nous faisons à la place

Nous concevons deux options, choisissons celle qui reflète le mieux la nature de l'application, la lançons en toute confiance, puis écoutons attentivement ce que nous révèlent les avis et les tickets d'assistance au cours des six semaines suivantes. Nous sommes prêts à nous tromper parfois, à condition de ne pas devoir être statistiquement sûrs de tout à tout moment.

C'est plus lent d'un certain point de vue, mais plus rapide à tous les autres égards.