Warum wir keine A/B-Tests durchführen

A/B-Tests gelten als der rationale Weg, um Produktentscheidungen zu treffen: Man bringt zwei Varianten auf den Markt, misst, welche besser abschneidet, und behält die erfolgreichere Variante bei. Das klingt nach Wissenschaft. Ist es aber oft nicht.

Die Probleme, auf die wir immer wieder stießen

Die meisten A/B-Tests in unserer Größenordnung weisen eine zu geringe statistische Aussagekraft auf, um aussagekräftig zu sein. Tests, die sind die so lange laufen, dass sich in der Zwischenzeit etwas anderes in der App oder in der Außenwelt verändert und das Ergebnis verfälscht. Und die Kennzahl, die man misst, ist fast nie die Kennzahl, die einem tatsächlich wichtig ist – man optimiert für Klicks, weil Klicks zählbar sind, und das, was einem eigentlich am Herzen liegt (Vertrauen, Kundenbindung, Geschmack), driftet in eine Richtung ab, die man nie gemessen hat.

Was wir stattdessen tun

Wir entwerfen zwei Varianten, wählen diejenige aus, die das Wesen der App am besten widerspiegelt, bringen sie selbstbewusst auf den Markt und hören aufmerksam darauf, was uns die Bewertungen und Support-Anfragen der nächsten sechs Wochen verraten. Wir sind bereit, uns manchmal zu irren, wenn wir dafür nicht ständig statistische Gewissheit haben müssen.

In gewisser Hinsicht ist es langsamer, in jeder anderen Hinsicht aber schneller.