In vielen Unternehmen entscheidet die lauteste Stimme im Meeting darüber, wie der Shop aussieht. Bei Booking.com entscheidet der Kunde. Das Unternehmen führt über 25.000 Tests pro Jahr durch, mehr als 1.000 davon laufen gleichzeitig. Dieser Unterschied ist kein Zufall, sondern das Ergebnis einer Kultur, die sich jedes Unternehmen aufbauen kann. Warum Testen wichtiger ist als jedes einzelne Feature, woran Testprogramme in der Praxis scheitern und wie der Einstieg gelingt.
Warum in vielen Shops Meinungen entscheiden und nicht Kunden
Der Relaunch steht an. Das Marketing will mehr Emotion auf der Startseite. Der Vertrieb will die Bestseller prominenter. Die Geschäftsführung mag das Blau nicht. Nach zwei Stunden gibt es einen Kompromiss, mit dem niemand richtig glücklich ist. Drei Monate später ist die neue Seite live. Ob sie besser verkauft als die alte, weiß keiner. Es hat schlicht niemand gemessen.
So laufen Entscheidungen in vielen Unternehmen. Nicht weil die Beteiligten schlecht wären. Sondern weil es keinen anderen Mechanismus gibt. Wo Daten fehlen, füllen Meinungen die Lücke. Und wo Meinungen entscheiden, gewinnt selten die beste Idee. Es gewinnt die Person mit dem größten Titel oder der lautesten Stimme.
Das Problem daran ist nicht das eine falsche Banner. Das Problem ist die Summe. Jede ungetestete Entscheidung ist eine Wette mit dem Umsatz des Unternehmens. Wer hundert solcher Wetten im Jahr abschließt und nie nachschaut, ob sie aufgehen, verliert Geld, ohne es zu merken.
Was Booking.com anders macht als die meisten Onlineshops
Es gibt Unternehmen, die diesen Mechanismus umgedreht haben. Das bekannteste Beispiel kommt aus dem Reisemarkt. Booking.com führt mehr als 25.000 Tests pro Jahr durch, über 1.000 davon laufen zu jedem Zeitpunkt gleichzeitig. Der Harvard-Professor Stefan Thomke hat diese Arbeitsweise untersucht und im Harvard Business Review beschrieben. Sein wichtigster Befund klingt banal und ist es nicht: Bei Booking.com darf jeder Mitarbeiter Experimente starten, ohne vorher das Management zu fragen.
Das bedeutet in der Praxis: Niemand muss dort eine Debatte gewinnen, um eine Idee auszuprobieren. Die Idee geht als Test live, ein Teil der Besucher sieht die neue Variante, der Rest die alte. Nach ein paar Wochen liegt ein Ergebnis vor. Die Variante gewinnt oder sie verliert. In beiden Fällen hat das Unternehmen etwas gelernt.
Thomke zieht daraus einen Schluss, den man sich einrahmen kann: Daten schlagen Meinungen. Booking.com war einmal ein kleines niederländisches Start-up. Heute ist es die größte Unterkunftsplattform der Welt. Diesen Weg hat das Unternehmen nicht mit einem genialen Design zurückgelegt, sondern mit zehntausenden kleinen Tests, von denen viele gescheitert sind. Das Scheitern gehört dazu. Es ist dort billig, weil es früh passiert und klein bleibt.
Warum sich Testen und Personalisierung rechnen
Vielleicht denken Sie jetzt: schön für Booking.com, aber wir haben andere Größenordnungen. Der Einwand ist verständlich und führt trotzdem in die Irre. Denn der Wert des Testens hängt nicht an der Unternehmensgröße. Er hängt daran, ob Sie wissen wollen, was funktioniert.
McKinsey hat untersucht, was Unternehmen davon haben, wenn sie Personalisierung ernsthaft betreiben. Das Ergebnis: Unternehmen, die Personalisierung beherrschen, erzielen daraus 40 Prozent mehr Umsatz als der Durchschnitt ihrer Branche. Personalisierung heißt hier: verschiedene Kunden sehen verschiedene Inhalte, Angebote und Empfehlungen. Und genau dafür braucht es Tests. Denn welche Variante bei welcher Kundengruppe wirkt, kann niemand vorher wissen. Man kann es nur herausfinden.
Es gibt noch einen zweiten Gewinn, der in keiner Statistik auftaucht. Tests beenden interne Debatten. Wenn das Ergebnis auf dem Tisch liegt, muss niemand mehr Recht behalten. Die Diskussion verschiebt sich von der Frage, wer sich durchsetzt, zur Frage, was man als Nächstes ausprobiert. Teams, die so arbeiten, werden spürbar schneller. Nicht weil sie mehr arbeiten, sondern weil sie weniger streiten.
Woran A/B-Testing in der Praxis wirklich scheitert
Wenn Testen so offensichtlich sinnvoll ist, warum macht es dann nicht jeder? Aus unserer Erfahrung scheitern Testprogramme selten am Werkzeug. Sie scheitern an drei Mustern, die immer wieder auftauchen.
Das erste Muster: Es gibt keine Hypothese. Getestet wird, was gerade fertig geworden ist. Die neue Produktseite gegen die alte, einfach weil die neue da ist. So ein Test beantwortet keine Frage, weil nie eine gestellt wurde. Ein guter Test beginnt mit einer Vermutung, die man widerlegen kann. Zum Beispiel: Wenn wir die Lieferzeit direkt neben den Preis stellen, brechen weniger Kunden im Warenkorb ab. Das kann stimmen oder nicht. Aber man kann es prüfen.
Das zweite Muster: zu wenig Geduld. Ein Test läuft drei Tage, die Kurve sieht gut aus, das Team erklärt ihn zum Erfolg. Nur waren drei Tage zu kurz und die Stichprobe zu klein. Das Ergebnis ist Rauschen, kein Signal. Wer daraus Entscheidungen ableitet, hat das Bauchgefühl nur durch ein Zufallsergebnis ersetzt. Das ist keine Verbesserung.
Das dritte Muster ist das häufigste und das teuerste: Die Ergebnisse haben keine Konsequenz. Der Test verliert, die Variante geht trotzdem live. Weil sie der Geschäftsführung gefällt. Weil die Agentur sie schon gebaut hat. Weil sie im Jahresplan steht. In dem Moment, in dem das erste Mal passiert, weiß die ganze Organisation: Die Tests sind Dekoration. Danach kann man sie auch weglassen.
Alle drei Muster haben dieselbe Wurzel. Testen wird als Werkzeug verstanden, nicht als Regel. Dabei liegt die eigentliche Kraft in der Verbindlichkeit. Ein Test, dessen Ergebnis bindend ist, verändert Verhalten. Ein Test, dessen Ergebnis zur Diskussion steht, verändert nichts.
Wie der Einstieg mit Dynamic Yield aussieht
Der gute Nachricht zuerst: Sie müssen nicht mit 1.000 parallelen Tests anfangen. Ein einziger reicht, wenn er richtig aufgesetzt ist.
Suchen Sie die Stelle in Ihrem Shop, über die intern am meisten diskutiert wird. Meistens gibt es genau so eine Stelle. Das Empfehlungsmodul, das niemand klickt. Die Kategorieseite mit der hohen Absprungrate. Das Aktionsbanner, über das seit Monaten gestritten wird. Formulieren Sie dazu eine Hypothese, legen Sie vorher fest, woran Sie Erfolg messen, und vereinbaren Sie im Team, dass das Ergebnis gilt. Egal wie es ausgeht.
Technisch ist das heute keine große Hürde mehr. Mit einer Plattform wie Dynamic Yield laufen solche Tests über die Website, die App und den E-Mail-Kanal in einem gemeinsamen Workflow. Die Zielgruppen, die Varianten und die Auswertung liegen an einem Ort. Ihr Team braucht dafür kein IT-Projekt und keinen Release-Zyklus. Es braucht eine Frage und zwei Wochen Geduld.
Aus dem ersten Test wird ein zweiter. Aus dem zweiten ein Rhythmus. Nach einigen Monaten hat sich etwas verändert, das größer ist als jedes einzelne Ergebnis. Die Frage im Meeting lautet nicht mehr, wer Recht hat. Sie lautet, was der nächste Test ist. Genau das meint der Begriff Experimentierkultur. Nicht mehr und nicht weniger.
Wie aus Tests Personalisierung mit Dynamic Yield wird
Testen und Personalisieren sind zwei Seiten derselben Sache. Ein Test zeigt Ihnen, dass Variante A besser funktioniert als Variante B. Personalisierung geht einen Schritt weiter und fragt: besser für wen? Vielleicht funktioniert Variante A für Neukunden und Variante B für Stammkunden. Dann ist die richtige Antwort nicht A oder B. Die richtige Antwort ist beides, je nachdem, wer gerade auf der Seite ist.
Deshalb ist die Reihenfolge so wichtig. Erst messen, dann personalisieren, dann automatisieren. Wer personalisiert, ohne zu messen, verteilt sein Bauchgefühl nur auf mehr Zielgruppen. Wer misst und dann personalisiert, baut Stück für Stück ein System, das mit jedem Test besser wird. Am Ende arbeitet die Maschine für Sie und lernt aus jedem Kundenkontakt.
Der erste Schritt zu datenbasierten Entscheidungen
Sie brauchen dafür keinen Vorstandsbeschluss und kein Budgetjahr. Sie brauchen eine Stelle im Shop, eine überprüfbare Vermutung und die Bereitschaft, das Ergebnis zu akzeptieren. Das ist unbequemer als ein weiterer Workshop. Aber es ist der Anfang einer Arbeitsweise, die verkauft, statt zu diskutieren.
Und falls Sie sich fragen, wie so etwas in ganz großem Maßstab aussieht: Wie McDonald's mit derselben Technologie seine Bestellkanäle umgebaut hat, lesen Sie in unserem Artikel über das McDonald's-Playbook. Alle weiteren Analysen finden Sie in unseren Dynamic Yield Insights.