Wie viele Optimierungsideen verdienen wirklich Geld?

Die “gute” Idee

Alle Optimierungen beginnen mit einer Idee. Experimente helfen einem dabei, zu verstehen, ob eine Idee “gut” ist, oder nicht.

Eine „gute“ Idee verbessert die Metrik, auf die sie abzielt, ohne dabei relevante andere Metriken zu verschlechtern.

Nicht jede Idee ist eine “gute” Idee. Sonst wären wir alle schon stinkreich ;)

Wie groß ist der Anteil an „guten“ Ideen bei anderen?

Wir werfen zuerst einen Blick auf Unternehmen, die viel experimentieren.

[1], [2]

Die Werte sind nur eingeschränkt vergleichbar, weil Unternehmen unterschiedliche Metriken und Kriterien für einen „Gewinner“ nutzen.

Niedrige Win-Rates* sind nicht zwangsläufig schlecht. Ein möglicher Grund ist der Reifegrad des Produkts: Je länger eine Oberfläche optimiert wurde, desto schwieriger werden weitere Verbesserungen.

Das zeigte sich zum Beispiel bei Microsoft: Insgesamt stellte sich ungefähr jede dritte Idee als gute Idee heraus. Auf der bereits stark optimierten Bing-Suchergebnisseite waren nur etwa 15% der Ideen gut [2].

Einen breiteren Vergleich liefert ein aktueller Benchmark von Optimizely.

[3]

Agenturbenchmarks lasse ich bewusst außen vor. Wenn eine Agentur von knapp 40 Prozent Win-Rate berichtet, greift für mich Twyman’s Law: Je interessanter eine Zahl aussieht, desto skeptischer sollte man prüfen, wie sie entstanden ist.

Das 5-Ideen-Modell

Bei kommerziellen Websites interessiert uns vor allem, ob daraus wirtschaftlicher Wert entsteht. Das folgende Modell drückt die möglichen Auswirkungen deshalb vereinfacht in Umsatz aus.

Für das Gedankenexperiment gehen wir von fünf Ideen aus: eine wirkt positiv, eine negativ und drei zeigen keine statistisch nachweisbare Wirkung.

Das Modell soll keinen allgemeingültigen Benchmark darstellen. Es veranschaulicht nur das Muster, das ich in mehr als zehn Jahren CRO immer wieder beobachtet habe: Ein Teil der Ideen wirkt wie erhofft, manche schaden und die meisten erzeugen keine nachweisbare Veränderung.

Ohne Experiment bleibt die Wirkung eine Annahme

Nicht jede Entscheidung muss als A/B-Test überprüft werden. Wenn eine Maßnahme aber experimentell testbar ist und wirtschaftlich relevante Auswirkungen haben kann, bleibt ihr kausaler Beitrag ohne kontrollierten Vergleich unbekannt.

Vielleicht beobachtet man nach der Implementierung der Maßnahme eine Verbesserung, die könnte aber genauso gut am Wetter liegen.

Wenn ein A/B-Test nicht möglich oder sinnvoll ist, können andere Methoden die Unsicherheit zumindest reduzieren.

Interviews, Usability-Tests oder Umfragen helfen beispielsweise dabei, Probleme, Erwartungen und die Akzeptanz einer Lösung zu untersuchen. Den kausalen Effekt auf das tatsächliche Verhalten können sie aber nicht nachweisen.

Fazit

Einen allgemeingültigen Anteil profitabler Optimierungsideen gibt es nicht. Die Benchmarks zeigen aber übereinstimmend, dass nur eine Minderheit der getesteten Ideen die gewünschte positive Wirkung erzielt.

Das ist kein Argument gegen Optimierung. Es ist ein Argument dagegen, die Wirkung einer Idee mit ihrer Plausibilität zu verwechseln. Solange man eine Maßnahme nicht überprüft hat, bleibt ihre Wirkung eine Annahme.