Wie CRO vor schlechten Optimierungsideen schützt

In meinem ersten Beitrag habe ich gezeigt, dass nur eine Minderheit der getesteten Optimierungsideen gewinnt. Die meisten Ideen haben entweder keinen messbaren Effekt oder wirken sich sogar negativ aus.

Neutrale Ideen erzeugen keinen zusätzlichen Umsatz. Schädliche Ideen gehen noch einen Schritt weiter: Werden sie dauerhaft implementiert, können sie Umsatz kosten. Genau hier entsteht ein häufig übersehener finanzieller Wert von CRO.

Testen oder nicht testen?

Vereinfacht gesagt gibt es zwei Szenarien.

Ohne Experimente werden Ideen implementiert, ohne dass man die Umsatzwirkung kennt. Natürlich kann man sich den Umsatz vor und nach der Implementierung ansehen. Etwaige Veränderungen sind dann aber nicht zwangsläufig in der Implementierung der Idee begründet. Ob der Umsatz in KW2 10% niedriger ist als in KW1, könnte an der Implementierung liegen. Es könnte aber auch am Wetter, der Weltpolitik oder den Bundesliga-Ergebnissen liegen.

Mit Experimenten lässt sich die Umsatzwirkung einer Idee vor dem vollständigen Rollout belastbarer einschätzen. Durch die zufällige Zuordnung zu Kontroll- und Experimentalgruppe und die zeitgleiche Messung lassen sich andere Einflüsse besser kontrollieren. Dadurch wird eine kausale Interpretation möglich.

Man kann sagen: Ohne Experimente kann man vor allem Korrelationen untersuchen, mit Experimenten kann man belastbare Aussagen über Ursache und Wirkung treffen.

CRO reduziert das Risiko, dass gut gemeinte Änderungen unbemerkt Umsatz kosten

Angenommen, du hast fünf Ideen. Eine davon ist gut, eine ist schlecht und drei sind neutral.

Ohne Experimente werden alle fünf Ideen ausgerollt. Der Gewinner erzeugt monatlich 150.000€ zusätzlichen Umsatz, während der Verlierer 90.000€ kostet. Unter’m Strich bleiben 60.000€.

Mit Experimenten rollst du Idee 1 vollständig aus, Idee 4 verwirfst du wegen des negativen Ergebnisses. Vereinfacht betrachtet steigt die monatliche Umsatzwirkung nach Abschluss der Tests damit von 60.000€ auf 150.000€. Der Wert des negativen Testergebnisses liegt in den 90.000€ negativer Umsatzwirkung, die beim vollständigen Rollout vermieden werden.

Ganz ohne negative Wirkung bleibt auch das Experiment nicht: Während der Testlaufzeit sieht ein Teil der Nutzer die schlechtere Variante. Das Experiment begrenzt jedoch Reichweite und Dauer des Schadens.

Vereinfachte Hochrechnung bei konstantem Monatseffekt. Ohne Saisonalität, Wirkungsrückgang und negative Wirkung während der Testphase.

Experimente als Risikomanagement

Es ist menschlich, sich zu ärgern, wenn eine Idee, die man hatte, nicht funktioniert. Schlechte Ideen zu erkennen, ist aber etwas Gutes. Experimente helfen dir, Schaden von deinem Unternehmen abzuwenden. Manchmal ist Optimierung nicht “besser werden” sondern “nicht schlechter werden”.

Ein Experiment mit negativem Ergebnis ist nicht zwangsläufig ein wirtschaftlicher Misserfolg. Es kann eine kostengünstige Warnung vor einem wesentlich teureren vollständigen Rollout sein.

Bisher haben wir nur die Umsatzwirkung betrachtet. Neutrale Ideen sind wirtschaftlich betrachtet aber auch nicht kostenlos. Konzeption, Entwicklung und Abstimmung binden Ressourcen, selbst wenn die Änderung später keinen zusätzlichen Umsatz erzeugt. Darum geht’s im nächsten Teil der Serie.