Ein neuer Button, eine andere Überschrift, ein anderer Preis – und schon steigt die Conversion. Aber stimmt das wirklich, oder war es nur Zufall? Genau diese Frage beantwortet ein A/B-Test. Er ist das Standardwerkzeug, um Entscheidungen im Marketing und Webdesign auf Daten statt auf Meinungen zu stützen.
Was ist ein A/B-Test?
Bei einem A/B-Test zeigst du zwei Varianten derselben Sache – etwa zwei Versionen einer Landingpage – jeweils einem zufällig zugeteilten Teil deiner Besucher. Variante A ist meist die bestehende Version (die Kontrolle), Variante B die neue Idee (die Herausforderin). Danach vergleichst du, welche Variante mehr Besucher zu einer gewünschten Handlung gebracht hat: Kauf, Anmeldung, Klick.
Der entscheidende Punkt ist die Zufallszuteilung. Weil beide Gruppen zur gleichen Zeit aus derselben Besucherquelle stammen, sind äußere Einflüsse wie Wochentag, Kampagnen oder Saison für beide Varianten gleich. Der einzige planmäßige Unterschied ist die getestete Änderung.
Conversion Rate als Maßstab
Verglichen wird in der Regel die Conversion Rate, also der Anteil der Besucher, der die gewünschte Handlung ausführt. Variante A mit 100 Conversions aus 2.000 Besuchern hat eine Rate von 5 Prozent, Variante B mit 130 aus 2.000 kommt auf 6,5 Prozent. Auf den ersten Blick gewinnt B. Doch die spannende Frage ist: Ist dieser Unterschied echt – oder hätte er bei einem zweiten Durchlauf genauso gut umgekehrt ausfallen können?
Warum statistische Signifikanz entscheidend ist
Hier liegt der häufigste Fehler von Anfängern: Sie erklären eine Variante zum Sieger, sobald deren Zahl höher ist. Bei kleinen Stichproben schwanken die Werte aber stark. Eine Differenz von ein paar Conversions kann reiner Zufall sein. Erst die statistische Signifikanz sagt dir, wie wahrscheinlich es ist, dass der gemessene Unterschied kein Zufall war.
Üblich ist eine Signifikanzschwelle von 95 Prozent. Das bedeutet: Die Wahrscheinlichkeit, dass der beobachtete Unterschied nur durch Zufall entstanden ist, liegt unter 5 Prozent. Erst wenn dieser Wert erreicht ist, solltest du eine Variante als Gewinner behandeln. Mit dem A/B Test Rechner gibst du Besucher und Conversions beider Varianten ein und siehst sofort, ob der Unterschied aussagekräftig ist oder im Rauschen verschwindet.
Häufige Fehler beim Testen
Auch ein technisch korrekter Test kann in die Irre führen, wenn du diese Stolperfallen übersiehst:
- Zu früh abbrechen: Wer den Test stoppt, sobald eine Variante kurz vorne liegt, fällt auf zufällige Ausschläge herein. Lege Stichprobengröße und Laufzeit vorher fest.
- Zu kleine Stichprobe: Bei wenigen hundert Besuchern lässt sich kaum ein verlässlicher Unterschied messen. Je kleiner der erwartete Effekt, desto mehr Daten brauchst du.
- Mehrere Änderungen gleichzeitig: Wenn sich A und B in fünf Dingen unterscheiden, weißt du am Ende nicht, welche Änderung gewirkt hat. Teste möglichst eine Sache pro Durchlauf.
- Saisonale Verzerrung: Ein Test über das Wochenende kann anders ausfallen als unter der Woche. Lass ihn lange genug laufen, um solche Schwankungen auszugleichen.
Wann sich ein A/B-Test lohnt
A/B-Tests entfalten ihren Wert vor allem bei Seiten mit hohem Traffic, wo selbst kleine Verbesserungen viel ausmachen. Bei sehr wenig Besuchern dauert es oft Wochen, bis ein Ergebnis signifikant wird – hier ist es manchmal sinnvoller, auf bewährte Best Practices zu setzen. Der A/B Test Rechner hilft dir auch hier: Liefert er kein klares Ergebnis, weißt du, dass du mehr Daten sammeln musst, statt vorschnell zu entscheiden.
Tools rund um die Conversion-Optimierung
Ein A/B-Test ist nur ein Baustein der Optimierung. Die nackte Erfolgsquote einer Variante berechnest du mit dem Conversion Rate Rechner, die Klickwirkung deiner Anzeigen mit dem CTR Rechner. Eine Übersicht aller Marketing-Werkzeuge findest du unter kotsch.tech/webtools. Wer seine Entscheidungen konsequent mit solchen Tests absichert, spart sich teure Schnellschüsse und verbessert seine Seiten Schritt für Schritt auf einer soliden Datenbasis.