A/B-Test

A/B-Test

Aktualisiert: 14.10.2026

Kurz gesagt

Ein A/B-Test ist der kontrollierte Vergleich zweier Varianten einer Shop-Seite: Besucher werden zufällig auf A und B verteilt, je Gruppe wird dieselbe Kennzahl gemessen. Ob der Unterschied statistisch nachweisbar ist, prüft ein statistischer Test mit vorab festgelegtem Signifikanzniveau (gebräuchlich 0,1, 0,05 und 0,01 nach NIST); sein Ergebnis zeigt nur die Unvereinbarkeit der Daten mit dem zugrunde gelegten Modell, nicht ob eine Variante wirklich besser ist. Er eignet sich für Onlineshops in Deutschland, Österreich und der Schweiz und setzt zufällige Zuteilung voraus.

Das Wichtigste

Zufällige Zuteilung der Besucher auf beide Varianten ist die Voraussetzung; ohne sie vergleicht der Test unbekannte Gruppen.
Gemessen wird eine vorab festgelegte Kennzahl, im Shop etwa die Conversion-Rate oder der Warenkorbwert.
Signifikanzniveau α ist die Fehlalarmwahrscheinlichkeit: der Test meldet einen Unterschied, obwohl keiner besteht (0,1, 0,05 oder 0,01 nach NIST).
Ein Testergebnis zeigt nach dem Statement der American Statistical Association (2016) nur, wie unvereinbar die Daten mit dem zugrunde gelegten Modell sind; der p-Wert ist keine Wahrscheinlichkeit dafür, dass eine Hypothese stimmt (Prinzipien 1 und 2).
Vorzeitiges Stoppen und mehrere Vergleiche verändern das Fehlalarmrisiko; das Niveau gilt für den einen vorab festgelegten Test.

Definition

Ein A/B-Test ist ein statistisches Experiment: Zwei Fassungen derselben Shop-Seite laufen gleichzeitig, der Zufall entscheidet, wer welche sieht. Verglichen wird eine vorab festgelegte Kennzahl, im Shop etwa die Conversion-Rate.

Wofür er gebraucht wird

So wird aus einer Meinungsfrage eine Messung. Gleiche Gruppengrößen erhöhen die Empfindlichkeit; tragend ist die zufällige Zuteilung (NIST, 5.3.3.1). Die Kennzahl legen Sie vor dem Start fest. Umfang und Laufzeit bestimmen Sie nach der Anleitung A/B-Test planen und auswerten.

Ein Beispiel aus dem Shop

Gewähltes Beispiel: Variante A der Kassenseite kommt auf 300 Käufe bei 10.000 Sitzungen (3,0 Prozent), Variante B auf 360 (3,6 Prozent). Der Test prüft unter Modellannahmen, ob die Differenz von 0,6 Prozentpunkten statistisch nachweisbar ist; er zeigt nicht die Wahrheit des Effekts (ASA, 2016). Bei einem Niveau von 0,05 meldet er in 5 von 100 Durchläufen einen Unterschied, obwohl beide Fassungen gleich gut sind (NIST, 7.1.3.1).

Worauf die Entscheidung beruht

Die Auswertung ist ein statistischer Test mit Nullhypothese und Gegenhypothese. Alpha begrenzt als Signifikanzniveau das Fehlalarmrisiko; gebräuchlich sind 0,1, 0,05 und 0,01 (NIST). Der p-Wert ist die Wahrscheinlichkeit eines mindestens so extremen Ergebnisses unter der Nullhypothese, kein Maß für die Effektgröße. Beta ist die Chance, einen echten Unterschied zu übersehen (NIST, 7.1.3 und 7.2.2.2).

Typische Fehler

Zu wenige Besucher: Ohne vorab berechneten Umfang kann ein echter Unterschied unentdeckt bleiben; der nötige Umfang folgt aus Alpha, Beta, Streuung und dem nachzuweisenden Unterschied (NIST, 7.2.2.2).
Vorzeitiges Stoppen: Beim ersten signifikanten Zwischenstand abzubrechen prüft dieselben Daten mehrfach; das Niveau 0,05 gilt dann nicht mehr (NIST, 7.4.7).
Mehrere Vergleiche: Varianten oder Kennzahlen ohne Korrektur lassen das Fehlalarmrisiko steigen; Bonferroni teilt Alpha durch ihre Zahl (NIST, 7.4.7.3).
p-Wert fehlgedeutet: Er setzt die Nullhypothese voraus und ist keine Wahrscheinlichkeit für die Hypothese (ASA, 2016, Prinzip 2).
Signifikanz mit Bedeutung verwechselt: Ein signifikanter Unterschied kann wirtschaftlich belanglos sein (ASA, 2016, Prinzip 5).
Nicht zufällige Zuteilung: Ohne Randomisierung ist nicht gesichert, dass allein die Variante die Gruppen unterscheidet (NIST, 5.3.3.1).

Nicht zu verwechseln mit

Multivariater Test: mehrere Faktoren gleichzeitig, geprüft in jeder Kombination ihrer Stufen (NIST, 5.3.3.3); die Zahl der Vergleiche steigt.
Usability-Test: repräsentative Nutzer bearbeiten repräsentative Aufgaben am Produkt; erhoben werden qualitative und quantitative Daten, etwa Kommentare, Bearbeitungszeit, Fehler und Erfolgsquoten (NIST: Usability Testing).
Vorher-Nachher-Vergleich: zwei Zeiträume statt zwei zufällig geteilte Gruppen.

Häufige Fragen

Warum zeigt der Test keinen Unterschied, obwohl Variante B besser aussieht?

Weil ein echter Unterschied eine ausreichend große Stichprobe braucht, um nachweisbar zu sein. Ist der geplante Umfang zu klein oder der Unterschied kleiner als angenommen, kann er unentdeckt bleiben (Fehler zweiter Art); wie groß die Wahrscheinlichkeit dafür ist, hängt von der Stichprobe und der Größe des Unterschieds ab. Ein nicht signifikantes Ergebnis beweist daher nicht, dass beide Varianten gleich gut sind.

Darf ich den Test stoppen, sobald die Variante deutlich vorn liegt?

Nein. Wer beim ersten signifikanten Zwischenstand abbricht, prüft dieselben Daten mehrfach; das Niveau von 0,05 gilt dann nicht mehr für das Gesamtergebnis. Legen Sie Umfang und Abbruchregel vor dem Start fest und werten Sie erst nach Erreichen des Umfangs aus.

Ist ein signifikanter Unterschied automatisch wirtschaftlich wichtig?

Nein. Nach dem Statement der American Statistical Association (2016) misst statistische Signifikanz weder die Größe noch die Bedeutung eines Effekts. Prüfen Sie zusätzlich, ob der Unterschied groß genug ist, um die Änderung und ihre Folgekosten zu rechtfertigen.

Was ist der Unterschied zum multivariaten Test?

Ein A/B-Test stellt zwei Fassungen als zwei Stufen eines Faktors gegenüber (NIST, 5.3.3.1); ob sich die Fassungen in einem Element oder in mehreren unterscheiden, ist eine Frage der Testgestaltung. Ein multivariater Test untersucht mehrere Faktoren gleichzeitig und jede Kombination ihrer Stufen (NIST, 5.3.3.3); dabei entstehen mehrere Vergleiche, die eine Korrektur des Signifikanzniveaus nötig machen (NIST, 7.4.7).