Conversion-Optimierung: Tests planen und auswerten

Ein A/B-Test vergleicht zwei Varianten einer Shop-Seite und misst, welche die höhere Konversionsrate erzielt. Ob das Ergebnis belastbar ist, hängt von der Stichprobengröße und der Dauer ab – beides legen Sie vor dem Start fest. Dieser Artikel führt die Planung in sieben Schritten durch, mit einem Rechner für Stichprobenumfang und Dauer, und nennt die Consent-Anforderungen für Testwerkzeuge in Deutschland, Österreich und der Schweiz.

Was Sie vorab brauchen

• die aktuelle Konversionsrate der Seite (Basis-Konversionsrate p1) – aus Ihren Shop- oder Analysedaten der letzten vier bis acht Wochen
• die kleinste Effektgröße, die Sie nachweisen wollen (p2) – als relative Steigerung, etwa 10 Prozent
• die täglichen Besucher der Seite – aus Ihren Analysedaten
• Signifikanzniveau und Power – Standardwerte 5 Prozent und 80 Prozent, anpassbar
• ein A/B-Test-Tool, das die Consent-Anforderungen des jeweiligen Landes erfüllt

Schritt für Schritt: A/B-Test planen und auswerten

Schritt 1: Hypothese formulieren

Formulieren Sie die Hypothese als eine Aussage, die Sie widerlegen können: „Variante B erzielt eine höhere Konversionsrate als Variante A.” Nennen Sie die Seite, die geplante Veränderung, die erwartete Richtung und die Kennzahl. Eine Hypothese ohne Kennzahl ist nicht testbar.

Schritt 2: Basis-Konversionsrate ermitteln

Ermitteln Sie die Konversionsrate der Seite, die Sie testen, über die letzten vier bis acht Wochen. Die Basis-Konversionsrate p1 ist die Anzahl der Konversionen geteilt durch die Anzahl der Besucher in diesem Zeitraum. Verwenden Sie den Zeitraum, der typisch für Ihren Shop ist. Kurze oder besondere Zeiträume, etwa ein einzelner Tag oder eine Aktionswoche, können für die geplante Testpopulation unrepräsentativ sein.

Schritt 3: Effektgröße festlegen

Legen Sie die kleinste Steigerung fest, die Sie nachweisen wollen. Die Effektgröße ist die Differenz zwischen der Ziel-Konversionsrate p2 und der Basis-Konversionsrate p1. Eine relative Steigerung von 10 Prozent bei p1 = 3 Prozent ergibt p2 = 3,3 Prozent, also eine absolute Differenz von 0,3 Prozentpunkten. Je kleiner die Effektgröße, desto größer die nötige Stichprobe.

Schritt 4: Stichprobenumfang berechnen

Der Stichprobenumfang je Gruppe ergibt sich aus einer Normalapproximation für zwei unabhängige Anteile. Die Formel ist eine Näherung; die Zweistichproben-Powerberechnung power.prop.test in R liefert für dieselben Eingaben nahezu identische Werte. Die Formel ist:

Stichprobenumfang je Gruppe = (z-α/2 + z-β)² × (p1 × (1 − p1) + p2 × (1 − p2)) ÷ (p1 − p2)²

Dabei ist z-α/2 der z-Wert des Signifikanzniveaus (zweiseitig) und z-β der z-Wert der Power. Der Rechner nutzt als Standardwerte 5 Prozent Signifikanzniveau (z-α/2 = 1,96) und 80 Prozent Power (z-β = 0,84). Sie können beide Werte anpassen; ein niedrigeres Signifikanzniveau (kleineres α) erhöht den nötigen Umfang, ein höheres senkt ihn. Eine niedrigere Power senkt den nötigen Umfang, eine höhere erhöht ihn.

Die Tabelle zeigt den nötigen Stichprobenumfang je Gruppe für typische Kombinationen bei 5 Prozent Signifikanz und 80 Prozent Power:

Basis-Konversionsrate	Effekt (relativ)	Ziel-Konversionsrate	Stichprobenumfang je Gruppe	Gesamt
2,0 %	10 %	2,2 %	80.679	161.358
3,0 %	10 %	3,3 %	53.208	106.416
3,0 %	20 %	3,6 %	13.911	27.822
5,0 %	10 %	5,5 %	31.231	62.462

Die Zahlen sind Beispielrechnungen aus der Formel; setzen Sie Ihre eigenen Werte ein.

Schritt 5: Dauer berechnen

Die Dauer in Tagen ist der Stichprobenumfang je Gruppe geteilt durch die täglichen Besucher je Gruppe, aufgerundet. Da die Besucher auf zwei Gruppen aufgeteilt werden, ist die tägliche Besucherzahl je Gruppe die Hälfte der täglichen Gesamtbesucher.

Dauer in Tagen = Stichprobenumfang je Gruppe ÷ (tägliche Besucher ÷ 2)

Beispiel: Bei 1.000 täglichen Besuchern sind das 500 je Gruppe. Mit 53.208 Besuchern je Gruppe ergibt sich 53.208 ÷ 500 = 106,4, aufgerundet 107 Tage. Bei 5.000 täglichen Besuchern sind das 2.500 je Gruppe, also 53.208 ÷ 2.500 = 21,3, aufgerundet 22 Tage.

Als redaktionelle Planungsempfehlung sollte der Test mindestens eine volle Woche umfassen, damit er über alle Wochentage läuft. Ist die berechnete Dauer kürzer als 7 Tage, verlängern Sie den Test auf 7 Tage und erhöhen Sie den Stichprobenumfang entsprechend.

Schritt 6: Test starten und nicht vorzeitig stoppen

Starten Sie den Test, wenn beide Varianten bereit sind und die Consent-Anforderungen erfüllt sind. Stoppen Sie den Test nicht, wenn eine Variante vorzeitig deutlich vorn liegt. Wer den Test vor Erreichen des geplanten Stichprobenumfangs stoppt, prüft ihn mehrfach gegen dasselbe Signifikanzniveau. Das erhöht die Wahrscheinlichkeit, dass ein zufälliger Unterschied als signifikant ausgewiesen wird. Stoppen Sie erst, wenn der geplante Umfang erreicht ist.

Schritt 7: Ergebnis auswerten

Vergleichen Sie die Konversionsraten der beiden Gruppen mit dem z-Test für zwei unabhängige Anteile. Der z-Wert ist die Differenz der beiden Konversionsraten geteilt durch die Standardabweichung der Differenz, berechnet aus dem gepoolten Anteil beider Gruppen. Vergleichen Sie den Betrag des z-Werts mit dem kritischen Wert z-α/2 = 1,96 für ein zweiseitiges Signifikanzniveau von 5 Prozent. Liegt der Betrag darüber, ist die Differenz statistisch signifikant. Prüfen Sie zusätzlich das Konfidenzintervall der Differenz: Enthält es null, ist die Differenz nicht signifikant.

So prüfen Sie das Ergebnis

• Der Stichprobenumfang je Gruppe ist erreicht, bevor Sie auswerten.
• Die Dauer umfasst als Planungsempfehlung mindestens eine volle Woche.
• Die Basis-Konversionsrate p1 stammt aus einem typischen Zeitraum, nicht aus einer Aktionswoche.
• Die Effektgröße p2 − p1 ist die kleinste Steigerung, die Sie nachweisen wollen.
• Das Signifikanzniveau und die Power sind vor dem Start festgelegt und nicht nachträglich angepasst.
• Das Testwerkzeug erfüllt die Consent-Anforderungen des jeweiligen Landes.

Wenn etwas nicht klappt

Symptom	Ursache	Behebung
Test läuft sehr lange	Effektgröße zu klein oder Basis-Konversionsrate niedrig	Effektgröße vergrößern oder Traffic erhöhen; bei 3 Prozent Basis und 10 Prozent Effekt sind 53.208 Besucher je Gruppe nötig
Ergebnis nicht signifikant, obwohl die Variante besser aussieht	Möglicherweise ist der beobachtete Unterschied kleiner als die geplante Effektgröße oder der Umfang zu klein	Wenn der geplante Umfang erreicht ist, das Ergebnis akzeptieren; nicht vorzeitig stoppen
Signifikanz wechselt während des Tests	Vorzeitiges Prüfen (Peeking)	Auswertung erst nach Erreichen des geplanten Umfangs; Signifikanzniveau vor dem Start festlegen
Mehrere Vergleiche in einem Test	Mehrfachtestproblem	Vergleichsfamilie vor dem Start festlegen und das Signifikanzniveau für die Anzahl der Vergleiche korrigieren (etwa Bonferroni)
Dauer kürzer als 7 Tage	Stichprobenumfang klein	Test auf 7 Tage verlängern und Umfang entsprechend erhöhen

Consent-Anforderungen bei Testwerkzeugen

Ein A/B-Test-Tool, das die Zuweisung zur Variante im Browser speichert, setzt ein Cookie oder nutzt Local Storage. Es greift damit auf Informationen im Endgerät des Besuchers zu oder speichert dort Informationen. Dafür gelten in den drei Ländern unterschiedliche Anforderungen.

Deutschland: § 25 Abs. 1 TDDDG erlaubt das Speichern von Informationen in der Endeinrichtung des Endnutzers oder den Zugriff auf dort gespeicherte Informationen nur mit Einwilligung des Endnutzers. Die Information und die Einwilligung haben gemäß der Verordnung (EU) 2016/679 zu erfolgen. Ohne Einwilligung zulässig sind nur die Fälle des § 25 Abs. 2 TDDDG: der alleinige Zweck der Übertragung einer Nachricht über ein öffentliches Telekommunikationsnetz (Nr. 1) oder die unbedingte Erforderlichkeit für einen vom Nutzer ausdrücklich gewünschten digitalen Dienst (Nr. 2).

Österreich: § 165 Abs. 3 TKG 2021 verpflichtet Anbieter eines Dienstes der Informationsgesellschaft, den Nutzer darüber zu informieren, welche personenbezogenen Daten verarbeitet werden, auf welcher Rechtsgrundlage, für welche Zwecke und für wie lange. Eine Ermittlung dieser Daten ist nur zulässig, wenn der Nutzer seine Einwilligung aktiv und auf Grundlage von klaren und umfassenden Informationen erteilt hat. Technische Speicherung ohne Einwilligung ist zulässig, wenn der alleinige Zweck die Durchführung der Übertragung einer Nachricht über ein Kommunikationsnetz ist oder wenn dies unbedingt erforderlich ist, damit der ausdrücklich gewünschte Dienst erbracht werden kann.

Schweiz: Art. 45c FMG erlaubt das Bearbeiten von Daten auf fremden Geräten durch fernmeldetechnische Übertragung nur für die Fernmeldedienste und ihre Abrechnung oder dann, wenn die Benutzenden über die Bearbeitung und ihren Zweck informiert und darauf hingewiesen werden, dass sie die Bearbeitung ablehnen können. Eine Einwilligung verlangt Art. 45c FMG nicht; für die Bearbeitung von Personendaten gilt zusätzlich Art. 6 DSG, wonach eine Einwilligung freiwillig und nach angemessener Information erteilt werden muss.

Wann Sie Hilfe holen sollten

Holen Sie Rat, wenn Sie in mehrere Länder mit unterschiedlichen Consent-Anforderungen verkaufen oder wenn das Testwerkzeug Daten an Dritte überträgt. Die Consent-Anforderungen sind länderspezifisch; Ihre Datenschutzberatung klärt die konkrete Umsetzung.