A/B-Test-Rechner für Stichprobengröße und Signifikanz

Vier Größen bestimmen die nötige Stichprobe: die Basisrate, der kleinste nachzuweisende Effekt (minimal nachweisbarer Effekt), das Signifikanzniveau α und die Teststärke. Schrumpft der Effekt, wächst die Stichprobe sehr schnell: Halbiert man den Effekt, vervierfacht sich ungefähr die Besucherzahl, weil die nötige Stichprobe umgekehrt proportional zum Quadrat des Effekts ist. Bei gleichem relativem Effekt gilt: Je niedriger die Basisrate, desto größer die Stichprobe.

Das Werkzeug berechnet die Stichprobe je Gruppe mit der üblichen Normalverteilungsnäherung für einen Test auf zwei Anteile: n = (z₁₋α/₂·√(2·p̄·q̄) + z₁₋β·√(p₁q₁ + p₂q₂))² / (p₁ − p₂)². Dabei ist p₁ die Basisrate, p₂ die erwartete neue Rate, p̄ ihr Mittelwert und q = 1 − p. Die Gruppen werden als gleich groß angenommen, das Ergebnis wird aufgerundet. Es ist die Formel der R-Funktion power.prop.test.

Der Mindesteffekt lässt sich relativ oder absolut eingeben. Ein relativer Effekt von 10 % bei 5 % Basisrate bedeutet 5,5 % (0,5 Prozentpunkte); im absoluten Modus gäben Sie direkt Prozentpunkte an. Werden beide verwechselt, ändert sich die Stichprobe um ein Vielfaches; der Rechner zeigt deshalb stets die erwartete B-Rate gesondert an.

Der p-Wert beantwortet: Wie wahrscheinlich ist ein so großer oder größerer Unterschied, wenn beide Versionen tatsächlich identisch wären? Bei p < α gilt der Unterschied als statistisch signifikant. Der p-Wert sagt nicht, dass der Unterschied groß oder für das Geschäft wichtig ist; bei sehr großer Stichprobe kann auch ein belangloser Unterschied signifikant sein. Ein nicht signifikantes Ergebnis bedeutet ebenfalls nicht „kein Unterschied“; die Daten können zu dünn sein, um ihn zu zeigen.

Das Konfidenzintervall sagt mehr: Es zeigt den Bereich plausibler Unterschiede. Enthält es null, lässt sich der Unterschied bei diesem Konfidenzniveau nicht von null unterscheiden. Das Intervall für den Unterschied nutzt den nicht zusammengefassten Standardfehler; für den relativen Zuwachs wird die Log-Verhältnis-Methode nach Katz verwendet. Das Konfidenzniveau ist 1 − α; „mit 95 % Wahrscheinlichkeit liegt der wahre Unterschied in diesem Intervall“ ist nicht ganz die richtige Lesart, richtig ist: Würde dasselbe Verfahren oft wiederholt, enthielten etwa 95 % der Intervalle den wahren Unterschied.

Der Test ist ein z-Test: Die Raten beider Gruppen werden zusammengefasst, um den Standardfehler zu bestimmen. Liegt die erwartete Zahl der Konvertierer oder Nichtkonvertierer in einer Gruppe unter 5, wird die Normalverteilungsnäherung schwächer, und das Werkzeug zeigt einen Hinweis.

Vorzeitiges Hinschauen und Abbrechen: Wer den p-Wert vor Erreichen der Stichprobe ansieht und den Test beim ersten signifikanten Wert beendet, erhöht die Rate falsch positiver Ergebnisse deutlich. Legen Sie die Stichprobe vorab fest oder nutzen Sie sequenzielle Testverfahren. Auch viele Varianten oder Kennzahlen gleichzeitig zu testen führt zum selben Problem; jeder Vergleich bietet eine zusätzliche Chance, sodass eine Korrektur (zum Beispiel Bonferroni) nötig ist.

Zusammensetzung der Stichprobe: Ist der Mechanismus, der den Verkehr aufteilt, fehlerhaft (Sample Ratio Mismatch), lassen sich die beiden Gruppen nicht vergleichen. Prüfen Sie, ob die Gruppengrößen dem geplanten Verhältnis entsprechen. Lassen Sie das Experiment außerdem mindestens einen vollen Geschäftszyklus (Wochenmuster) laufen; ein Neuheitseffekt kann die Ergebnisse in den ersten Tagen aufblähen.

Signifikanz mit Bedeutung verwechseln: Prüfen Sie, ob die Untergrenze des Konfidenzintervalls noch eine für das Geschäft relevante Verbesserung zeigt. Bei kleiner Stichprobe ist das Intervall breit; lesen Sie es vor der Entscheidung zusammen mit Mindesteffekt und Kosten.