Wie die Stichprobengröße berechnet wird
Ein Test muss groß genug sein, damit ein lohnender Effekt sichtbar wird, und klein genug, um fertig zu werden. Beides zieht gegeneinander, und vier Zahlen entscheiden den Streit: die heutige Konversionsrate, die kleinste lohnende Verbesserung, wie oft ein Fehlalarm akzeptiert wird und wie oft ein echter Effekt übersehen werden darf.
Die Stichprobe je Variante ist der zweiseitige Standardtest für zwei Anteile, mit gepoolter Varianz unter der Nullhypothese:
n ist das Quadrat aus: z bei eins minus Alpha halbe, mal der Wurzel aus zweimal der mittleren Rate mal eins minus dieser mittleren Rate, plus z bei der Teststärke, mal der Wurzel aus jeder Rate mal eins minus ihr selbst, geteilt durch das Quadrat der Differenz der beiden Raten.
Die Differenz geht quadratisch ein, und daraus folgt alles Weitere. Den zu findenden Effekt zu halbieren vervierfacht den Test.
Über zwei Varianten wird das Signifikanzniveau auf die Vergleiche gegen die Kontrolle aufgeteilt. Das ist die grobe Korrektur, und sie ist hier die richtige Voreinstellung: Sie setzt eine Stichprobe nie zu klein an, und drei Varianten auf dem Niveau einer einzigen zu fahren ist der Weg, auf dem Teams Effekte finden, die es nicht gibt.
Warum die Laufzeit in Tagen steht
Eine Stichprobengröße allein sagt nichts darüber, ob sich der Start lohnt. Ein Team fragt in Wirklichkeit, wann das Ergebnis da ist, und das hängt am Traffic, am zugeteilten Anteil und daran, wie viele Varianten ihn sich teilen. Alle drei sind hier Eingaben.
Die Laufzeit wird auf ganze Wochen aufgerundet. Werktags und am Wochenende wird unterschiedlich konvertiert, ein Test, der mittwochs endet, hat also einen Teil der Woche stärker gewichtet als den Rest.
Die Prüfung der Aufteilung
Kam eine Aufteilung zu gleichen Teilen nicht zu gleichen Teilen an, misst der Unterschied zwischen den Armen das, was die Zuteilung kaputtgemacht hat. Eine Weiterleitung, die Menschen verliert, ein Bot-Filter nur auf einer Seite, ein Tag, das bei langsamen Verbindungen zu spät feuert: Jedes davon erzeugt eine Effektgröße, und keines davon ist die ausgelieferte Änderung.
Die Prüfung ist ein Chi-Quadrat-Test der Zahlen gegen die konfigurierte Aufteilung. Die Schwelle ist streng, ein p-Wert unter 0,001, denn ein Mismatch kostet eine Stunde Klärung und eine falsche Entscheidung ein Quartal.
Warum frühes Lesen nicht umsonst ist
Ein Test mit festem Horizont gibt sein ganzes Fehlalarm-Budget bei einem einzigen Blick aus. Jeder weitere Blick auf ein Dashboard ist eine weitere Gelegenheit für Rauschen, die Grenze zu überschreiten. Ein Ergebnis, das vor der geplanten Stichprobe gelesen wird, wurde nie auf dem Niveau geprüft, das gleich in einem Meeting zitiert wird.
Diese Seite sagt nicht, wie stark das Signifikanzniveau dadurch gestiegen ist, denn das hängt daran, wie oft das Dashboard geöffnet wurde, und das notiert niemand. Sie sagt, wie viel Stichprobe noch fehlt. Wer bewusst früher stoppen will, braucht ein anderes Testdesign mit eigener Mathematik, und ein Rechner für feste Horizonte ist dafür das falsche Werkzeug.