Warum eine Wahrscheinlichkeit und kein p-Wert
Ein p-Wert ist die Wahrscheinlichkeit, einen mindestens so großen Unterschied zu sehen, wenn es gar keinen gäbe. So liest ihn fast niemand. Was Teams wollen, und was sie meist zu haben glauben, ist die Wahrscheinlichkeit, dass die Variante besser ist, und diese Größe gibt es im Signifikanztest nicht. Hier gibt es sie, als Integral über zwei Posterior-Verteilungen, ohne Näherung.
Das Modell ist Beta-Binomial. Eine Conversion Rate beginnt als Beta-Verteilung dessen, was vor dem Test plausibel war, jede Conversion und jeder Fehlschlag aktualisiert sie, und heraus kommt wieder eine Beta. Das ist die ganze Mechanik. Jede Zahl auf dieser Seite ist eine Quadratur über zwei davon, und nichts hier zieht Stichproben: Dieselben Zahlen ergeben bei jedem Aufruf dasselbe Ergebnis.
Der Expected Loss ist die Zahl, die entscheidet
Die Wahrscheinlichkeit sagt, wohin die Evidenz zeigt. Sie sagt nicht, was zu tun ist, denn sie trägt weder Einheit noch Kosten.
Der Expected Loss tut das. Er ist der mittlere Anteil an Conversion Rate, den ein Rollout der Variante kostet, gezählt über die Welten, in denen die Kontrolle die bessere von beiden war. Er wird in Prozentpunkten gemessen, und damit lässt sich vorab eine Schwelle setzen: Darunter ist mir gleich, welcher Arm gewinnt. Diese Schwelle gehört dem Geschäft, deshalb gibt es hier keine sinnvolle Vorgabe dafür.
Aus diesem Vergleich folgen vier Lesarten. Ausrollen und Kontrolle behalten sind die Fälle, in denen die Kosten eines Arms unter der Schwelle liegen. Noch nicht ist der Fall, in dem das für keinen gilt. Und beides vertretbar verdient einen eigenen Namen: Beide Kosten liegen unter der Schwelle, der Test ist also zu Ende, und die Antwort lautet, dass der Unterschied für ein Rollout zu klein ist. Das ist ein Ergebnis, und Teams halten es regelmäßig für ein Scheitern.
Wie viel Zweifel es bräuchte, um das zu kippen
Jede bayesianische Antwort ruht auf einem Prior, und der Prior ist eine Wahl und keine Messung. Ein Werkzeug, das das verdeckt, verkauft eine Sicherheit, die es nicht hat.
Diese Seite stellt deshalb die Frage hinter der Wahl: Wie skeptisch müsste jemand sein, damit der Schluss sich ändert? Die Antwort steht in Beobachtungen. Ein Prior, der auf der Rate der Kontrolle zentriert ist und das Gewicht so vieler Beobachtungen trägt, beginnt bei der Position, dass sich nichts geändert hat, und muss mit der erhobenen Evidenz daraus vertrieben werden. Liegt die Zahl, die ihn kippen würde, unter der Zahl, die der Test gesammelt hat, trägt der Schluss mindestens so viel Prior wie Daten, was immer die Wahrscheinlichkeit sagt.
Die Tabelle darunter zeigt dieselben Zahlen unter drei Priors, und die letzte Spalte zählt. Steht dort durchgehend dasselbe, haben die Daten die Frage entschieden. Steht dort Verschiedenes, hat der Prior die Arbeit gemacht, und der Test hat nichts entschieden.
Wozu das keine Erlaubnis ist
Eine bayesianische Auswertung ist keine Erlaubnis, das Dashboard zu beobachten, bis die Zahl gefällt, und dann abzubrechen.
Ein Abbruch auf einen Expected Loss kontrolliert eine andere Größe als ein Signifikanztest, und die Rechnung hier weiß nicht, wann jemand hingesehen hat. Sie verändert trotzdem, was die Zahl bedeutet. War eine feste Stichprobe geplant, läuft die feste Stichprobe. War ein Abbruch auf eine Verlustschwelle geplant, steht diese Schwelle vor dem ersten Besucher fest und bleibt stehen.
Diese Seite liest einen Test, der zu Ende ist. Der A/B-Test-Planer beantwortet, wie groß er sein muss und wie lange das dauert.