Das Modell ist eine Zeile
Ein Problem, auf das einer von p Nutzern stößt, wird von allen n Teilnehmenden mit der Wahrscheinlichkeit eins minus p hoch n übersehen. Die Chance, es mindestens einmal zu sehen, ist also eins minus das. Alles auf dieser Seite ist diese Formel, in die eine oder die andere Richtung gelesen.
Sie ist ein gutes Modell für eine Sache und ein schlechtes für mehrere andere, und der letzte Abschnitt sagt, für welche.
Woher „fünf Nutzer“ kommt
Die Aussage ist weder erfunden noch falsch. Sie steht auf einer Problemhäufigkeit von rund 0,31: Wenn etwa ein Drittel der Nutzer auf ein Problem stößt, finden fünf Teilnehmende 85 Prozent solcher Probleme. Das ist die Rechnung, und bei dieser Häufigkeit sind fünf eine sinnvolle Zahl.
Die Annahme trägt die ganze Last, und sie reist ohne die Annahme weiter.
Ein Produkt im ersten Monat hat so häufige Probleme. Ein Produkt, das ein Jahr im Markt ist, hat sie nicht mehr, denn was ein Drittel der Menschen trifft, wurde in der ersten Woche gefunden und in der zweiten behoben. Übrig bleibt die Sorte, auf die einer von zehn stößt, oder einer von zwanzig, und die Tabelle oben zeigt, was fünf Teilnehmende damit anfangen: 41 Prozent und 23 Prozent.
Fünf Teilnehmende sind keine Teilnehmerzahl. Sie sind eine Antwort auf eine Frage nach der Problemhäufigkeit, und die Frage fällt unterwegs weg.
Der Mittelwert ist nicht das Ergebnis
Fünfundachtzig Prozent sind ein Mittel über Wiederholungen der Studie. Durchgeführt wird sie einmal.
Der zweite Block oben rechnet die Spanne aus, in der der eine Durchlauf landet, den Sie am Ende machen. Die Rechnung ist dasselbe Modell: Wird jedes Problem unabhängig mit derselben Wahrscheinlichkeit gefunden oder übersehen, folgt die Anzahl der Funde einer Binomialverteilung, und deren zentrale Spanne ist die Streuung über Wiederholungen. Sie folgt aus dem Modell und ist nicht zitiert, Sie können die Eingaben also ändern und zusehen, wie sie wandert.
Die Spanne ist breiter, als die meisten erwarten, und am breitesten genau dort, wo die Aussage am stärksten klingt. Das ist der ehrliche Grund für mehr Sitzungen: weniger, dass der Mittelwert steigt, mehr, dass die Spanne schrumpft, auf die Sie wetten.
Was damit anzufangen ist
Entscheiden Sie die Häufigkeit, die Sie interessiert, bevor Sie die Teilnehmerzahl entscheiden, und schreiben Sie sie auf. Ein Team, das sagt „Probleme, die mindestens einer von zehn unserer Nutzer trifft“, hat eine Entscheidung getroffen, der jemand widersprechen kann, und das ist mehr, als „wir testen mit fünf“ bietet.
Und arbeiten Sie in Runden. Fünf, beheben, fünf weitere. Die Formel oben unterstellt eine Studie und unabhängige Ziehungen; zwei Runden zu fünf mit Korrekturen dazwischen sind ein anderes und meist besseres Design, denn die zweiten fünf treffen auf ein Produkt, das die ersten fünf schon verbessert haben.
Rekrutieren Sie die zweiten fünf woanders. Die schwächste Annahme des Modells ist die Unabhängigkeit der Teilnehmenden, und fünf Menschen aus derselben Kundenliste sind keine fünf unabhängigen Ziehungen von irgendetwas.
Was hier fehlt
Jedes Problem hat in diesem Modell dieselbe Wahrscheinlichkeit, und das stimmt nicht. Schweregrad kommt gar nicht vor: 85 Prozent der Probleme zu finden heißt nicht, 85 Prozent des Schadens zu finden, und eine Studie, die das eine Problem übersieht, an dem der Verkauf scheitert, hat nach jedem Maßstab versagt, den diese Seite berechnen kann.
Teilnehmende gelten als unabhängig. Sie sind es nicht, wenn sie Rolle, Zugehörigkeitsdauer oder Rekrutierungskanal teilen.
Und die Aufgaben bestimmen das Ergebnis stärker als die Stichprobengröße. Fünf Teilnehmende an der richtigen Aufgabe schlagen fünfzehn an der falschen, und welche das ist, sagt Ihnen keine Rechnung auf dieser Seite.