Warum ein Wert ein Intervall braucht
Ein Befragungswert ist eine Schätzung aus den Menschen, die zufällig geantwortet haben. Wiederholen Sie dieselbe Studie mit zwölf anderen Teilnehmenden, kommt eine andere Zahl heraus. Das Intervall sagt, wie anders diese Zahl vernünftigerweise hätte ausfallen können, und ohne es ist ein Wert eine Behauptung ohne Beleg.
Das durchgerechnete Beispiel auf dieser Seite ist genau der Fall, um den es geht. Zwölf Menschen, ein SUS von 74, eine Streuung von 17. Vierundsiebzig sieht nach einem bequemen Sieg über den üblicherweise als Durchschnitt zitierten Wert aus, und das Intervall reicht von 63 bis 85. Die Studie verträgt sich mit einem System deutlich unter dem Durchschnitt und mit einem deutlich darüber. Der ehrliche Bericht lautet: Zwölf Menschen konnten es nicht unterscheiden.
Das ist kein Grund, mit dem Messen aufzuhören. Es ist ein Grund zu sagen, was die Messung trägt, und zu wissen, was mehr kosten würde. Der letzte Block auf der Seite rechnet das rückwärts: Bei einer Streuung von 17 kostet ein Intervall von zehn Punkten rund 56 Antworten.
Wie die vier gerechnet werden
SUS und UMUX-Lite sind Mittelwerte. Wert und Streuung über die Befragten eintragen, und das Intervall ist das übliche für einen Mittelwert, mit der t-Verteilung anstelle der Normalverteilung. Bei zwölf Antworten ist der t-Multiplikator rund zwölf Prozent größer als z, ein auf z gebautes Intervall ist also rund zwölf Prozent zu eng. Die meisten Rechner nehmen z.
CSAT ist ein Anteil: die Quote derer, die eine der als zufrieden gezählten Stufen gewählt haben. Sein Intervall ist das angepasste nach Agresti und Coull und nicht das aus dem Lehrbuch, denn Zufriedenheitswerte liegen nahe am oberen Rand der Skala, und genau dort beginnt das Lehrbuch-Intervall, Prozentzahlen über hundert auszugeben. Die Seite zur Stichprobengröße führt das Argument ausführlicher.
NPS wird am häufigsten falsch gerechnet. Er ist der Anteil der Promotoren minus der Anteil der Kritiker, aus derselben Stichprobe, das Intervall eines Anteilsrechners ist also das falsche. Bewerten Sie jede Antwort mit plus eins, null oder minus eins, dann ist der Wert ein Mittelwert, seine Streuung folgt aus den drei Zahlen, und es gilt dieselbe Rechnung wie bei SUS. Die Breite, die dabei herauskommt, überrascht: Hundert Antworten tragen ein Intervall von rund dreißig Punkten, und das ist breiter als die meisten Quartalsbewegungen, die als Veränderung berichtet werden.
Die Streuung ist die Eingabe, die niemand notiert
Für SUS und UMUX-Lite braucht das Intervall eine Standardabweichung, und kaum jemand schreibt eine auf. Der Mittelwert kommt in die Präsentation, die Streuung in den Papierkorb.
Wenn Sie die Rohdaten haben, rechnen Sie sie aus; jede Tabellenkalkulation kann das. Wenn nicht, hilft eine Spanne: Das Intervall bei einer Streuung von 12 und bei einer von 22 umfasst das meiste, was Sie plausibel hatten, und hält Ihre Schlussfolgerung beidem stand, war die fehlende Zahl ohne Belang. Kippt die Schlussfolgerung, haben Sie gelernt, dass Ihr Bericht auf einer Zahl steht, die Sie nicht aufgehoben haben.
Womit vergleichen
Das Vergleichsfeld startet bei 68, dem Wert, der üblicherweise als durchschnittlicher SUS zitiert wird. Das ist ein brauchbarer Anfang und ein schlechter Schluss, denn hinter einem Branchendurchschnitt steht eine Menge von Studien, die mit Ihrem Produkt, Ihren Nutzern und den gestellten Aufgaben nichts zu tun hat.
Die bessere Linie ist Ihr eigener Wert vom letzten Mal, gleich gemessen, an denselben Aufgaben, mit derselben Rekrutierung. Dann lautet die Frage nicht mehr, ob Sie einen Durchschnitt schlagen, sondern ob Sie sich bewegt haben, und das war ohnehin die eigentliche Frage.
Was hier fehlt
Der Stichprobenfehler, und sonst nichts.
Wer geantwortet hat, ist meist das größere Problem. Ein Wert aus den Menschen, die die Aufgabe abgeschlossen haben, beschreibt Menschen, die Aufgaben abschließen.
Die Aufgaben bewegen den Wert stärker als die Stichprobengröße. Ein SUS nach einem geführten Rundgang und ein SUS nach einem Kaltstart sind zwei verschiedene Messungen unter demselben Namen, und das Intervall sagt zu diesem Unterschied nichts.
Und ein Intervall, das einen Vergleichswert ausschließt, sagt, dass der Unterschied kaum Zufall ist. Darüber, ob der Unterschied etwas wert ist, sagt es überhaupt nichts.