Was die Fehlermarge ist
Ein Befragungsergebnis schätzt etwas, das Sie nicht sehen können. Die Fehlermarge sagt, wie weit diese Schätzung von der Wahrheit entfernt liegen kann und trotzdem das ist, was diese Stichprobe hervorbringen würde. Vier Prozent der Befragten sagen ja, plus/minus drei Punkte, heißt: Alles zwischen einem und sieben Prozent passt zu den Daten.
Die Formel ist die übliche für einen Anteil: das z zu Ihrer Konfidenz, mal der Wurzel aus p mal eins minus p, geteilt durch die Stichprobengröße. Alles andere auf dieser Seite folgt daraus.
Zwei Dinge daran gehen in dem Raum verloren, in dem das Ergebnis präsentiert wird. Die Marge gehört zu jeder Frage einzeln, eine Befragung mit zwanzig Fragen hat also zwanzig Margen. Und die Marge ist bei fünfzig Prozent am breitesten, weshalb ein Rechner, der nach dem erwarteten Anteil fragt und keine brauchbare Antwort bekommt, von der Hälfte ausgehen sollte, so wie dieser hier.
Warum eine größere Gruppe kaum eine größere Stichprobe braucht
Das ist das teuerste Missverständnis in der Befragungsarbeit und der Grund für die Tabelle oben.
Genauigkeit kommt aus der Zahl der Antworten und fast nie aus der Zahl derer, die hätten antworten können. Vierhundert Antworten beschreiben eine Gruppe von hunderttausend ungefähr so gut wie eine von zehntausend. Die Ausnahme sind kleine Gruppen, und sie geht in die andere Richtung: Wenn die Stichprobe einen großen Teil der ganzen Gruppe ausmacht, bleibt weniger übrig, worüber Unsicherheit herrschen kann, und Sie brauchen weniger Antworten als sonst.
Diese Ausnahme ist die Endlichkeitskorrektur, und die meisten Rechner lassen sie weg, weil sie unterstellen, dass ein ganzes Land befragt wird. Research in einem Unternehmen befragt kein Land. Es befragt die vierhundert Menschen, die ein Werkzeug administrieren, und die Korrektur wegzulassen ist der Weg, auf dem ein Team 384 Antworten aus einer Gruppe von 500 jagt, obwohl 218 gereicht hätten.
Warum das vorliegende Ergebnis ein Intervall braucht
Die Zahl, die aus einer Befragung zurückkommt, ist ein Punkt. Sie landet als Punkt auf einer Folie, wird als Punkt diskutiert und als Punkt mit dem letzten Quartal verglichen. Sie ist kein Punkt, und der dritte Block oben ist dafür da, das zu sagen.
Das Intervall, das die meisten rechnen, ist das aus dem Lehrbuch: p plus/minus z mal Standardfehler. Es steht in jedem Statistikkurs und in jeder Tabellenkalkulation, und bei den Stichprobengrößen, mit denen Produktteams arbeiten, ist es sichtbar falsch: 27 von 30 sind neunzig Prozent, und das Lehrbuch-Intervall reicht von 79 Prozent bis 101. Es gibt keine 101 Prozent, und ein Intervall, das welche hervorbringt, beschreibt die Unsicherheit in der Nähe der Ränder nicht richtig.
Das angepasste Intervall löst das, indem es vor der Rechnung ungefähr zwei Treffer und zwei Nichttreffer hinzufügt. Das klingt nach einem Trick und ist keiner: Es ist die Korrektur von Agresti und Coull, und der Grund für sie ist, dass ihre tatsächliche Überdeckung nah an den fünfundneunzig Prozent auf dem Etikett liegt, während die des Lehrbuch-Intervalls oft weit darunter bleibt. Das Werkzeug zeigt beide, denn der Abstand zwischen ihnen ist das Argument.
Was hier fehlt
Der Stichprobenfehler ist der einzige Fehler, den diese Seite modelliert, und er ist selten der größte.
Wer antwortet, ist meist das größere Problem als wie viele. Ein Panel mit einer Schlagseite zu engagierten Nutzern liefert eine präzise Schätzung dessen, was engagierte Nutzer denken, und die Fehlermarge sagt dazu überhaupt nichts.
Die Formulierung der Frage bewegt Antworten stärker als die Stichprobengröße. Ebenso die Reihenfolge der Fragen und die Frage, ob die fragende Person erkennbar eine Antwort bevorzugt.
Und eine für eine Frage berechnete Stichprobe deckt die Kreuztabelle nicht ab, nach der im Meeting jemand fragen wird. Vierhundert Antworten auf drei Segmente und zwei Regionen aufgeteilt sind dreißig bis siebzig Antworten je Zelle, und deren Margen sind zwei- bis dreimal so groß wie die auf der Seite.