Zum Inhalt
Tastatur
  • Hilfe anzeigen?
  • Untermenü öffnen↓ / Space
  • Untermenü schließenEsc
  • Studio finden→ Studio

performance-level

Wilson-Intervall für eine Erfolgsquote

Wie sicher ist eine Erfolgsquote aus wenigen Versuchen — was belegen fünf von fünf Testpersonen wirklich?

Eingangsgrößen

Größenverzeichnis

Das Wilson-Intervall beantwortet, wie belastbar eine Erfolgsquote aus wenigen Versuchen ist — genauer: zwischen welchen Grenzen die tatsächliche Quote mit 95 Prozent Vertrauen liegt. Für die Bewertung zählt die untere Grenze. Fünf von fünf Testpersonen, die Deine Anlage auf Anhieb starten, belegen eine Erfolgsquote von mindestens rund 57 Prozent, keine 100 Prozent.

Wenn fünf Gäste hintereinander den Film ohne Hilfe starten, ist das ein gutes Zeichen. Es heißt aber noch nicht, dass jeder Gast es schafft — vielleicht war der sechste der erste, der hängen geblieben wäre. Je weniger Leute Du fragst, desto mehr Glück kann im Ergebnis stecken. Diese Rechnung sagt Dir, wie gut die Bedienung mindestens ist, wenn Du das Glück herausrechnest. Mit jeder weiteren Person, die es schafft, rückt diese Mindestzahl nach oben.

Natürliche Erklärung

Eine Quote aus fünf Versuchen ist eine Stichprobe, und eine Stichprobe kann zufällig günstig ausfallen. Eine Bedienung, an der jeder fünfte Gast scheitert, liefert trotzdem in rund einem Drittel aller Fünfergruppen fünf Erfolge. Die Rohquote kann das nicht unterscheiden, das Intervall schon: Es nennt alle Quoten, die mit dem Ergebnis noch gut verträglich sind.

Wilsons Kniff steckt in der Mitte M. Sie ist gegenüber der Rohquote ein Stück zur Hälfte hin verschoben. Umgestellt lautet sie M = (k + z²/2) / (n + z²): Die Rechnung tut so, als kämen zu den echten Versuchen knapp zwei Erfolge und knapp zwei Misserfolge hinzu. Bei großen Stichproben fällt dieser Zuschlag nicht ins Gewicht, bei fünf Versuchen verschiebt er die Mitte von 100 auf rund 78 Prozent. Genau dort, wo die Stichprobe wenig weiß, rechnet das Intervall also vorsichtig.

Daraus folgt ein Missverständnis, das sich hartnäckig hält: Mehr Testpersonen würden die Zahl „schlechter machen", weil irgendwann einer scheitert. Umgekehrt stimmt es. Jede weitere erfolgreiche Person hebt die Untergrenze an, und ein einzelner Fehlversuch unter vielen kostet weniger als die fehlende Sicherheit einer kleinen Gruppe. Neun von zehn belegen mehr als fünf von fünf.

Warum die Schulformel hier versagt

Die meisten kennen das Intervall in der einfachen Form p̂ ± z · √(p̂·(1 − p̂)/n), in der Literatur Wald-Intervall genannt. Für große Stichproben und Quoten um die 50 Prozent liefert es brauchbare Werte. Für den Bedientest einer Anlage passt es aus zwei Gründen nicht.

Erstens bei 100 Prozent: Ist jeder Versuch gelungen, wird p̂·(1 − p̂) null, und das Intervall schrumpft auf einen Punkt. Fünf von fünf ergäbe „100 Prozent, ganz sicher" — dieselbe Scheinsicherheit, gegen die das Intervall eigentlich helfen soll. Zweitens nahe 100 Prozent: Bei neun von zehn reicht die obere Grenze der Schulformel bis 108,6 Prozent, also über das Mögliche hinaus. Statistiker haben das Verhalten ausführlich untersucht; Lawrence Brown, Tony Cai und Anirban DasGupta kamen 2001 zu dem Ergebnis, dass die Schulformel auch bei größeren Stichproben unzuverlässig bleibt, und empfehlen für kleine Stichproben unter anderem das Wilson-Intervall.

Eingangsgrößen und Einheiten

SymbolGrößeEinheitRolle
kAnzahl der erfolgreichen Versuche1Eingang
nAnzahl der Versuche1Eingang
zQuantil zum Vertrauensniveau, 1,96 für 95 %1Eingang
p̂Rohquote k/n1 (als % angegeben)Zwischengröße
MMitte des Intervalls1 (als % angegeben)Zwischengröße
Hhalbe Breite des Intervalls1 (als % angegeben)Zwischengröße
p_uuntere Grenze1 (als % angegeben)Ergebnis
p_oobere Grenze1 (als % angegeben)Ergebnis

Gerechnet wird mit Anteilen zwischen 0 und 1; für die Anzeige wird mit 100 multipliziert. Der Wert 1,96 gehört zum zweiseitigen 95-Prozent-Intervall. Wer nur die Untergrenze betrachtet, liegt damit auf der vorsichtigen Seite: Unter die Untergrenze fällt die wahre Quote dem Verfahren nach nur in rund 2,5 Prozent der Fälle.

Gültiger Bereich und Annahmen

Die Rechnung setzt voraus, dass jeder Versuch für sich steht. Schaut der zweite Gast dem ersten über die Schulter, hat er etwas gelernt, und sein Erfolg zählt nicht mehr als unabhängiger Versuch. Ebenso muss klar sein, was ein Erfolg ist, bevor getestet wird; ein Ergebnis, das erst hinterher als „fast geschafft" gewertet wird, verwässert die Quote.

Die Gleichung gilt ab einem einzigen Versuch und auch an den Rändern, also bei null oder bei lauter Erfolgen. Das unterscheidet sie von der Schulformel und ist der Grund, warum sie für kleine Testgruppen gewählt wird.

Grenzen

  • Die Stichprobe muss zur Frage passen. Testen nur Bewohner, die die Anlage jeden Tag benutzen, gilt die Quote für Bewohner. Über Gäste sagt sie nichts, so genau die Rechnung auch ist.
  • 95 Prozent Vertrauen sind keine Garantie. In einem von zwanzig Fällen liegt die wahre Quote außerhalb des Intervalls; das gehört zum Verfahren.
  • Das Intervall ist eine von mehreren guten Lösungen. Für kleine Stichproben empfiehlt die Literatur neben dem Wilson- auch das Jeffreys-Intervall; bei neun von zehn liegt dessen Untergrenze mit 61,9 Prozent nahe an Wilsons 59,6 Prozent. Das Verfahren von Clopper und Pearson gibt niedrigere Untergrenzen: 47,8 statt 56,6 Prozent bei fünf von fünf, 55,5 statt 59,6 Prozent bei neun von zehn.

Rechenbeispiel

Neun von zehn Testpersonen starten den Film. Ein Heimkino hat einen Ein-Tasten-Start mit beschrifteter Fernbedienung. Zehn Personen, die die Anlage nicht kennen, bekommen ohne Einweisung die Aufgabe, den Film zu starten; neun schaffen es innerhalb von drei Minuten.

p̂      = 9 / 10                       = 0,9
z²/n   = 3,8416 / 10                  = 0,38416
Nenner = 1 + 0,38416                  = 1,38416

M      = (0,9 + 0,19208) / 1,38416    = 0,78898

p̂·(1 − p̂)/n = 0,9 · 0,1 / 10         = 0,009
z²/(4n²)     = 3,8416 / 400           = 0,009604
Wurzel aus 0,018604                   = 0,13640
H      = 1,96 · 0,13640 / 1,38416     = 0,19314

p_u    = 0,78898 − 0,19314            = 0,5958   →  59,6 %
p_o    = 0,78898 + 0,19314            = 0,9821   →  98,2 %

Die Rohquote beträgt 90 Prozent, belegt sind mindestens rund 60 Prozent. Die Schulformel hätte für dieselben Werte 71,4 bis 108,6 Prozent ausgegeben.

Fünf von fünf, über den Sonderfall.

p_u = 5 / (5 + 3,8416) = 5 / 8,8416 = 0,5655   →  56,6 %

Typische kleine Stichproben (eigene Berechnung, z = 1,96, auf eine Nachkommastelle gerundet):

ErgebnisRohquoteUntergrenzeObergrenzeSchulformel
3 von 3100 %43,9 %100 %100 bis 100 %
5 von 5100 %56,6 %100 %100 bis 100 %
9 von 1090 %59,6 %98,2 %71,4 bis 108,6 %
10 von 10100 %72,2 %100 %100 bis 100 %
18 von 2090 %69,9 %97,2 %76,8 bis 103,2 %
20 von 20100 %83,9 %100 %100 bis 100 %
29 von 3096,7 %83,3 %99,4 %90,2 bis 103,1 %

Zwei Zeilen lohnen den zweiten Blick. Neun von zehn und fünf von fünf liegen in der Untergrenze fast gleichauf, obwohl die Rohquoten 90 und 100 Prozent lauten. Und 29 von 30 belegen praktisch dasselbe wie 20 von 20: Mit wachsender Stichprobe zählt der einzelne Fehlversuch immer weniger.

Wie viele fehlerfreie Durchläufe eine Untergrenze verlangt. Aus n / (n + z²) folgt umgekehrt, wie groß eine Gruppe mindestens sein muss, wenn alle Versuche gelingen. Wer eine Untergrenze von 70 Prozent belegen will, braucht neun fehlerfreie Durchläufe; acht ergeben erst 67,6 Prozent.

Untergrenze ≥ 50 %   ab  4 von 4    (51,0 %)
Untergrenze ≥ 60 %   ab  6 von 6    (61,0 %)
Untergrenze ≥ 70 %   ab  9 von 9    (70,1 %)
Untergrenze ≥ 80 %   ab 16 von 16   (80,6 %)
Untergrenze ≥ 90 %   ab 35 von 35   (90,1 %)

Jeder weitere Schritt um zehn Prozentpunkte kostet deutlich mehr Testpersonen als der vorige. Über 90 Prozent belegt nur, wer mehr als dreißig fehlerfreie Versuche vorweisen kann.

AVITECT bewertet die Bedienbarkeit einer Anlage im Performance Level über die Erstversuchsquote: Personen ohne Einweisung starten das vereinbarte Hauptszenario, gewertet werden Rohquote und Untergrenze zugleich. Die Stufengrenzen dazu werden derzeit geprüft. Am Plan lässt sich die Quote nicht vorausrechnen; sie entsteht erst im Test an der fertigen Anlage. Die Rechnung auf dieser Seite ist deshalb das Werkzeug für den Messausweis, und am Plan zählt das Bedienkonzept, etwa ob es einen Ein-Tasten-Start mit beschrifteten Bedienpunkten gibt. Wie die Stufen grundsätzlich aufgebaut sind, erklärt das Performance Level.

Verknüpfte Inhalte

Die zweite Statistikgröße, mit der AVITECT Messreihen bewertet, ist das Perzentil P90 / P10: Es fasst viele Messwerte einer Größe zusammen, während das Wilson-Intervall eine Ja-oder-nein-Quote absichert. Wann eine Anlage überhaupt eine zentrale Bedienung braucht, steht bei der Frage nach dem Steuerungssystem.

Quellen

Die Gleichung geht auf Edwin B. Wilsons Arbeit von 1927 im Journal of the American Statistical Association zurück; dort stehen auch die Verschiebung der Mitte zur Hälfte hin und der Randfall ohne einen einzigen Erfolg. Die Einordnung der Schulformel und die Empfehlung für kleine Stichproben stützen sich auf die Übersichtsarbeit von Brown, Cai und DasGupta (Statistical Science, 2001). Alle Zahlen der Beispiele, der Tabellen und des Vergleichs mit Jeffreys und Clopper-Pearson sind eigene Berechnungen.

Studio anrufen

Wähle Dein Studio — wir freuen uns auf Deinen Anruf.

Tastaturkürzel