Signifikanz und Hypothesentests

Kompetenzcode: WS 4.2

Bereich: Wahrscheinlichkeit und Statistik

Ein Hypothesentest prüft, ob ein Stichprobenergebnis unter einer festgelegten Nullhypothese ungewöhnlich genug ist, um gegen diese Hypothese zu sprechen. Das Verfahren kontrolliert eine Fehlerrate, liefert aber keinen mathematischen Beweis.

1. Signifikanz mit Konfidenzintervallen beurteilen

Bei einem zweiseitigen Test zum Niveau $\alpha$ gilt unter passenden Voraussetzungen: Liegt der Referenzwert außerhalb des zweiseitigen $(1-\alpha)$-Konfidenzintervalls, ist die Abweichung statistisch signifikant.

Beispiel 1: Referenzwert innerhalb des Intervalls

Ein $95\,\%$-Konfidenzintervall für einen Mittelwert lautet $[98{,}2;100{,}8]$. Der Referenzwert $100$ liegt darin. Die Daten zeigen auf dem Niveau $\alpha=0{,}05$ keine signifikante zweiseitige Abweichung von .

Beispiel 2: Referenzwert außerhalb des Intervalls

Liegt das entsprechende Intervall bei $[101{,}1;103{,}4]$, ist $100$ nicht enthalten. Die Abweichung von $100$ ist auf dem $5\,\%$-Niveau statistisch signifikant.

Beispiel 3: Nicht signifikant heißt nicht gleich

Ist $100$ im Intervall enthalten, folgt nicht, dass der wahre Mittelwert exakt $100$ ist. Das Ergebnis bedeutet nur, dass die Stichprobe keine ausreichend starke Evidenz gegen den Referenzwert liefert.

Beispiel 4: Statistische und praktische Relevanz

Bei einer sehr großen Stichprobe kann eine mittlere Abweichung von $0{,}2$ Einheiten signifikant sein. Ob $0{,}2$ Einheiten fachlich wichtig sind, muss getrennt beurteilt werden. Effektgröße, Kosten, Messgenauigkeit und Folgen der Entscheidung gehören zur praktischen Relevanz.

2. Hypothesen und Signifikanzniveau

Die Nullhypothese $H_0$ enthält den zu prüfenden Referenzzustand. Die Alternativhypothese $H_1$ beschreibt die relevante Abweichung. Das Signifikanzniveau $\alpha$ wird vor der Datenanalyse festgelegt.

Beispiel 5: Zweiseitige Hypothesen

Ein Hersteller behauptet, die mittlere Füllmenge betrage $500\,\text{ml}$. Soll jede Abweichung geprüft werden, lautet das Hypothesenpaar

$$H_0:\mu=500,\qquad H_1:\mu\ne500.$$

Beispiel 6: Einseitige Hypothesen

Soll nur eine Unterfüllung nachgewiesen werden, ist

$$H_0:\mu\ge500,\qquad H_1:\mu<500.$$

Die Richtung muss aus der Fragestellung vor dem Blick auf die Daten folgen.

3. Kritischer Bereich und Testentscheidung

Der kritische Bereich wird so gewählt, dass seine Wahrscheinlichkeit unter $H_0$ höchstens $\alpha$ beträgt. Fällt das beobachtete Ergebnis hinein, wird $H_0$ verworfen.

Beispiel 7: Kritischer Bereich eines Binomialtests

Eine Münze soll mit $H_0:p=0{,}5$ gegen $H_1:p>0{,}5$ bei und geprüft werden. Für gilt

$$P(X\ge15)\approx0{,}02069\le0{,}05,$$

aber $P(X\ge14)\approx0{,}05766>0{,}05$. Daher ist der kritische Bereich $K=\{15,16,\ldots,20\}$.

Beispiel 8: Entscheidung mit beobachtetem Wert

Werden $16$ Köpfe beobachtet, liegt $X=16$ im kritischen Bereich. $H_0$ wird verworfen. Im Kontext: Die Stichprobe liefert auf dem $5\,\%$-Niveau signifikante Evidenz dafür, dass die Kopf-Wahrscheinlichkeit größer als ist.

Beispiel 9: Entscheidung mit p-Wert

Für $X=16$ ist beim rechtsseitigen Test

$$p\text{-Wert}=P_{H_0}(X\ge16)\approx0{,}00591.$$

Da $0{,}00591<0{,}05$, führt der p-Wert zur selben Entscheidung. Er ist nicht die Wahrscheinlichkeit, dass $H_0$ wahr ist.

Beispiel 10: H0 nicht verwerfen

Bei $X=12$ liegt das Ergebnis nicht im kritischen Bereich. Man formuliert: „$H_0$ wird auf dem $5\,\%$-Niveau nicht verworfen.“ Man sagt nicht: „$H_0$ ist bewiesen.“

4. Fehlentscheidungen und sachgerechte Aussagen

Beispiel 11: Fehler 1. und 2. Art

• Fehler 1. Art: $H_0$ ist wahr, wird aber verworfen. Seine Wahrscheinlichkeit wird durch $\alpha$ kontrolliert.
• Fehler 2. Art: $H_0$ ist falsch, wird aber nicht verworfen. Seine Wahrscheinlichkeit hängt unter anderem von Effektgröße, Streuung, Stichprobenumfang und Test ab.

Ein kleineres $\alpha$ reduziert bei sonst gleichen Bedingungen den Fehler 1. Art, kann aber den Fehler 2. Art vergrößern.

Beispiel 12: Zulässige Kontextinterpretation

„Die Daten sprechen signifikant gegen $H_0$“ ist zulässig. „$H_0$ ist mit $99\,\%$ Wahrscheinlichkeit falsch“ ist aus einem p-Wert oder Test allein nicht ableitbar. Ebenso beweist ein nicht signifikantes Ergebnis weder Gleichheit noch Wirkungslosigkeit.

Typische Fehler

• Hypothesen werden erst nach Sichtung der Daten gerichtet formuliert.
• $p$-Wert und Wahrscheinlichkeit von $H_0$ werden verwechselt.
• „Nicht verwerfen“ wird als „annehmen und beweisen“ formuliert.
• Statistische Signifikanz wird mit praktischer Bedeutung gleichgesetzt.
• Ein einseitiger Test wird verwendet, obwohl Abweichungen in beide Richtungen wichtig sind.
• Das Signifikanzniveau wird als beobachtete Fehlerwahrscheinlichkeit dieses Einzelfalls gedeutet.

Merksätze

• Erst Hypothesen und $\alpha$, dann Daten und Entscheidung.
• Kritischer Bereich oder $p$-Wert werden unter $H_0$ berechnet.
• $p\le\alpha$: verwerfen; sonst nicht verwerfen.