Hypothesentests

Fehlerarten

Willkommen zu einer Einführung in das Themenfeld der Fehlerarten bei Hypothesentests! Im Folgenden lernst Du die Grundidee hinter den Fehlern 1. Und 2. Art (`\alpha`- und `\beta`-Fehler), was beide Fehler unterscheidet, wie man den Alpha-Fehler bestimmt und welche Bedeutung der Beta-Fehler für die Aussagekraft (power) des Modells hat.

Angenommen wir sind die staatliche Arzneimittelbehörde eines Landes und dafür zuständig, hilfreiche und unbedenkliche Medikamente zuzulassen, beziehungsweise schädliche abzulehnen und damit unsere Bevölkerung zu warnen. Wenn uns nun der Medikamentenhersteller „Nerck“ ein neuartiges Medikament zur Krebsbehandlung vorlegt und um eine Prüfung bittet, führen wir unzählige Versuche durch. Dabei gibt es zwei Ausgänge: Das Medikament ist hilfreich, oder es ist eben nicht hilfreich und taugt nichts.
Idealerweise machen wir so viele Tests, bis wir uns sicher sein können, dass das Medikament wirksam ist, bevor wir es zulassen.
Das Problem in der Realität ist aber: Wir können so viele Tests machen, wie wir wollen; wir werden uns niemals zu 100% sicher sein, dass das Medikament hilfreich ist und vollkommen unschädlich, wenn wir es zulassen. Es bestehen immer Fehlerrisiken, die Tauglichkeit eines Medikaments falsch bewertet zu haben. Entweder das Medikament ist gar nicht wirksam, aber wir haben es trotzdem zugelassen, oder aber es ist wirksam aber wir haben es fälschlicherweise an Nerck zurückverwiesen. Diese Fehlerrisiken wollen wir uns nun widmen und das Problem auf eine abstraktere Ebene bringen: Fehlerarten bei Hypothesentests.

Bei Hypothesentests im Allgemeinen haben wir das Problem, dass wir uns nicht zu 100% sicher sein können, dass unser geschätzter Wert oder das geschätzte Intervall in der Gesamtpopulation vertreten ist (Annahme `H_0`), oder ob wir signifikante Abweichungen verzeichnen (Ablehnung `H_0`). Die Gefahr, bei dieser Entscheidung die falsche Aussage zu treffen wird in der Statistik durch 2 Fehlerarten unterschieden.

Der Fehler 1. Art (auch `\alpha` – Fehler) betrifft die Ablehnung von `H_0`, ergo die Entscheidung für `H_1`, obwohl unsere Nullhypothese richtig ist. Dieser Fehler wird als Irrtumswahrscheinlichkeit bezeichnet und ist ausrechenbar. Da wir niemals sagen können, dass wir uns zu 100% sicher sind, begrenzen wir durch den Alpha-Wert einen Bereich, der den Signifikanzbereich bildet:

Je nach Größe des Alpha-Werts (in diesem Fall in einem einseitigen Test) nehmen wir unsere Hypothese an oder lehnen sie ab. Sofern wir unsere Nullhypothese ablehnen, akzeptieren wir, dass wir nur zu einer 100- `\alpha` prozentigen Wahrscheinlichkeit richtigliegen. Wenn jetzt aber unsere Vermutung und Alternativhypothese in Wahrheit gar nicht zutrifft, sondern wir `H_0` nicht hätten ablehnen dürfen, dann liegt ein Irrtum vor.

Der Fehler 2. Art (`\beta`-Fehler) ist da doch etwas schwieriger zu definieren und vor allem: zu berechnen. Während wir beim Alpha-Fehler die Alternativhypothese fälschlich annehmen, lehnen wir in dem zweiten Fall unsere Alternativhypothese ab, obwohl sie richtig gewesen wäre.

Aus der Tabelle können wir die Fehlerarten sehr gut illustrieren. Die vertikalen Kasten geben immer zusammen 1. Das macht Sinn, denn die Gesamte Fläche unter der Verteilung ist gleich 1, ergo ist alles was nicht `\alpha` ist plus `\alpha` gleich 1. Bei dem `\beta`-Fehler errechnet sich die Power, also die Aussagekraft eines Tests, immer durch 1- `\beta`. Niemals dürfen die beiden Fehlerarten in eine Rechnung gepackt werden – das ist inhaltlich Unsinn und bringt Dir spätestens bei der Klausur keine Punkte ein.

Aber welcher Fehler ist jetzt der schlimmere?

Diese nicht zu Letzt sehr oft in der Klausur vorkommende Frage lässt sich sehr gut an unserem Beispiel des Medikaments von „Nerck“ aufzeigen. Zuerst Formulieren wir die Hypothesen:
Unsere Nullhypothese ist die pessimistische, deshalb stellt die konträr zur vermutenden Alternativhypothese, folgendes:
`H_0`: Das Medikament von „Nerck“ hat keinen Nutzen

Dieser Logik folgend ist unsere Alternativhypothese diese, welche eine Vermutung über die Wirksamkeit ausdrückt:
`H_1`: Das Medikament von „Nerck“ ist hilfreich

Nach ausführlichen und aufwendigen Tests mittels Treatment-Control Versuchen und Laborstudien kommen wir zu einem Entschluss. Davor Fragen wir uns aber natürlich, wie fatal ein Fehler in unserer Einschätzung ist. Welchen Fehler befürchten wir denn jetzt aber mehr? Ganz klar: Den `\alpha`-Fehler! Es wäre doch viel schlimmer, das Medikament zuzulassen, obwohl es in der Realität keinen Nutzen erzielt und wohlmöglich schädlich ist, als ein Medikament nicht zuzulassen obwohl es eigentlich doch eine Wirkung hat. Klar, diese Frage enthält auch immer eine ethisch-moralische Komponente und die US-Aufsichtsbehörde musste sich zur Zeiten der AIDS-Epidemie in den 80ern oft vorwerfen lassen, zu konservativ und langwierig in der Prüfung und Zulassung der Experimente zu sein. Nichtsdestotrotz:

Grafische Darstellung und ein paar schlaue Merksätze zum Schluss

Wie Ihr in der Grafik erkennen könnt haben unsere Hypothesen in der Realität immer Überschneidungen. Aus diesem Grund geht es uns auch darum, wie groß die Überschneidungen der beiden Hypothesen sind und welche Trennschärfe vorliegt.

Je weiter die Hypothesen getrennt werden können, desto mehr rutschten sie auf der X-Achse auseinander und die Power wird größer (der Fehler 2. Art sinkt)

Das war die kurze Einführung in die Fehlerarten bei Hypothesentests. Hier findest Du noch ein kleines Video, welches die Einführung auch nochmal visualisiert:

P-Wert

Willkommen zu einer Einführung in die Bedeutung des P-Werts bei Hypothesentests! Im Folgenden lernst Du die Grundidee hinter dem P-Wert (P-Value), wie man diesen bestimmt und genau berechnet, sowie die Interpretation des P-Werts in wissenschaftlichen Studien. Viel Spaß!

Der P-Wert gehört zu Hypothesentests, wie die Temperaturangabe zum Wetter: Ohne ihn haben Aussagen über die Teststatistik wenig Sinn. Umso verwunderlicher ist es, dass der P-Wert in vielen Kursen oft nur eine Randnotiz darstellt. Ist er doch DAS Kriterium, an dem sich wissenschaftliche Untersuchungen messen lassen müssen. Aber ohne ihn weiter anzupreisen, wollen wir uns in den nächsten Absätzen der Bedeutung, der Definition aber auch der Interpretation bewusst werden.

Aber was heißt das jetzt: Wenn wir einen Hypothesentest durchführen, schließen wir von dem geschätzten Parameter (Intervall oder Punktschätzung) auf die Gesamtpopulation. Wir legen Grenzen fest (Irrtumswahrscheinlichkeit), ab welchen eine Nullhypothese abgelehnt werden muss. Sofern sich der geschätzte Populations-Parameter außerhalb dieser Grenzen befindet, wird die alternative Hypothese angenommen. Die meisten sollten mit der Grundidee von Hypothesentests vertraut sein. Trotzdem ist dieser Vorgang in der folgenden Grafik für einen einseitigen Test festgehalten:

Bei einer beliebig festgelegten Irrtumswahrscheinlichkeit (`\alpha`) gehen wir davon aus, dass wir die Nullhypothese ablehnen können, wenn der Schätzwert extremer ist, als ebendiese Wahrscheinlichkeit (in unserer Grafik alles unter 2,2).
Jetzt gibt es zwei mögliche Szenarien: Entweder der Schätzwert liegt unter und auf (`X\leq2,2`) oder über (`X>2,2`) diesem festgelegten Wert. Egal welches Szenario zutrifft, der P-Wert ist nicht mit dem Signifikanzniveau gleichzusetzen.

Dieses lässt sich auch an den beiden Grafiken darstellen:

In der ersten Grafik liegt unser geschätzter Gesamtpopulationsparameter (2,5) innerhalb der Nullhypothesenverteilung und über dem `\alpha`-Wert für die Irrtumswahrscheinlichkeit (2,2). Dies hat zur Folge, dass wir die Nullhypothese nicht ablehnen können. Nichtsdestotrotz können wir eine Aussage über den P-Wert treffen, welcher den Bereich zwischen 1 und 2,2 umfasst.
In der zweiten Grafik liegt unser geschätzter Populationsparameter (1,8) jedoch innerhalb der Irrtumswahrscheinlichkeit (2,2) und die Nullhypothese kann abgelehnt, bzw. die Alternative angenommen werden. Auch hier gilt wieder: Der P-Wert gibt hier die Wahrscheinlichkeit an, mit einer zufällig gezogenen Stichprobe unter diesem Wert zu gelangen und trotzdem noch der Nullhypothese zugehörig zu sein (1 bis 1,8). Von der festgelegten Irrtumswahrscheinlichkeit ist der Wert jedoch nicht beeinflusst.

Praktische Bedeutung und Wissenschaftliche Konventionen

Es geht, um die Definition etwas weiter zu entschlüsseln, also darum, die Wahrscheinlichkeit zu benennen, mit der wir gleich oder extremer unseres Schätzwertes liegen. Angenommen wir haben einen erfolgreichen Hypothesentest durchgeführt und können unsere Vermutung `H_1` annehmen. Dann wird unser P-Wert

a) unter einem gewissen Prozentbereich liegen. In der Regel und im sozial- sowie wirtschaftswissenschaftlichen Bereich, wurde diese ominöse Grenze auf einen P-Wert von 0,05 (5%) festgelegt. Ist unser P-Wert des Versuchs gleich oder kleiner dieses Wertes, dann können wir die Nullhypothese guten Gewissens ablehnen. Generell formuliert kann man sagen, dass die Nullhypothese abgelehnt wird, wenn unser P-Wert kleiner oder gleich unserer festgelegten Irrtumswahrscheinlichkeit `\alpha` ist.

b) niemals Aussagen über den wahren Effekt treffen. Natürlich sollte die Wahrscheinlichkeit, eine Verteilung zu erzielen, die noch innerhalb der Nullhypothese Gültigkeit hat, mathematisch sinken, wenn unser P-Wert sinkt. Aber der tatsächliche Effekt, als auch die endgültige Aussage über die Annahme oder Ablehnung der Nullhypothese bleibt uns vorenthalten.

Bestimmung des P-Werts in einer Teststatistik

Der P-Wert lässt sich auf vielfältige Weise errechnen. Meistens wird der P-Wert innerhalb einer Teststatistik bestimmt. Hierfür können wir für jeden X-beliebigen Schätzwert den P-Wert aus der Verteilungstabelle verwenden. So zum Beispiel beim Gauß-Test: Wir wissen, dass die Fläche unter der Verteilung 1 ergibt, also wissen wir auch, dass der Bereich des P-Wertes gleich 1 minus all dem ist, was jenseits des Schätzwertes und unter der Verteilung liegt. Ergo können wir einfach in der Tabelle, mit der wir auch schon den Z-Wert ablesen und Hypothesentests durchführen, alternativ auch den P-Wert berechnen:

Wenn unser Z-Wert bei einem zweiseitigen Hypothesentest 2,0 beträgt, schauen wir in der Tabelle für die Standardnormalverteilung und erhalten 0,977250 als dazugehörige Wahrscheinlichkeit. Gemäß der obenliegenden Formel müssen wir nun einfach rechnen:

2*(1- 0,977250) = 2*0,02275=0,0455

Der P-Wert liegt also bei 0,0455 (oder 4,55%). Sofern wir den gängigen wissenschaftlichen Konventionen folgen, können wir die Nullhypothese ablehnen, da die Wahrscheinlichkeit, dass unser Wert bei einer zufälligen Stichprobe gleich oder extremer als der Schätzwert ist, unter 5% liegt. Et voilà: Das war unsere Ursprungsdefinition für den P-Wert, mit der wir oben gestartet sind.

Das war die kurze Einführung in die Bedeutung und Interpretation des P-Wertes bei Hypothesentests. Hier findest du noch ein kleines Video, welches die Einführung noch einmal näherbringen soll:

zurück zur Übersicht