Wenn du viele Hypothesen mit denselben Daten prüfst, reicht ein einzelner p-Wert unter 0,05 nicht für eine überzeugende Schlussfolgerung. Lege fest, welche Tests zusammengehören, welches Fehlerrisiko du kontrollieren möchtest und wie du sämtliche Ergebnisse berichtest.
Dafür brauchst du zuerst eine vollständige Liste deiner Fragestellungen. Eine Korrektur ist anschließend eine begründete Analyseentscheidung – kein Reparaturknopf, der unpassende Tests oder nachträglich ausgewählte Ergebnisse zuverlässig macht.
Ein Test mit einem Signifikanzniveau von 0,05 begrenzt unter seinen Voraussetzungen die Wahrscheinlichkeit, eine wahre Nullhypothese fälschlich zu verwerfen. Wiederholst du viele Tests, gilt diese Grenze nicht automatisch für die Gesamtheit deiner Entscheidungen. Darauf weist auch das NIST-Handbuch zu Mehrfachvergleichen hin.
Ein bewusst vereinfachtes Rechenbeispiel: Bei 20 unabhängigen Tests, deren Nullhypothesen alle wahr sind und deren tatsächliche Fehlerwahrscheinlichkeit jeweils 0,05 beträgt, liegt die Wahrscheinlichkeit mindestens eines Fehlalarms bei 1 − 0,95²⁰ ≈ 64 %. Das ist eine eigene Modellrechnung. Bei abhängigen Tests oder anderen Voraussetzungen gilt dieser konkrete Wert nicht.
Er bedeutet außerdem nicht, dass ein beobachteter signifikanter Einzelbefund mit 64 % Wahrscheinlichkeit falsch ist. Ein p-Wert gibt nicht die Wahrscheinlichkeit an, dass die untersuchte Hypothese wahr ist; diese Unterscheidung betont die American Statistical Association.
Stelle vor der Auswertung eine kleine Analysetabelle auf: Forschungsfrage, Zielvariable, Vergleich, Test und Status als geplant oder explorativ. Prüfst du beispielsweise vier vorab definierte Lernstrategien jeweils gegen dieselbe Kontrollbedingung und möchtest daraus gemeinsam ableiten, welche Strategie sich unterscheidet, liegt eine gemeinsame Testfamilie nahe.
Die Familie wird aus der inhaltlichen Fragestellung und dem Analyseplan begründet. Sie besteht weder grundsätzlich aus jedem Test deiner gesamten Abschlussarbeit noch ausschließlich aus den Tests, deren Ergebnisse dir gefallen. Zusätzliche Untergruppen, mehrere Zielgrößen oder wiederholte Auswertungszeitpunkte können weitere relevante Entscheidungen erzeugen. Kläre die Abgrenzung und das Verfahren mit deiner Betreuung, bevor du die Ergebnisse kennst.
Bei der einfachen Bonferroni-Regel teilst du das gewünschte Gesamtniveau durch die Zahl der Tests einer Familie. Für vier Vergleiche und ein Gesamtniveau von 0,05 ergibt das eine Schwelle von 0,0125 je Vergleich. Alternativ multipliziert die Software jeden ursprünglichen p-Wert mit vier und begrenzt das Ergebnis auf höchstens 1. Den so angepassten Wert vergleichst du mit 0,05 – nicht nochmals mit 0,0125.
Bonferroni veranschaulicht das Prinzip, ist aber nicht für jede Fragestellung die beste Wahl. Die offizielle R-Dokumentation zu p.adjust nennt unter anderem Holm als weniger konservatives Verfahren zur Kontrolle des familienweisen Fehlerrisikos. Dieses Risiko betrifft mindestens eine falsche Zurückweisung innerhalb der Familie. Verfahren zur Kontrolle der False Discovery Rate verfolgen dagegen ein anderes Ziel: den erwarteten Anteil falscher Entdeckungen unter den verworfenen Hypothesen.
Wähle das Ziel und die Methode nach dem Untersuchungsplan und den jeweiligen Voraussetzungen. Wechsle nicht nachträglich zwischen Verfahren, bis ein gewünschtes Ergebnis signifikant wird.
Fiktives Beispiel: Einer von vier geplanten Vergleichen liefert einen unkorrigierten p-Wert von 0,030. Nach Bonferroni beträgt der angepasste Wert 0,120. Bei einem familienweisen Niveau von 0,05 wird die betreffende Nullhypothese nicht verworfen. Damit ist weder die Gleichheit der Gruppen bewiesen noch gezeigt, dass ein möglicher Effekt fachlich unwichtig wäre.
Eine passende Formulierung lautet: „Für die vier vorab definierten Vergleiche wurde das familienweise Signifikanzniveau von 0,05 mit Bonferroni kontrolliert. Für Vergleich B ergaben sich p = 0,030 und pangepasst = 0,120. Die Nullhypothese wurde daher nicht verworfen.“ Ergänze dazu die tatsächlichen Schätzwerte, eine zum Verfahren passende Unsicherheitsangabe und die inhaltliche Einordnung.
Stelle auch die anderen drei Vergleiche dar. Die ASA fordert Transparenz und vollständige Berichterstattung; eine isolierte Schwellenentscheidung ersetzt keine wissenschaftliche Begründung. Nachträgliche Zusatzanalysen kennzeichnest du ausdrücklich als explorativ, statt sie wie ursprüngliche Tests erscheinen zu lassen.
Bewahre deinen Analysecode oder die dokumentierten Softwareeinstellungen zusammen mit den Ergebnistabellen auf. So kannst du die Zahlen im Text später auf ihren konkreten Rechenweg zurückführen.
Passender Ratgeber: Nachträgliche Hypothesen transparent kennzeichnen.
Wenn dein eigener Ergebnisteil bereits vorliegt, kann eine Rückmeldung helfen, unklare Angaben zu Testfamilie, Anpassung und Ergebnisinterpretation in deiner Darstellung zu erkennen. Expertenfeedback zum eigenen Ergebnisteil anfragen. Das Feedback ersetzt weder deine statistische Analyse noch die fachliche Auswahl und Prüfung des Korrekturverfahrens. Prüfe Teilnehmerbedingungen, Verfügbarkeit und den Umfang deines Pakets. Bereits enthaltenes Feedback brauchst du nicht zusätzlich zu buchen.
DER RATGEBER DER 4-STUNDEN-METHODE
Klare Anleitungen, überprüfbare Quellen und praktische Beispiele für deine eigene Haus-, Bachelor- oder Masterarbeit.
Karim Rabah, M.Eng., BA
Autor und Entwickler der 4-Stunden-Methode. Aus seiner Arbeit als Lektor entstand ein Kurs, der wissenschaftliche Arbeitsschritte am Beispiel zeigt. Hier findest du Anleitungen zum eigenen Umsetzen und zum verantwortlichen Einsatz von KI.
WEITERE BLOGARTIKEL
