#xkcd kritisiert den p-Wert – Mathlog

Man macht ein Experiment, ob Studenten, die lauter sprechen oder schreien, bessere Zensuren schreiben. Man hat danach gewisse Meßwerte und fragt, ob diese die Nullhypothese widerlegen. (Die Nullhypothese besagt, dass es den vermuteten Zusammenhang nicht gibt.) Der p-Wert ist bei gegebenen Meßwerten die statistische Wahrscheinlichkeit, dass man bei zutreffender Nullhypothese die gemessenen Werte bekommen würde. Ist der p-Wert sehr niedrig, dann lassen sich die erhaltenen Meßwerte jedenfalls nicht statistisch erklären, sondern müssen einen inhaltlichen Grund haben. Ein niedriger p-Wert spricht also dafür, dass die Nullhypothese falsch ist.

Bei xkcd wird nun einfach dieselbe Messung mehrmals wiederholt. Die Studenten schreien jedesmal annähernd gleich laut. (Und die Zensuren bleiben die gleichen, weil nur die Stimmprobe wiederholt wird.) Obwohl man immer noch dieselben Meßwerte hat, wird der p-Wert durch die Wiederholung geringer, die Nullhypothese also scheinbar widerlegt.