Die Tücken der Statistik

Gorilla im Datennebel

Laborbericht Von

Wissenschaftliches Arbeiten ist bekanntlich keine Tätigkeit, die unumstößliche Erkenntnisse hervorbringt und voller »Heureka«-Momente ist, sondern besteht zumeist daraus, irgendwelche Daten zu sammeln, um aus diesen am Ende ein »kann sein, mehr Forschung ist nötig« herauszulesen; die Tücken der unhandlichen Mathematik, die bei der statistischen Auswertung der Daten zur Anwendung kommt, sind der Schrecken eines jeden natur- und auch sozialwissenschaftlichen Studiums.

Anzeige

Man darf deshalb Mitleid mit den Studierenden haben, die unwissentlich an einem Experiment zweier Forscher aus Deutschland und den USA teilnahmen. Diese legten ihren Versuchspersonen als Teil der regulären wöchentlichen Statistikaufgaben einen Datensatz vor, der den Body-Mass-Index von 1 786 Menschen und die Zahl der Schritte umfasste, die jeweils am Tag zurückgelegt wurden, das Ganze aufgeschlüsselt nach Männern und Frauen. Die Hälfte der Studierenden sollte die Daten auf drei verschiedene Hypothesen testen, etwa, ob es einen statistisch relevanten Unterschied bei der Schrittzahl zwischen den Geschlechtern gebe; außerdem wurden sie gefragt, ob noch mehr Interessantes zu finden sei. Die andere Gruppe sollte ohne irgendeine Vorgabe untersuchen, was sich aus den Daten ableiten lasse.

Das Fiese daran: Die Zahlen waren erfunden – nicht frei allerdings. Trug man sie in ein simples Koordinatensystem ein, ergab sich klar und deutlich das Bild eines winkenden Gorillas. Den zu entdecken, war die versteckte Aufgabe, mit der die Forscher ihre eigene Hypothese testeten, ob nämlich die Herangehensweise das Ergebnis beeinflusst. Und siehe da: Die zweite Gruppe erzielte eine fünfmal höhere Trefferquote als diejenigen, die mit Vorgaben arbeiteten.

Das Resultat machte schnell die Runde in den sozialen Medien, häufig zusammen mit Klagen darüber, wie der moderne Wissenschaftsbetrieb das kreative Denken behindere. Darauf wollten die Forscher aber gar nicht hinaus, vielmehr betonen sie in ihrem paper über das Experiment, dass sich die beiden Herangehensweisen gegenseitig ergänzten und ihre jeweiligen Nachteile ausglichen oder dies zumindest sollten. Wer allzu willkürlich an seine Zahlen herangeht, sieht nämlich gerne auch mal Zusammenhänge, wo gar keine sind. Das wird teilweise auch bewusst eingesetzt, um publizierbare Ergebnisse zu fabrizieren – weshalb beispielsweise Studien aus der Ernährungswissenschaft mit ihrer notorisch fragwürdigen Methodik mit Skepsis begegnet werden sollte.

Bleibt noch die Frage: warum ausgerechnet ein Gorilla? Das ist eine Anspielung auf ein klassisches Experiment aus der Wahrnehmungsforschung, bei dem Testpersonen einen durchs Bild laufenden Menschen im Affenkostüm übersahen, wenn ihre Aufmerksamkeit zuvor auf andere Details in einem Video gelenkt wurde. Aber wenigstens blieben die dabei Gefoppten von Statistikaufgaben verschont.