Statistiken und Zahlen können uns viele Zusammenhänge zeigen, leider auch solche, die es gar nicht gibt… wie zum Beispiel die Frage:

Hängt Urananreicherung in amerikansichen Atomkraftwerken mit der Zahl der Mathematik-Dissertationen zsuammen?

Autor: https://www.tylervigen.com/spurious-correlations

Natürlich nicht. Dieser Zusammenhang beschreibt ein Artefakt der Statistik – genannt auch Scheinkorrelation (Spurious Correlation).

Es gibt bestimmte Techniken und Fehler, die uns dazu verleiten können aus Zahlen und Statistiken falsche Schlussfolgerungen zu ziehen.

Self-selection (Selbstselektion) Bias

Sehr viele Fehler und Manipulationen sind auf das Problem der Selbstselektion zurückzuführen. Ein bekanntes Beispiel dafür sind Umfragen, die auf Social Media, Online Portalen oder auch in den Zeitungen geteilt werden. Solche Umfragen erreichen in der Regel nur das Zielpublikum des fragenden Mediums. Sie sind somit nicht repräsentativ.

Ein Beispiel wäre eine Umfrage zur Bundestagswahl, die Luisa Neubauer (Aktivistin bei #FridaysForFuture) auf ihrem Twitter Account starten würde. Man muss kein Statistiker sein, um vorherzusagen, welche Partei in dieser Umfrage gewinnen würde.

Leben Vegetarier länger?

Ein klassisches Beispiel für die Selbstselektion sind auch viele Studien im Bereich Gesundheit und Ernährung. Oft hören wir aus diesen Studien, dass Vegetarier länger als Fleischesser leben. Hier könnnte aber genauso gut Self-selection Bias am Werk sein. Viele dieser Studien teilen die Bevölkerung in zwei Gruppen auf: Vegetarier und den Rest. Hier entsteht bereits das erste Problem, denn es verdeckt wichtige Faktoren, die dazu führen, dass Menschen überhaupt Vegetairer werden.

Welche Menschen und aus welchen Gründen werden Vegetarier? Man kann davon ausgehen, dass diese Menschen sich bereits im Vorfeld Gedanken zu ihrer Gesundheit gemacht haben. Es ist davon auszugehen, dass sie auch in anderen Bereichen des Lebens bessere Entscheidungen hinsichtlich ihrer Gesundheit machen, wie zum Beispiel Sport treiben oder nicht Rauchen.

Was ist mit dem Rest der Bevölkerung? In dieser Gruppe gibt es sicherlich auch Menschen, die sich Gedanken über ihre Gesundheit machen aber auch ein sehr großer Teil deren, die sich zu diesem Thema wenig Gedanken macht und eher ungesunde Lebensweisen wie das Rauchen an den Tag legt.

Ein Studiendesign, welches die Teilnehmer in Vegetarierinnen vs der Rest teilt, wird viele der oben genannten Faktoren außer Acht lassen. Aus diesem Grund lässt sich ein kausaler Zusammenhang Vergarier ⇒Längere Lebenserwartung nicht herstellen. Menschen, die sich vegetarisch ernähren pflegen in der Regel auch sonst einen gesunderen Lebensstil.

Deswegen zeigen diese Studien oft nur, dass Menschen, die sich Gedanken über ihre Gesundheit machen tendenziell auch länger leben.

Insofern lässt sich der Gesundheitseffekt nicht unbedingt nur auf die vegtarische Ernährungsweise zurückfhren. Womit wir bei einem weiteren Problem wären…

Korrelation ist nicht Kausalität

Da Vegetarismus generell mit einer bewussteren Haltung zur Gesundheit einhergeht, können wir diese Effekte schlecht voneinander trennen. Wir wissen nicht, ob es ein kausaler Zusammenhang (Vegetarismus⇒längeres Leben) ist oder aber eine Korrelation (Vegetarismus, Sport, kein Rauchen, Bildung⇒längeres Leben).

Um den kausalen Zusammenhang zu überprüfen, wäre in diesem Fall eine randomisierte kontrollierte Studie notwendig. Konkret in diesem Fall müssten die Probanden per Zufall einer dieser zwei Gruppen (vegetarisch und nicht vegetarisch) zugeordet werden und danach über ein längerer Zeitraum beobachtet werden. Das ist aus praktischen Gründen nur selten durchführbar.

Richtung der Kausalität: Verursachen Regenschirme Regen?

Fast genauso wichtig wie der Unterschied zwischen Korrelation und Kausalität ist auch die Richtung der Kausalität. Wenn wir aus dem Fenster schauen und Menschen mit Regenschirmen auf der Straße beobachten, können wir davon ausgehen, dass es vermutlich regnen wird. In welche Richtung geht aber die Kausalität? Hier ist es relativ klar. Kaum jemand würde davon ausgehen, dass es regnen wird, weil die Menschen draussen Regenschirme dabei haben. Die Menschen haben Rgenschirme dabei, weil sie davon ausgehen, dass es regnen wird.

Mitunter können solche Korrelationen größere Bedenken in der Bevölkerung auslösen. Das ist zum Beispiel bei der zeitlichen Korrelation zwischen einer Autismus-Diagnose und Masernimpfungen der Fall.

Autismus wird oft im Alter von ca 2 bis 3 Jahren diagnostiziert. Dies ist auch der Zeitpunkt der Masernimpfung. Da die Diagnose und die Impfung ungefähr im gleichen Zeitraum passieren, sehen manche Eltern einen kausalen Zusammenhang (Tagesspiegel).

Scheinkorrelation (Supurious Correlation)

Solche Scheinzusammenhänge können insbesondere dann entstehen, wenn wir viele Variablen bzw. Faktoren haben. Wenn wir hunderte von Variablen (Stichwort: Big Data) in unserem Datensatz haben, ist die Wahrscheinlichkeit groß, dass manche davon einfach nur durch Zufall eine fast perfekte Korrelation zeigen.

Wie vermeide ich statistische Fehler und erkenne Manipulation?

Um Fehler und Verzerrungen in den Statistiken zu erkennen, sind folgende Fragen hilfreich:

Die Frage nach dem Studiendesign

Um was für eine Studie handelt es sich? Beste Qualität liefern, wie bereits erwähnt, Ergebnisse aus  randomisierten kontrollierten Studien. In solchen Studien werden Probanden in verschiedene Gruppen per Zufall eingeteilt. Bei so einer Vorgehensweise lassen sich die Kausalitäten in der Regel klar zuordnen.

Studien mit anderem Design können auch Hinweise auf Kausalitäten geben, allerdigs sind die Ergebnise nicht so eindeutig interpretierbar.

Zahl der Studien mit ähnlichem Ergebnis

Gibt es mehrere Studien, die das Ergebnis bestätigen?

Eine größere Anzahl an Studien, die ein ähnliches Ergebnis haben, vergrößert die Wahrscheinlichkeit, dass es sich dabei nicht um ein Artefakt bzw. Zahlenmanipulation handelt.

Ein wichtiges Stichwort hierzu ist die sogenannte Replikationskrise:

Over the past few years, an international team of almost 200 psychologists has been trying to repeat a set of previously published experiments from its field, to see if it can get the same results. Despite its best efforts, the project, called Many Labs 2, has only succeeded in 14 out of 28 cases. Six years ago, that might have been shocking. Now it comes as expected (if still somewhat disturbing) news.

The Atlantic: „Psychology’s Replication Crisis Is Running Out of Excuses.“

Das Problem der Studien, deren Erebnisse beim zweiten Mal nicht repliziert werden können, ist recht groß. Insbesondere in Bereichen, die selten mit randomisierten Kontrollstudien arbeiten. Eine größere Anzahl an Studien, die ein vergleichbares Ergebnis liefert, kann dieses Risko minimieren.

Hängt der Dax mit der Temperatur in Ulan-Bator zusammen?