Teil 1 meiner Abrechnung mit schlecht gemachten, fragwürdig gerechneten oder fehlinterpretierten Studien.
Pixabay, CC0
Intro
Normalerweise baue ich aus meiner Sicht fragwürdigen Wissenschaftsjournalismus in meine #notimeforthis Serie ein. Einen Publizistik-Absolventen, der das Pech hat, über Naturwissenschaft schreiben zu müssen, und dabei dann schlampig ist, zerpflückt der Fachmann schon mal in zwei Zeilen und kümmert sich dann um irgend was lustigeres.
Seltener aber ist nicht der Journalist, sondern die Wissenschaft, über die groß berichtet wird, das Problem. Dann reichen zwei Zeilen nicht. Solchen Fällen sollte man durchaus Aufmerksamkeit schenken, drücken sie doch den allgemeinen Ruf der Wissenschaft nach unten. Quacksalber gibt es schon genug, ich will ihnen wirklich nicht auch noch die Munition liefern, wir Forscher wären still, wenn wir fehlerhafte Arbeiten im eigenen Lager finden.
Fazit: Herzlich Willkommen in meiner neuen Serie, die sich - Nomen est Omen – mit misslungenen und fehlinterpretierten Studien beschäftigt. Heute im Angebot:
Viel Zucker in der Kindheit erhöht den Alkoholkonsum als Jugendlicher.
Das ist, knackig in einer Schlagzeile verpackt, das Ergebnis einer multinationalen Studie, über die kürzlich breit in den Medien berichtet wurde.
Dort steht, dass Wissenschaftler die Ernährungsgewohnheiten von mehr als 16.000 Kindern in acht europäischen Ländern unter die Lupe nahmen, und dann einige Jahre später nochmal zurück kehrten und die dann Jugendlichen erneut auf Ernährungsgewohnheiten, aber auch den Alkoholkonsum überprüften. Sie kamen zum Ergebnis, dass Fett- und Zuckerreiche Ernährung in der Kindheit zur Folge haben, dass diese in ihrer Jugend ein erhöhtes Risiko aufweisen, regelmäßig Alkohol zu konsumieren.
Und damit keiner einfach daher kommt und auf die naheliegende Idee kommt, dass das einfach nur die soziale Schicht abbildet, wurden Bildungsstand, Ernährungs- und Trinkgewohnheiten sowie die Erziehungsstrenge der Eltern gleich in die Rechnung miteinbezogen.
Das Fazit: Fett und Zucker „programmieren“ Kinder auf Suchtmittel wie Alkohol. Die Lösung des Problems schlagen die Forscher auch gleich vor:
“Es sei daher enorm wichtig, das Bewusstsein für die Auswirkungen ungesunder Ernährung zu schärfen und Produktion und Vertrieb ungesunder Nahrungsmittel stärker zu regulieren, etwa mit einer Zuckersteuer.“ Ref
Klingt prinzipiell mal super aufsehenerregend und bahnbrechend, und ich kann verstehen, dass die Zeitung lieber über so was berichtet als über meine faden Sachen. Wirklich. Und wenn was super aufsehenerregend und bahnbrechend klingt, will ich es natürlich im Original nachlesen.
Weil für was hat man den akademischen Titel sonst im Lotto gewonnen?
Aber:
Gleich als ich die verlinkte Studie öffne, kommt der erste Verdacht... Das Journal, in dem diese publiziert ist, sagt mir nämlich nichts. „Public Health Nutrition“? Noch nie gehört. Googlen wir mal den Impact Factor... Ui, nur 2,4?
Ok zugegeben, Ernährungswissenschaften sieht man selten in Nature (IF 41.5) oder Science (37). Aber für so eine umfangreiche Humanstudie mit interessantem Ergebnis wird wohl was in die Richtung von IF 10-15 drin sein, sollte man meinen... Da Forscher ihr Licht nicht freiwillig unter den Scheffel stellen, kann man dezent davon ausgehen, dass sie es wohl bei besseren Journals auch probiert haben... Und wenn diese was nicht abdrucken wollen, hat das meistens einen Grund.
Die Krux mit der Statistik
Mit bösen Vorahnungen und leicht skeptisch stürze ich mich also ins Lesen. Auf den ersten Blick schaut alles ganz gut aus. Die Zahl der Testpersonen ist schon nicht schlecht. Kinder, die sich Fett-und Zuckerrreich ernähren, haben tatsächlich ein deutlich höheres Alkohol-Risiko in der Adoleszenz... das 2,46-fache Risiko eines nicht vorbelasteten Kinds. Konfidenzintervall (1,47-4,12, CI 95%) ist angegeben, statistisch klar signifikant mit 99,9%. Also auf Deutsch: mit 95% Wahrscheinlichkeit liegt das tatsächliche relative Alkoholrisiko zwischen 147% und 412%, zu mehr als 99,9% ist es höher ist als die 100% der Kontrollgruppe.
Dann werden die elterlichen Sünden rausgerechnet. Das relative Risiko sinkt auf 1,79 im Vergleich zu den Unbelasteten. Konfidenzintervall 1,03-3,11. Gerade so noch irgendwie signifikant, der Unterschied.
Aber Moment mal...
Ist das Konfidenzintervall durch das Einrechnen der elterlichen Vorbelastung tatsächlich kleiner geworden? Hmmmmmmm...
Ich sags mal so: Ich hab schon Fehlerfortpflanzungen gerechnet, und bei mir wurde der Fehler bislang nur größer, größerund größer dadurch.
Kann es sein, dass die Herren Autoren einfach übersehen haben, dass auch die Erhebung von Bildungsstand, Erziehungsmethoden und Ernährung der Eltern ganz gehörig fehlerbelastet ist, und dass man diese Schwankung dann natürlich miteinrechnen muss?
Denn wenn man das macht, ist der Unterschied sicher nicht mehr signifikant. Und die Aussage „Fett+Zucker bedingt Alkoholrisiko“ kann man dann kübeln.
Aber es kommt noch besser:
Wenn man ein relatives Risiko berechnet, tut man das, in dem man die Werte der Testgruppen durch die Werte der Kontrollgruppe dividiert. Also in dem Fall z.B. konsumieren in der „low sugar, low fat“ Gruppe 19 von 619 Kindern später als Jugendlicheregelmäßig Alkohol, also ziemlich genau 3%. Nachdem es 7,4% der „high sugar, high fat“ Kinder so geht, rechnet man 7,4/3 = 2,46, und bezeichnet das dann als relatives Risiko (RR). Die Kontrollgruppe hat logischerweise ein RR von 3/3= 1, oder anders 100%.
Und dann gibt es das oben erwähnte Konfidenzintervall, um die Schwankungsbreite der Werte anzugeben.
So einfach ist das, sollte man meinen. Na ja... Denn natürlich, wenn man die Kontrollgruppe per Definition auf 100% setzt, schwankt dieser Wert nicht mehr. Kann man zwecks Veranschaulichung machen, ist nicht falsch.
Was man dann aber auf gar keinen Fall mehr machen darf, ist, auf dieser Grundlage die Testgruppe statistisch mit der Kontrollgruppe zu vergleichen!!!
Letztere ist nicht wirklich, sondern nur virtuell fehlerbefreit! Für die Statistik müsste man entweder die ursprünglichen 3% samt Schwankungsbreite mit den 7,4% samt Schwankungsbreite vergleichen, oder aber den Fehler der Kontrollgruppe in den Wert der Testgruppe per Fehlerfortpflanzung mit einrechnen, was die Autoren – ihr habt es erraten – nicht getan haben.
Fazit
Glaube keiner Statistik, die du nicht selbst gefälscht hast.
Winston Churchill.
Fun fact: Winston Churchill hat den Satz nie gesagt. Das nenn ich mal Ironie.
Die Studie sagt mMn nur eines mit Sicherheit: Das elterliche Wirken beeinflusst die Ernährung sowie den Drogenkonsum des Nachwuchs.
Nein!
Doch!
Nein!
Doch!
Oooooohh!
Louis De Funes. Diesmal stimmt’s.
public domain
Möglicherweise gibt es auch tatsächlich einen direkten Zusammenhang zwischen kindlicher Ernährung und jugendlicher Sauferei. Aber wir wissen das nach dieser Studie schlicht und ergreifend nicht. Deren Statistik ist leider... nun, wie sage ich das politisch korrekt... grottig. Im besten Fall grottig.
Damit gleich Presseerklärungen raushauen und eine politische Forderung verknüpfen... Fragwürdig.
Und damit keiner glaubt, ich würde es dabei belassen, hier im wissenschaftlich ziemlich irrelevanten Blog- und STEEM-Tümpel Dampf abzulassen: Demnächst bekommt das Journal Post von mir. Höflicher als hier, logo. Aber ich werde sie auf die methodischen Mängel hinweisen müssen. Mal schauen was dann passiert.
Disclaimer:
In meinem Blog schreibe ich meine ehrliche Meinung als toxikologischer Forscher, nicht mehr und nicht weniger. Ich bin ein Mensch, manchmal unterlaufen mir Fehler. Diskutiert mit mir, seid anderer Meinung – wenn ihr die besseren Argumente bringt, überleg‘ ich gern ein zweites Mal.
Uploaded with SteemPress from http://toxblog.eu