#Der Lange Arm der Reproduzierbarkeitskrise – Ressourcenverschwendung und gefundenes Fressen für Scharlatane – rupture de caténaire

Wo ist der Zusammenhang zwischen der Reproduzierbarkeitskrise in den Laborwissenschaften, dem Klimawandel und Verschwörungstheoretikern aus dem universitären Umfeld? Ein paar Gedanken …

Kits & Computer = “Klimafrevel” durch Ignoranz?

Mindestens die Hälfte aller bedeutenden biochemischen Publikationen sind nicht gut reproduzierbar, andere Schätzungen nennen eher zwei Drittel^{[Begley & Ellis, 2012; Prinz et al. 2011]}. Das bedeutet unzählige umsonst durchgeführte Experimente: Weil man zusammen pipettiert, wo das Scheitern unabwendbar ist (niemand hat das längst bekannte Negativresultat publiziert); weil man eine Methode anwendet, die so nicht funktionieren kann (ups, da fehlte wohl ein Detail in der Originalpublikation) – und so weiter.

Allein in letzten Jahr sind mehr als 50.000 Publikationen erschienen, die irgendetwas mit “Krebs”, “Mikrobiologie”, “DNA” oder “RNA” zu tun haben – das ist konservativ geschätzt, andere Mitteilungen listen mehr. Man darf getrost annehmen, dass ein großer Teil ebenfalls unter Reproduzierbarkeitsmängeln leidet. Viele dieser Veröffentlichungen sind darüber hinaus nicht originell, sondern Nachahmerarbeiten. Und natürlich sind diejenigen Arbeiten darunter, die von vornherein überflüssig waren, weil negative Resultate nicht publiziert wurden.

Nun gibt die Deutsche Forschungsgemeinschaft, DFG, mehr als ein Drittel ihres Budget für lebenswissenschaftliche Forschung aus – mehr als eine Milliarde Euro im Jahr. Wenn nur die Hälfte davon in Publikationen zweifelhaften Wertes oder überflüssige Arbeiten mündet, wo bleibt der Aufschrei der Rechnungshöfe? Doch Forschung ist vor allem ein internationales Geschäft – es geht also um viele Milliarden (Euroäquivalente) weltweit.

Und die praktische Seite? Nun in biochemischen Laboren wird schon länger nicht mehr selber alles gemixt, was man braucht: Da werden “Kits” bestellt. Kleine Boxen zur DNA/RNA-Extraktion, zur Restriktionsanalyse und viele andere Zwecke und viel andere Ausrüstung. Es ist sicherlich gut fürs BIP viel zu bestellen und die Gelder fließen ja auch: Zum Großteil folglich in solche Kits, Lösungsmittel & Co, die – wir reden ja über die Konsequenzen überflüssiger Versuche im Zusammenhang mit der Reproduzierbarkeitskrise – völlig unnötig hergestellt, transportiert und verbraucht werden.

In anderen Fachgebieten sieht es wenig besser aus. Für die Bioinformatik habe ich das bereits unterstrichen – es wird viel, viel gerechnet, was sich auch in Schubladen wie me too-Arbeiten und nicht publizierten Negativresultaten mit ihren Konsequenzen einsortieren lässt. Die Tendenz in manchen Teilen der Bioinformatik nicht optimierte Software zusammen zu stöpseln, bis ein proof of concept erreicht werden kann, resultiert in ganz eigenen Reproduzierbarkeits-, Effizienz- und Verschwendungsproblemen.

Vor allem aber wird in vielen Bereichen der Naturwissenschaften sehr viel Rechenbedarf angemeldet. Die Republik reagierte in dem sie eine Hochleistungsrecheninfrastruktur aufbaute – mit der Konsequenz jährlich zusätzliche Millionen Euro zur Reinvestition und für den Strombedarf in die Hand nehmen zu müssen. Dabei ist diese Art des Rechnens noch sehr viel kostengünstiger (und energiesparender) als die Alternativen: Die bestehen nämlich oftmals gerade in den Lebenswissenschaften darin, dass Professor/in Superwichtig eigene Server betreibt – auf die Wartung geht die Arbeitskraft der Gruppe drauf, die oftmals gar nicht weiß wie sie einen Server zu warten oder gar zu sichern hat. Angeschafft werden diese Server, weil gerade Bedarf ist – und dann gammeln auch diese mit mauer Auslastung vor sich hin bis sie nicht mehr zu gebrauchen sind. Die Republik hat dennoch weiteres Geld in die Hand genommen und eine weitere Infrastruktur aufgebaut, was sicher auch an der Hybris der Hochleistungsrechenwelt mit ihrer Bioaversion liegt, auf der ineffiziente Skripte abertausendfach laufen.

Möglichkeiten Ressourcen zu schonen …

… gibt es folglich viele. Und ich maße mir nicht an, auf alle oder auch nur die oben beschriebenen Probleme, die sicher nur eine Teilmenge der Verschwendung beschreiben, eine Antwort zu kennen. Doch dort wo die scientists for future gesellschaftliche Veränderungen mit unterstützen wollen, finde ich sollten Bio*-ForscherInnen (also alles, was Biologie, Bioinformatik, Landschaftsökologie, etc. ist) zuvorderst der Verschwendung in den eigenen Reihen einen Riegel vorschieben: Denn warum studiert man eigentlich Biologie oder ein Bio-Fach? Aus Verachtung für die Umwelt?!?

Sehr viele Effizienz- und Müllvermeidungsfrüchte hängen in den Instituten, in denen häufig noch nicht einmal simple Mülltrennung funktioniert und Desktoprechner 24/7 ihre elektronischen Däumchen drehen, tief: Die Fachbereiche müssen sich dringen Gedanken darüber machen, wie das Bewusstsein für die Reproduzierbarkeitskrise und ihre Konsequenzen in den Köpfen der Studierenden verankert wird. Und damit letztlich auch weniger Verschwendung in den Laboren herrschen wird, wenn die praktizierenden WissenschaftlerInnen wissen worauf sie bei Experiment, Protokollierung und Publikation zu achten haben.

Die Politik ihrerseits sollte aufhören Kriege führen zu wollen – insbesondere international sind sie ja beliebt die “Kriege” und groß angekündigte Initiativen gegen den Krebs und andere Übel. Das führt zu unbedachtem Materialeinsatz und hat in den vergangenen Jahrzehnten nur begrenzt Erfolge erzielt.

Außerdem kochen in vielen Fachbereichen die Arbeitsgruppen in Allem ihr eigenes Süppchen. Die Landesregierungen sollten die ProfessorInnen dazu drängen Allmendestrukturen (Neudeutsch: core facilities) aufzubauen (ein Prozess der vielerorts begonnen hat) und zu nutzen – und denjenigen, die sich sträuben, Geld entziehen. Warum sollten gleich mehrere Arbeitsgruppen eines Institutes Mikroskope und andere optische Instrumente warten? Wie viele Ultrazentrifugen, Fluorimeter, Kalorimeter, etc. (die >90% ihrer Zeit als gräuliche Kunstobjekte manches Labor verschönern) kann oder sollte man sich leisten?

Wie schon im schönen (und vergessenen?) Buch “Die Zunft” (Quelle: Achtung kommerzieller Link) beschrieben, bräuchte es wohl eine recht harte kultusministerielle Hand, um den Augiasstall auszumisten. Also hoffen auf ein Wunder oder anpacken?

Und die Verbindung zu den Verschwörungsheinis?

Der Zusammenhang ist nicht sehr deutlich, aber keine Sorge: Hier wird jetzt keine Weltverschwörung des Mittelmaßes konstruiert, der die Universitäten und Forschungseinrichtungen mit dem Ziel des vollständigen Vertrauensverlustes in die Wissenschaft unterwandert und deren Resultat die Reproduzierbarkeitskrise ist. Obwohl sich manchmal der Eindruck aufdrängt …

Doch gut Forschen muss man lernen. Und zwar an Universitäten. Von LehrerInnen, die einst selber Forschen lernten. Wer Medizin oder Ingenieurswissenschaften studiert, lernt kein forschungsnahes Fach. (Ich kenne einige sehr gute Wissenschaftler, die genau diese Fächer studiert haben! Die Aussage sagt nichts über die Qualität der Studiengänge oder der Leute aus, sondern über den Inhalt, der nicht Wissenschaft, sondern Wissen und dessen Anwendung ist.) Wer Sozialwissenschaften, Juristerei oder, ach, Theologie studiert gewinnt schlicht einen ganz anderen Eindruck von Forschung als Leute, die in die Naturwissenschaften gegangen sind. Und auch dort hat nicht natur-wissenschaftliches Arbeiten gelernt, wer vor der Doktorarbeit das Fach an den Nagel hängt. Ein Fach zu studieren bedeutet zunächst Erkenntnisse vermittelt zu bekommen und viel Handwerkszeug.

Das Handwerk des Forschens wird durch Mentoren vermittelt – und dies eher unsystematisch^{[Schatz, 2004] – lesenswert!} – im Lauf langer Jahre. Der harte Ausleseprozess auf dem Weg zur Professur verhindert vielleicht Schlimmeres, aber das Berufungsunwesen lässt auch sehr viele ungeeignete Menschen auf Stellen, auf denen sie besser nicht wären^{[Woolston, 2020]}.

Hier nun kommen zwei Dinge zusammen, die nicht zusammen gehören: Erstens, Leute, die häufig nicht gut oder zumindest nicht systematisch in die Wissenschaft eingeführt wurden. Und zweitens, das gehört zur Wissenschaft wie zum Blogschreiben, ein gewisses Geltungsbedürfnis haben.

Wer dann obendrauf auf eine Professur berufen wird, darf die eigene “Güte” weitergeben und die nächste Generation prägen. Vor allem aber hat, wer erst einmal auf mitunter gut gepolsterten Stuhl sitzt fortan eine besondere Trumpfkarte: Akademische Glaubwürdigkeit. Auch wenn es um die Qualität der Arbeit nicht gut bestellt ist, diese Karte werden vor allem diejenigen ausspielen, die sonst nicht viel erforschen (Beispiel).

Wer also studiert hat, findet immer wieder Studien oder andere Arbeiten, die steile Hypothesen belegen und seien sie auch noch so schwach – mithin nicht reproduzierbar (da ließen sich – SB-LeserInnen werden nicht überrascht sein – sehr viel mehr Beispiele finden). Mangelndes Verständnis wissenschaftlicher Arbeit und das angesprochene Geltungsbedürfnis sind eine Grundlage für Scharlatanerie. Nicht nur US-Präsidenten neigen dazu zu glauben, was sie sich und anderen mantraartig erzählen – wir alle neigen dazu. So glaubt der Eine daran, dass er mit unfairen Mittel um seine Wiederwahl gebracht wurde und der Andere daran ein Infektionsepidemiologe oder Superheiler oder irgendetwas Anderes zu sein.

Ein Teilgrund ist folgender: Die Qualität wissenschaftlichen Outputs (also: Studien, experimentelle Arbeiten, etc.) folgt einer Verteilung (egal welche; das festzustellen wäre interessant, tut aber nichts zur Sache). Es gibt viel solides Mittelmaß, weniger extrem gute und extrem miese Arbeiten. Doch da so viel publiziert wird, es so enorm viele Praktikanten der Wissenschaft gibt und Wissenschaft eben nicht systematisch unterrichtet wird, gibt es – das Gesetz der großen Zahl lässt grüßen – auch Leute, die Wissenschaft nur als etwas völlig Beliebiges oder gar Falsches und Gefälschtes kennengelernt haben.

Und das Letzte hier ist selbstverständlich nur meine Beobachtung im Lauf langer Jahre und zu vieler Meetings: Die aufgeblasensten WissenschaftlerInnen, diejenigen die in den Naturwissenschaften arbeiten aber Pseudomedizin für ihre Familie propagieren und diejenigen, die aktiv Pseudoforschung betreiben sind durchweg weniger gute WissenschaftlerInnen. Sie konnten dennoch ihre Meriten erringen (sprich: wissenschaftliche Publikationen in wissenschaftlichen Journalen unterbringen) und zumindest zeitweise akademische Posten besetzen. Sieht man von manchen Anfängen der Pseudowissenschaft ab (Hahnemann beispielsweise hat seinen Mist zu einer Zeit verbrochen, wo die Medizingockel auf den größten Haufen saßen und der zarte Keim evidenzbasierter Heilkunde durch das Geschiss zu ersticken drohte), scheint das im Großen und Ganzen auch für die Scharlatane und Bullshitscientists außerhalb meines Bekanntenkreises zu gelten – da gibt es genug einschlägige Literatur (Beispiel und Beispiel).

Also?

Damit haben wir, die wir Wissenschaft mögen, noch zwei weitere Gründe das Heft der Reproduzierbarkeit hoch zuhalten, einzufordern und gutes Handwerk zu lehren:

1. es wäre ein guter Beitrag gegen Ressourcenverschwendung
2. Scharlatane hätten weniger Futter und könnten auch nicht selber abstruse Paper in seriösen Zeitschriften unterbringen (was leider immer wieder passiert, auch wenn bevorzugte Kanäle der Scharlatane eher Webseiten und predatory journals sind)