#Gegen Missstände in der Wissenschaft anschreiben – rupture de caténaire

Wissenschaft ist großartig! Allein im letzten Jahr haben wir nicht nur den Ausbruch einer Pandemie erlebt, sondern auch die Entwicklung mehrerer Impfstoffe gegen das auslösende Virus! Und dabei haben eine ganze Reihe von Fragen im Vorfeld gelöst werden müssen: Der genetische Code musste entschlüsselt, die Quantenelektrodynamik erforscht, Restriktionsenzyme gefunden, Foto-Lithographie entwickelt, RNA-Synthese entwickelt und sehr viel mehr wissenschaftliche und ingenieurstechnische Arbeit geleistet werden. Ohne diese bereits jahrzehntealten Entwicklungen wären die Durchbrüche in Virologie und Immunologie nicht denkbar.

Allein das letzte Jahr hat uns großartige Entdeckungen und Methoden geliefert: Strukturvorhersage von Proteinen mit künstlicher Intelligenz eröffnet ungeahnte Möglichkeiten – und sehr viele neue Fragen. Der Chemienobelpreis 2020 an Emmanuelle Charpentier und Jennifer A. Doudna für die Entdeckung des CRISPR/Cas9-Werkzeugs belohnte zwar keine Entdeckung aus dem letzten Jahr, aber die Entdeckungen damit purzelten auch im letzten Jahr. Wir haben uns gefragt, ob es Leben auf der Venus gibt (eher nicht, aber das finde ich egal: Man kann nämlich berechnen wie empfindlich Messinstrumente sein können und dennoch davon fasziniert sein.) Sogar die Entwicklung von “Fleischzucht im Labor” hat große Fortschritte gemacht (Sally le Page bietet eine gute Einschätzung). Und auch dieses Jahr startet großartig.

Das sind alles wunderbar leuchtende Wunderwerke erfolgreicher Wissenschaft und Ingenieurskunst. Wir sollten uns daran freuen. Doch wer aufmerksam liest, z. B. hier auf Scienceblogs, nebenan auf scilogs, bei retraction watch, bestimmten twitter-Kanälen oder einschlägigen Büchern (Beispiel), wird misstrauisch bei allen und jedem Resultat – wissend, dass der wissenschaftliche Fortschritt alles andere als fleckenlos ist.

Die Erkenntnis ist nicht neu, sie hatten schon Andere. Zum Beispiel Charles Babbage, der schon 1830 hoaxing, forging, trimming und cooking als Übel der Wissenschaft beschrieb (Quelle mit “deutscher IP” nicht aufzurufen). Und was brachte die Aufregerei? Ist das nicht eine Förderung der Obskuranten (“Seht her wie beliebig Wissenschaft ist!”, “Ist ja nur eine Studie!”, “Kann man sich ja nicht drauf verlassen!”)?  Oder der Evolutions-, Klimawandel-, Impf- oder Sonstwas-Leugner (“Seht her die lügen und stümpern doch alle in der Wissenschaft!”)?

Ich finde, man muss, man sollte anders denken: Zum einen ist die “Vertrauensbaseline” sehr hoch (das aktuelle Wissenschaftsbarometer zeigt zwar, dass das Vertrauen in “die Wissenschaft” in den letzten Monaten gelitten hat aber mit ca. 60 % der Befragten, die wissenschaftlichen Ergebnissen vertrauen oder eher vertrauen immer noch sehr groß ist). Zugegeben, da ist Luft nach oben, aber zum anderen kann Vertrauen auch beschädigt werden, wenn man hört, das es systemimmanente Probleme gibt und weiß, dass nicht daran gearbeitet wird. Darüber offen zu sprechen wird nicht zu einem dramatischen Vertrauensverlust führen.

Meiner Auffassung nach müssen (wir) WissenschaftlerInnen auch härter für dieses Vertrauen arbeiten. Zwar weiß ich nicht, ob es Forschung zu der Frage gibt, aber ich gehe davon aus, dass das Vertrauen in Wissenschaft durch übertriebene Pressemitteilungen aus der Wissenschaft, reißerische Presseartikel oder Fernsehberichte und auch dumm schwätzende (Ex-)Professoren der Reputation der Wissenschaft weit mehr schaden als jede ernsthafte Diskussion über die Reproduzierbarkeitskrise vermag.

Anlass zur Hoffnung

Die letzten Jahre zeigen, dass das Bewusstsein für die Problematik innerhalb der Wissenschaft gewachsen ist: Initiativen zur Bekämpfung der Reproduzierbarkeitskrise schießen aus dem Boden. Auch hierzulande gibt es beispielsweise unlängst gegründete deutsche “reproducibilitynetwork“, dass sich vor Mitmachwilligen kaum retten kann. Auch gibt es lokale Initiativen wie z. B. das Open Science Centre der LMU (es gibt noch viel mehr Initiativen im deutschsprachigen Raum, aber das hier ist ein Blogbeitrag, kein Buch mit tausend Fußnoten – nicht vergessen sei allerdings der tolle Podcast OpenScienceRadio).

Viel wurde angestoßen: So haben sich viele wissenschaftliche Journale den Richtlinien von COPE (Committee on Publication Ethics) angeschlossen. Bei klinischen Studien wir Preregistrierung immer häufiger Voraussetzung für eine spätere Publikation. Es gibt noch viele weitere und wirkungsvolle Initiativen.

Was kann ein kleiner Blogger beitragen?

Wenig. Der Blogger ist ja nicht eingebildet. Einerseits kann er sich ein wenig Frust von der Seele schreiben, andererseits auch mahnen und zu Verbesserungen anregen. Das hat seine Grenzen –  vielleicht ist ja jemanden die kleine Anspielung in der Bannerzeichnung zur Artikelserie aufgefallen. Regelmäßige LeserInnen von SB und BioinformatikerInnen bilden eine relativ kleine Schnittmenge. Und so ein Blogger hat die Weisheit auch nicht mit Löffeln gefressen. Andererseits ist fraglich was Initiativen und guidelines so bringen werden …

Und wieso IT? IT allgemein steht bei Beachtung der Reproduzierbarkeitskrise nicht im Fokus. Es gibt zwar Konferenzen zur Frage, was Software tun kann, um Probleme in Publikationen aufzudecken oder die Reproduzierbarkeit im Vorfeld der Veröffentlichung zu verbessern. Was ich jedoch meine bezieht sich eher auf den Prozess des Erkenntnisgewinns. Und da habe ich hier einen Fokus auf die Bioinformatik (auch wenn ich anderen computational sciences ständig begegne, bei denen es nicht besser bestellt ist), weil Bioinformatik sich häufig mit medizinischer Grundlagenforschung, angewandter Krebsforschung, Virologie und mehr beschäftigt. Und weil die Bioinformatik wahrlich in keinem guten Zustand befindet. Beispiele gab es im Blog schon ein paar. Noch ein paar Extremfälle gefällig?

• SIRA-HIV^{[Raposo et al., 2020]} wurde der Best Poster Award der “Bioinformatics”-Konferenz zugesprochen. Herzlichen Glückwunsch! Dieses Stück Software beschäftigt sich mit der Vorhersage von Medikamentenresistenzen des HI-Virus. Es ist eine Webapplikation ohne Quellcoderelease, ohne Lizenz, seit zwei Jahren ohne Wartung und mit der Hoffnung, dass sich mögliche Nutzer das irgendwie selber installieren (Link). Die anderen beiden ausgezeichneten Publikationen zeigen erst gar keine Softwarelinks – jedenfalls habe ich keine finden können. Was wird bei dem Post Award eigentlich beurteilt? Das Layout? Im Zeitalter omnipräsenter Mobiltelefone habe ich noch niemanden URLs bei der Begutachtung von “Poster Awards” gesehen …
• Die Suche nach neuen Wirkstoffen beginnt oft im Computer. Noch im letzten Jahr wird unter dem Titel “Next Generation Pharmacophore Modelling“^{[Schaller et al., 2020]}  ein Workflow angepriesen: Der “Common Hits Approach“, bei dem Pharmacophore Modelling (die elektrostatische Beschreibung einer Bindetasche in einem Protein mit ihrem Wirkstoff zur schnelleren Suche nach anderen Wirkstoffen) mit Molekulardynamiksimulationen kombiniert werden kann. Diese Publikation ist auch erst ein paar Jahre alt, die aufgezählten Webseiten z. T. aber nicht mehr erreichbar, die Methode also nicht mehr so anzuwenden^{[Wieder et al., 2017]}. Mittlerweile bohrt sich die Pharmazeutische Industrie durch die Vernachlässigung des akademischen Sektors mächtig ins Knie: Die übermäßige Kommerzialisierung der relevanten Software verhindert die Ausbildung des Nachwuchses ebenso wie die mangelnde Teilhabe der Universitäten bei modernen Methoden der chemischen Wirkstoffsuche.
  
• Oder eine Software, die in der Annotation von Genen relativ häufig zum Einsatz kommt: Maker. So was nimmt gerne auch bei neu zusammengesetzten Genomen. Seit Jahren versprechen den Macher von Maker eine Dokumentation zur Installation online zu stellen – dabei bleibt es. Ich habe das vor drei Jahren mal per Hand gemacht und fürchte den Tag an dem das wieder an mich getragen wird. Warum? Weil es eine fürchterliche Selbstbauparallelisierung hat, die ständig nachfragt ob ein Prozess noch lebt und somit dafür ca. 20% des Systems braucht. Weil das Ding viele Softwaretools benötigt, die z. T. von 1992 (kein Witz) stammen und seit dem unverändert sind. Weil es umständlich in der Anwendung ist mit seinen Myriaden von Zwischenprodukten in Form von Dateien. Ja, es funktioniert. Das nimmt den Druck etwas Besseres zu entwickeln. Aber man kann so eine Software eigentlich nur auf “Privatservern” in Arbeitsgruppen einsetzen, wo es keinen Admin gibt, dem sich die Zehennägel kräuseln.

Und deshalb gilt es eine Lanze für die Reproduzierbarkeit zu brechen und für gute Software zu sorgen. Die Welt akademischer Software, insbesondere in der angewandten Bioinformatik, sieht nämlich so aus: Irgendwelche Software wird irgendwie publiziert, manchmal sogar auf Software basierende Veröffentlichungen ohne Veröffentlichung des Quellcodes, über die Anwendbarkeit macht sich niemand auf Seiten der Journale Gedanken. Ein paar Jahre später kann die Software kaum jemand anwenden und die eigenen Ergebnisse gut reproduzieren. Oft aber ist der Code derartig: Wenn man einen Blick drauf werfen kann, glaubt man den Ergebnissen der Software nicht mehr.

Vielleicht kennt ihr das Gefühl: Wenn man in der Zeitung etwas über einen Zweig der Wissenschaft liest (oder im Fernsehen sieht, oder, oder …), in dem man sich auskennt und da wird Unsinn erzählt … das sät Zweifel zu allen anderen Themen, in denen man sich eben nicht auskennt. Genau so geht es mir bei vielen Veröffentlichungen angewandter Bioinformatik.

Grund genug also dagegen anzuschreiben.