#Der Surgisphere-Skandal – Folgen in der Wissenschaft? – rupture de caténaire

So, nun haben “The Lancet” und “New England Journal of Medicine” (NJEM) die zwei Studien zurückgezogen, die sich auf die Surgisphere beziehen und sich mit Hydroxychloroquin bzw. Chloroquin befassten.

Was ist eigentlich passiert?

[Nur kurz, da der Skandal durch die Medien geht und dies hier kein Blog mit journalistischem Anspruch ist.]

Hydroxychloroquin, eigentlich ein Anti-Malaria-Medikament, wurde in einigen Ländern als Medikament zugelassen, nachdem eine Studie positive Effekte bei der COVID-19 gefunden haben wollte^{[Gautret et al., 2020]}. Obwohl es methodische Kritik an der Studie gab, war das Grund genug genauer hin zu schauen und weitere Studien anzustrengen.

Bei der Firma Surgisphere handelt es sich um ein kleines Unternehmen, dass nach eigenen Angaben die Daten sehr vieler COVID-19-Patienten für zwei Studien zur Verfügung gestellt hat, die in “The Lancet” und dem NJEM erschienen sind. Diese Studien haben einigen Furor gemacht und die WHO bewogen ihrerseits Studien anzuhalten. Das ist an sich bereits eine seltsame Entscheidung oder, um es mit dem Ärzteblatt zu sagen:

Ein wesentliches Problem bei „Big-Data“-Studien ist dabei, dass es sich um retrospektive Auswertung von Krankenakten handelt, die extrem anfällig für Verzerrungen sind. Ihre Evidenz wird deshalb als gering eingestuft und ihre Ergebnisse sollten kein Grund sein, randomisierte Therapiestudien abzubrechen.

Für mitlesende Laien: Dort wo wie in den Lancet- und NJEM-Studien offenbar auf Daten zurückgegriffen wurde, die uneinheitlich erhoben und nicht standardisiert protokolliert wurden, sollte es von vornherein an Vertrauen gegenüber diesen Daten fehlen – und eine Analyse solcher Daten mit entsprechender Vorsicht geschehen. Letztendlich war entscheidend, dass Zweifel gegenüber der Zahl der Patientendaten gemeldet wurden und das Surgisphere die Daten wohl auf Anfrage nicht herausrücken wollte.

Preprint oder nicht-Preprint?

Nun, dass Ärzteblatt-Zitat bringt die Sache auf den Punkt, doch hinterher die Dinge besser zu wissen ist wohlfeil. Das Problem zur Zeit ist, dass sich die wissenschaftlichen Zeitungen dem Druck ausgesetzt sehen den Pre-Print-Plattformen ausüben. Hierbei nutzen WissenschaftlerInnen Plattformen, um ihre Ergebnisse möglichst schnell zu publizieren (womit die Information frei zugänglich in der Welt ist), was angesichts der Pandemie und des Konkurrenzdrucks aus ihrer Perspektive nur sinnvoll und geboten ist – schließlich gilt es schnellstmöglich Lösungen oder zumindest Entlastung zu finden. Die Zeitungen und Verlage reagieren, in dem sie Veröffentlichungen insb. zu COVID-19 fördern und in großen Teilen frei zugänglich machen, wo zu anderen Zeiten Artikel hinter Paywalls verschwanden. Schaut nur mal auf die Seiten von NJEM (wo es nach geradezu ins Auge sticht) oder “The Lancet“.

Bei all dem kann man nur hoffen, dass trotzdem Sorgfalt und ehrliches Streben nach neuer Erkenntnis dominieren. Ich selber habe gerade eine Arbeit gelobt, in der ich einige Schwächen in der methodischen Beschreibung sehe. Das ist noch relativ harmlos: Da wo man nicht nachprogrammieren kann, was die Kollegen beschrieben haben, ist per se keine analytische Schwäche anzukreiden. Fehler gibt es in nahezu aller Arbeit, Wissenschaft ist nicht frei davon — soweit so trivial. Eingehend ist auch, dass wo es schnell gehen muss mehr Fehler geschehen. Das können kleine Schwächen in der Beschreibung oder auch mal ein analytischer Fehler sein. Umso wichtiger, dass die Arbeiten bei abschließender Veröffentlichung an gewissenhafte Editoren gelangen, die darauf bestehen ebenso gewissenhafte Reviewer ans Werk zu setzten. Der Blick auf die Wichtigkeit sollte jetzt doch eigentlich geschärft sein …

Was bedeutet das für “die Wissenschaft”?

Vorweg: Diese Frage kann ich natürlich nicht beantworten. Ich bin Wissenschaftler, kein Prophet.

Jetzt wo die Studien vollkommen zurückgezogen wurde, aus der wissenschaftlichen Literatur vollkommen gelöscht (auch wenn das Netz sie nicht vergessen wird), weil drei der Autoren (des Lancet-Papers) nicht für die Verlässlichkeit der Primärdaten einstehen können, kann man zumindest eines sicher sagen: Angesicht der Wichtigkeit der Thematik und der Konsequenzen der Veröffentlichung, gehören diese Rückzüge zu den bedeutensten der Wissenschaftsgeschichte.

Es ist naheliegend zu fragen, wie es soweit kommen konnte. Wenn die Autoren jetzt ihren Daten nicht trauen, wie konnten diese Studien überhaupt veröffentlicht werden?

Ebenso naheliegend ist die Antwort: Peer-Review, der formale Prozess zum Sichten wissenschaftlicher Arbeit vor der Veröffentlichung, ist überhaupt nicht dazu gedacht Primärdaten zu sichten. Hierbei spielt es keine Rolle, ob diese Daten ungenau, falsch analysiert oder gefälscht sind. Zwar können die Reviewer über Ungereimtheiten stolpern und diese Ankreiden, aber ohne Kommissar Zufall haben sie wenige Chancen. Wir denken mit Peer-Review erhält eine Veröffentlichung eine Art “TüV-Siegel”, aber die Wirklichkeit ist etwas komplizierter: Im Idealfall ist der Review sorgfältig, oft langsam, und von geeigneten ExpertInnen durchgeführt, die durch Ihre Anmerkungen die Qualität einer Veröffentlichung verbessern. Im schlimmsten Fall liefert der Review-Prozess ein Feigenblatt der Autorität für die Autoren und übersieht sowohl analytische Probleme der Veröffentlichung als auch Fälschungen.

Der Normalfall liegt irgendwo dazwischen, aber das ist eigentlich egal, denn dieser Fall rückt das Verfahren ins Rampenlicht – zumindest wissenschaftsintern. Peer-Review hat einige Schwächen (ein Beispiel gibt es nebenan oder eine Kette von Beispielen gibt es hier). Das Hauptproblem, dass die Reviewer nichts erhalten, schon gar kein Geld, und nur Zeit in den Review und das Review-System stecken, die von eigenen Veröffentlichungen abgeht ist nach wie vor ungelöst. Und so gibt es nicht wenige WissenschaftlerInnen, die es ablehnen die Arbeiten der Kollegen zu kontrollieren – denn schließlich geht das von der eigenen Forschungszeit ab.

Aber darum geht es hier eigentlich nicht. Schließlich könnten genügend Freiwillige dieses Problem lösen und doch scheitern die problematischen Artikel aufzuhalten. Die Mehrheit der wissenschaftlichen Veröffentlichungen wird überhaupt nicht auf analytische Inkonsistenz kontrolliert – was auch gar nicht geht, da Zeitschriften nicht verlangen die Daten beizufügen oder einen CodeReview (bei Softwareartikeln, die ich so gerne lese) durchzuführen. So habe ich gerade eine Anfrage diesbezüglich bei BMC-Bioinformatics laufen (kurz: “Sagt mal, was tut ihr eigentlich gegen die lausige Qualität eurer Paper?”), die seit Monaten unbeantwortet ist (schließlich liegt mir die Qualität von wissenschaftlicher Software am Herzen, weil ich denke, dass sie die Qualität mancher Veröffentlichung mitbestimmt, die mit wissenschaftlicher Software arbeiten). Und wenn wer als Reviewer doch mal den Finger in die Wunde fehlender Daten oder mauen Codes legt ist die Antwort nicht selten Schweigen.

Alles im Allen wird sich das Review-Unwesen nicht schnell ändern. Wir WissenschaftlerInnen wurschteln uns also weiter durch und das ist weit unter dem Niveau, dass wir vorgeben zu haben. Und dann wird das gesellschaftliche Vertrauen auch noch unterminiert. Insbesondere gesellschaftliche Krisen rufen wissenschaftliche Arbeitsgruppen auf den Plan abseits ihrer Expertise schnell zu veröffentlichen (ich erinnere mich an einige Fälle). Oder “Experten” die von Studien reden, die man nicht finden kann. Zeitungen legen sowieso selten Quellen offen, schon gar nicht außerhalb des Wissenschaftsteils. In Zeiten wie diesen wird das Problem offenkundig: Medien wollen Statements und belastbare Aussagen. Wissenschaft wohnt das Vage inne. Das kann man durchaus so kommunizieren, dass es akzeptiert wird. Doch Anfeindungen von Wissenschaft durch Medien gibt es nicht nur in populistisch regierten Ländern. Wenn dann noch Fälschung oder grobe Fehler ins Spiel kommen, leidet das Vertrauen in die Wissenschaft insgesamt. In den angelsächsischen Ländern scheint mir der Skandal und das Gewese um Hydroxychloroquin ein weit stärkeres Gerausche im Blätterwald zu verursachen. Kein Wunder, da wo Populisten wissenschaftliche Ergebnisse interpretieren ist Wissenschaft schnell in der Defensive. Wie geht es hierzulande weiter? Grund zur Sorge gibt es allemal (oder noch viel besser hier unterstrichen). Ich hoffe sehr der Knall dieses Skandals verhallt nicht ungehört, schließlich haben die allermeisten KollegInnen in der Wissenschaft absolut lautere Absicht.