Wissenschaft

#wie wissenschaftlicher Diskurs auch von weniger erfolgreichen Studien profitieren kann (Gastbeitrag) – Geograffitico

wie wissenschaftlicher Diskurs auch von weniger erfolgreichen Studien profitieren kann (Gastbeitrag) – Geograffitico

Die Gastautorinnen Lydia Müller und Maria Staudte haben sich, im Rahmen von CLARIN-D, unter anderem mit der Transparenz wissenschaftlichen Arbeitens und inbesondere mit der Kommunikation und Reproduktion von Ergebnissen beschäftigt. Es wurde schnell festgestellt, dass aussagekräftige Studien und deren Ergebnisse einen guten Platz in wissenschaftlichen Journalen finden, jedoch Nullresultate, nicht so spektakuläre Ergebnisse oder gar fehlgeschlagene Experimente oft nicht kommuniziert werden. Das macht wissenschaftliche Arbeit intransparent. In diesem Gastbeitrag stellen sie die Idee vor, eine Plattform zu entwickeln und öffentlich anzubieten, um solche Ergebnisse schnell und einfach anderen Wissenschaftlern zur Verfügung zu stellen.

Publikationsdruck und Publication Bias

Der hohe Publikationsdruck im heutigen Wissenschaftsbetrieb führt zum Einen dazu, dass der wissenschaftliche Austausch NUR noch über Publikationen stattfindet, da sie die Währung darstellen, mit der man sich etablieren, positionieren, oder sein Standing festigen kann. Zum Anderen führt der Publikationsdruck zu einer Flut von Papieren, so dass (zu recht) Rufe nach mehr Qualität als Quantität laut werden. Das Peer-review-System stößt an seine Grenzen, denn es kommt kaum hinterher, die große Menge an häufig höchstens durchschnittlichen Papieren seiner Qualitätskontrolle zu unterziehen.

Die teilweise fatalen Auswirkungen der Überforderung des Peer-review-Systems werden immer wieder sichtbar. Sie werden öffentlich und medial diskutiert und schädigen so den Ruf der Wissenschaft. Ein aktuelles Beispiel sind Studien zur Eignung von Malariamedikamenten bei Behandlung von COVID-19. Ergebnis der Studie war, dass es sich nicht eignet und eventuell zu höheren Todesraten und Herzrhythmustörungen führt. Die Publikationen durchliefen das Peer-review und wurden publiziert. Erst nach der Veröffentlichung stellte sich heraus, dass die Daten fehlerhaft oder sogar gefälscht sind. Die Publikation wurde zurückgezogen. Mit anderen Worten, das Peer-Review-System hat versagt. Und dies ist nur der neueste Fall. Dieses Problem ist nicht nur auf Artikel aus der Domaine Medizin, Biologie oder Psychologie beschränkt, sondern ist in jeder Disziplin zu finden, so auch in den Geistes- und Sozialwissenschaften – überhaupt überall, wo Daten erhoben und gesammelt und genutzt werden. Der Fall des Mart Bax zeigt, dass z.B. auch in der Anthropologie bzw. in den Geschichtswissenschaften gefälschte Ergebnisse veröffentlicht werden können. [1]

Eine Lösung könnte darin liegen, nicht jedes Ergebnis publizieren zu müssen — stattdessen nur die wirklich interessanten, überraschenden oder neuartigen Studienreihen als Papier zu veröffentlichen — und die kleineren, manchmal auch nicht so klar zu deutenden Ergebnisse auf anderen Wegen mit den Kollegen zu teilen. Dass man sie teilen sollte, liegt auf der Hand: Auch aus nicht publikationsfähigen Studien kann meist etwas über den Untersuchungsgegenstand oder über die angewandte Methode gelernt werden, was aber vornehmlich für jene relevant ist, die sich konkret mit sehr ähnlichen Themen auseinandersetzen.

Wie also könnte man Ergebnisse, die nicht unbedingt in einer Publikation untergebracht werden müssen/können, mit seinen Kollegen teilen? Aber bitte möglichst einfach, denn Zeit ist ohnehin nie genug vorhanden, und möglichst breit?! Eine mögliche Lösung bietet die Plattform „Null-Results“.[2]

Die Plattform

„Null-Results“ bietet genau die gewünschte Funktionalität. Studien, die keine revolutionären Ergebnisse, aber dennoch nützliche Erfahrungswerte liefern, die können dort über eine Eingabemaske beschrieben und online gestellt werden. Umgedreht kann man natürlich auch über eine Kategorien- oder Stichwortsuche nach Studien zum eigenen Thema oder zur eigenen Methode suchen, während man ein Projekt plant.

Die Plattform ist damit anders als alle bisherigen wissenschaftlichen Medien. Sie soll dem informellen, einfachen Austausch von Informationen dienen und bei Interesse unter Kollegen weitere Nachfragen ermutigen. Das bedeutet, dass der qualitätssichernde, aber aufwendige Peer-Review-Prozess, ja sogar das Manuskriptschreiben, entfällt. Dafür kann man mit einem Beitrag aber auch NICHT die eigene Publikations- oder Zitationsliste verlängern. Die gelisteten Studien wären nicht ohne Weiteres zitierfähig und dienten lediglich dem informellen Austausch.

Um diesen informellen Austausch zu ermöglichen, bietet die Plattform die Möglichkeit, Einträge zu kommentieren und so zu diskutieren. Wenn man so will, kann dies auch als Umkehrung des bis-herigen Vorgehens betrachtet werden: anstatt erst ein Peer-review durchzuführen und im Anschluss zu veröffentlichen, wird erst veröffentlicht und dann ein Peer-review durchgeführt. Anders als beim traditionellen Peer-review können an diesem Prozess vor allem genau die teilnehmen, die ein konkretes Interesse an der Studie haben und sich mit dem Thema bereits beschäftigt haben. Keiner muss, aber jeder kann. Als Konsequenz der Umkehrung von Publikation und Peer-review, sollen und können Einträge aktualisiert, erweitert oder gelöscht werden. Eine angeregte Diskussi-on und viele Änderungen sind in gewisser Weise dann sogar ein Indikator für Relevanz und Qualität eines Eintrags. Es obliegt also wiederum dem Nutzer, auch Einträge kritisch zu betrachten und die Qualität zu bewerten, anstatt blind auf das Peer-Review-System und den guten Ruf des Journals zu vertrauen, in dem der Artikel veröffentlicht wurde.

Vergleiche mit anderen Ansätzen

Die Idee Nullresultate zu veröffentlichen ist nicht neu. Es gibt zum Beispiel Zeitschriften wie Negative Results oder JASNH, die explizit nur Nullresultate veröffentlichen. [3,4] Auch „normale“ Zeitschriften veröffentlichen Nullresultate. Jedoch wird erwartet, dass man einen kompletten Artikel schreibt und dieser muss, wie jeder andere Artikel in solchen Zeitschriften, durch den Peer-Review-Prozess. Das kostet Zeit und ist aufwendig, bei geringen Erfolgsaussichten. Oft entscheiden Forscher dann, dass sich der Aufwand vermutlich nicht lohnt, so dass diese Ergebnisse in der Schublade landen.

Nullresultate können auch auf Preprint Servern wie preprints.org veröffentlicht werden. Auch hier muss wieder ein Artikel geschrieben werden und es ist erwünscht, dass Rückmeldungen in Form von Kommentaren oder eingeladenen Reviews auch in eine neue Version des Artikels einfließen. Hier stellt sich also ebenfalls die Frage, ob der Aufwand gerechtfertigt sein wird.

Dagegen ist es unerwünscht, Artikel wieder zu löschen. Aber vielleicht möchte man sein Resultat auch zurückziehen können, beispielsweise nach neuen relevanten Ergebnissen oder gerechtfertigter Kritik. Zudem ist die Intention solcher Preprint Server, dass die Artikel zusätzlich in anderen Zeitschriften veröffentlicht werden. Wenn dies jedoch gar nicht geplant ist, missbraucht man sozusagen diesen Service.

Auch F1000 bietet die Möglichkeit wissenschaftliche Ergebnisse aller Art zu teilen.[5] Artikel durchlaufen einen Peer-Review-Prozess nach der Veröffentlichung und haben eine feste vorgegebene Struktur. Zudem muss eine Publikationsgebühr gezahlt werden, die sich nach der Länge des Artikels richtet. Nicht für alle Ergebnisse lohnen sich Aufwand und Kosten. Neben Artikeln können aber auch Dokumente veröffentlicht werden. Es gibt keinen Peer-Review-Prozess und auch keine Anforderungen an die Struktur und Art dieser Dokumente.

Warum also noch eine andere Plattform? Viele Ergebnisse bleiben unveröffentlicht, weil es sich eben nicht lohnt, einen ganzen Artikel zu schreiben. Dennoch sind sie wertvoll und sollten geteilt werden, allerdings nicht komplett unstrukturiert. Das Null-Results-Portal bietet die Möglichkeit Nullresultate oder schwer interpretierbare Ergebnisse zu veröffentlichen und mit zusätzlichen Dokumenten zu versehen. Ähnlich zu einem Abstrakt müssen für jedes Resultat die zugrunde liegende Hypothese, eine kurze Beschreibung und die wichtigsten Ergebnisse formuliert werden. Dies bietet zwei Vorteile: zum einen ermöglicht dies eine deutlich effizientere Suche, da gezielt zum Beispiel Hypothesen gesucht werden können; zum anderen ist man gezwungen die Essenz der Studie herauszustellen. Dies erleichtert es anderen Wissenschaftlern, zu verstehen, was das Ergebnis reflektiert und inwiefern es für das eigene Vorgehen relevant ist.

Ob das Konzept der Plattform funktionieren kann ist offen. Der Publikationsdruck ist hoch, die Zeit immer knapp, und die Neigung unter Forschern, sich keine Blöße geben zu wollen, leider auch. Noch gibt es keine zitierfähigen Marker wie den DOI. Kuratiert wird die Plattform derzeit durch die Universität Leipzig und weitere Änderungen und Verbesserungen sind denkbar. Vor allem aber braucht es nun eine Menge interessanter und guter Einträge, bevor ein direkter Nutzen für andere zu erkennen wäre. Mit anderen Worten, es braucht SIE und ihre nicht so spektakulären oder schwer zu interpretierbaren Ergebnisse, damit es funktionieren kann. Wenn Sie beitragen möchten, können Sie dies sehr gern hier tun: null-result.uni-leipzig.de.

Lydia Müller ist promovierte Informatikerin und arbeitet als PostDoc in der Automatischen Sprachverarbeitung der Universität Leipzig. Sie hat Freude an der Zusammenarbeit mit Wissenschaftlern anderer Disziplinen und an der Umsetzung von Softwarelösungen für wissenschaftliche Probleme. Transparenz in der Wissenschaft und gute wissenschaftliche Praxis sind ihr sehr wichtig.

Maria Staudte ist Psycholinguistin und leitet eine Nachwuchsgruppe an der Universität des Saarlandes. Sie erforscht das Zusammenspiel von visuellen und sprachlichen Informationen beim Menschen, aber auch in der Mensch-Maschine-Interaktion. Dabei engagiert sie sich auch für den Schutz von Probandendaten, Reproduzierbarkeit und Transparenz.

Quellen:

[1] https://www.fr.de/kultur/toten-nicht-11589844.html

[2] www.null-result.uni-leipzig.de

[3] https://www.negative-results.org/

[4] https://www.jasnh.com/

[5] https://f1000research.com/

flattr this!

Wenn Sie an Foren interessiert sind, können Sie Forum.BuradaBiliyorum.Com besuchen.

Wenn Sie weitere Nachrichten lesen möchten, können Sie unsere Wissenschaft kategorie besuchen.

Quelle

Ähnliche Artikel

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

Schaltfläche "Zurück zum Anfang"
Schließen

Please allow ads on our site

Please consider supporting us by disabling your ad blocker!