#ChatGPT schafft erstmals Neurologie-Examen

OpenAIs großes Sprachmodell ChatGPT-4.0 hat in einem Konzeptnachweis eine neurologische Prüfung bestanden und dabei 85 Prozent richtig beantwortet. Die Forscher glauben, dass LLMs nach einer gewissen Feinabstimmung „bedeutende Anwendungen“ in der klinischen Neurologie haben könnten.

Die Ergebnisse des Experiments, das von einer Forschergruppe des Universitätsklinikums Heidelberg und des Deutschen Krebsforschungszentrums Heidelberg durchgeführt wurde, wurden am 7. Dezember veröffentlicht. Der Test wurde am 31. Mai durchgeführt und umfasste die beiden LLMs ChatGPT-3.5 und seine spätere Version ChatGPT-4.0.

Die Forscher verwendeten die Fragen für ein Neurologie-Examen des American Board of Psychiatry and Neurology mit einer kleinen Kohorte von Fragen des European Board for Neurology.

Während die ältere Version von ChatGPT 66,8 Prozent erzielte und 1.306 von 1.956 Fragen richtig beantwortete, erreichte das neuere Modell ChatGPT-4.0 85 Prozent mit 1.662 richtigen Antworten. Die durchschnittliche menschliche Punktzahl liegt bei 73,8 Prozent. ChatGPT-4.0 übertraf die menschlichen Nutzer bei verhaltensbezogenen, kognitiven und psychologischen Fragen und „bestand“ die Neurologie-Prüfung, da man mit 70 Prozent im Allgemeinen bestanden hat.

Beide Modelle zeigten jedoch eine schwächere Leistung bei Aufgaben, die „Denken höherer Ordnung“ erforderten, als bei Fragen im Zusammenhang mit „Denken niedrigerer Ordnung“.

Nach Ansicht der Forschergruppe, die das Experiment durchführte, zeigen diese Ergebnisse, dass man LLMs nach einigen Modifikationen in der klinischen Neurologie einsetzen könnte:

„Diese Ergebnisse legen nahe, dass große Sprachmodelle mit weiteren Verfeinerungen bedeutende Anwendungen in der klinischen Neurologie haben könnten.“

Die Forscher weisen darauf hin, dass es noch einige Vorbehalte gebe. LLMs haben klare Anwendungsfälle bei Dokumentations- und Entscheidungsfindungssystemen. Neurologen sollte bei der Verwendung in der Praxis vorsichtig sein, da KI bei kognitiven Aufgaben höherer Ordnung noch unvollkommen seien. Im Gespräch mit Cointelegraph sagte Dr. Varun Venkataramani:

„Wir sehen unsere Studie eher als einen Konzeptnahweis für die Fähigkeiten von LLMs. Es bedarf noch mehr Entwicklung und wahrscheinlich sogar einer spezifischen Feinabstimmung der LLMs, um sie für die klinische Neurologie geeignet zu machen.“

Die KI arbeitet bereits an einigen wichtigen Aufgaben im Gesundheitswesen, wie der Suche nach einem Heilmittel für Krebs für AstraZeneca oder der Bekämpfung der übermäßigen Verschreibung von Antibiotika in Hongkong.