#Ein algorithmischer Alleskönner

Normalerweise sind Informatiker nicht beeindruckt, wenn ein Computerprogramm ein paar Zahlen addieren kann und dabei auch noch Fehler macht. Doch genau das passierte diesen Sommer. Da stellte die kalifornische Software-Firma „OpenAI“ ihr Programm „GPT-3“ vor. Es kann kleine Zahlen addieren und subtrahieren. Der Clou ist aber: Dafür war es nie gedacht. Eigentlich handelt es sich um ein Sprachmodell. Es macht nichts anderes, als sich einen Text anzuschauen und zu bestimmen, welches Wort als nächstes kommen sollte. Wir kennen solche Systeme von den Vorschlägen einer Smartphone-Tastatur. Wenn man da „Sehr geehrter“ eintippt, empfiehlt sie als Nächstes „Herr“. GPT-3 kann das auch. Es hat die menschliche Sprache aber so gut gelernt, dass es sich – ganz nebenher – beigebracht hat, kleine Rechenaufgaben zu lösen. Und nicht nur das.

Das G im Namen steht für „Generative“. Das Modell kann generieren, das heißt hier: ein Wort auswählen, das nach seiner Logik als nächstes folgen sollte. Diese Fähigkeit hat es vorab gelernt, daher steht das P für „pre-trained“. GPT-3 hat dazu Texte mit Hunderten Milliarden von Wörtern durchforstet: Zeitungsartikel, Wikipedia-Einträge, Kochrezepte, Tweets, Gedichte, Songtexte – was man so im Internet findet. Das T steht schließlich für „Transformer“. Diese Art von maschinellem Lernen erkennt, welche Teile des bisherigen Textes besonders wichtig sind, um das nächste Wort zu bestimmen. Damit kann es Formulierungen in Beziehung setzen, die mitunter mehrere Absätze voneinander getrennt sind. Diese Idee ist nicht neu, sie stammt aus dem Jahr 2017. Neu ist die Größe von GPT-3: Während es die Texte durchwühlte, hat es in seinem Inneren 175 Milliarden Parameter eingestellt – kleine Stellschrauben, die bestimmen, wie das System genau arbeitet. Das bis dahin aufwendigste System hatte gerade mal ein Zehntel davon.