Was ein Sprachmodell im Kern tut

Jemand tippt in ein Chatfenster "Die Hauptstadt von Frankreich ist" und hält inne. Der Cursor blinkt, dann erscheint "Paris". Das wirkt wie Wissen, wie ein Nachschlagen in einem inneren Lexikon. Es ist etwas viel Schlichteres. Ein Large Language Model hat keine Ahnung von Frankreich, von Hauptstädten oder davon, dass eine Frage gestellt wurde. Es hat eine einzige Aufgabe gelernt, und es erledigt sie mit stoischer Beharrlichkeit, Wort für Wort. Diese eine Aufgabe zu verstehen, heißt das Wesentliche über LLMs zu verstehen. Alles andere in diesem Buch ist Ausschmückung dieser einen Idee.

Eine einzige Frage, immer wieder

Ein Sprachmodell beantwortet immer nur eine Frage: Welcher Textbaustein kommt als nächster? Es bekommt einen Anfang, im Fachjargon einen Prompt, und ergänzt ihn um genau ein Stück Text. Dann hängt es dieses Stück an die Eingabe an und stellt dieselbe Frage erneut. Aus "Die Hauptstadt von Frankreich ist" wird "Die Hauptstadt von Frankreich ist Paris", und aus diesem Satz könnte im nächsten Schritt ein Punkt werden oder ein Komma und eine Fortsetzung. Dieses Anhängen und Weiterfragen läuft in einer Schleife, bis das Modell ein Signal erzeugt, das Ende bedeutet.

Fachleute nennen dieses Verfahren autoregressiv. Das Modell schaut auf alles, was bisher dasteht, seine eigene Ausgabe eingeschlossen, und würfelt daraus das nächste Stück. Ein langer, druckreifer Absatz ist nicht das Ergebnis eines Plans, sondern von einigen hundert dieser winzigen Einzelentscheidungen, hintereinander gehängt. Das erklärt eine Beobachtung, die viele beim ersten Kontakt mit ChatGPT machen: Die Antwort erscheint nicht auf einen Schlag, sondern tröpfelt Wort für Wort ins Bild. Man sieht der Maschine beim Denken nicht zu, man sieht ihr beim Raten zu.

Wahrscheinlichkeiten statt Wissen

Das Modell wählt das nächste Stück nicht aus einem festen Regelwerk. Es berechnet für jeden möglichen Baustein aus seinem Vokabular eine Wahrscheinlichkeit. Nach "Die Hauptstadt von Frankreich ist" bekommt "Paris" einen sehr hohen Wert, "Berlin" einen kleinen, "Banane" einen verschwindend geringen. Das Ergebnis ist keine einzelne Antwort, sondern eine Rangliste über zehntausende Kandidaten, eine Wahrscheinlichkeitsverteilung. Aus dieser Verteilung wird dann ein Baustein gezogen, meist der wahrscheinlichste, manchmal bewusst ein etwas unwahrscheinlicherer, damit der Text nicht mechanisch wirkt.

Hier lohnt ein Blick zurück zu Claude Shannon, dem Begründer der Informationstheorie. Shannon zeigte schon 1948, dass sich Sprache statistisch fassen lässt, dass auf ein "q" im Englischen fast immer ein "u" folgt und dass Buchstaben und Wörter berechenbare Anschlusswahrscheinlichkeiten tragen. Ein modernes Sprachmodell ist die konsequente, ins Riesenhafte getriebene Fortführung dieser Einsicht. Es rechnet nicht mit einzelnen Buchstaben, sondern mit Bedeutungseinheiten, und es zieht dafür nicht ein paar Dutzend, sondern Milliarden von Stellschrauben heran. Der Grundgedanke aber ist derselbe geblieben: Sprache hat Struktur, und Struktur kann man in Wahrscheinlichkeiten fassen.

Wichtig ist, was dabei nicht passiert. Das Modell schlägt "Paris" nicht in einer Datenbank nach. Es gibt keine Tabelle, in der neben Frankreich die Hauptstadt steht. Die Information liegt verteilt in den Gewichten des Netzes, eingeschmolzen in die Wahrscheinlichkeiten selbst. Genau deshalb kann das Modell bei seltenen Fragen souverän danebenliegen und trotzdem völlig überzeugt klingen, ein Punkt, der später ein eigenes Kapitel verdient.

Warum aus Raten Kompetenz wird

Nun die eigentliche Überraschung. Wenn ein Modell nichts weiter tut, als das nächste Wort zu raten, warum kann es dann übersetzen, programmieren und argumentieren? Die Antwort steckt in der Härte der Aufgabe. Um in beliebigem Text zuverlässig das nächste Wort vorherzusagen, reicht Oberflächenwissen nicht aus. Wer den Satz "Der Angeklagte wurde vom Richter für schuldig" gut fortsetzen will, muss etwas über Gerichtsverfahren wissen. Wer "import numpy as" ergänzen soll, muss die Konventionen von Python kennen. Wer einen Krimi zu Ende schreibt, muss die Handlung im Kopf behalten haben.

Vorhersage zwingt also zum Modellieren. Ein System, das über das halbe geschriebene Internet hinweg gut genug raten soll, kann nicht anders, als dabei Grammatik, Faktenwissen, Schlussregeln und Stilgefühl implizit mitzulernen. Man kann es als eine radikale Form von Kompression sehen: Alles, was hilft, den nächsten Baustein besser zu treffen, wird in die Gewichte gepresst. Kompetenz ist hier ein Nebenprodukt. Niemand hat dem Modell Frankreichkunde beigebracht, es hat sie sich angeeignet, weil sie beim Raten nützlich war. Dieselbe Architektur, der Transformer, und dasselbe Trainingsziel bringen deshalb einen Generative Pre-trained Transformer hervor, der über Themen spricht, die seine Erbauer nie eigens vorgesehen haben.

Die Illusion des Verstehens

Wenn ein Sprachmodell fließend antwortet, drängt sich der Eindruck auf, dahinter stehe ein Gegenüber, das versteht, überlegt und meint. Dieser Eindruck ist verständlich, denn der Text trägt alle Merkmale, die wir sonst nur von denkenden Menschen kennen. Er ist trotzdem irreführend. Was das Modell erzeugt, ist eine statistisch plausible Fortsetzung, keine Aussage, hinter der eine Absicht steht. Es hat kein Bild der Welt, an dem es seine Sätze prüft, und keinen Willen, wahr zu sein. Es hat einen ungeheuer präzisen Sinn dafür, was in solchen Zusammenhängen üblicherweise als nächstes gesagt wird.

Diese Unterscheidung ist kein philosophischer Luxus, sie ist praktisch. Wer weiß, dass eine Maschine plausibel fortsetzt statt zu wissen, formuliert Prompts anders, prüft Ausgaben anders und traut dem Selbstbewusstsein der Antwort weniger. Das ganze übrige Buch handelt davon, wie dieser eine Trick technisch funktioniert und wie weit er trägt. Die Bausteine, aus denen das Modell wählt, sind das Thema des nächsten Kapitels. Wie es überhaupt zu seinen Wahrscheinlichkeiten kommt, klärt der Teil über das Training. Und warum es dabei so überzeugend irren kann, steht am Ende. Der Kern aber bleibt, so schlicht er ist, immer derselbe: eine Maschine, die pausenlos fragt, was wohl als nächstes kommt.