Von der Autovervollständigung zum Gespräch

Wer 2020 den Vorläufer von ChatGPT ausprobierte, erlebte etwas Verblüffendes und zugleich Verstörendes. Tippte man "Was ist die Hauptstadt von Frankreich?", bekam man nicht immer "Paris". Ebenso gut konnte das Modell antworten: "Was ist die Hauptstadt von Deutschland? Was ist die Hauptstadt von Italien?" Es hatte die Frage nicht beantwortet, es hatte sie fortgesetzt, so wie es eine Liste von Quizfragen fortsetzen würde. Genau hier liegt der Sprung, um den es in diesem Kapitel geht. Aus einer Maschine, die Text nur weiterschreibt, wurde ein System, mit dem man ein Gespräch führen kann. Der Trick dahinter ist kleiner, als er wirkt.

Der Automat, der nur weiterschreibt

Das nackte Modell aus dem vorigen Kapitel, im Fachjargon ein Basismodell, kann genau eine Sache: einen Text plausibel verlängern. Es unterscheidet nicht zwischen einer Frage und einer Behauptung, zwischen einem Befehl und einem Zitat. Für ein Large Language Model ist alles nur Text, der nach seiner wahrscheinlichsten Fortsetzung verlangt. Eine Frage im Eingabetext ist kein Auftrag, sondern bloß ein Muster, das oft von weiteren Fragen gefolgt wird, manchmal von einer Antwort, manchmal von gar nichts.

Man kann sich das Basismodell wie einen Automaten vorstellen, der einen Papierstreifen bekommt und ihn weiterbedruckt, ganz gleich, was darauf steht. Steht dort der Anfang eines Kochrezepts, schreibt er das Rezept zu Ende. Steht dort eine halbe Frage, ergänzt er sie zu einer ganzen. Der frühe Generative Pre-trained Transformer war ein solcher Automat, technisch brillant und im Umgang doch sperrig. Er konnte erstaunliche Texte erzeugen, aber er tat selten von sich aus das, was man von ihm wollte. Man musste ihn überlisten.

Vom Fortsetzen zum Antworten

Die erste Brücke war ein Kunstgriff im Prompt. Statt direkt zu fragen, gab man dem Modell ein paar Beispiele vor, wie eine Frage und ihre Antwort auszusehen haben, und ließ es dann das Muster fortführen. Diese Technik heißt Few-Shot-Prompting. Sie funktioniert, weil das Modell exzellent darin ist, ein einmal etabliertes Schema weiterzuführen. Man antwortete also nicht mehr auf die Frage, man baute eine kleine Textbühne, auf der eine Antwort die naheliegende Fortsetzung war.

Der eigentliche Durchbruch war, dem Modell diese Rolle fest einzuprägen, statt sie bei jeder Eingabe neu aufbauen zu müssen. In einer zweiten Trainingsphase wurde das Basismodell mit tausenden Beispielen konfrontiert, in denen auf eine Anweisung eine hilfreiche, direkte Ausführung folgte. Das Modell lernte so, Eingaben nicht mehr als beliebigen Text zu behandeln, sondern als Auftrag, den es zu erfüllen hat. Wie diese zweite Phase im Detail abläuft und warum menschliches Feedback dabei die Hauptrolle spielt, ist das Thema eines eigenen Kapitels im Trainingsteil. Für den Moment genügt die Beobachtung: Derselbe Transformer, dieselbe Vorhersagemechanik, aber ein anderes Verhalten. Nicht die Architektur wurde umgebaut, sondern die Gewohnheit des Automaten.

Das Gespräch ist ein Transkript

Bleibt die Frage, wie aus einer einzelnen Antwort ein fortlaufendes Gespräch wird. Auch hier steckt weniger Magie dahinter, als man vermutet. Ein Chat mit einem Sprachmodell ist in Wahrheit ein einziger, wachsender Text, ein Transkript. Jeder Beitrag bekommt eine Markierung, wer spricht, etwa Benutzer oder Assistent. Wenn man eine neue Nachricht schickt, wird das gesamte bisherige Transkript samt dieser Markierungen zusammengesetzt und dem Modell als Eingabe gegeben. Die Aufgabe des Modells ist wieder nur die alte: den Text fortsetzen, diesmal ab der Stelle, wo der nächste Assistenten-Beitrag beginnt.

Das hat eine nüchterne Konsequenz. Das Modell erinnert sich nicht an das Gespräch, so wie ein Mensch sich erinnert. Zwischen zwei Nachrichten behält es nichts. Alles, was es über den bisherigen Verlauf weiß, steht im Transkript, das ihm jedes Mal aufs Neue komplett vorgelegt wird. Nimmt man eine frühere Nachricht aus dem Transkript heraus, ist sie für das Modell spurlos verschwunden. Oft steht ganz am Anfang dieses Transkripts noch eine unsichtbare Regieanweisung, der System-Prompt, der Tonfall und Grenzen des Assistenten vorgibt, bevor der Benutzer überhaupt das erste Wort sagt.

Warum es sich wie ein Gegenüber anfühlt

Drei schlichte Zutaten ergeben zusammen die überzeugende Illusion eines Gesprächspartners. Das Modell erfüllt Aufträge, statt sie fortzusetzen. Es hält das Wechselspiel von Rede und Gegenrede ein, weil das Transkript dieses Format vorgibt. Und es hat scheinbar ein Gedächtnis, weil ihm der ganze Verlauf jedes Mal mitgeliefert wird. Keine dieser Zutaten ist ein Bewusstsein, und keine ändert etwas am Kern aus dem ersten Kapitel. Unter der Oberfläche läuft weiterhin dieselbe unermüdliche Frage nach dem nächsten Baustein.

Diese Einsicht ist praktisch nützlich. Wer versteht, dass das Gespräch nur ein Transkript ist, versteht auch sofort dessen Grenzen. Ein zu langes Transkript wird träge und teuer, weil das Modell alles erneut lesen muss, und irgendwann passt nicht mehr alles hinein. Genau diese Grenze, das Kontextfenster, bekommt später ein eigenes Kapitel. Zuvor aber lohnt ein genauerer Blick auf jene Bausteine, in denen das Modell überhaupt denkt und rechnet. Sie sind nicht die Wörter, die wir tippen, und darum geht es als nächstes.