Vom kleinen GPT zum großen Sprachmodell

Unser kleines GPT schreibt Zeilen wie „江山古馆响幽幽，山鸟无人见白头“. Fragst du es aber: „Wie lautet die nächste Zeile nach 床前明月光?“, schreibt es nur nach diesen Zeichen ein Gedicht weiter, weil es nur eines kann: weiterschreiben.

DeepSeek und ChatGPT haben im Kern dieselbe Struktur und können trotzdem Fragen beantworten, Code schreiben und Texte nach Vorgaben überarbeiten. Was fehlt dazwischen? Diese Lektion schreibt keinen Code, sondern teilt diesen Weg in einige Schritte auf.

Schritt 1: Größe

Zuerst ein Vergleich der Zahlen (die Zahlen der großen Modelle stammen aus den Abstracts der Papers):

                     参数            训练数据
我们的小 GPT         161 万          155 万个字符，训练了约 8 遍
GPT-3（2020）        1750 亿         （论文正文给出了数据量，这里不展开）
DeepSeek-V3（2024）  6710 亿，       14.8 万亿个词元
                     每个词元用 370 亿

DeepSeek-V3 hat über vierhunderttausendmal so viele Parameter wie unser Modell und etwa zehnmillionenmal so viele Trainingsdaten. Sein vollständiges Training brauchte 2,788 Millionen H800-GPU-Stunden. Unser Modell trainierte 7 Minuten auf einer CPU.

Größe bringt nicht nur „besseres Schreiben“. Das Paper zu GPT-3 („Language Models are Few-Shot Learners“) stellte fest: Ist ein Modell groß genug, kann es ohne gezieltes Training Aufgaben wie Übersetzen, Frage-Antwort und Rechnen lösen, wenn man im Prompt einige Beispiele gibt. Das ist das Few-Shot-Prompting aus Modul 02, Lektion 2, und dass es funktioniert, verdankt sich der Größe.

Wie groß ist groß genug? 2022 untersuchte das Chinchilla-Paper von DeepMind genau diese Frage. Ergebnis: Bei festem Rechenbudget sollten Parameter und Trainingsdaten im selben Verhältnis wachsen. Sie trainierten ein Modell mit 70 Milliarden Parametern und viermal so vielen Daten, und es übertraf durchweg Gopher mit 280 Milliarden und GPT-3 mit 175 Milliarden Parametern. Viele frühere große Modelle waren „zu groß, mit zu wenig Daten“.

Etwas Ähnliches haben wir in Modul 08, Lektion 6 gesehen: Mehr Daten, von 100 auf 898 Bilder, brachten weit mehr als jeder andere Trick.

Schritt 2: Vortraining

Was wir mit den Tang-Gedichten gemacht haben, heißt Vortraining: mit viel Text das Modell Token für Token weiter vorhersagen lassen. Echtes Vortraining nutzt Webseiten, Bücher, Code, Fachartikel und alle möglichen anderen Texte, gründlich bereinigt und dedupliziert.

Nach dem Vortraining hat man ein Basismodell (base model). Es hat aus riesigen Textmengen Sprache, Wissen und eine gewisse Fähigkeit zum Schlussfolgern gelernt, verhält sich aber weiterhin nur als „weiterschreiben“. Gibst du ihm eine Frage, schreibt es womöglich weitere Fragen, weil auf Webseiten auf eine Frage oft eine weitere folgt.

Genau in diesem Zustand ist unser kleines GPT jetzt, nur dass es nur Tang-Gedichte gelesen hat.

Schritt 3: Instruktions-Feintuning

Damit das Modell „antwortet“ statt „weiterzuschreiben“, muss man ihm das Format eines Gesprächs beibringen. Das Vorgehen ist direkt: viele Beispiele „Frage → gute Antwort“ vorbereiten und damit weitertrainieren.

<用户>床前明月光的下一句是什么？
<助手>疑是地上霜。出自李白的《静夜思》。

Die Trainingsmethode ist genau dieselbe wie beim Vortraining, weiterhin wird das nächste Token vorhergesagt; nur die Daten sind jetzt solche Gespräche, und meist wird der Verlust nur auf dem Teil des „Assistenten“ berechnet. Dieser Schritt heißt Instruktions-Feintuning, auch überwachtes Feintuning (Supervised Fine-Tuning, SFT).

Die Daten für das Instruktions-Feintuning sind viel weniger als beim Vortraining, aber die Qualitätsanforderungen sind hoch. Das Wissen des Modells stammt vor allem aus dem Vortraining; das Instruktions-Feintuning lehrt, „wie man mit diesem Wissen auf Menschen antwortet“.

In Modul 10 machen wir selbst ein Feintuning.

Schritt 4: Präferenzabgleich

Nach dem Instruktions-Feintuning beantwortet das Modell Fragen, aber die Qualität schwankt: mal weitschweifig, mal erfunden, mal schädlich.

„Gute Antworten“ lassen sich schwer alle als Beispiele aufschreiben, aber Menschen können leicht vergleichen, welche von zwei Antworten besser ist. Daher der vierte Schritt: Das Modell erzeugt zu derselben Frage mehrere Antworten, Menschen ordnen sie, und mit diesen Rangfolgen wird das Modell trainiert, damit es eher Antworten schreibt, die Menschen mögen. Dieser Schritt heißt Alignment (alignment); die erste weithin bekannte Methode ist Reinforcement Learning aus menschlichem Feedback (RLHF).

Wie groß ist die Wirkung? OpenAI berichtete 2022 im Paper „Training language models to follow instructions with human feedback“: InstructGPT mit 1,3 Milliarden Parametern, trainiert mit Instruktions-Feintuning und menschlichem Feedback, wurde in menschlichen Bewertungen GPT-3 mit 175 Milliarden Parametern vorgezogen, bei hundertmal weniger Parametern. ChatGPT entstand auf diesem Weg.

Dass große Modelle „plaudern können“, verdanken sie vor allem den letzten beiden Schritten; dass sie „viel wissen“, vor allem dem ersten.

Schritt 5: Schlussfolgern mit Reinforcement Learning üben

Das Paper zu DeepSeek-R1 von 2025 („DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning“) ging noch einen Schritt weiter. Das Vorgehen: Das Modell bekommt Aufgaben, deren Antworten sich automatisch prüfen lassen, etwa Mathe- und Programmieraufgaben; eine richtige Antwort wird belohnt, eine falsche nicht, und so wird mit Reinforcement Learning immer wieder trainiert.

Laut Paper entwickelte das Modell allein durch diese Belohnung, ohne von Menschen geschriebene Lösungswege, selbst Denkweisen wie Reflexion, Überprüfung und das Wechseln des Lösungsansatzes. Der in Modul 01 erwähnte „Denkmodus“, bei dem das Modell erst eine Überlegung ausgibt und dann die Antwort, ist ein Produkt solchen Trainings.

Was unserem kleinen GPT noch fehlt

Zurück zu unserem GPT: Es hat Schritt 2 erledigt, nur viel kleiner und nur mit Tang-Gedichten. Nach den Schritten dieser Lektion bräuchte es, um mehr wie ein „Assistent“ zu werden:

• Mehr und vielfältigere Daten: Liest es nur Tang-Gedichte, schreibt es nur Tang-Gedichte.
• Ein größeres Modell: In 1,61 Millionen Parameter passt nicht viel Wissen.
• Instruktions-Feintuning und Alignment: damit es lernt, nach Vorgaben zu antworten, statt nur weiterzuschreiben.

Dazu kommen viele technische Probleme: wie man gleichzeitig auf Tausenden GPUs trainiert, wie ein Training monatelang ohne Ausfälle läuft, wie man Daten mit über zehn Billionen Tokens bereinigt. Das geht über diesen Kurs hinaus. Das Modell selbst aber hast du schon eigenhändig gebaut.

Übungen

1. Such die Model Card eines Open-Source-Modells (etwa ein Qwen- oder DeepSeek-Modell auf Hugging Face), finde Parameterzahl und Menge der Trainingsdaten und sieh nach, welche Varianten es unterscheidet (Basis, Instruktion, Schlussfolgern usw.).
2. Hast du Zugang zu einem Basismodell (viele Open-Source-Modelle veröffentlichen auch eine Basisversion), stell ihm und der zugehörigen Instruktionsversion dieselbe Frage und vergleiche die Antworten.
3. Nach dem Chinchilla-Paper sollten sich bei doppelten Parametern auch die Trainingsdaten verdoppeln. Würden unserem kleinen GPT mit zehnmal so vielen Parametern diese 35.000 Gedichte noch reichen? Probier es aus und sieh dir den Validierungsverlust an.

Selbsttest

1. Was unterscheidet ein Basismodell von einem Instruktionsmodell?

Ein Basismodell hat nur Vortraining durchlaufen und schreibt dem vorigen Text entsprechend weiter; gibt man ihm eine Frage, antwortet es nicht unbedingt. Ein Instruktionsmodell wurde auf dem Basismodell mit vielen Gesprächsdaten „Frage → Antwort“ feinjustiert und hat gelernt, im Format eines Gesprächs auf Nutzer zu antworten.

2. Wie unterscheidet sich die Trainingsmethode des Instruktions-Feintunings vom Vortraining?

Die Methode ist im Wesentlichen dieselbe: das nächste Token vorhersagen, Kreuzentropie als Verlust. Der Unterschied liegt in den Daten: Vortraining nutzt riesige Mengen gewöhnlichen Texts, Instruktions-Feintuning viel weniger, aber sehr hochwertige Gesprächsdaten, und meist wird der Verlust nur auf dem Antwortteil berechnet.

3. Was zeigt das Experiment mit InstructGPT?

InstructGPT mit 1,3 Milliarden Parametern wurde nach Instruktions-Feintuning und Training mit menschlichem Feedback in menschlichen Bewertungen GPT-3 mit 175 Milliarden Parametern vorgezogen. Für die Frage, „wie brauchbar“ ein Modell ist, sind Trainingsmethode und Daten manchmal wichtiger als die Größe des Modells.