LLMs-Zero-to-Hero: ein Notebook-Kurs, der GPT, MoE und DeepSeek-MLA von Hand nachbaut

Ein Kurs, der bei Attention-Köpfen anfängt und nicht bei API-Aufrufen

Die README beschreibt das Projekt als Strecke vom Anfänger zum LLM-Praktiker und nennt als Zielgruppe ausdrücklich Leser, die Transformer-Bausteine selbst schreiben wollen. Der Untertitel lautet 从大模型无名小卒到LLM大师. Genau darin liegt die Abgrenzung: Der Kurs beginnt nicht bei Prompting oder Fine-Tuning eines fertigen Modells, sondern bei der Modellarchitektur. Die Kapitelübersicht führt Pre-Training, Supervised Fine-Tuning, DPO, RLHF, ein Code-LLM und Deployment mit Quantisierung als geplante Etappen. Fertig sind laut README bislang die Notebooks zu einem Dense-Modell im nanoGPT-Stil, zu MoE-Varianten und zwei Teile zu DeepSeek-MLA. Wer heute einsteigt, kauft also einen Kurs im Aufbau, nicht ein abgeschlossenes Curriculum. Die README verlinkt außerdem ein separates Repository, Hands-On-Large-Language-Models-CN, als vorgelagerte Stufe für Leser, denen der direkte Weg über die eigene Implementierung zu steil ist. Diese Selbstverortung ist ehrlich und sollte bei der Entscheidung mitgelesen werden.

Wie die Kapitel aufgebaut sind: Notebook, Artikel, Video

Die Verzeichnisstruktur trennt drei Dinge. Unter chapter01, chapter02 und weiteren Ordnern liegen Lernnotizen, aus denen laut Kommentar später ein Buch entstehen soll. Unter src/ liegen die ausführbaren Notebooks, aufgeteilt in src/video/ für den aufgenommenen Code und src/hero/ für die eigene Modellimplementierung, die am Ende des Projekts dort landen soll. Die Tabelle im README verknüpft jede Zeile mit drei Ressourcen: einem Artikel auf bruceyuan.com oder yuanchaofa.com, einem Notebook und einem B站- oder YouTube-Video. Diese Dreiteilung ist das eigentliche Organisationsprinzip. Wer eine Formel im Artikel nicht versteht, kann dieselbe Stelle im Video sehen, und wer den Code nachvollziehen will, öffnet das Notebook. Für ein Selbstlernmaterial ist das sinnvoll, weil Text, Erklärung und lauffähiger Code selten dieselbe Auflösung haben. Der Preis: Wer nur eine der drei Spuren nutzt, verliert einen Teil der Erklärung. Die Notebooks sind auf Chinesisch kommentiert, ebenso die Artikel und Videos. Englischsprachige Leser sind auf die Codezellen und die Formeln angewiesen.

Der inhaltliche Kern: MoE-Varianten und zwei MLA-Notebooks

Die konkretesten Einträge sind die beiden DeepSeek-MLA-Notebooks. Teil 1 behandelt die MLA ohne Projektionsabsorption, Teil 2 die Matrixabsorption, wobei der zweite Teil laut Beschreibung Code und Formeln kombiniert. Das ist eine bewusste Zerlegung: Die Absorption ist genau der Schritt, bei dem sich die Rechenreihenfolge ändert, ohne die Ausgabe zu verändern, und sie ist in Papers meist auf wenigen Zeilen abgehandelt. Zwei getrennte Notebooks dafür sind didaktisch sinnvoll. Der MoE-Eintrag beschreibt eine Entwicklung von einem vereinfachten MoE über sparse_moe bis zum share_expert_sparse_moe, wie es DeepSeek verwendet. Auch hier ist die Reihenfolge das Argument: erst die Grundform, dann die Verdünnung, dann die geteilten Experten. Der Eintrag zu Aktivierungsfunktionen führt von ReLU und GELU zu swishGLU, hat aber laut Tabelle noch kein Notebook und kein Video. Das ist ein Muster, das sich durch die Tabelle zieht: Die Artikelspur ist weiter als die Codespur. Wer den Kurs nach den fertigen Notebooks beurteilt, sieht weniger, als die Artikelliste verspricht.

Hardware und Ausführung: eine einzelne Consumer-GPU als Ziel

Die README nennt als minimale Hardware eine 3090 oder 4090 und verweist auf einen Featurize-Link mit einem Angebot von 9,9 Yuan für 24 Stunden RTX 4090. Das ist eine konkrete Zusage: Die Notebooks sind auf eine einzelne Consumer-Karte mit 24 GB zugeschnitten, nicht auf ein Cluster. Für den nanoGPT-Teil und für kleine MoE-Experimente ist das plausibel, für Pre-Training in nennenswertem Umfang nicht. Der Kurs trainiert Modelle, die man auf einer Karte überhaupt laufen lassen kann, und das ist eine Größenbeschränkung, die in der README nicht als solche markiert wird. Wer aus dem Kurs ein Modell mit brauchbarer Sprachqualität erwartet, wird enttäuscht. Wer verstehen will, wie Loss-Kurven entstehen und warum eine Architektur sich so verhält, kommt mit einer Karte aus. Die README verweist für ein tatsächlich ausprobierbares Ergebnis auf ein separates Repository namens BitBrain, das ein von Grund auf trainiertes Mini-LLM enthält. Die Trennung zwischen Lerncode und Demo ist also explizit.

Was fehlt: keine Releases, keine Tests, keine Versionsangaben

Das Repository hat laut den vorliegenden Daten keine Releases. Es gibt keine Tag-Historie, an der man eine bekannte funktionierende Version festmachen könnte. Damit fehlt auch eine Upgrade-Pflicht: Wer den Code klont, bekommt den Stand des master-Branches zum jeweiligen Zeitpunkt. Das ist bei Lehrmaterial eher ein Vorteil, weil sich die Erklärungen nicht mit jeder Änderung verschieben. Es wird zum Nachteil, sobald PyTorch oder CUDA sich ändern und eine Zelle stillschweigend andere Ergebnisse liefert. Aus dem Material geht nicht hervor, welche PyTorch-Version die Notebooks erwarten, ob es eine requirements.txt gibt oder wie Abhängigkeiten gepinnt sind. Ebenso wenig ist eine Testsuite erkennbar. Das ist für einen Kurs kein Skandal, aber es bedeutet, dass die Fehlersuche beim Leser liegt. Ein weiterer Punkt: Das Repository ist nicht archiviert, die letzte Aktualisierung liegt laut Metadaten im August 2026. Der Kurs wächst also weiter, und die README selbst sagt, dass Inhalte nach und nach ergänzt werden. Wer ihn als festen Lehrplan behandelt, plant mit einem beweglichen Ziel.

Lizenz und der wirtschaftliche Rahmen

Das Projekt steht unter Apache-2.0. Das ist eine permissive Lizenz mit einer ausdrücklichen Patentgewährung und einer Änderungsmitteilungspflicht: Wer den Code weiterverbreitet, muss angeben, was geändert wurde, und die Lizenz samt Copyright-Hinweis beilegen. Für Leser, die Codezellen in eigene Projekte übernehmen, ist das unproblematisch, solange die Hinweise bleiben. Die Lizenz deckt den Code. Ob sie auch die Artikeltexte und die Videos abdeckt, ist aus dem Repository nicht ersichtlich, und dazu gibt die README keine Auskunft. Wer Inhalte aus den Artikeln oder Videos übernehmen will, sollte das nicht aus der Apache-2.0-Angabe ableiten. Ein zweiter Punkt, der zur Transparenz gehört: Die README enthält Affiliate-Verweise, darunter ein Featurize-Registrierungslink mit Gutschein und ein Verweis auf einen LLM-API-Router sowie auf ein Agent-Produkt. Das ist legitim und offen markiert, aber es ist Werbung innerhalb des Lehrmaterials, und Leser sollten die Empfehlungen entsprechend einordnen. Eine rechtliche Bewertung der Lizenzfragen kann dieser Text nicht leisten.

Wann ein anderes Material die bessere Wahl ist

Der naheliegende Vergleich ist das zweite Repository desselben Autors, Hands-On-Large-Language-Models-CN. Es ist die chinesische Fassung eines Buchs, das mit transformers arbeitet, also mit fertigen Modellklassen und Pipelines. Der Unterschied liegt nicht im Schwierigkeitsgrad, sondern im Gegenstand: Dort lernt man, vorhandene Modelle zu benutzen und anzupassen, hier lernt man, sie zu bauen. Wer ein Modell für eine Aufgabe sucht, verschwendet mit LLMs-Zero-to-Hero Wochen. Wer dagegen nicht versteht, warum sein Fine-Tuning instabil wird, bekommt dort keine Antwort, hier möglicherweise schon. Der zweite Vergleich ist der zu einer etablierten Trainingsbibliothek. Solche Bibliotheken abstrahieren Konfiguration, Datenpipeline und verteiltes Training hinter einer API und bringen Tests und Versionspolitik mit. Dieses Repository tut das Gegenteil: Es schreibt die Schichten aus, die dort verborgen sind, und nimmt dafür in Kauf, dass nichts davon produktionsreif ist. Das ist keine Schwäche, sondern die Aufgabenstellung. Nur sollte man den Code nicht als Grundlage für einen eigenen Trainingsstack behandeln, weil genau die Teile fehlen, die eine Bibliothek ausmachen: Datenaufbereitung in großem Maßstab, Fehlerbehandlung, Wiederaufnahme nach Abstürzen.

Redaktionelles Fazit

Wer Transformer-Interna auf einer einzelnen RTX 3090 oder 4090 selbst nachbauen will, findet hier eine zusammenhängende Notebook-Kette von nanoGPT über MoE bis zu den beiden DeepSeek-MLA-Teilen. Wer eine gepflegte Trainingsbibliothek mit Tests, Release-Tags und englischer Dokumentation braucht, sollte nicht damit planen. Vor dem Einstieg zuerst prüfen, ob src/video/build_gpt.ipynb mit der eigenen CUDA- und PyTorch-Version überhaupt bis zum Trainingsschritt durchläuft, und erst danach die weiteren Kapitel einplanen.

Offizielle Quellen

1. bbruceyuan/LLMs-Zero-to-Hero on GitHub
2. Issues
3. License: Apache-2.0
4. Project website
5. README