llm-internals: ein Lernpfad durch Tokenisierung, Attention und Backpropagation
Learn LLM internals step by step - from tokenization to attention to inference optimization.
Auf einen Blick
- Was ist das?
- Das Repository amitshekhariitbhu/llm-internals ist kein Framework und keine Bibliothek, sondern eine kuratierte Sammlung von Blogartikeln und Videos, die die Mathematik hinter LLMs Schritt für Schritt erklären. Wer lauffähigen Code sucht, wird enttäuscht; wer die Herleitung der Attention-Formel nachvollziehen will, findet hier einen strukturierten Einstieg.
- Für wen ist es gedacht?
- Wer die Attention-Formel, die √dₖ-Skalierung oder Causal Masking anhand eines numerischen Beispiels nachvollziehen will, findet in diesem Repository eine geordnete Linkliste mit klarer Reihenfolge. Wer eine Bibliothek zum Trainieren oder Ausrollen von Modellen sucht, ist hier falsch, denn es gibt weder Releases noch ausführbaren Code.
- Darf ich es kommerziell nutzen?
- Ja. Apache-2.0 ist eine freizügige Lizenz: Sie dürfen darauf aufbauende Software nutzen, verändern und verkaufen, solange Sie die Urheberrechts- und Lizenzhinweise beibehalten.
- Wird es noch gepflegt?
- Ja. Die letzten Commits kamen vor 15 Tagen.
- In welcher Sprache ist es geschrieben?
- GitHub gibt für dieses Repository keine Hauptsprache an.
Die Antworten beruhen auf den GitHub-Daten des Projekts (zuletzt abgeglichen am 15. September 2026) und auf unserer Analyse. Sie sind keine Rechtsberatung.
TIEFGEHENDE OPEN-SOURCE-ANALYSE
Was hier eigentlich ausgeliefert wird: Links statt Code
Das Repository enthält nach der Beschreibung und dem README keinen Quellcode, keine Testsuite und keine Installationsanleitung. Es ist eine Inhaltsverzeichnis-Struktur: Jeder Abschnitt besteht aus einer kurzen Aufzählung der behandelten Themen und einem Verweis auf einen Blogbeitrag oder ein YouTube-Video. Die Lizenz Apache-2.0 ist im Repository hinterlegt, was für eine reine Textsammlung ungewöhnlich wirkt, aber zulässig ist. Wer die Lizenz prüft, sollte sich bewusst sein, dass sie für die verlinkten externen Inhalte nicht automatisch gilt: Ein Blogbeitrag auf outcomeschool.com oder ein Video auf YouTube steht unter eigenen Bedingungen, unabhängig davon, was im GitHub-Repository als LICENSE-Datei liegt. Für die Frage, ob man Material weiterverwenden darf, ist deshalb die Lizenz der Zielseite maßgeblich, nicht die des Repositories.
Die didaktische Reihenfolge: erst Mathematik, dann Architektur
Die Abfolge im README ist bewusst aufgebaut. Am Anfang steht ein Überblicksvideo, das LLM, RAG, MCP, Agent, Fine-tuning und Quantization nebeneinanderstellt. Danach folgt Tokenisierung, dann Byte Pair Encoding als konkreter Algorithmus. Erst anschließend kommt Attention, zuerst über Query, Key und Value, dann die Frage, warum der Skalierungsfaktor √dₖ lautet, dann Causal Masking. Nach der Attention wechselt die Reihe zur Trainingsseite: Backpropagation, Cross-Entropy Loss. Zum Schluss steht die Transformer-Architektur als Ganzes, gefolgt von Feed-Forward Networks. Diese Ordnung ist sinnvoll, weil die Attention-Formel ohne Softmax und ohne Vektoroperationen nicht lesbar ist und Cross-Entropy Loss ohne den Begriff der Wahrscheinlichkeitsverteilung über einem Vokabular nicht einzuordnen ist. Wer die Reihenfolge überspringt, verliert genau den Faden, den das Repository herstellen will.
Welche Fragen die einzelnen Beiträge beantworten
Das README nennt für jeden Beitrag eine Gliederung. Bei der √dₖ-Skalierung sind das unter anderem die Punkte, was ohne Skalierung passiert, warum Skalarprodukte mit dₖ wachsen, der Beweis, dass die Varianz des Skalarprodukts dₖ beträgt, und was große Werte mit Softmax machen. Das ist eine Herleitung, kein Rezept. Beim Causal Masking geht es um den Vergleich mit und ohne Maske, um die Implementierung und um die Causal-Mask-Matrix. Bei Backpropagation nennt das README die Kettenregel, Forward Pass, Loss-Berechnung, Backward Pass, ein numerisches Beispiel, die Gewichtsaktualisierung per Gradientenabstieg und eine Umsetzung in Python. Der letzte Punkt ist der einzige Hinweis auf ausführbaren Code im gesamten Material, und er liegt im externen Blogbeitrag, nicht im Repository. Bei Cross-Entropy Loss reicht die Spanne von der binären über die kategoriale Variante bis zum Gradienten und zur Anwendung auf Sprachmodelle.
Der Aufbau des Repositories als Wartungsproblem
Das README selbst sagt: Diese Reihe wächst weiter, während weitere Blogs geschrieben und Videos erstellt werden. Das ist eine Zusage über zukünftige Arbeit, keine Beschreibung eines stabilen Zustands. Es gibt keine Releases, was bei einer Textsammlung konsequent ist, aber auch bedeutet, dass es keine Versionierung gibt, an der man sich orientieren könnte. Ein Leser, der in einem halben Jahr auf das Repository zurückkommt, kann nicht feststellen, welche Abschnitte seit seinem letzten Besuch hinzugekommen sind, außer über die Commit-Historie. Für Lehrmaterial ist das ein reales Problem: Die Reihenfolge, in der man die Beiträge liest, verändert sich mit jedem neuen Abschnitt. Der letzte Push datiert auf den 1. September 2026, das Projekt ist nicht archiviert. Ob die Reihe tatsächlich so weiterwächst, wie das README ankündigt, lässt sich aus dem Material nicht ableiten.
Die Verbindung zu einem kommerziellen Programm
Das Repository wird vom Gründer von Outcome School gepflegt, und die Homepage verweist auf ein Programm für AI und Machine Learning. Das ist kein versteckter Hinweis, sondern steht offen im README. Für die Bewertung heißt das: Das Repository ist ein Einstiegskanal, die eigentlichen Inhalte liegen auf einer externen Plattform, und ein Teil davon kann an ein kostenpflichtiges Programm gebunden sein. Der Umfang der frei zugänglichen Blogbeiträge lässt sich aus dem Material nicht bestimmen, denn das README nennt nur Titel und Gliederungen. Wer das Repository als kostenlose Referenz einplanen will, sollte vorher prüfen, ob die verlinkten Beiträge ohne Anmeldung lesbar sind. Diese Prüfung ist nicht optional, sie entscheidet darüber, ob das Repository für den eigenen Zweck überhaupt funktioniert.
Grenzen: kein Ersatz für Implementierungserfahrung
Die Beiträge erklären Mathematik und Architektur, aber das Repository enthält kein Trainingsskript, keinen Tokenizer zum Ausprobieren und keine Konfiguration. Wer verstehen will, wie sich eine Änderung an der Lernrate oder am Masking auf ein reales Modell auswirkt, braucht eine Bibliothek wie PyTorch oder JAX und einen Datensatz. Der Lernpfad endet dort, wo die praktische Arbeit beginnt. Ein zweiter Punkt: Die Themenliste ist breit, aber nicht vollständig. Mixture-of-Experts, Rotary Position Embeddings, KV-Cache und Quantisierungsverfahren werden im README nicht als eigene Beiträge geführt, obwohl Quantization im einleitenden Video als Stichwort auftaucht. Wer aktuelle Inferenzoptimierung sucht, findet hier nach dem derzeitigen Stand keinen eigenen Beitrag. Das ist keine Kritik an der Qualität der vorhandenen Texte, sondern eine Aussage über die Abdeckung.
Alternative: Lehrbuch oder Kurs mit Übungsaufgaben
Der naheliegende Vergleich ist ein Lehrbuch zur Deep-Learning-Grundlage, etwa das Material von Goodfellow, Bengio und Courville oder ein Kurs mit Programmieraufgaben. Der Unterschied liegt im Format. Ein Lehrbuch bietet eine feste, zitierbare Fassung mit nummerierten Kapiteln und Aufgaben, deren Lösungen überprüfbar sind. Dieses Repository bietet eine bewegliche Linkliste ohne Seitenzahlen und ohne Aufgaben. Der Vorteil hier ist die Kürze: Ein einzelner Blogbeitrag zur √dₖ-Skalierung lässt sich in einem Zug lesen, ein Lehrbuchkapitel zur Attention oft nicht. Der Vorteil dort ist die Nachprüfbarkeit: Wer eine Formel in einem Lehrbuch nicht versteht, kann auf eine andere Auflage oder eine andere Darstellung zurückgreifen. Wer beides kombiniert, liest zuerst den kurzen Beitrag und arbeitet danach eine Aufgabe durch. Wer nur einen der beiden Wege geht, bekommt entweder Tempo ohne Übung oder Übung ohne Tempo.
Für wen sich der Einstieg lohnt und was zu prüfen ist
Der Lernpfad passt zu Entwicklern, die LLMs bereits benutzen und nun wissen wollen, was zwischen Eingabetext und Ausgabetoken passiert. Er passt auch zu Personen, die ein Vorstellungsgespräch oder eine Prüfung zur Transformer-Architektur vorbereiten, weil die Reihenfolge Tokenisierung, Attention, Masking, Backpropagation, Loss und Architektur die üblichen Fragen in einer sinnvollen Ordnung abdeckt. Er passt nicht zu Teams, die eine Bibliothek evaluieren, ein Modell feintunen oder Inferenz beschleunigen wollen, denn dafür liefert das Repository nichts Lauffähiges. Vor dem Einstieg sind drei Dinge zu klären: ob die verlinkten Beiträge frei zugänglich sind, ob die englische Sprache der Videos und Texte für die eigenen Zwecke akzeptabel ist, und ob man bereit ist, die numerischen Beispiele selbst nachzurechnen, denn ohne Stift und Papier bleibt die Herleitung eine Behauptung. Der letzte Punkt ist der wichtigste, weil das Material genau darauf ausgelegt ist.
Redaktionelles Fazit
Wer die Attention-Formel, die √dₖ-Skalierung oder Causal Masking anhand eines numerischen Beispiels nachvollziehen will, findet in diesem Repository eine geordnete Linkliste mit klarer Reihenfolge. Wer eine Bibliothek zum Trainieren oder Ausrollen von Modellen sucht, ist hier falsch, denn es gibt weder Releases noch ausführbaren Code. Vor dem Einsatz sollte man prüfen, ob die verlinkten Beiträge auf outcomeschool.com tatsächlich frei zugänglich sind oder hinter dem dort beworbenen Programm liegen, und ob der eigene Bedarf bei der Mathematik oder beim Engineering liegt. Für den zweiten Fall ist der Weg über ein Lehrbuch oder einen Kurs mit Übungsaufgaben der ehrlichere.
Community-Notizen