llm_interview_note: ein deutschsprachiger Blick auf ein chinesisches LLM-Repetitorium

Ein Repetitorium, kein Lehrbuch

Das Repository versteht sich laut eigener Beschreibung als Sammlung von Konzepten und Interviewfragen rund um große Sprachmodelle, zusammengestellt aus Netzquellen und eigenen Notizen. Der Autor schreibt im README offen, dass die Antworten von ihm selbst verfasst wurden und er für Hinweise auf Fehler dankbar ist. Das ist eine wichtige Einordnung: Es handelt sich nicht um ein kuratiertes Nachschlagewerk mit Review-Prozess, sondern um persönliche Prüfungsvorbereitung, die öffentlich einsehbar ist. Die Zielgruppe sind dem Titel nach Algorithmus- und Anwendungsingenieure, die sich auf Gespräche im LLM-Bereich vorbereiten. Der Nutzen liegt damit weniger in Referenzgenauigkeit als in der Struktur: Wer wissen will, welche Themenblöcke in einem solchen Gespräch typischerweise auftauchen, bekommt hier eine Gliederung geliefert.

Die Kapitelstruktur als eigentlicher Wert

Das README listet die Inhaltsstruktur vollständig auf, und sie ist der eigentliche Beitrag des Projekts. Sie beginnt bei Grundlagen (Sprachmodell, Tokenisierung mit jieba, Wortvektoren, Word2Vec, die drei Feature-Extraktoren CNN, RNN und Transformer) und geht über Architektur (Attention, Layer Normalization, Positionskodierung, MHA, MQA, GQA, Decoding-Strategien wie Top-k, Top-p und Temperature, BERT-Details, llama- und chatglm-Familien, MoE-Papiere inklusive Switch Transformers) weiter zu Trainingsdaten, verteiltem Training (Daten-, Pipeline-, Tensor-, Sequenz- und MoE-Parallelität, DeepSpeed, Megatron), Supervised Fine-Tuning (Prompting, Adapter-Tuning, LoRA), Inferenz (vLLM, text_generation_inference, faster_transformer, trt_llm), Reinforcement Learning (Policy Gradient, PPO, RLHF, DPO), Retrieval-Augmented Generation mit Agenten sowie Evaluation und Halluzination. Diese Reihenfolge bildet den typischen Aufbau einer LLM-Roadmap ab. Wer die Kapitel als Checkliste nutzt und für jedes Thema eine eigene Antwort formuliert, hat den Vorbereitungsprozess bereits strukturiert.

Betrieb über GitHub Pages, Inhalt als Markdown

Die Online-Version läuft laut README unter wdndev.github.io/llm_interview_note. Die einzelnen Kapitel liegen als Markdown-Dateien in nummerierten Verzeichnissen, etwa 01.大语言模型基础, 02.大语言模型架构 oder 08.检索增强rag. Die Dateinamen entsprechen den Themen, teils mit Unterordner pro Artikel. Diese Organisation erlaubt es, einzelne Seiten direkt zu verlinken, und die GitHub-Pages-Ausgabe rendert sie als HTML. Die Angabe HTML als Hauptsprache des Repositories deutet darauf hin, dass generierte oder statische HTML-Ausgaben mit eingecheckt sind, was bei GitHub-Pages-Projekten üblich ist, aber auch bedeutet, dass Inhalt und Darstellung getrennt gepflegt werden müssen. Ein klassisches Build-Skript oder eine dokumentierte Pipeline ist dem README nicht zu entnehmen.

Was das Repository nicht liefert

Zwei Einschränkungen sind aus dem Material direkt ableitbar. Erstens fehlt eine Lizenzangabe. Wer Textpassagen in eigene Schulungsunterlagen, interne Wikis oder kommerzielle Produkte übernehmen will, hat damit keine Grundlage, das rechtlich abzusichern. Das ist keine Formalie: Ohne Lizenz gilt standardmäßig das Urheberrecht des Autors, und eine Weiterverwendung ist nicht automatisch gestattet. Zweitens ist der Inhalt chinesischsprachig. Für deutsch- oder englischsprachige Teams ist der direkte Nutzen begrenzt, es sei denn, man übersetzt oder liest die Sprache. Das README selbst ist auf Chinesisch verfasst, inklusive der Bitte um einen Stern und des Verweises auf einen WeChat-Kanal. Beides deutet auf eine primär chinesischsprachige Zielgruppe hin.

Verwandte Praxisprojekte als Ergänzung

Das README verweist auf vier eigene Hands-on-Projekte: tiny-llm-zh für einen kleinen chinesischen LLM von Grund auf, tiny-rag für ein einfaches RAG-System mit Multi-Recall und Reranking, tiny-mcp für MCP-Server und -Client mit Prompt und Function Calling sowie llama3-from-scratch-zh, das laut Beschreibung Meta-Gewichte laden und auf einem Laptop mit 16 GB RAM laufen soll. Diese Projekte sind der praktische Gegenpol zum Notizcharakter des Hauptrepositories. Wer die Interviewnotizen als Lernplan nutzt, kann die Konzepte dort direkt ausprobieren. Die tiny-llm-zh-Demo ist laut README auf ModelScope unter dem Namen tiny_llm_92m_demo gehostet, was auf ein Modell mit rund 92 Millionen Parametern hindeutet. Ob diese Projekte aktiv gepflegt werden, lässt sich aus dem Material nicht ableiten.

Alternative: eigene Notizen oder etablierte Kurse

Die naheliegende Alternative ist, die Themenliste als Vorlage zu nehmen und eigene Notizen zu schreiben, statt auf fremde Zusammenfassungen zurückzugreifen. Der Unterschied liegt im Aufwand und in der Verantwortung: Eigene Notizen kosten Zeit, sind aber auf den eigenen Wissensstand zugeschnitten und lizenzfrei. Etablierte Lehrressourcen wie Vorlesungen oder Bücher zu Transformern bieten dagegen redaktionelle Prüfung, die ein einzelnes Repository nicht leisten kann. Das llm_interview_note positioniert sich dazwischen: strukturierter als eine lose Linksammlung, aber ohne die Prüftiefe eines Verlagsprodukts. Wer die Struktur schätzt, aber die Quellenlage prüfen will, kann die Kapitel als Sprungbrett nutzen und die dort genannten Papiere selbst lesen.

Pflegeaufwand und Aktualität

Der letzte Push liegt laut Repository-Angaben im Juni 2026, das Projekt ist nicht archiviert. Es gibt keine abgerufenen Releases, was bei einem Notiz-Repository erwartbar ist. Für Leser bedeutet das: Es gibt keine Versionsnummern, an denen man sich orientieren könnte, und keine Changelogs. Ob ein Kapitel zu vLLM oder zur llama-3-Familie noch dem aktuellen Stand entspricht, lässt sich nur durch Lesen der jeweiligen Markdown-Datei feststellen. Wer das Material in einem Kurs oder Onboarding einsetzen will, sollte pro Kapitel einen Stichtag notieren und die Kapitel zu schnelllebigen Themen wie Inferenz-Frameworks und Modellarchitekturen vor jeder Verwendung erneut prüfen. Der Autor bittet im README ausdrücklich um Korrekturhinweise, was als Einladung zur Mitarbeit gelesen werden kann, aber keinen festen Redaktionsprozess ersetzt.

Redaktionelles Fazit

Wer Chinesisch liest und eine strukturierte Wiederholung zu Transformer, Fine-Tuning, RAG und RLHF sucht, findet hier eine brauchbare Gliederung mit Verweisen auf weiterführende Praxisprojekte. Wer eine gepflegte, lizenzierte Referenz für ein englischsprachiges Team braucht, sollte zuerst die Lizenzfrage klären und die Aktualität der einzelnen Kapitel prüfen, bevor das Material in eigene Unterlagen einfließt.

Offizielle Quellen

1. Issues
2. Project website
3. README
4. wdndev/llm_interview_note on GitHub