KI-Engineering in der Praxis: vom Aufruf eines Sprachmodells bis zum eigenen GPT
Ein kostenloser KI-Kurs für Entwickler. Erst mit Sprachmodellen etwas Brauchbares bauen, dann neuronale Netze und den Transformer von Grund auf implementieren und verstehen, warum das funktioniert.
Code und Programmausgaben stehen genau so da, wie sie gelaufen sind – Kommentare und Ausgaben sind daher auf Chinesisch.
Dieser Kurs hat zwei Hälften.
Die erste Hälfte bringt dir bei, Sprachmodelle zu nutzen: APIs aufrufen, Prompts schreiben, Frage-Antwort-Systeme über eine Wissensbasis bauen, Agenten bauen und das Ganze am Ende gut evaluieren und live bringen. Danach kannst du selbstständig eine KI-Anwendung bauen, die wirklich jemand benutzt.
Die zweite Hälfte bringt dir bei, Sprachmodelle zu verstehen: Mit numpy schreibst du Gradientenabstieg und Backpropagation von Hand, mit PyTorch baust du von Grund auf ein kleines GPT und trainierst es auf Tang-Gedichte, und du führst selbst ein LoRA-Finetuning durch. Wenn du danach Begriffe wie „Attention“, „KV-Cache“ oder „Quantisierung“ liest, hast du konkreten Code im Kopf statt Nebel.
Die beiden Hälften kann man getrennt lernen. Wer nur Anwendungen bauen will, kommt mit Teil 1 aus; wer schon Anwendungen baut und die Prinzipien nachholen will, kann direkt mit Teil 2 beginnen.
Das Projekt, das sich durch den Kurs zieht
Die meisten Lektionen von Teil 1 bauen am selben Ding: einem Frage-Antwort-Assistenten für die Open-Source-Bibliothek httpx, den wir RepoBot nennen.
Anfangs ist er nur ein Kommandozeilenprogramm, das chatten kann. Dann lernt er, Fragen anhand der Projektdokumentation zu beantworten, danach selbst in der Dokumentation zu suchen und im Quellcode zu stöbern, und am Ende hat er ein Evaluationsset, Logs und Leitplanken und ist ein Webdienst. Jedes Modul fügt ein Stück hinzu, und du siehst, wie eine KI-Anwendung Schritt für Schritt wächst.
Teil 1: Mit Sprachmodellen bauen
API-Aufrufe, Prompts, RAG, Agenten, Evaluierung und Deployment – an einem echten Q&A-Assistenten entlang.
Lernweg wählen, eine Python-Umgebung einrichten, einen API-Schlüssel für ein Sprachmodell besorgen und den ersten Aufruf machen.
3 LektionenModul 01Was ein Sprachmodell eigentlich istOhne jede Mathematik, nur durch Experimente, die Grundtatsachen von Sprachmodellen verstehen – Tokens, Vorhersage des nächsten Tokens, Temperatur, Kontext und Kosten, Embeddings und wie man ein Modell auswählt.
6 LektionenModul 02PromptsMit Vergleichsexperimenten Aufbau von Prompts, Few-Shot, erst denken dann antworten und JSON-Ausgabe erklären, und zum Schluss ein kleines Werkzeug bauen, um Prompts in großen Mengen zu testen.
5 LektionenModul 03Anwendungen auf der API bauenVom einzelnen Aufruf zum echten Programm – mehrstufige Gespräche, Streaming-Ausgabe, Tool-Aufrufe, Wiederholungen bei Fehlern und Kostenprotokoll – und zum Schluss die erste Version des durchgehenden Projekts RepoBot.
5 LektionenModul 04RAG – das Modell deine Unterlagen lesen lassenEin Retrieval-Augmented-Generation-System von Grund auf bauen – Dokumente zerlegen, Vektorsuche, Stichwortsuche, Umformulieren der Anfrage, Reranking, Antworten mit Quellenangaben und Evaluation – und zum Schluss RepoBot die httpx-Dokumentation beibringen.
7 LektionenModul 05AgentenErst klären, ob man überhaupt einen Agenten braucht, dann einen von Grund auf schreiben – Tool-Design, Planen und Selbstprüfung, Gedächtnis, mehrere Agenten, MCP und Sicherheit – und zum Schluss RepoBot beibringen, selbst im Quellcode zu suchen.
9 LektionenModul 06Evaluation und ProduktivbetriebEinen Evaluationsdatensatz erstellen, ein Modell als Gutachter einsetzen und kalibrieren, jeden Schritt protokollieren, Kosten und Latenz senken, Leitplanken für Ein- und Ausgabe ergänzen und RepoBot schließlich als Webdienst in Betrieb nehmen.
6 LektionenModul 07Mit KI programmierenWelche Formen KI-Programmierwerkzeuge haben und wofür sie jeweils taugen; wie eine Projektbeschreibungsdatei ihnen dein Projekt verständlich macht; und ein verlässlicher Arbeitsablauf – erst Abnahmekriterien festlegen, in kleinen Schritten ändern, mit Tests statt mit der Selbstauskunft der KI beurteilen, ob etwas fertig ist.
3 LektionenTeil 2: Sprachmodelle von Grund auf verstehen
Backpropagation von Hand, ein kleines GPT selbst gebaut und trainiert, dann LoRA-Feintuning und lokales Deployment.
Mit einer Geraden anfangen, Gradientenabstieg und Backpropagation von Hand schreiben, das erste kleine Netz trainieren, dann mit PyTorch handgeschriebene Ziffern erkennen und Überanpassung samt Gegenmitteln mit eigenen Augen sehen.
6 LektionenModul 09Einen Transformer von Grund auf bauenTokenizer und Attention von Hand schreiben, ein vollständiges kleines GPT bauen, es auf über dreißigtausend Tang-Gedichten trainieren, bis es Gedichte schreibt, dann Generierung und KV-Cache, und was vom kleinen GPT bis zu einem echten Sprachmodell noch fehlt.
7 LektionenModul 10Feintuning und lokaler BetriebErst klären, wann sich Feintuning lohnt, dann LoRA von Hand schreiben, mit peft ein kleines Open-Source-Modell feintunen, Speicherbedarf abschätzen, Quantisierung von Hand schreiben, mit Ollama auf dem eigenen Rechner ausführen und zum Schluss verstehen, welches Problem Serving-Frameworks wie vLLM lösen.
5 LektionenModul 11AbschlussprojektMit allem, was der Kurs vermittelt hat, selbstständig ein KI-Projekt zu einem selbst gewählten Thema fertigstellen – Kriterien für „fertig“ festlegen, etwas Brauchbares bauen, mit Evaluation belegen, wie gut es ist, und es zum Schluss für andere verständlich aufschreiben.
1 LektionenWas du vorher können solltest
- Python-Grundlagen: Funktionen, Listen, Dictionaries, Klassen; Pakete mit
pipoderuvinstallieren. - Die Kommandozeile bedienen:
cd, ein Skript ausführen. - Mathematik: Für Teil 1 gar nicht nötig. Die Ableitungen und Matrixmultiplikationen in Teil 2 werden im Kurs von Grund auf erklärt; Schulmathematik reicht.
Du brauchst keine Grafikkarte. Teil 1 ruft durchgehend APIs auf; alle Experimente in Teil 2 laufen auf der CPU eines normalen Laptops. Das kleine GPT trainiert etwa 7 Minuten, das Finetuning eines Open-Source-Modells mit 500 Millionen Parametern dauert nur gut zehn Sekunden. Nur vLLM in der letzten Lektion von Modul 10 braucht einen Server mit NVIDIA-Grafikkarte; die Lektion erklärt das.
Was es kostet
Teil 1 ruft die API eines Sprachmodells auf, standardmäßig DeepSeek. Alle Beispiele und Übungen von Teil 1 zusammen kosten meist weniger als 10 Yuan (etwa 1,40 US-Dollar, zu Preisen von September 2026). Du kannst auch jeden Dienst mit OpenAI-kompatibler Schnittstelle nutzen oder mit Ollama lokal arbeiten, völlig kostenlos, nur mit schlechteren Ergebnissen. Teil 2 ruft keine API auf und kostet nichts.
Wo der Code liegt
Der Code jeder Lektion liegt unter code/ im Verzeichnis des jeweiligen Moduls, die vier Versionen von RepoBot unter projects/repobot/. Jede im Kurs abgedruckte Ausgabe stammt aus einem echten Lauf beim Schreiben der Lektion, und am Anfang jeder Lektion stehen Datum sowie Modell- oder Softwareversion des Laufs. Code, der keine API aufruft, verwendet feste Zufalls-Seeds; du solltest dieselben oder sehr ähnliche Zahlen bekommen.
Wie du am meisten davon hast
Tipp den Code jeder Lektion selbst ab, führ ihn zumindest selbst aus. Mach danach die Übungen, besonders die vom Typ „ändere eine Stelle und sieh, was passiert“. Wer nur liest und nichts ausprobiert, verliert den größten Teil des Werts dieses Kurses.