self-llm: das Linux-Handbuch für den Betrieb offener Sprachmodelle
Projektüberblick: Linux /Lora LLM / MLLM. „Open Source Large Model Eating Guide“ ist ein Tutorial zur schnellen Feinabstimmung (vollständige Parameter/Lora) und Bereitstellung in- und ausländischer Open-Source-Großmodelle (LLM)/multimodaler Großmodelle (MLLM) basierend auf einer Linux-Umgebung, die auf chinesische Babys zugeschnitten ist.
Auf einen Blick
- Was ist das?
- self-llm von Datawhale ist eine Tutorialsammlung zur Umgebungskonfiguration, lokalen Bereitstellung und Feinabstimmung von über 50 offenen LLMs und multimodalen Modellen unter Linux. Der Text ordnet Aufbau, Beispielprojekte, Plattformausnahmen und Zielgruppe ein.
- Für wen ist es gedacht?
- self-llm eignet sich für Studierende und Entwickler, die offene Modelle wie Qwen, GLM oder DeepSeek selbst auf eigener Hardware oder auf Linux-Servern betreiben wollen und dafür konkrete, modellbezogene Schrittfolgen suchen. Wer stattdessen die Theorie hinter LLMs lernen möchte, ist mit dem Schwesterprojekt Happy-LLM besser bedient; für den praktischen Betrieb bleibt dieses Repository der direktere Einstieg.
- Darf ich es kommerziell nutzen?
- Ja. Apache-2.0 ist eine freizügige Lizenz: Sie dürfen darauf aufbauende Software nutzen, verändern und verkaufen, solange Sie die Urheberrechts- und Lizenzhinweise beibehalten.
- Wird es noch gepflegt?
- Ja. Die letzten Commits kamen vor 4 Tagen.
- In welcher Sprache ist es geschrieben?
- Hauptsächlich Jupyter Notebook, laut der Sprachstatistik von GitHub.
Die Antworten beruhen auf den GitHub-Daten des Projekts (zuletzt abgeglichen am 15. September 2026) und auf unserer Analyse. Sie sind keine Rechtsberatung.
TIEFGEHENDE OPEN-SOURCE-ANALYSE
Ein Kochbuch für über 50 offene Modelle
self-llm, im Original als Leitfaden zum Verzehr großer Modelle überschrieben, ist ein Tutorialprojekt der chinesischen Open-Source-Community Datawhale. Es richtet sich an Einsteiger und ist vollständig auf die Linux-Plattform zugeschnitten. Für eine große Zahl offener LLMs und multimodaler Modelle liefert es einen kompletten Weg von der Umgebungskonfiguration über die lokale Bereitstellung bis zum effizienten Feintuning.
Die Liste der abgedeckten Modelle im README nennt mehr als 50 aktuelle und ältere Systeme, darunter Qwen3.5, GLM-5.2, DeepSeek-R1, Kimi-K2.5, MiniCPM5, Llama4, Gemma3, InternLM3, Baichuan, ERNIE-4.5 und viele weitere. Jedes Modell erhält laut README eine eigene Anleitung für Bereitstellung, Feintuning und Nutzung, zentral verwaltet in der Datei support_model.md.
Das Repository selbst ist als Sammlung von Jupyter-Notebooks und Markdown-Anleitungen organisiert und zeigt rund 32.000 Sterne sowie über 3.100 Forks auf GitHub. Lizenziert ist es unter Apache-2.0, erlaubt also kommerzielle Nutzung, Modifikation und Weiterverbreitung bei Wahrung der Urheberhinweise.
Vier Anleitungstypen vom Systemsetup bis zum Feintuning
Das README gliedert den Inhalt in vier Blöcke. Der erste ist eine Umgebungskonfigurationsanleitung für offene LLMs unter Linux, mit je nach Modell unterschiedlichen, detaillierten Schritten. Der zweite umfasst Bereitstellungs- und Nutzungstutorials für nationale und internationale Modelle, ausdrücklich genannt werden LLaMA, ChatGLM und InternLM.
Der dritte Block behandelt die Anwendungsseite: Aufruf über die Kommandozeile, Aufbau einer Online-Demo und Integration in das LangChain-Framework. Der vierte Block widmet sich dem Feintuning, sowohl verteilter Vollparametertraining als auch effizienter Verfahren wie LoRA und ptuning.
Diese Struktur folgt dem Lebenszyklus eines Modellbetriebs und erklärt, warum das Repository trotz seiner Größe navigierbar bleibt. Wer ein konkretes Modell sucht, springt über support_model.md direkt zum zugehörigen Abschnitt; wer den Gesamtprozess lernen will, arbeitet die Blöcke der Reihe nach durch.
Zielgruppe: Studierende ohne API-Budget
Das README beschreibt sechs Zielgruppen recht präzise: Leute, die LLMs nutzen oder ausprobieren wollen, aber keine API-Zugänge bekommen oder bezahlen können; Anwender, die LLMs dauerhaft, kostengünstig und in großem Umfang einsetzen möchten; Interessierte, die offene Modelle selbst anfassen wollen; NLP-Studierende, die weiter in Richtung LLM gehen wollen; alle, die auf Basis offener Modelle ein privates domänenspezifisches Modell aufbauen wollen; und allgemein die breite Studierendenschaft.
Diese Zielgruppenwahl bestimmt den Ton der Anleitungen. Es geht nicht um Forschung, sondern um den praktischen Betrieb: Welche CUDA-Version, welche Abhängigkeiten, welche Startkommandos. Die Begründung im Projekt motivations-Abschnitt ist die Modelle-Vielfalt selbst: Der Hundert-Modelle-Wettbewerb hat dutzende Systeme hervorgebracht, und für jedes einzelne schnell den Anwendungsweg zu finden, ist ohne Vorlage mühsam.
Wer nur API-Kosten sparen will, findet hier also einen Weg, Modelle auf eigener Hardware zu betreiben; wer ein Modell für eine Fachdomäne anpassen will, bekommt mit dem Feintuning-Block die passenden Verfahren.
Beispielprojekte: Chat-HuanHuan, Tianji und AMChat
Neben den Modell-Anleitungen enthält das Repository eine Example-Serie mit durchgerechneten Fällen. Chat-HuanHuan ist ein Sprachmodell, das durch LoRA-Feintuning auf den Textpassagen der Figur HuanHuan aus einer bekannten chinesischen Fernsehserie den Sprechstil dieser Figur imitiert. Es zeigt auf unterhaltsame Weise, wie aus wenigen stilprägenden Sätzen ein personifizierter Chatbot entsteht.
Tianji ist ein Anwendungs-Tutorial für soziale Situationen, das den kompletten Weg von der Prompt-Entwicklung über Agentenbau und Datenbeschaffung bis zur RAG-Datenreinigung abdeckt. AMChat hingegen ist fachlich: ein Modell auf Basis von InternLM2-Math-7B, per xtuner auf ein Datenetz aus Hochschulmathematik-Aufgaben und Lösungen trainiert, speziell für das Lösen solcher Aufgaben entworfen.
Das vierte Beispiel namens Digitales Leben beschreibt die Feinabstimmung eines Modells auf persönlichen Daten, um einen digitalen Zwilling im eigenen Ton zu erzeugen; das README betont, dass dieser Weg übertragbar sei und die Datensatzerstellung der eigentliche Kern ist.
Plattform-Ausnahmen: AMD-GPU, Ascend-NPU und Apple-Macs
Über den Linux-Kern hinaus pflegt das Projekt eigene Abschnitte für abweichende Hardware. Ein AMD-GPU-Abschnitt behandelt die Umgebungseinrichtung mit ROCm samt Bereitstellungsanleitungen; laut README wird dieser Teil durch das AMD University Program gefördert, was auch mit Logos im README sichtbar ist.
Ein weiterer Abschnitt widmet sich der Ascend-NPU-Hardware von Huawei, einschließlich Umgebungskonfiguration und Bereitstellung mit vLLM-ascend und MindIE. Für Apple-Macs existiert ein eigener, separat verlinkter Abschnitt. Diese Zusätze richten sich an Leser, die außerhalb des üblichen NVIDIA-Setup arbeiten, und sind in einem chinesischen Einsteigerkontext bemerkenswert konkret.
Für die Praxis bedeutet das: Wer auf einer dieser Plattformen sitzt, sollte nicht den Standardweg aus den Modellkapiteln nehmen, sondern zuerst den plattformspezifischen Abschnitt lesen, da sich Abhängigkeiten und Startkommandos dort unterscheiden.
Lernreihenfolge und Nachbarsprojekte von Datawhale
Das README gibt eine klare Lernreihenfolge vor: erst Umgebungskonfiguration, dann Bereitstellung und Nutzung, zuletzt Feintuning, weil die ersten beiden Schritte das Fundament seien und das Feintuning die Fortsetzung. Als Einsteigermodelle empfehlen die Betreiber Qwen1.5, InternLM2 und MiniCPM, die klein genug sind, um auch auf bescheidener Hardware zu laufen.
Wer tiefer einsteigen will, wird an vier Schwesterprojekte verwiesen. Happy-LLM behandelt die Prinzipien großer Sprachmodelle und den Aufbau eines eigenen Modells von Grund auf. Tiny-Universe implementiert RAG, Agenten und Evaluation vollständig per Hand statt über API-Aufrufe. Das so-large-llm-Kurswerk liefert die theoretische Basis, und llm-universe ist ein Anwendungs-Entwicklungskurs mit einem persönlichen Wissensassistenten als Projekt.
Diese Verzweigung zeigt die Rollenverteilung in der Datawhale-Community: self-llm ist der Betriebsleitfaden, die anderen Projekte decken Theorie, Eigenbau und Anwendungsentwicklung ab. Das Repository lädt ausdrücklich dazu ein, per Issue oder Pull Request beizutragen, und nimmt intensive Mitwirkende als Maintainer auf.
Fazit: Betriebsleitfaden mit klaren Grenzen
self-llm ist der richtige Einstieg für Leser mit einem Linux-Rechner und einem konkreten Zielmodell: Die Kombination aus support_model.md als Modellindex, den vier Inhaltsblöcken und den Beispielprojekten wie AMChat macht aus dem Modell-Hype einen nachvollziehbaren Ablauf. Die Apache-2.0-Lizenz erlaubt es, die Anleitungen auch in kommerziellen Trainingskontexten zu verwenden.
Grenzen sind real. Die Anleitungen sind auf Chinesisch verfasst, eine englische README-Fassung existiert, die Modellkapitel jedoch überwiegend nicht. Wer ohne Linux-Erfahrung startet, trägt ein zusätzliches Risiko, da das Projekt die Systemebene voraussetzt. Und die Modellliste wandert schnell, einzelne Abschnitte können hinter die aktuellen Modellversionen zurückfallen.
Ein sinnvoller Ersttest ist das empfohlene Einsteigermodell: Qwen1.5 oder MiniCPM nach dem zugehörigen Abschnitt in support_model.md aufsetzen, eine lokale Demo starten und erst danach den LoRA-Block angehen. Wer dabei hängen bleibt, findet über die Issue-Verfolgung mit über 150 offenen Einträgen eine aktive Fragerunde.
Redaktionelles Fazit
self-llm eignet sich für Studierende und Entwickler, die offene Modelle wie Qwen, GLM oder DeepSeek selbst auf eigener Hardware oder auf Linux-Servern betreiben wollen und dafür konkrete, modellbezogene Schrittfolgen suchen. Wer stattdessen die Theorie hinter LLMs lernen möchte, ist mit dem Schwesterprojekt Happy-LLM besser bedient; für den praktischen Betrieb bleibt dieses Repository der direktere Einstieg.
Community-Notizen