LlamaFactory: Fine-Tuning von über 100 Modellfamilien über CLI, GUI und QLoRA
Einheitliche effiziente Feinabstimmung von über 100 LLMs und VLMs (ACL 2024). **Skalierbare Ressourcen**: 16-Bit-Volloptimierung, Freeze-Tuning, LoRA und 2/3/4/5/6/8-Bit-QLoRA über AQLM/AWQ/GPTQ/LLM.int8/HQQ/EETQ.
Auf einen Blick
- Was ist das?
- LlamaFactory bündelt Pre-Training, Supervised Fine-Tuning und Ausrichtungsverfahren wie DPO und ORPO für mehr als 100 LLMs und VLMs. Der Text ordnet Methodenumfang, Day-0-Modellpflege, Installation und Releastand v0.9.5 ein.
- Für wen ist es gedacht?
- LlamaFactory passt für Teams, die ein einziges Werkzeug für Fine-Tuning und anschließende Inferenz über viele Modellfamilien wollen und mit einem aktiven, releaseorientierten Projekt leben können. Es passt weniger, wenn eine fertig dokumentierte Enterprise-Lösung gebraucht wird; die Dokumentation ist laut Projekt selbst in Arbeit, und die Algorithmenvielfalt zieht Drittabhängigkeiten nach sich.
- Darf ich es kommerziell nutzen?
- Ja. Apache-2.0 ist eine freizügige Lizenz: Sie dürfen darauf aufbauende Software nutzen, verändern und verkaufen, solange Sie die Urheberrechts- und Lizenzhinweise beibehalten.
- Wird es noch gepflegt?
- Ja. Die letzten Commits kamen vor 2 Tagen.
- In welcher Sprache ist es geschrieben?
- Hauptsächlich Python, laut der Sprachstatistik von GitHub.
Die Antworten beruhen auf den GitHub-Daten des Projekts (zuletzt abgeglichen am 15. September 2026) und auf unserer Analyse. Sie sind keine Rechtsberatung.
TIEFGEHENDE OPEN-SOURCE-ANALYSE
Ein Werkzeug fürs Fine-Tuning von über 100 Modellfamilien
LlamaFactory fasst das Fine-Tuning großer Sprach- und Vision-Sprachmodelle in einem Werkzeug zusammen und nennt als Anspruch im README: Unified Efficient Fine-Tuning of 100+ LLMs & VLMs, veröffentlicht als ACL-2024-Arbeit. Der Einstieg ist bewusst niedrigschwellig gehalten: zero-code über die CLI oder über die Web-Oberfläche LLaMA Board, die auf Gradio basiert. Wer keine Konfigurationsdatei anfassen will, trainiert laut Projekt in der GUI.
Nutzungsnachweise verweist das README auf Blogposts von Amazon, NVIDIA und Aliyun; das sind vom Projekt ausgewählte Belege, keine unabhängige Prüfung. Ein eigener Hinweis warnt zudem: Alle Websites außer den im README gelisteten seien unautorisierte Drittanbieter-Angebote, was zeigt, wie oft inoffizielle Kopien dieses Projekts kursieren.
Methodenspektrum von Pre-Training bis ORPO
Methodisch deckt das Projekt laut README (Continuous) Pre-Training, multimodales Supervised Fine-Tuning, Reward Modeling und die Ausrichtungsverfahren PPO, DPO, KTO und ORPO ab. Die Ressourcenskala reicht von 16-bit-Full-Tuning über Freeze-Tuning und LoRA bis zu 2-, 3-, 4-, 5-, 6- und 8-bit-QLoRA mit den Quantisierungsbackends AQLM, AWQ, GPTQ, LLM.int8, HQQ und EETQ.
Darüber liegen Algorithmen wie GaLore, BAdam, APOLLO, Adam-mini, Muon, DoRA, LongLoRA, LoRA+, LoftQ und PiSSA sowie Beschleuniger wie FlashAttention-2, Unsloth, Liger Kernel und KTransformers. Diese Liste ist lang und bindet viele Drittprojekte ein; wer sie nutzt, hängt also nicht nur an LlamaFactory, sondern auch an deren Versionszyklen.
Day-0-Unterstützung für neue Modelle als dokumentierter Anspruch
Eine Tabelle im README dokumentiert, wie schnell neue Modelle unterstützt werden: Day 0 für Qwen3, Qwen2.5-VL, Gemma 3, GLM-4.1V, InternLM 3 und MiniCPM-o-2.6, Day 1 für Llama 3, GLM-4, Mistral Small, PaliGemma2 und Llama 4. Der Support neuer Modellreleases am Erscheinungstag ist damit ein dokumentierter Anspruch, nicht nur eine Absicht.
Die Releasenamen spiegeln denselben Fokus: v0.9.3 trägt den Zusatz Llama4, Gemma3, Qwen3, InternVL3, Qwen2.5-Omni, v0.9.5 den Zusatz Qwen3.5/3.6, Gemma 4, Transformers v5. Für Planende heißt das: Modellunterstützung ist die dominante Änderungsachse, und Upgrades folgen dem Modellmarkt mehr als einem klassischen Wartungsrhythmus.
Einstieg: PyPI-Paket, Docker-Image und Cloud-Notebooks
Installierbar ist LlamaFactory über das PyPI-Paket llamafactory; dazu führt das README Docker-Images unter hiyouga/llamafactory auf Docker Hub. Für den ersten Versuch ohne eigene GPU-Umgebung nennt es drei Wege: ein kostenloses Colab-Notebook, PAI-DSW mit Probezeitraum und AMD GPU Cloud mit Startguthaben.
Die Dokumentation unter llamafactory.readthedocs.io ist vom Projekt selbst als in Arbeit markiert. Spezielle Pfade existieren für AMD-GPUs und für Ascend-NPUs; beide führen auf eigene Dokumentationsseiten. Wer Anleitungen außerhalb dieser Quellen folgt, bewegt sich nach Aussage des README auf unautorisierten Websites.
Inferenz mit vLLM oder SGLang und Experiment-Monitoring
Für die Inferenz bietet das Projekt eine OpenAI-kompatible API, eine Gradio-Oberfläche und eine CLI, die laut README mit einem vLLM- oder SGLang-Worker läuft. Training und Serving liegen damit im selben Werkzeug; für den ersten Betrieb ist kein separates Deployment-Framework nötig.
Das Experimentmonitoring bindet LlamaBoard, TensorBoard, Wandb, MLflow und SwanLab ein. Aufgabenmäßig nennt das README Mehrturn-Dialoge, Tool-Nutzung, Bildverstehen, Visual Grounding sowie Video- und Audioverstehen, also auch multimodale Fälle jenseits reinen Texts.
Releastrhythmus von v0.9.3 bis v0.9.5 und der Weg bis Transformers v5
Die Releases liegen etwa ein halbes Jahr auseinander: v0.9.3 im Juni 2025, v0.9.4 mit dem Titel Goodbye 2025 am 31. Dezember 2025 und v0.9.5 am 30. Mai 2026, demselben Tag wie der letzte Push im main-Branch. Das Change-Log im README dokumentiert Zwischenstände enger, etwa die Unterstützung von GPT-OSS im August 2025 und ein Megatron-Core-Trainingsbackend mit mcoreadapter im Oktober 2025.
Für die Upgrade-Planung bedeutet das: Releases sind Meilensteine, der laufende Fortschritt steht im Change-Log. Wer auf dem main-Branch arbeitet, bekommt Modellunterstützung früher, trägt aber das Risiko unbelegter Zwischenstände.
Apache-2.0, Community-Kanäle und die dünne Dokumentationslage
Die Lizenz ist Apache-2.0 und erlaubt kommerzielle Nutzung, Modifikation und Weitergabe bei Wahrung des Urheberhinweises; für Unternehmen ist das ein üblicher Rahmen ohne Hürden. Die Community-Kanäle liegen auf Discord und WeChat, dazu gibt es einen eigenen Blog unter blog.llamafactory.net.
Die Grenze des Projekts ist die Doku: Die Hauptdokumentation ist als in Arbeit markiert, und vieles Wissen steckt in Change-Log-Einträgen, Blogposts und separaten Backend-Anleitungen. Wer LlamaFactory in den Betrieb nimmt, plant Zeit für README und Release-Notes ein, nicht nur für die Dokumentationsseite.
Redaktionelles Fazit
LlamaFactory passt für Teams, die ein einziges Werkzeug für Fine-Tuning und anschließende Inferenz über viele Modellfamilien wollen und mit einem aktiven, releaseorientierten Projekt leben können. Es passt weniger, wenn eine fertig dokumentierte Enterprise-Lösung gebraucht wird; die Dokumentation ist laut Projekt selbst in Arbeit, und die Algorithmenvielfalt zieht Drittabhängigkeiten nach sich. Vor dem Start prüft man das PyPI-Paket llamafactory in der eigenen GPU-Umgebung, startet einen Kurzdurchlauf über die CLI und vergleicht die Day-0-Tabelle im README mit den eigenen Zielmodellen wie Qwen3 oder Llama 4.
Community-Notizen