Chinese-LLaMA-Alpaca-3: Llama 3 mit chinesischem Korpus statt erweitertem Vokabular

Welche Lücke das Projekt für chinesische Llama-3-Nutzung schließt

Meta Llama 3 ist stark auf Englisch ausgerichtet. Das Repository beschreibt den Ausgangspunkt so: Die Modelle wurden auf Basis von Llama 3 mit umfangreichen chinesischen Daten inkrementell vorab trainiert und anschließend mit ausgewählten Instruktionsdaten feinabgestimmt, um chinesische Grundsemantik und Instruktionsverständnis zu verbessern. Genau das ist der Zweck: Ein 8B-Modell, das chinesische Prompts nicht als Fremdsprache behandelt. Die Zielgruppe sind Entwickler und Forschende, die ein chinesisches Modell dieser Größe selbst betreiben oder weiter trainieren wollen. Das Repository liefert dafür zwei Modelllinien. Llama-3-Chinese-8B ist ein Basismodell für Textfortsetzung, also gegebenen Anfangstext weiterzuschreiben. Llama-3-Chinese-8B-Instruct ist die dialogfähige Variante für Frage-Antwort, Schreiben und interaktive Nutzung. Die README ist dabei deutlich: Für Chat-Interaktion ist die Instruct-Version zu wählen. Wer das Basismodell für ein Frage-Antwort-System einsetzt, umgeht die Instruktionsabstimmung und bekommt keine verlässlichen Antworten.

Warum die Tokenizer unangetastet bleibt

Die interessanteste Designentscheidung betrifft das Vokabular. Llama 3 hat die Vokabulargröße gegenüber den Vorgängern von 32K auf 128K erweitert und verwendet eine BPE-Tokenizer. Die Projektautoren haben gemessen, dass die Kodiereffizienz der Original-Tokenizer auf chinesischen Wikipedia-Daten etwa 95 Prozent der Effizienz ihrer eigenen erweiterten Tokenizer aus Chinese-LLaMA-2 erreicht. Auf dieser Grundlage und mit Verweis auf eine eigene Untersuchung zu Chinese Mixtral haben sie auf eine Vokabelerweiterung verzichtet. Das ist eine Abwägung mit Folgen: Man spart sich das Nachtrainieren der Embedding-Matrix und bleibt mit jedem Werkzeug kompatibel, das die Standard-Llama-3-Tokenizer erwartet. Der Preis ist eine etwas geringere Token-Effizienz bei chinesischem Text, was sich in Kontextverbrauch und Rechenzeit niederschlägt. Wer die Entscheidung nachvollziehen will, findet den Verweis auf die Arbeit von Cui und Yao aus dem Jahr 2024 in der README. Eine unabhängige Nachmessung auf dem eigenen Korpus bleibt dem Leser überlassen.

Drei Instruct-Generationen mit unterschiedlichem Rezept

Die Instruct-Modelle sind in drei Ständen veröffentlicht, und die Unterschiede liegen im Trainingsweg. Instruct-v1 entstand in zwei Phasen: erst Vortraining auf 120 GB chinesischem Korpus, dann Feinabstimmung auf fünf Millionen Instruktionsdaten. Instruct-v2 hat die Vortrainingsphase übersprungen und direkt auf Meta-Llama-3-8B-Instruct mit denselben fünf Millionen Instruktionsdaten feinabgestimmt. Instruct-v3 kombiniert die Vorgänger: eine Modellverschmelzung aus inst-v1, inst-v2 und inst-meta, gefolgt von einer kurzen Feinabstimmung auf etwa 5.000 Instruktionsbeispielen. Laut README empfiehlt das Projekt ohne klare Präferenz die v3-Version. Die abgeschnittene Tabelle nennt für die chinesischen Fähigkeiten die Werte 49,3 und 51,5 für die ersten beiden Varianten, die v3-Zeile fehlt im vorliegenden Material. Wer v3 gegenüber v2 einordnen will, muss die vollständige Tabelle im Repository oder im Release-Log zu v3.0 nachsehen. Diese drei Rezepte in wenigen Wochen zu veröffentlichen zeigt eine schnelle Iteration, lässt aber auch die Frage offen, wie stabil die jeweiligen Ergebnisse über Prüfsätze hinweg sind.

Trainings- und Inferenzweg laut Repository

Das Projekt liefert Pretraining- und Instruktions-Finetuning-Skripte, sodass Nutzer selbst weiter trainieren können. Beide Modelllinien wurden nach Angaben der README mit LoRA trainiert, kombiniert mit vollständigem Training von Embedding- und LM-Head-Schichten. Die genauen Aufrufe stehen in den Skripten des Repositories und in der Wiki, nicht in der README selbst, daher sind hier keine Kommandozeilen zitiert. Für die Ausführung nennt die README Unterstützung für transformers, llama.cpp, text-generation-webui, vLLM und Ollama. Der praktische Weg für Rechner ohne große GPU führt über Quantisierung und llama.cpp, die README verweist dazu auf eine eigene Anleitung. Für Server-Deployments mit Durchsatzanspruch ist vLLM der naheliegende Kandidat aus dieser Liste. Ein Detail mit Stolperpotential: Das Instruct-Modell erwartet das Llama-3-Instruct-Template, das mit dem Llama-2-Chat-Format nicht kompatibel ist. Wer eine bestehende Pipeline mit Llama-2-Prompt-Aufbau weiterverwendet, bekommt schlechtere Ergebnisse, ohne dass ein Fehler auftritt. Das Basismodell braucht dagegen kein Template.

Freigegebene Daten und ihre Grenzen

Neben den Gewichten veröffentlicht das Projekt drei Instruktionsdatensätze: alpaca_zh_51k, stem_zh_instruction und ruozhiba_gpt4 in den Varianten 4o und 4T. Das ist für ein Modellprojekt dieser Art ungewöhnlich und erleichtert die Reproduktion der Feinabstimmung. Der Umfang von alpaca_zh_51k deutet auf rund 51.000 Beispiele hin, was weit unter den fünf Millionen Instruktionsdaten liegt, die für das Training der Modelle genannt werden. Die freigegebenen Daten sind also nicht der vollständige Trainingsmix. Wer die Modelle exakt nachbauen will, kann das mit diesen Datensätzen allein nicht. Für eigene Feinabstimmungen sind sie trotzdem brauchbar, insbesondere die STEM- und die ruozhiba-Daten, sofern die jeweilige Herkunft und Lizenz der Beispiele vor einer kommerziellen Nutzung geprüft wird. Das Repository macht dazu im vorliegenden Ausschnitt keine Angaben.

Wo das Modell an seine Grenzen kommt

Die Kontextlänge von 8.000 Token ist die härteste Einschränkung. Die README nennt PI, NTK und YaRN als Verfahren, mit denen sich das Fenster nachträglich erweitern lässt, liefert aber keine Konfiguration und keine Aussage zur Qualität nach einer solchen Erweiterung. Wer Dokumente verarbeitet, die regelmäßig über 8K hinausgehen, muss diesen Schritt selbst entwickeln und evaluieren. Ein zweiter Punkt ist die Modellgröße. Mit 8B Parametern liegt das Modell in einem Bereich, in dem komplexes Schlussfolgern über mehrere Schritte hinweg typischerweise schwächer ausfällt als bei deutlich größeren Modellen. Das ist keine Projektschwäche, sondern eine Eigenschaft der Größenklasse, die bei der Auswahl berücksichtigt werden sollte. Drittens: Das Projekt ist eine Sammlung von Gewichten und Skripten, kein Dienst. Es gibt kein Serving-Setup, kein Monitoring, keine Betriebsanleitung für Ausfälle. Wer eine API mit Zusagen braucht, muss diese Schicht selbst bauen.

Was ein Wechsel zu Qwen oder Yi praktisch ändert

Der naheliegende Vergleich sind chinesische Modellfamilien, die von Anfang an zweisprachig trainiert wurden, etwa Qwen oder Yi. Der Unterschied liegt nicht in der Sprache, sondern im Weg dorthin. Chinese-LLaMA-Alpaca-3 ist eine Anpassung eines englisch dominierten Basismodells an Chinesisch durch Nachtraining. Qwen und Yi wurden mit chinesischen Daten von Beginn an trainiert. Das wirkt sich auf die Werkzeugkette aus: Wer bei Llama 3 bleibt, erbt dessen Ökosystem, also llama.cpp, vLLM, Ollama und die Standard-Tokenizer, und kann bei Bedarf auf die englischen Fähigkeiten des Basismodells zurückgreifen. Wer zu Qwen wechselt, bekommt in der Regel eigene Tokenizer und eigene Chat-Templates, dafür aber ein Modell, dessen chinesische Leistung nicht das Ergebnis einer Nachrüstung ist. Die Entscheidung hängt damit weniger an Benchmarks als daran, wie viel Gewicht die Kompatibilität mit der Llama-3-Werkzeugkette im eigenen Stack hat.

Wartung, Lizenz und was vor dem Einsatz zu klären ist

Der letzte Push stammt vom 19. April 2026, die letzte Veröffentlichung v3.0 vom 30. Mai 2024. Die Modellversionen selbst wurden also seit Mai 2024 nicht mehr erweitert, auch wenn am Repository weiter gearbeitet wurde. Wer heute adoptiert, sollte damit rechnen, dass neue Modellgenerationen nicht kurzfristig nachgeliefert werden. Die Lizenzlage ist zweigeteilt und der wichtigste Prüfpunkt. Der Code und die freigegebenen Datensätze stehen unter Apache-2.0. Die Modellgewichte bauen jedoch auf Meta Llama 3 auf und unterliegen der Meta-Llama-3-Lizenz, die eigene Bedingungen für die Nutzung mitbringt. Das Repository verlinkt auf die Original-Modellseiten von Meta, wo diese Bedingungen nachzulesen sind. Eine rechtliche Bewertung ist hier nicht möglich und auch nicht beabsichtigt. Praktisch heißt das: Vor einem kommerziellen Einsatz ist zu klären, ob die eigene Nutzung die Meta-Bedingungen erfüllt, und ob die Herkunft der freigegebenen Instruktionsdaten das zulässt. Wer das geklärt hat und ein 8B-Modell mit 8K-Kontext für chinesische Aufgaben selbst betreiben will, hat mit diesem Repository eine dokumentierte Grundlage.

Redaktionelles Fazit

Wer ein 8B-Modell für chinesische Textaufgaben lokal oder auf eigener GPU betreiben will und bereit ist, die Hugging-Face-Gewichte selbst zu laden, findet hier eine Apache-2.0-lizenzierte Basis mit nachvollziehbarer Trainingsbeschreibung. Wer einen gehosteten Dienst mit SLA, mehrsprachige Produktionsqualität oder Kontext jenseits von 8K braucht, sollte nicht mit diesem Repository beginnen. Vor dem Einsatz ist zu prüfen, ob die eigene Nutzung die Meta-Llama-3-Lizenz erfüllt, denn die Projektlizenz deckt nur den Code und die freigegebenen Daten, nicht die Modellgewichte.

Offizielle Quellen

1. Issues
2. License: Apache-2.0
3. README
4. Releases
5. ymcui/Chinese-LLaMA-Alpaca-3 on GitHub