Chinese-LLaMA-Alpaca-2: Llama-2 mit neuem chinesischem Vokabular und 64K-Kontext
中文LLaMA-2 & Alpaca-2大模型二期项目 + 64K超长上下文模型 (Chinese LLaMA-2 & Alpaca-2 LLMs with 64K long context models)
Auf einen Blick
- Was ist das?
- Das Projekt liefert chinesische Llama-2-Checkpoints mit überarbeitetem Tokenizer, YaRN-basierten Langkontextvarianten bis 64K und Skripte für Vortraining und Instruction-Tuning. Wer Chinesisch braucht, aber nicht die dritte Generation des Nachfolgeprojekts einsetzen will, findet hier einen abgeschlossenen Stand mit klaren Grenzen.
- Für wen ist es gedacht?
- Sinnvoll ist das Projekt für Teams, die einen chinesischen Llama-2-Stand mit 4K-, 16K- oder 64K-Kontext selbst hosten oder nachtrainieren wollen und bereit sind, die Gewichte separat zu beziehen. Wer auf dem aktuellen Stand von Llama-3 aufsetzen will, sollte stattdessen Chinese-LLaMA-Alpaca-3 prüfen, auf das das Repository selbst verweist.
- Darf ich es kommerziell nutzen?
- Ja. Apache-2.0 ist eine freizügige Lizenz: Sie dürfen darauf aufbauende Software nutzen, verändern und verkaufen, solange Sie die Urheberrechts- und Lizenzhinweise beibehalten.
- Wird es noch gepflegt?
- Ja. Die letzten Commits kamen vor 150 Tagen.
- In welcher Sprache ist es geschrieben?
- Hauptsächlich Python, laut der Sprachstatistik von GitHub.
Die Antworten beruhen auf den GitHub-Daten des Projekts (zuletzt abgeglichen am 15. September 2026) und auf unserer Analyse. Sie sind keine Rechtsberatung.
TIEFGEHENDE OPEN-SOURCE-ANALYSE
Welches Problem der neue Tokenizer löst
Das Projekt richtet sich an Anwender, die ein chinesischsprachiges Sprachmodell lokal betreiben oder weiter trainieren wollen, ohne auf einen Modellendpunkt eines Anbieters angewiesen zu sein. Der Ausgangspunkt ist Llama-2 von Meta. Dessen Vokabular ist auf englischen Text ausgelegt, chinesische Zeichenfolgen zerfallen darin in viele Byte-Fragmente. Das Projekt beschreibt für die erste Generation eine Erweiterung des 32K-Vokabulars (LLaMA auf 49953, Alpaca auf 49954 Einträge). In dieser zweiten Generation wurde ein neues Vokabular mit der Größe 55296 entworfen, das die Abdeckung chinesischer Wörter und Zeichen erhöhen und zugleich die Vokabulare von LLaMA- und Alpaca-Zweig vereinheitlichen soll, um Probleme beim Mischen unterschiedlicher Tokenizer zu vermeiden. Das ist der Kern des Nutzens: weniger Token pro chinesischem Satz bedeutet kürzere Sequenzen und damit geringeren Rechen- und Speicherbedarf bei gleichem Textumfang. Wer überwiegend englisch arbeitet, hat von dieser Änderung nichts, sie kostet ihn sogar Kompatibilität mit dem ursprünglichen Llama-2-Tokenizer.
Vom Basismodell zum Chatmodell: der Ablauf
Die Kette ist im Repository offengelegt. Auf Llama-2 folgt eine inkrementelle Vortrainingsphase mit chinesischem Korpus (für Chinese-LLaMA-2-7B nennt die Versionsnotiz 120 GB, dieselbe Datenmenge wie in der Plus-Reihe der ersten Generation). Daraus entsteht das Basismodell Chinese-LLaMA-2, das laut README für Chat-Interaktionen nicht gedacht ist. Auf dieser Basis folgt Instruction-Tuning mit Instruktionsdaten (für 7B rund 5 Mio. Beispiele, laut Release-Notiz etwas mehr als in der ersten Generation), woraus die Alpaca-2-Chatmodelle entstehen. Ein dritter Zweig sind die RLHF-Modelle Chinese-Alpaca-2-RLHF in 1.3B und 7B, die laut README die Fähigkeit verbessern sollen, bestimmte Wertvorstellungen zu vermitteln; sie werden wie die SFT-Modelle verwendet. Die Modellmatrix umfasst Basismodelle mit 4K-Kontext in 1.3B, 7B und 13B, Chatmodelle derselben Größen, Langkontextvarianten mit 16K (7B, 13B) und 64K (7B) sowie die RLHF-Varianten. Wer eine bestimmte Kombination aus Größe, Kontextlänge und Trainingsstufe braucht, muss also gezielt auswählen, nicht einfach irgendeinen Checkpoint laden.
Wie die 64K-Kontexte zustande kommen
Die Kontexterweiterung ist nicht durch bloßes Setzen eines Parameters erledigt. Das Projekt nennt drei Verfahren. Position Interpolation (PI) und NTK-basierte Ansätze liegen den 16K-Modellen zugrunde; über NTK lässt sich laut README auf 24K bis 32K erweitern. Für die 64K-Varianten wird YaRN verwendet. Ergänzend beschreibt das Repository eine adaptive Erfahrungsformel, die den NTK-Hyperparameter abhängig von der Zielkontextlänge selbst bestimmt, sodass man ihn nicht pro Länge von Hand einstellen muss. Das ist der praktisch relevanteste Teil, denn die Konfiguration des Skalierungsfaktors ist bei solchen Erweiterungen die übliche Fehlerquelle. Alle Modelle wurden laut README mit FlashAttention-2 trainiert, was bei langen Sequenzen den Speicherbedarf der Attention begrenzt. Ob die Qualität bei voller Auslastung des 64K-Fensters hält, was die Trainingskonfiguration verspricht, lässt sich aus dem vorliegenden Material nicht beurteilen; dazu müsste man eigene Messungen mit langen Eingaben fahren.
Installation und Betrieb: was das Repository vorgibt
Das Projekt liefert keine Gewichte im Repository selbst, sondern verweist auf Download-Adressen für die einzelnen Modelle. Für den Betrieb nennt das README Unterstützung für transformers, llama.cpp, text-generation-webui, LangChain, privateGPT und vLLM. Der übliche Weg für Rechner ohne große GPU ist die Quantisierung: Das README beschreibt, dass sich Modelle auf CPU oder GPU eines privaten Rechners quantisieren und dort betreiben lassen; die Release-Notizen zu v4.1 nennen neue GGUF-Modelle mit imatrix-Quantisierung sowie AWQ-Modelle. Für vLLM wird in derselben Notiz die Unterstützung zum Laden der YaRN-Langkontextmodelle erwähnt. Wer selbst trainieren will, findet im Repository Skripte für Vortraining und Instruction-Tuning. Ein wichtiger Hinweis steht im News-Abschnitt selbst: Ab dem 30.04.2024 empfiehlt das Projekt allen Nutzern der ersten und zweiten Generation den Wechsel auf Chinese-LLaMA-Alpaca-3. Das Repository ist also ein abgeschlossener Stand, nicht der aktive Zweig des Autors.
Grenzen: Kontextlänge, Sprachfokus, Lizenzkette
Drei Einschränkungen fallen auf. Erstens ist die Sprachabdeckung bewusst einseitig: Der Nutzen stammt aus dem chinesischen Vokabular und dem chinesischen Vortraining. Für rein englische oder mehrsprachige Aufgaben ist ein Modell ohne diesen Umbau die naheliegendere Wahl, weil Tokenizer-Änderungen bestehende Tokenisierungs-Pipelines brechen. Zweitens ist 64K nicht für alle Größen verfügbar. Die 64K-Varianten existieren laut README nur für 7B (Chinese-LLaMA-2-64K und Chinese-Alpaca-2-64K); 13B endet bei 16K. Wer 13B braucht und 64K Kontext will, findet hier keine Lösung. Drittens die Lizenzkette: Der Code steht unter Apache-2.0, die Modellgewichte werden separat bezogen und bauen auf Llama-2 von Meta auf, dessen eigene Nutzungsbedingungen gelten. Wer die Modelle kommerziell einsetzen will, muss diese Bedingungen prüfen; das Repository ersetzt diese Prüfung nicht. Eine rechtliche Bewertung kann dieser Text nicht liefern.
Abgrenzung zu Qwen und zu Llama-3-Chinese
Die naheliegende Alternative ist Qwen, das chinesischsprachige Modelle von Grund auf mit einem auf Chinesisch ausgelegten Vokabular trainiert, statt ein englisches Vokabular nachträglich zu erweitern. Der Unterschied liegt im Ausgangspunkt: Hier wird ein englisches Basismodell um chinesische Token ergänzt und mit 120 GB chinesischem Korpus nachtrainiert; bei Qwen ist Chinesisch von Beginn an Teil der Trainingsverteilung. Für Aufgaben, die stark auf chinesischem Weltwissen und Idiomatik liegen, ist das ein relevanter Unterschied, der sich allerdings nur mit eigenen Vergleichen auf der eigenen Aufgabe bewerten lässt. Die zweite Alternative liegt im selben Haus: Chinese-LLaMA-Alpaca-3, das auf Llama-3 aufsetzt und vom Repository selbst als Upgrade für alle Nutzer der ersten und zweiten Generation empfohlen wird. Wer neu startet, hat wenig Grund, bei Generation zwei zu beginnen, es sei denn, er braucht genau die hier verfügbaren 64K- oder RLHF-Varianten oder hat bereits auf diesem Stand trainiert.
Wartung, Upgrades und was vor dem Einsatz zu prüfen ist
Die letzte Veröffentlichung ist v4.1 vom 23.01.2024, davor v4.0 vom 29.12.2023 und v3.2 vom 26.10.2023. Der letzte Push auf den Standardbranch datiert auf den 19.04.2026, das Repository ist nicht archiviert. Aus den Release-Notizen lässt sich ablesen, was ein Upgrade zwischen den Versionen mitbringt: v4.1 ergänzte GGUF-Modelle mit imatrix-Quantisierung, AWQ-Modelle und vLLM-Unterstützung für YaRN-Modelle; v4.0 brachte die 64K-Modelle und die RLHF-Varianten. Ein Wechsel der Kontextlänge bedeutet in der Regel neue Gewichte, nicht nur eine andere Konfigurationsdatei. Für den Betrieb heißt das: Quantisierte GGUF-Dateien und das Basismodell müssen zusammenpassen, und die YaRN-Konfiguration darf nicht zwischen ihnen wechseln. Wer das Projekt einsetzt, sollte zuerst die Modellwahl anhand der Tabelle im README festlegen, dann die passende Quantisierung wählen und erst danach die Serving-Schicht (llama.cpp, vLLM oder text-generation-webui) konfigurieren. Ein Blick in die Wiki-Seiten des Repositories ist sinnvoll, weil das README an mehreren Stellen dorthin verweist statt Details auszuführen.
Redaktionelles Fazit
Sinnvoll ist das Projekt für Teams, die einen chinesischen Llama-2-Stand mit 4K-, 16K- oder 64K-Kontext selbst hosten oder nachtrainieren wollen und bereit sind, die Gewichte separat zu beziehen. Wer auf dem aktuellen Stand von Llama-3 aufsetzen will, sollte stattdessen Chinese-LLaMA-Alpaca-3 prüfen, auf das das Repository selbst verweist. Vor dem Einsatz zu klären: ob das gewählte Kontextfenster über die mitgelieferte YaRN-Konfiguration tatsächlich abgedeckt ist und ob die Lizenz der separat geladenen Basisgewichte zum eigenen Vorhaben passt.
Community-Notizen