VibeThinker: 1,5 Milliarden Parameter, die auf AIME24 vor DeepSeek R1 landen

Das Problem: Reasoning-Fähigkeit galt als Frage der Modellgröße

Die verbreitete Annahme lautet, dass robustes mehrstufiges Schlussfolgern eine bestimmte Parameterzahl voraussetzt. VibeThinker-1.5B tritt gegen diese Annahme an. Das Modell hat 1,5 Milliarden Parameter und wird im README ausdrücklich als dicht bezeichnet, also ohne Mixture-of-Experts-Routing. Die Zielgruppe sind weniger Endanwender als vielmehr Teams, die Reasoning-Modelle nachtrainieren oder auf eigener Hardware betreiben wollen und dafür ein kleines Ausgangsmodell brauchen. Der Anspruch im README ist konkret beziffert: AIME24 erreicht 80,3 gegenüber 79,8 beim ursprünglichen DeepSeek R1, AIME25 74,4 gegenüber 70,0, HMMT25 50,4 gegenüber 41,7. Diese Zahlen stammen aus dem Projekt selbst und sind nicht unabhängig nachvollzogen. Bemerkenswert ist weniger der absolute Wert als das Verhältnis: Ein Modell mit 1,5B Parametern wird hier gegen eines gestellt, das mehr als 400-mal größer ist. Wer heute ein kleines Modell für Mathematik feinjustieren will, hat damit einen Referenzpunkt, an dem er sich messen lassen muss.

Spectrum-to-Signal: erst breit streuen, dann das Richtige verstärken

Das Trainingsrezept heißt im README Spectrum-to-Signal Principle (SSP) und zerfällt in zwei Phasen. In der SFT-Phase kommt eine Two-Stage Diversity-Exploring Distillation zum Einsatz. Das Ziel dieser Stufe ist ausdrücklich Vielfalt, nicht Korrektheit: Es wird ein breites Spektrum an Lösungswegen erzeugt, damit das Modell später überhaupt Alternativen zur Verfügung hat. Erst in der RL-Phase greift MaxEnt-Guided Policy Optimization (MGPO), die aus diesem Spektrum das korrekte Signal herausverstärkt. Die Reihenfolge ist der eigentliche Punkt. Wer zuerst auf Korrektheit filtert, verliert die seltenen, aber richtigen Lösungswege, die das Modell später braucht. VibeThinker-3B führt dieselbe Idee in einer erweiterten Form weiter: curriculum-basiertes SFT, Multi-Domain-RL, Offline-Selbst-Destillation und Instruction-RL. Die Offline-Selbst-Destillation ist der Schritt, der die zuvor getrennt trainierten Fähigkeiten wieder in einem Modell zusammenführt. Ob dieser Zusammenführungsschritt bei 1,5B ebenfalls stattfindet, geht aus dem README nicht hervor. Dort ist nur von den zwei Phasen SFT und RL die Rede.

CLR: Testzeit-Skalierung, die eine Verifikation braucht

VibeThinker-3B bringt mit Claim-Level Reliability Assessment (CLR) eine Strategie zur Skalierung zur Inferenzzeit mit. Das Verfahren bewertet einzelne Aussagen im generierten Text auf ihre Verlässlichkeit und hebt so die Trefferquote auf Benchmark-Aufgaben: AIME26 von 94,3 auf 97,1, HMMT25 von 89,3 auf 95,4, BruMO25 auf 99,2. Diese Werte stehen im README ohne Angabe, wie viele zusätzliche Token pro Antwort erzeugt werden. Das ist eine relevante Lücke, denn CLR ist kein Gratis-Schritt. Ein separates Papier zu CLR ist seit dem 12.08.2026 über arXiv abrufbar, der zugehörige Code liegt in einem eigenen Repository unter github.com/WeiboAI/CLR, nicht in diesem hier. Wer CLR einsetzen will, muss also ein zweites Repository einbinden. Der Gewinn ist außerdem an eine Bedingung geknüpft, die im README offen benannt wird: Das Modell ist für Aufgaben mit verlässlichen Verifikationssignalen gedacht. Wo es kein eindeutig prüfbares Ergebnis gibt, greift weder das Training noch CLR.

Was das Repository liefert und was nicht

Der Name des Repositories suggeriert ein Softwarepaket. Tatsächlich enthält es laut README keine Inferenz- oder Trainingsskripte. Es verlinkt auf Hugging Face und ModelScope, wo die Gewichte für VibeThinker-1.5B und VibeThinker-3B liegen, sowie auf technische Berichte und arXiv-Papiere. Die einzigen im README sichtbaren Referenzen auf lokale Dateien sind die Abbildungen unter ./figures/. Es gibt keine Installationsanweisung, keine Abhängigkeitsliste, keinen Beispielaufruf, keine Konfigurationsdatei. Wer das Modell nutzen will, lädt die Gewichte von Hugging Face und baut die Inferenz selbst, üblicherweise über eine Bibliothek wie transformers. Das ist kein Fehler des Projekts, aber es verschiebt den Aufwand vollständig zum Nutzer. Ein Modell dieser Größe lässt sich auf einer einzelnen GPU betreiben, doch welche Präzision, welcher Kontextpuffer und welches Sampling sinnvoll sind, muss man aus dem technischen Bericht oder durch eigenes Probieren ermitteln. Das README gibt dazu nichts her.

Die Kostenangabe von 7.800 Dollar und ihre Grenzen

Das README stellt die Nachtrainierungskosten von VibeThinker-1.5B denjenigen von DeepSeek R1 mit 294.000 Dollar und MiniMax-M1 mit 535.000 Dollar gegenüber und nennt für das eigene Verfahren 7.800 Dollar, eine Reduktion um den Faktor 30 bis 60. Diese Zahl ist die stärkste Behauptung im Dokument und zugleich die am wenigsten überprüfbare. Es fehlt jede Aufschlüsselung: Rechenzeit, Hardwaretyp, Anzahl der Durchläufe, Kosten für Datenaufbereitung und Fehlversuche. Wer Budgetplanung auf dieser Zahl aufbauen will, sollte den technischen Bericht heranziehen und prüfen, was dort tatsächlich eingerechnet ist. Unabhängig davon ist der strukturelle Punkt plausibel: Ein 1,5B-Modell zu trainieren ist um Größenordnungen billiger als ein Modell mit dreistelliger Milliardenzahl an Parametern, und genau darin liegt der Reiz des Ansatzes. Nur ist die Ersparnis kein Verdienst des Rezepts allein, sondern folgt schon aus der Modellgröße.

Der Vergleich mit Qwen: dasselbe Basismodell, ein anderer Trainingsweg

VibeThinker-3B baut laut README auf Qwen2.5-Coder-3B auf und wird anschließend mit der SSP-Pipeline nachtrainiert. Damit ist die Alternative direkt benannt und der Unterschied messbar: Es ist dasselbe Basismodell mit einem anderen Post-Training. Wer Qwen2.5-Coder-3B direkt einsetzt, bekommt ein Modell, das auf Code ausgerichtet ist und ohne den Reasoning-Zusatzschritt auskommt. Wer VibeThinker-3B einsetzt, tauscht generality gegen Spitzenwerte auf verifizierbaren Benchmarks. Das ist ein echter Zielkonflikt, kein Marketing. Ein Modell, dessen Training auf Aufgaben mit eindeutig prüfbaren Antworten ausgerichtet ist, verhält sich bei offenen Textaufgaben, bei mehrdeutigen Anweisungen oder bei Aufgaben mit weichen Kriterien nicht zwangsläufig besser als sein Basismodell. Die im README genannten 96,1 Prozent Annahmerate bei LeetCode-Wettbewerben zwischen dem 25. April und dem 31. Mai 2026 sind ein Beispiel für einen Bereich, in dem das Training greift, weil die Bewertung automatisch erfolgt.

Lizenz und Wartung: MIT für das Repository, nicht automatisch für die Gewichte

Das Repository steht unter MIT. Diese Lizenz gilt für den Inhalt des Repositories, also README, Abbildungen und gegebenenfalls weitere Dateien. Die Modellgewichte liegen auf Hugging Face und ModelScope und können dort eigenen Bedingungen unterliegen. Wer VibeThinker kommerziell einsetzen will, muss die Lizenzangabe auf der jeweiligen Modellkarte prüfen und nicht die des GitHub-Repositories. Das ist keine Rechtsberatung, sondern ein Hinweis auf eine Prüfung, die vor dem Einsatz ansteht. Zur Wartung lässt sich aus dem Material nur wenig ableiten. Der letzte Push liegt laut Repository-Metadaten auf dem 14.08.2026, das Projekt ist nicht archiviert. Es gibt keine abgerufenen Releases. Die Aktivität konzentriert sich erkennbar auf Modellveröffentlichungen und Papiere, nicht auf Softwarepflege, was zur Beobachtung passt, dass hier kein Code gepflegt wird. Upgrade-Kosten entstehen daher weniger durch Abhängigkeiten als durch einen Modellwechsel: Wer von 1,5B auf 3B wechselt, muss die Inferenz neu dimensionieren und die CLR-Komponente aus dem separaten Repository ergänzen.

Für wen sich der Einsatz lohnt und für wen nicht

VibeThinker ist kein Werkzeug für allgemeine Textarbeit. Es ist ein Baustein für Aufgaben, bei denen sich die richtige Antwort automatisch feststellen lässt: Mathematik, Wettbewerbsprogrammierung, STEM-Aufgaben mit eindeutigem Ergebnis. Wer ein solches Modell auf eigener Hardware betreiben oder als Ausgangspunkt für eigenes Nachtraining verwenden will, bekommt hier Gewichte unter MIT für das Repository und ein im README beschriebenes Rezept, das sich nachvollziehen lässt. Wer dagegen eine fertige Bibliothek mit Installationsanleitung erwartet, wird enttäuscht: Es gibt keine. Und wer Aufgaben ohne überprüfbares Ergebnis lösen will, sollte von vornherein ein anderes Modell wählen, weil das gesamte Trainingsverfahren auf Verifikationssignale angewiesen ist. Vor dem ersten Einsatz sind drei Dinge zu klären: ob die Modellkarte auf Hugging Face dieselbe Lizenz nennt wie das Repository, ob der technische Bericht die Kostenangabe von 7.800 Dollar aufschlüsselt, und ob die eigenen Aufgaben überhaupt ein prüfbares Ergebnis haben. Fällt die dritte Frage negativ aus, erübrigt sich der Rest.

Redaktionelles Fazit

Wer ein 1,5B-Modell für Mathematik und kompetitives Programmieren sucht und bereit ist, die Inferenz selbst zu bauen, findet in VibeThinker-1.5B ein unter MIT lizenziertes Modell mit dokumentierten AIME24-Werten von 80,3. Wer eine fertige Pipelines mit tokenizer_config.json, chat_template und generativen Konfigurationen erwartet, sollte vor dem Download prüfen, was auf der Hugging-Face-Modellkarte tatsächlich liegt, denn das Repository selbst liefert diese Dateien nicht. Für Aufgaben ohne verifizierbares Ergebnis ist VibeThinker das falsche Werkzeug.

Offizielle Quellen

1. Issues
2. License: MIT
3. README
4. WeiboAI/VibeThinker on GitHub