mlabonne/llm-datasets: eine kuratierte Liste als Einstiegspunkt für Post-Training-Daten

Welches Problem die Liste löst und für wen sie gedacht ist

Post-Training beginnt mit einer Entscheidung, die sich nicht aus dem Modell ableiten lässt: Welche Daten bekommt das Modell zu sehen. Das Repository adressiert genau diesen Punkt. Es versammelt Datensätze für Supervised Fine-Tuning und angrenzende Verfahren, gruppiert nach General, Math, Science und Code, und ergänzt jeden Eintrag um Angaben zur Größe, zur Frage, ob Denkspuren enthalten sind, und um Herkunftshinweise. Der Nutzen liegt nicht in der Datenmenge, sondern in der Vorauswahl. Wer zum Beispiel einen Mathematik-Datensatz mit verifizierten Denkspuren sucht, sieht in der Tabelle unter Math mehrere Kandidaten mit unterschiedlicher Herkunft: OpenThoughts3-1.2M ist mit QwQ-32B annotiert, NuminaMath-CoT stammt aus dem Umfeld des AI Math Olympiad, Nemotron-Math-Proofs-v1 kombiniert natürlichsprachige Beweise mit Lean-4-Formalisierungen. Diese Unterschiede sind für die Auswahl relevanter als die Zahl der Beispiele.

Die Zielgruppe ist enger, als der Titel vermuten lässt. Angesprochen sind Praktiker, die bereits wissen, welchen Trainingsschritt sie planen, und nun Material dafür brauchen. Wer noch nicht entschieden hat, ob Instruction Tuning, Distillation oder Reinforcement Learning der nächste Schritt ist, bekommt hier keine Entscheidungshilfe, sondern eine Materialliste. Auch wer Daten selbst erzeugen will, profitiert nur indirekt, weil das Repository zwar Kriterien nennt, aber keine Erzeugungswerkzeuge bereitstellt.

Die drei Kriterien im README und was sie in der Praxis bedeuten

Das README benennt drei Eigenschaften, an denen sich ein guter Datensatz messen lassen soll: Accuracy, Diversity und Complexity. Accuracy wird mit faktischer Korrektheit und Relevanz zur jeweiligen Instruktion verbunden, wobei für Mathematik Löser und für Code Unit-Tests als Prüfinstanz genannt werden. Diversity meint Abdeckung möglichst vieler Anwendungsfälle, um nicht außerhalb der Verteilung zu landen. Complexity umfasst Mehrfachrunden, Mehrsprachigkeit und schrittweise Begründungen.

Bemerkenswert ist, dass die Liste diese Kriterien nicht systematisch auf jeden Eintrag anwendet. Die Spalte Thinking ist ein grobes Signal für Complexity, die Spalte mit der Anzahl der Beispiele sagt nichts über Diversity, und Accuracy wird nur dort erwähnt, wo die Herkunft der Antworten bekannt ist, etwa bei verifizierten Spuren aus DeepSeek-R1-0528 oder bei Lean-4-verifizierten Beweisen. Man kann daraus eine brauchbare Heuristik ableiten: Einträge mit einer nachvollziehbaren Prüfkette sind für anspruchsvolle Domänen die sicherere Wahl, Einträge ohne solche Angaben bleiben eine Wette auf die Herkunft. Das README empfiehlt, zur Qualitätssicherung manuelle Prüfung, regelbasierte Filter und Bewertung durch Judge-Modelle oder Reward-Modelle zu kombinieren. Diese Empfehlung steht im Text, nicht als Werkzeug im Repository.

Struktur des Repositories: Tabellen statt Pipeline

Das Repository besteht im Wesentlichen aus einer README-Datei mit Markdown-Tabellen. Pro Domäne gibt es eine Tabelle mit vier Spalten: Dataset, Anzahl der Beispiele, Thinking und Notes. Die Notes enthalten in vielen Fällen die Lizenz in Klammern, das Veröffentlichungsdatum, den Ursprung der Antworten und Verweise auf zugehörige Papiere oder Blogbeiträge. Ein typischer Eintrag nennt einen Datensatz, eine Größenordnung, ein Ja oder Nein bei Thinking und einen Satz zur Zusammensetzung.

Es gibt keine Konfigurationsdateien, keine Skripte zum Herunterladen, keine Schemadefinitionen und keine Tests. Der Datenfluss endet beim Klick auf den Hugging-Face-Link. Das ist für eine kuratierte Liste konsequent, hat aber eine Folge, die man kennen sollte: Es existiert keine maschinenlesbare Fassung der Auswahl. Wer die Liste programmatisch auswerten will, muss die Markdown-Tabellen selbst parsen, und dabei gehen die Lizenzangaben aus den Klammern leicht verloren. Für einen einmaligen Überblick ist das unerheblich, für einen wiederkehrenden Beschaffungsprozess bedeutet es Zusatzarbeit.

Lizenzen: die pauschale Zusage und ihre Ausnahmen

Eine Notiz im Abschnitt zu Instruction-Datasets besagt, dass alle dort gelisteten Datensätze permissiven Lizenzen unterliegen, sofern nicht anders angegeben, und nennt Apache 2.0, MIT und CC-BY-4.0 als Beispiele. Diese Zusage ist nützlich, aber sie wird innerhalb derselben Tabelle mehrfach eingeschränkt. Dolci-Instruct-SFT trägt CC-BY-NC-4.0, also eine nichtkommerzielle Lizenz. Nemotron-Cascade-2-SFT-Data steht unter der NVIDIA Open Model License. Im Abschnitt Science finden sich MegaScience unter CC-BY-NC-SA-4.0 und Nemotron-Science-v1 unter CC-BY-4.0, im Abschnitt Math Nemotron-Math-Proofs-v1 unter CC-BY-SA-4.0.

Für die Praxis heißt das: Die pauschale Angabe ist ein Ausgangspunkt, kein Freibrief. Wer kommerziell trainiert, muss den konkreten Eintrag prüfen und die Lizenz im Quell-Repository gegenlesen, weil die Liste keine Gewähr für Aktualität übernimmt und Lizenzen sich ändern können. Bei CC-BY-SA-4.0 und CC-BY-NC-SA-4.0 kommt die Share-Alike-Komponente hinzu, deren Wirkung auf trainierte Gewichte umstritten ist und die dieses Repository nicht erörtert. Eine rechtliche Bewertung kann und will die Liste nicht liefern.

Wo die Liste an ihre Grenzen stößt

Der offensichtlichste Mangel ist die fehlende Bewertung. Die Liste sagt, was existiert, nicht, was funktioniert. Es gibt keine Vergleichszahlen, keine Angabe, mit welchem Basismodell ein Datensatz evaluiert wurde, und keine Hinweise auf bekannte Fehlerquellen in einzelnen Datensätzen. Wer zwischen zwei Kandidaten ähnlicher Größe schwankt, bekommt aus der Tabelle keine Entscheidungshilfe.

Ein zweiter Punkt betrifft die Aktualität. Die Einträge tragen Daten von Juli 2024 bis April 2026. Ein Teil der älteren Datensätze ist in neueren Mischungen bereits aufgegangen, etwa open-perfectblend als offene Reproduktion eines älteren Papiers. Die Liste markiert solche Zusammenhänge, entfernt aber nichts. Das ist für ein Archiv sinnvoll und für eine Auswahl hinderlich, weil veraltete und aktuelle Einträge gleichrangig nebeneinander stehen.

Drittens fehlt jede Aussage zur tatsächlichen Nutzbarkeit. Ob ein Datensatz herunterladbar ist, ob er eine Zustimmung verlangt, ob er nachträglich geändert wurde, steht nicht in der Tabelle. Das Repository ist damit ein Wegweiser, kein Ersatz für die Prüfung am Zielort. Wer eine Trainingspipeline auf einen Eintrag stützt, ohne das Quell-Repository zu öffnen, trägt ein Risiko, das die Liste nicht abfängt.

Was man stattdessen oder ergänzend nutzt

Der naheliegende Vergleich ist der Datensatz-Katalog von Hugging Face selbst. Dessen Ansatz unterscheidet sich grundlegend: Er indexiert automatisiert und filtert nach Feldern wie Aufgabe, Sprache, Größe und Lizenz, ohne eine inhaltliche Einschätzung abzugeben. Die Folge ist ein Katalog mit sehr hoher Abdeckung und ohne Kuratierung. Bei einer Suche nach Mathematik-Datensätzen mit Denkspuren liefert er Dutzende Treffer, darunter viele Dubletten und Datensätze ohne Beschreibung.

mlabonne/llm-datasets macht das Gegenteil: wenige Einträge, dafür mit einem Satz Begründung und einer Einordnung in eine Domäne. Der Preis ist die subjektive Auswahl durch eine einzelne Person. Wer Vollständigkeit braucht, etwa für eine systematische Erhebung verfügbarer Trainingsdaten, ist mit dem Katalog besser bedient. Wer eine Vorauswahl für ein konkretes Projekt braucht, spart mit der kuratierten Liste Zeit. Beide Quellen lassen sich kombinieren: erst die kuratierte Liste als Startpunkt, dann der Katalog, um verwandte oder neuere Fassungen zu finden.

Pflege, Aktualisierung und was das für den Einsatz bedeutet

Das Repository enthält keine Releases und keine Versionsnummern. Der letzte Push liegt laut Metadaten im April 2026, die Einträge reichen bis in diesen Zeitraum, was auf eine fortlaufende Pflege hindeutet. Diese Pflege besteht aus dem Einfügen neuer Zeilen und dem Ergänzen von Hinweisen, nicht aus einer strukturierten Migration. Es gibt keine Changelog-Datei und keine Angabe, wann ein Eintrag als veraltet markiert wird.

Für die Nutzung folgt daraus ein konkretes Vorgehen: Wer die Liste als Referenz in einem Projekt verwendet, sollte den Stand nicht als feste Abhängigkeit behandeln. Ein Verweis auf einen Datensatz bleibt gültig, solange das Quell-Repository existiert, aber die Einordnung in der Liste kann sich ändern, ohne dass dies sichtbar wird. Wer die Auswahl in einer Dokumentation festhält, sollte deshalb das Datum des Eintrags mitführen, das in den Notes steht, und nicht nur den Namen. Bei den Lizenzangaben gilt dasselbe: Sie sind zum Zeitpunkt der Aufnahme korrekt, und die Verantwortung für die Prüfung liegt beim Nutzer.

Für wen sich der Einstieg lohnt

Die Liste richtet sich an Ingenieure und Forscher, die einen Trainingslauf planen und dafür Material in einer bestimmten Domäne suchen. Besonders nützlich ist sie dort, wo die Herkunft der Antworten dokumentiert ist, also bei Datensätzen mit verifizierten Spuren oder formalen Beweisen. Wer dagegen eine vollständige Erhebung aller verfügbaren Post-Training-Daten braucht, ein eigenes Bewertungsverfahren für Datenqualität aufbauen will oder rechtliche Sicherheit für eine kommerzielle Nutzung sucht, findet hier nur den ersten Schritt und muss den Rest selbst leisten. Der konkrete nächste Schritt nach der Lektüre ist die Prüfung des gewählten Hugging-Face-Eintrags auf Lizenz, Umfang und Aktualität, denn die Liste selbst liefert dafür nur den Hinweis, nicht die Bestätigung.

Redaktionelles Fazit

Wer für SFT oder Post-Training einen Startpunkt sucht und die Auswahl selbst treffen will, findet hier eine kommentierte Liste mit Lizenzangaben zu den meisten Einträgen. Wer fertige Trainingspipelines, Filterwerkzeuge oder reproduzierbare Datenqualitätsmetriken braucht, wird hier nicht fündig, weil das Repository ausschließlich verlinkt und beschreibt. Vor dem ersten Einsatz sollte man die Lizenz des konkret gewählten Datensatzes im Hugging-Face-Repository prüfen, denn die pauschale Angabe im README gilt nur, solange kein Eintrag explizit etwas anderes nennt.

Offizielle Quellen

1. Issues
2. mlabonne/llm-datasets on GitHub
3. Project website
4. README