NVIDIA NeMo Curator: GPU-Pipelines für Trainingsdaten, die reproduzierbar bleiben sollen

Welche Aufgabe NeMo Curator übernimmt

Die meisten Teams, die ein Modell trainieren, haben irgendwann eine Sammlung von Rohdaten und eine Sammlung von Skripten, die diese Rohdaten filtern. Das Problem entsteht nicht beim ersten Durchlauf, sondern beim zweiten: Sobald jemand eine Sprachkennung ändert oder eine Schwelle beim Qualitätsfilter verschiebt, muss der gesamte Ablauf reproduzierbar sein. NeMo Curator setzt genau dort an. Die Projektbeschreibung nennt sich selbst eine Sammlung für skalierbare Datenvorverarbeitung und Kuration für LLMs, und das README formuliert das Ziel als Pipelines, die große Text-, Bild-, Video- und Audiodatensätze laden, filtern, deduplizieren und transformieren. Der Anspruch lautet, dieselbe Pipeline auf einem Laptop oder über einen Multi-Node-Ray-Cluster laufen zu lassen.

Die Zielgruppe sind laut README ML-Ingenieure und Datenteams, die wiederkehrende Kurationspipelines brauchen statt einmaliger Notebooks. Das ist eine engere Zielgruppe, als der Name vermuten lässt. Wer einen einzelnen Datensatz einmalig bereinigt, gewinnt hier nichts. Wer dagegen mehrere Datenquellen regelmäßig neu aufbereitet und dabei dieselben Schritte wiederholen muss, bekommt fertige Bausteine für genau diese Schritte.

Ray als gemeinsamer Unterbau für vier Modalitäten

Die Architektur ist seit der Version 26.02 laut README eine Ray-basierte Pipeline-Architektur, und zwar für alle vier Modalitäten. Das ist der wichtigste technische Punkt des Projekts: Text, Bild, Video und Audio laufen nicht in getrennten Werkzeugen, sondern teilen sich denselben Ausführungsrahmen. Wer also eine Textpipeline geschrieben hat, findet für Bild-, Video- und Audiodaten dieselbe Struktur wieder, statt sich in eine zweite Bibliothek mit anderem Datenmodell einzuarbeiten.

Innerhalb dieses Rahmens sind die Operationen modalitätsspezifisch. Für Text nennt das README Deduplizierung, Klassifikation, Qualitätsfilterung und Spracherkennung. Für Bild kommen ästhetische Filterung, NSFW-Erkennung, Embedding-Erzeugung und Deduplizierung hinzu. Video deckt Szenenerkennung, Clipextraktion, Bewegungsfilterung und Deduplizierung ab. Audio umfasst ASR-Transkription, Qualitätsbewertung und WER-Filterung. Die Überschneidung liegt bei der Deduplizierung, die in allen vier Modalitäten auftaucht. Das deutet darauf hin, dass die Ähnlichkeitssuche über Embeddings der gemeinsame Kern ist, auf den die modalitätsspezifischen Schritte aufsetzen.

Das README erwähnt in einem abgeschnittenen Satz, dass NeMo Curator auf NVIDIA RAPIDS mit cuDF, cuML und cuGraph setzt. Das erklärt, warum GPU-Beschleunigung kein nachträgliches Extra ist, sondern die Grundlage der rechenintensiven Stufen. Für die Ausführung auf mehreren Knoten nennt die Dokumentation zusätzlich Cosmos-Xenna in Version 0.2.0, das im April-Release 26.04 aktualisiert wurde.

Installation über uv, mit einer Hürde bei CUDA 12

NeMo Curator wird über uv installiert, nicht über pip. Das README gibt drei Wege vor, die jeweils in sich abgeschlossen sind. Der CPU-Pfad dient als Rauchtest ohne GPU: uv venv, Aktivierung, dann uv pip install "nemo-curator[text_cpu]" und ein Import, der die Version ausgibt. Das ist der einzige Pfad, der ohne weitere Vorkehrungen funktioniert.

Der GPU-Pfad ist deutlich aufwendiger und die Stelle, an der die meisten Einstiege scheitern dürften. Voraussetzungen sind laut README das CUDA-12-Toolkit, ein dazu passender NVIDIA-Treiber, Linux x86_64, rund 16 GB GPU-Speicher und Netzzugriff auf Hugging Face. Die Installation verlangt eine Override-Datei: text_cuda12-overrides.txt wird von der Repository-URL geladen und mit --override übergeben, dazu --torch-backend cu129 und ein zusätzlicher Index unter wheels.vllm.ai/0.22.0/cu129. Der Grund steht offen im README: vLLM und RAPIDS deklarieren inkompatible Numba-Anforderungen, weshalb ein gewöhnliches pip install für text_cuda12 nicht unterstützt wird. Jeder uv-Aufruf, der text_cuda12 enthält, auch nemo-curator[all], braucht diese Override-Datei. Aus einem Quellcode-Checkout heraus wendet uv sync --extra text_cuda12 die Override-Datei automatisch an.

Für Video und Audio empfiehlt das README ausdrücklich den Container von NGC. Der Grund ist konkret und nicht kosmetisch: Diese Pipelines hängen von System-Codec-Bibliotheken ab, die im veröffentlichten Image bereits konfiguriert sind.

Was die Dokumentation nicht beantwortet

Das README ist eine Einstiegsseite, keine Referenz, und mehrere Punkte bleiben offen. Es gibt keine Homepage im Repository, die Dokumentation liegt unter docs.nvidia.com. Wer wissen will, welche Filterparameter eine bestimmte Qualitätsklassifikation verwendet oder wie die Deduplizierung genau arbeitet, ob exakt, fuzzy oder über Substring, findet im vorliegenden Material nur die Aufzählung der Stufen, nicht ihre Implementierung. Das ist keine Kritik am Projekt, sondern eine Einschränkung für die Entscheidung: Man kann anhand dieser Angaben beurteilen, ob die Pipeline-Struktur passt, aber nicht, ob die Filterqualität für den eigenen Datensatz ausreicht.

Ein zweiter offener Punkt betrifft die Reproduzierbarkeit über Versionen hinweg. Das README listet allein im Jahr 2026 drei Releases mit Architekturänderungen: 26.02 brachte die Ray-Pipeline-Architektur für alle Modalitäten, 26.04 einen Cosmos-Xenna-Sprung auf 0.2.0 und eine vereinfachte Resources-API. Eine vereinfachte API bedeutet in der Regel, dass die vorherige Form nicht mehr die empfohlene ist. Wer heute Pipelines schreibt, sollte damit rechnen, sie bei einem der nächsten Releases anzupassen.

Dass das README einen Abschnitt mit der Überschrift What's Hot enthält, der Funktionen wie Slurm-Deployment, Audio-Kuration und einen OpenAI-kompatiblen Inference Server bewirbt, sagt etwas über die Prioritäten: Das Projekt wächst in Richtung synthetischer Daten und HPC-Integration. Wer eine stabile, in Details eingefrorene Bibliothek sucht, ist hier falsch.

Der Vergleich mit einem selbstgebauten pandas- oder Spark-Ablauf

Die naheliegende Alternative ist kein anderes Kurationsprodukt, sondern der eigene Ablauf: pandas oder Polars für kleine Datenmengen, Spark für größere, dazu eigene Skripte für Filter und Deduplizierung. Der Unterschied liegt nicht in der Funktionalität, sondern in der Ausführungsschicht. Ein Spark-Job skaliert über CPU-Kerne und Speicher, während NeMo Curator die rechenintensiven Stufen auf die GPU verlagert. Für Embedding-Erzeugung, Klassifikation und Ähnlichkeitssuche ist das der eigentliche Hebel, weil diese Schritte auf der CPU schlecht skalieren.

Der zweite Unterschied ist der Wiederverwendungsgrad. Ein selbstgebautes Skript für Sprachkennung ist schnell geschrieben, aber es kennt weder Ray noch verteilte Fehlerbehandlung. NeMo Curator liefert diese Schicht mit, und derselbe Code läuft laut README auf einem Laptop wie auf einem Multi-Node-Cluster. Der Preis dafür ist die Abhängigkeit von der Ray-Architektur und den CUDA-Vorgaben. Wer bereits eine Spark-Infrastruktur betreibt und keine GPUs für die Datenaufbereitung stellen kann, tauscht ein funktionierendes System gegen eines, das ohne GPU einen Teil seines Nutzens verliert.

Skalierungsnachweis und was er nicht belegt

Das README verweist auf Nemotron als Beleg für den Betrieb in großem Maßstab. Der Nemotron-4-Pretraining-Datensatz sei mit der Textpipeline über mehr als acht Billionen Token mehrsprachiger Webdaten kuratiert worden, einschließlich Qualitätsfilterung, Deduplizierung und Domänenklassifikation. Die Nemotron-CC-Pipeline nutze NeMo Curator durchgängig, von der Common-Crawl-Extraktion über Sprach-ID, exakte, fuzzy und Substring-Deduplizierung bis zur Ensemble-Qualitätsklassifikation und LLM-basierten Erzeugung synthetischer Daten.

Das ist ein belastbarer Hinweis darauf, dass die Pipeline Last trägt. Es ist aber kein Hinweis darauf, dass sie für jeden Datensatz passt. Die genannten Zahlen beschreiben NVIDIA-eigene Korpora mit bekannten Eigenschaften und einer Infrastruktur, die zu diesem Zweck gebaut wurde. Wer einen domänenspezifischen Korpus mit anderen Verteilungen kuratiert, muss die Filter selbst kalibrieren. Das README liefert dafür keine Anleitung, sondern nur die Bausteine. Der Abschnitt Benchmark results bricht im vorliegenden Material mitten im Satz ab, sodass konkrete Messwerte hier nicht beurteilbar sind. Wer Leistungszahlen als Entscheidungsgrundlage braucht, muss sie den Release Notes oder der Dokumentation entnehmen.

Lizenz und laufender Aufwand

NeMo Curator steht unter Apache-2.0. Diese Lizenz erlaubt kommerzielle Nutzung, Veränderung und Weitergabe, verlangt aber die Beibehaltung der Urheberrechts- und Lizenzhinweise sowie eine Kennzeichnung geänderter Dateien. Wer die Bibliothek in ein eigenes Produkt einbettet, sollte prüfen, ob die mitgelieferten Modellgewichte und vortrainierten Klassifikatoren unter derselben Lizenz stehen. Das README und die vorliegenden Angaben sagen dazu nichts. Das ist ein Punkt, den man vor dem produktiven Einsatz klären muss, und keine Rechtsberatung, die dieser Text leisten kann.

Der laufende Aufwand liegt weniger in der Lizenz als in der Versionspflege. Drei Releases innerhalb von etwa sieben Monaten, jedes mit Änderungen an der Ausführungsschicht, bedeuten, dass ein Upgrade nicht nur ein Versionsnummernwechsel ist. Die Override-Datei für text_cuda12 koppelt die Installation an eine bestimmte Kombination aus torch-Backend und vLLM-Index. Ändert sich einer der beiden, muss die Override-Datei mitwandern. Teams, die Pipelines über Monate betreiben, sollten diesen Teil in ihre Build-Konfiguration aufnehmen, statt ihn bei jedem Lauf manuell aus dem Repository zu laden.

Redaktionelles Fazit

Wer Text-, Bild-, Video- oder Audiodaten in großem Umfang wiederholt aufbereiten muss und dafür GPU- und Multi-Node-Ressourcen stellen kann, findet in NeMo Curator fertige Bausteine statt selbstgebauter Skripte. Wer nur einmalig ein paar Hundert Megabyte Text filtert, bleibt besser bei pandas oder DuckDB, weil der Ray-Unterbau und die CUDA-Abhängigkeiten mehr kosten, als sie einbringen. Vor dem Start sollte man drei Dinge prüfen: ob der eigene Linux-x86_64-Rechner die CUDA-12-Vorgaben erfüllt, ob die Override-Datei text_cuda12-overrides.txt zum gewünschten torch-Backend passt, und ob die Zielumgebung den NGC-Container nutzen kann, denn für Video und Audio empfiehlt die Dokumentation genau diesen Weg.

Offizielle Quellen

1. Issues
2. License: Apache-2.0
3. NVIDIA-NeMo/Curator on GitHub
4. README
5. Releases