NeMo RL: eine skalierbare Post-Training-Bibliothek für Reinforcement Learning

Eine Post-Training-Bibliothek für Reinforcement Learning

NeMo RL ist eine Open-Source-Post-Training-Bibliothek unter dem NVIDIA-NeMo-Framework. Die README sagt, sie sei dazu entworfen, Reinforcement-Learning-Methoden für multimodale Modelle, einschließlich LLMs und VLMs, zu vereinfachen und zu skalieren; die Repository-Metadaten beschreiben sie als skalierbares Toolkit für effiziente Modellverstärkung. Die genannten Designziele sind Flexibilität, Reproduzierbarkeit und Skalierung, von kleinen Experimenten bis zu Multi-GPU- und Multi-Node-Bereitstellungen. Die README bezeichnet das Projekt außerdem als rearchitekturierte Nachfolge des NeMo Aligner, einer frühen LLM-Reinforcement-Learning-Bibliothek, die VeRL, SkyRL und ROLL inspiriert habe.

Bei NVIDIA-NeMo/RL ist dieser Punkt an den konkreten Projektkontext gebunden. Die README und die genannten Dateien bilden die verfügbare Beleglage; sie sagen nicht automatisch etwas über andere Versionen, Betriebssysteme oder externe Dienste aus. Für eine technische Einordnung sollte man daher zuerst feststellen, welche Abhängigkeiten RL tatsächlich lädt, welcher Einstieg im Repository vorgesehen ist und welches Ergebnis dieser Einstieg liefert. Relevant sind dabei Fehlermeldungen ebenso wie erfolgreiche Ausgaben, weil ein scheinbar funktionierender Lauf fehlende Daten, optionale Pakete oder eine nicht getestete Konfiguration verdecken kann. Die Bewertung bleibt auf die dokumentierte Funktion beschränkt: Eine Eigenschaft, die weder im README noch in den Projektartefakten beschrieben ist, wird hier nicht als zugesicherte Fähigkeit behandelt. Das ist besonders wichtig, wenn NVIDIA-NeMo/RL in eine bestehende Anwendung, Pipeline oder Entwicklungsumgebung eingebunden werden soll. Dort sollten Eingaben, Versionen und erzeugte Artefakte getrennt notiert werden, damit ein späterer Vergleich nicht versehentlich unterschiedliche Voraussetzungen vermischt. Dieser Abschnitt beschreibt damit eine konkrete Lesart von RL und keine allgemeine Zusage für beliebige Einsatzszenarien.

Zwei Trainings-Backends, zwei Generierungs-Backends

Das Training läuft entweder auf DTensor, das die README als PyTorchs nächste Generation verteilten Trainings mit verbesserter Speichereffizienz und Unterstützung für TP, SP, PP, CP und FSDP2 beschreibt, oder auf Megatron, beschrieben als NVIDIA-Framework für Hochleistungstraining mit 6D-Parallelismus. Das Backend wird automatisch anhand der YAML-Konfiguration gewählt. Generierung und Rollout laufen auf vLLM oder Megatron-nativer Inferenz; die README sagt, der Megatron-Inferenzpfad vermeide die Gewichtskonvertierung zwischen Training und Inferenz. Weitere Details zur Backend-Auswahl stehen in verlinkten Designdokumenten.

Algorithmen, Rezepte und Modellunterstützung

Die README listet GRPO, GSPO, DAPO und GDPO als Reinforcement-Learning-Algorithmen sowie SFT mit LoRA, DPO, RM, On-Policy-Destillation und X-Token-Off-Policy-Destillation. LoRA wird auf beiden Backends, DTensor und Megatron, für SFT, GRPO und DPO unterstützt. Die Funktionsliste umfasst Multi-Turn-Generierung und -Training für Werkzeugnutzung und Spiele, VLM-Unterstützung, Sequence Packing, spekulative Dekodierung, FP8-Training mit niedriger Präzision, den Muon-Optimierer und ein SGLang-Generierungs-Backend. Der Nachrichtenteil dokumentiert Modellunterstützung für Qwen3.5, GLM-4.7-Flash und die Nemotron-Familie und sagt, Nemotron-3-Ultra und Nemotron-3-Super seien mit dieser Bibliothek nachtrainiert worden.

Einen Lauf starten: Container, uv und Beispielskripte

Der empfohlene Weg ist der vorgefertigte NGC-Container nvcr.io/nvidia/nemo-rl:latest, der laut README CUDA, cuDNN, vLLM und SGLang enthält. Nach dem Klonen des Repositories mit Submodulen werden Läufe mit uv run gestartet; die README rät davon ab, die virtuelle Umgebung direkt zu aktivieren. Beispielhafte Einstiegspunkte sind examples/run_grpo.py, run_sft.py, run_dpo.py, run_rm.py, run_distillation.py und run_xtoken_off_policy_distillation.py, jeweils mit YAML-Konfigurationen, die von der Kommandozeile überschrieben werden können. Ein Smoke-Rezept begrenzt einen GRPO-Lauf auf zehn Schritte für eine schnellere Installationsprüfung. Mehrknoten-Beispiele nutzen Slurm über ein ray.sub-Skript, mit einem Hinweis für GB200-Systeme mit vier GPUs pro Knoten.

Checkpoint-Konvertierung und Auswertung

Vor der Auswertung muss ein im PyTorch-DCP-Format gespeicherter Checkpoint in das Hugging-Face-Format konvertiert werden, Gleiches gilt für Megatron-Checkpoints. Ein separates LoRA-Merger-Skript faltet die Adaptergewichte in das Basismodell. Die Auswertung läuft über examples/run_eval.py mit Konfigurationen wie math_eval.yaml; die README merkt an, dass Ergebnisse je nach Sampling-Parametern, Zufallsseed und Inferenz-Engine-Version oder -Einstellungen variieren können. Die README verlinkt eine Leistungsübersichtsseite für Benchmark-Zahlen, reproduziert diese Zahlen aber nicht in der Repository-Datei.

Was die Quellen nicht festlegen, und was die Lizenz gewährt

Die README und die Repository-Metadaten liefern keine Sicherheitsgarantien, Supportzusagen oder Benchmark-Ergebnisse über die verlinkte Leistungsseite hinaus. Der Metadaten-Snapshot verzeichnet 1.875 Sterne, 491 Forks und 848 offene Issues; das Repository ist nicht archiviert. Der Auszug aus der Apache-2.0-Lizenz gewährt eine unbefristete, weltweite, nicht exklusive, gebührenfreie Urheberrechtslizenz zum Vervielfältigen, Erstellen abgeleiteter Werke, öffentlichen Zeigen, Aufführen, Unterlizenzieren und Verteilen des Werks sowie eine Patentlizenz, die endet, wenn der Lizenznehmer bestimmte Patentklagen einreicht. Der Auszug befasst sich nicht mit Support, Garantie oder Sicherheit, und die README sagt dazu ebenfalls nichts.

Redaktionelles Fazit

NeMo RL ist als Post-Training-Bibliothek dokumentiert, die PyTorch-natives und Megatron-Training mit vLLM- oder Megatron-Generierung kombiniert und GRPO-, DAPO-, SFT-, DPO-, RM- und Destillations-Rezepte abdeckt. Das Repository selbst legt keine Leistungszahlen, Supportbedingungen oder Sicherheitseigenschaften fest; dafür sind die verlinkte Dokumentation und die Release Notes nötig.

Offizielle Quellen

1. Official documentation
2. Official README
3. Project repository
4. Release notes