prime-rl: asynchrones Reinforcement-Learning-Training in großem Maßstab

Asynchrones Reinforcement Learning im Cluster-Maßstab

prime-rl ist ein Python-Framework für Reinforcement Learning in großem Maßstab, ausgerichtet auf Agententraining. Die README führt es einleitend als vollständig asynchrones System, das nach Angaben des Projekts hochdurchsatzfähiges Agententraining in großer Skalierung ermöglicht. Als erklärte Ziele nennt die README das Training von MoE-Modellen mit über 1 Billion Parametern auf 1000+ GPUs, mit FSDP2 für das Training und vLLM für die Inferenz, einschließlich FP8-Inferenz, P/D-Disaggregation sowie Experten- und Kontextparallelität. Das Framework integriert nativ die verifiers-Umgebungen über den Environments Hub, inklusive SWE- und Agentenumgebungen, und deckt SFT, RL-Training und Evaluierung end-to-end ab. Diese Punkte sind Projektangaben; die README selbst enthält keine Benchmark-Daten.

Modellfamilien mit optimiertem Trainingscode

Der Trainer unterstützt sowohl Hugging-Face- als auch Prime-eigene ModelForCausalLM-Modelle direkt. Für ausgewählte große MoE-Familien enthält das Repository optimierten Trainingscode unter src/prime_rl/trainer/models/, der Expertenparallelität (EP) für MoE-Ebenen und Kontextparallelität (CP) für lange Sequenzen sowie zusätzliche Kernel aus quack-kernels bereitstellt. Die Modellfamilientabelle umfasst GLM-5, Qwen3- und Qwen3.5-MoE-Modelle, Qwen3- und Qwen3.5-VLMs, Poolside Laguna, MiniMax M2, Nemotron H, Trinity, GLM-4- und GLM-4.5-MoE (mit INTELLECT-3), GPT-OSS sowie weitere HF-Kausal-Sprachmodelle. Bei impl = "auto" (Standard) wählt der Trainer den passenden Custom-Stack, sobald der Hugging-Face-Konfigurationstyp registriert ist. VLM-Familien haben EP nur bei ihren MoE-Varianten und markieren CP als nicht verfügbar; dichte HF-Modelle erhalten CP, aber kein EP.

Setup erfordert eine NVIDIA-GPU

Die README stellt klar, dass für prime-rl mindestens eine NVIDIA-GPU erforderlich ist, und nennt RTX 3090/4090/5090, A100, H100, H200 und B200 als Entwicklungs- und Testumgebung. Die Schnellinstallation ist ein einzelner curl-Befehl, der das Installationsskript aus dem Repository ausführt. Die manuelle Installation umfasst das Klonen des Repositories, das Initialisieren der vier Submodule verifiers, renderers, research-environments und pydantic-config, die Installation von uv und den Aufruf von uv sync --all-extras. Auf aarch64-Hosts muss flash-attn aus dem Quellcode für die lokale GPU gebaut werden; die README veranschlagt dafür 20 bis 30 Minuten. Danach dürfen uv sync --all-extras und uv run nicht mehr ausgeführt werden, da sie den Build entfernen würden; die Anmerkung empfiehlt uv sync --inexact oder uv run --no-sync. Environments sind optionale Workspace-Mitglieder; für das Training mit ihnen ist uv sync --all-extras --all-packages oder eine Teilmenge mit --package erforderlich.

Validierungsschritte vor dem Training

Die README liefert eine Checkliste zur Umgebungsvalidierung. uv run python -V sollte Python 3.12 anzeigen; uv run python -c "import flash_attn" prüft die Installation von flash-attn. Der SFT-Trainer (uv run sft @ configs/debug/fake/sft.toml), der RL-Trainer (uv run trainer @ configs/debug/fake/rl.toml) und der Inferenzserver (uv run inference --model.name Qwen/Qwen3-0.6B) benötigen jeweils eine GPU. Der vollständige RL-Stack aus Inferenz, Orchestrator und Trainer läuft mit uv run rl @ configs/basic/reverse-text/rl.toml end-to-end und benötigt zwei GPUs. Optionale Schritte betreffen den Login bei W&B sowie bei Hugging Face für gesperrte oder private Modelle und Datensätze.

Trainingsbeispiele von einer GPU bis zum Cluster

Im examples-Verzeichnis liegen end-to-end Trainingsanleitungen. Basisbeispiele zielen auf 1 bis 8 GPUs: reverse-text trainiert Qwen3-0.6B auf das Umkehren eines kurzen Texts, in wenigen Minuten auf einer Consumer-GPU. wordle trainiert Qwen3-1.7B mit mehreren Turns auf Wordle und benötigt 2 bis 4 H100-GPUs für einige Stunden. alphabet-sort trainiert Qwen3-4B-Instruct-2507 mit mehrrundigem LoRA-RL ohne SFT-Warmup, in gut einer Stunde auf einer H100. wiki-search trainiert Qwen3-4B-Instruct-2507 darauf, Wissensfragen per Wikipedia-Suche zu beantworten. hendrycks-sanity führt einen Kontrolllauf mit DeepSeek-R1-Distill-Qwen-1.5B auf einem gefilterten MATH-Teilsatz durch. Fortgeschrittene Beispiele für 32 bis 2048 GPUs decken Qwen3-30B-A3B auf Mathematik, SWE und Agentenwerkzeugen ab, GLM-4.5-Air auf Suche, SWE und Terminalaufgaben, Nemotron-3-Super-120B auf SWE mit 131k Kontext, MiniMax-M2.5 auf agentischem SWE, die Reproduktion von INTELLECT-3.1 sowie ein Hochdurchsatz-Setup für GLM-5/GLM-5.2 mit P/D-Disaggregation, llm-d-Router und FP8. Die fortgeschrittenen Anleitungen setzen einen Slurm-Cluster voraus und sind laut Hinweis für k8s adaptierbar.

Dokumentation, Beiträge und Lizenz

Das docs-Verzeichnis behandelt Architektur und Installation, TOML-Konfiguration mit CLI-Overrides und Validierung, Training mit Checkpoints und Beobachtbarkeit, Skalierung von einer GPU bis zu Multi-Node mit FSDP/EP/CP und Slurm, Algorithmen inklusive des AIPO-Loss sowie Advantage- und Filter-Plugins, fortgeschrittene Themen wie multimodales Training, LoRA und Multi-Tenant-Training sowie Entwicklungspraktiken wie Testsuite und pre-commit-Hooks. Die Beitragsrichtlinien verlangen die Installation der pre-commit-Hooks, Draft-PRs bis zur Review-Bereitschaft, die Verknüpfung von Issues in der PR-Beschreibung und nach Möglichkeit das lokale Ausführen der Testsuite. Das Projekt ist unter Apache 2.0 lizenziert. Der Lizenzauszug gewährt eine dauerhafte, weltweite, nicht-exklusive, gebührenfreie, unwiderrufliche Urheberrechtslizenz zum Vervielfältigen, Erstellen abgeleiteter Werke, öffentlichen Zeigen, öffentlichen Aufführen, Unterlizenzieren und Verteilen sowie eine Patentlizenz mit Beendigungsklausel bei Patentstreitigkeiten. Der Auszug behandelt weder Gewährleistung noch Support oder Sicherheitsbestimmungen; die README geht darauf ebenfalls nicht ein.

Redaktionelles Fazit

Die README stellt prime-rl als Framework für asynchrones Reinforcement Learning dar, mit einer breiten Modellfamilientabelle, einem Validierungspfad für eine einzelne GPU und fortgeschrittenen Slurm-Beispielen. Die Repository-Metadaten nennen 1.804 Sterne, 380 Forks und 199 offene Issues. Was sich allein aus der README nicht verifizieren lässt: Die Ziele von 1000+ GPUs und 1T+ MoE-Modellen sind Projektangaben, die README enthält keine Benchmark-Ergebnisse.

Offizielle Quellen

1. Official README
2. Project repository
3. Release notes