NeMo RLの二つの学習系と、LLMポストトレーニングの実行条件

NeMo RLの役割と対象モデル

NVIDIA-NeMo/RLは、NVIDIA NeMoの下でLLMやVLMをポストトレーニングするためのオープンソースライブラリです。READMEは、強化学習の手法を拡張可能な形で扱い、小さな実験からマルチGPU、マルチノードまでを対象にすると説明しています。柔軟性、再現性、規模を設計目標として掲げ、以前のNeMo Alignerを作り直した後継として位置づけています。

ここでいうポストトレーニングは、基礎モデルをゼロから学習する工程ではありません。SFT、選好最適化、報酬モデル、強化学習、蒸留などを用いて、既存モデルの出力傾向を調整する工程です。READMEにはQwen3.5、GLM-4.7-Flash、Nemotronシリーズなどの対応情報が登場しますが、モデル名の記載は、特定GPU構成で動くことや同じ品質が出ることの保証ではありません。

DTensorとMegatronの学習バックエンド

学習側には二つの経路があります。DTensorはPyTorchの分散学習機能として説明され、テンソル並列、シーケンス並列、パイプライン並列、コンテキスト並列、FSDP2を扱います。Megatronは6次元並列性を備える高性能学習フレームワークとして説明されています。バックエンドはYAML設定から選択される構成です。

生成と学習を別の道具で動かす場合、重みの移動や形式変換が結果と速度へ影響します。READMEはMegatronのネイティブ推論を使うと、学習と推論の間の重み変換を避けられると記します。一方、並列方式やGPU数、メモリ量の組み合わせはレシピによって異なります。構成を決める時は、設定ファイルだけでなく、使用するモデル、バッチ、シーケンス長、チェックポイント方式を一緒に記録してください。

アルゴリズムとレシピの広がり

READMEはGRPO、GSPO、DAPO、GDPOを強化学習の手法として挙げ、LoRA付きSFT、DPO、報酬モデル、オンポリシー蒸留、x-tokenオフポリシー蒸留も説明しています。LoRAはDTensorとMegatronの両方でSFT、GRPO、DPOに対応すると記されています。マルチターンの生成と学習、ツール使用、ゲーム、VLM、シーケンスパッキング、投機的デコード、FP8学習、Muonオプティマイザも機能項目です。

ニュース欄は、v0.7.0でPPO、MOPD、Cross-tokenizer、Router-replay、CISPO、複数モデルの対応を追加したと記録しています。GDPOと非同期強化学習の案内もあります。機能名が多いほど導入が簡単になるわけではありません。アルゴリズムごとに必要なデータ形式、報酬計算、生成サーバー、分散方式が違うため、最初は公式レシピを一つに固定して動作条件を読むのがよいでしょう。

NGCコンテナとuvで始める

READMEが推奨する入口は、CUDA、cuDNN、vLLM、SGLangを含むとされるNGCコンテナnvcr.io/nvidia/nemo-rl:latestです。リポジトリをサブモジュール付きで取得したあと、uv runでサンプルを実行し、仮想環境を直接アクティベートしないよう案内しています。examples/run_grpo.py、run_sft.py、run_dpo.py、run_rm.py、run_distillation.pyなどがエントリーポイントです。

各スクリプトはYAML設定を使い、コマンドラインから設定を上書きできます。スモーク用レシピではGRPOを10ステップに制限して、インストール確認を短くします。マルチノードの例ではrayのスクリプトとSlurmが登場し、ノードあたり4GPUのGB200向け注記もあります。これは実行例であり、手元のGPUへそのまま適用できるとは限りません。コンテナタグ、GPU型番、ドライバー、設定差分、ログを固定してから本格的な学習を始めます。

チェックポイント変換と評価の揺らぎ

評価前には、PyTorch DCP形式で保存したチェックポイントをHugging Face形式へ変換する工程があります。Megatronのチェックポイントも変換対象で、LoRAをベースモデルへ統合するマージャーも用意されています。評価のエントリーはexamples/run_eval.pyで、math_eval.yamlのような設定を使う例が示されています。

READMEは、評価結果がサンプリングパラメータ、乱数シード、推論エンジンの版や設定で変わり得ると明記しています。したがって、スコアを比較する時はモデルだけでなく、変換方法、精度、温度などのサンプリング条件、シード、生成バックエンドを揃えます。性能サマリーへのリンクはありますが、README本体が独立したベンチマーク表を提供しているわけではありません。再現を主張するなら、使ったレシピと環境を残す必要があります。

リリースの速さと採用判断

READMEのニュースは、v0.6.0でSGLang、Muon、投機的デコード、長文脈学習、Chunked Cross Entropy、top-pとtop-k学習を追加したこと、v0.7.0で複数のアルゴリズムとモデルを拡張したことを記します。Nemotron-3-UltraやNemotron-3-SuperをNeMo RLでポストトレーニングしたという自社側の報告もあります。これらは活発な更新と対応範囲の広さを示す一方、版を固定しない運用ではレシピの挙動が変わる可能性があります。

ライセンスはApache-2.0です。ライセンスは利用、改変、配布、特許条項の条件を定めますが、学習性能、セキュリティ、サポート期間を約束しません。NeMo RLを選ぶなら、まずNGCのタグをlatestから固定版へ置き換え、公式の一つのサンプルを少ないステップで再現し、チェックポイント変換と評価を同じ条件で行います。その結果を確認してから、マルチノードや新しいモデル対応へ広げるのが現実的です。

編集部の結論

NeMo RLは、LLMやVLMのポストトレーニングを、DTensorまたはMegatronによる分散学習と、vLLMまたはMegatronの生成系で組み立てたい研究者向けのライブラリです。GRPO、GSPO、DAPO、GDPO、SFT、DPO、報酬モデル、蒸留などのレシピがREADMEに列挙され、NGCコンテナとuvによる実行入口も示されています。導入前にはGPU構成、CUDAとコンテナの版、YAML設定、チェックポイント形式、生成エンジンの版を固定してください。READMEの性能値やモデル対応はリンク先資料とリリースごとに確認し、同じレシピ名だけで再現性や品質を判断しないことが大切です。

公式情報源

1. Official documentation
2. Official README
3. Project repository
4. Release notes