dLLM 評価メモ: 拡散言語モデルの学習と評価を1つのリポジトリにまとめる試み

dLLM が埋めようとしている穴は評価側にある

拡散言語モデルの実装はここ1年で増えたが、学習スクリプトと評価スクリプトが別々のリポジトリに散っており、同じモデルを同じ条件で比べるのが難しいという事情がある。dLLM はこの比較の土台を用意することを狙ったライブラリで、README は「unifies the training and evaluation of diffusion language models」と述べている。対象読者は、LLaDA や Dream のようなオープンウェイトの拡散モデルを自分でファインチューニングしたい人、あるいは MDLM や BD3LM といった学習アルゴリズムの挙動を確かめたい人である。モデルを配布して終わりのリポジトリではなく、examples ディレクトリ以下にモデル別・アルゴリズム別のレシピを並べる構成を取っている点が特徴で、LLaDA、Dream、BERT、編集フロー、強化学習、推論高速化がそれぞれ独立したサブディレクトリになっている。

Trainer と lm-evaluation-harness を土台にする設計

仕組みとしては、学習側は transformers の Trainer を拡張し、LoRA、DeepSpeed、FSDP に対応すると README に記載がある。評価側は EleutherAI の lm-evaluation-harness を土台にし、推論の詳細を抽象化してカスタマイズを簡単にすると説明されている。つまり独自の学習ループを一から書くのではなく、既存の2つの大きなフレームワークの間に拡散モデル固有の処理を差し込む形である。学習アルゴリズムとしては masked diffusion を扱う MDLM、block diffusion を扱う BD3LM、そして挿入・削除・置換という編集操作を加える Edit Flows の実装が examples に含まれる。編集操作の例では、サンプリング中に挿入、マスクトークンからの置換、非マスクトークンからの置換、削除がそれぞれ別の色で表示されるデモが置かれている。この構造の利点は、モデルを差し替えても評価の入口が同じになることだが、逆に Trainer や harness の内部仕様が変われば影響を受けるという意味でもある。

セットアップは conda と pip の素直な組み合わせ

インストール手順は README に明示されている。conda create -n dllm python=3.10 -y で環境を作り、conda activate dllm で有効化し、conda install cuda=12.4 -c nvidia の後に pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 を CUDA 12.4 向けのインデックス URL 付きで実行する流れである。README は他の PyTorch と CUDA の組み合わせでも動くはずだと注記しているが、動作確認済みの組み合わせはこの1つしか示されていない。Python 3.10 固定、torch 2.6.0 固定という指定は、既存の環境に混ぜるのではなく専用の conda 環境を切る前提だと読める。学習そのものの設定は各 examples 配下の README に分散しており、トップレベルの README には学習用の config キー一覧は載っていない。この点は、リポジトリ全体の設定リファレンスを期待して開くと空振りになる。

examples の分岐がそのまま用途の分岐になっている

ディレクトリ構成は用途ごとに切られている。examples/llada は LLaDA と LLaDA-MoE の事前学習・ファインチューニング・評価、examples/dream は Dream の同じ3点セット、examples/llada2 と examples/llada21 は推論のみ、examples/a2d は任意の autoregressive モデルを masked diffusion か block diffusion でテキスト生成できるようファインチューニングする、examples/bert は任意の BERT エンコーダを軽量チャットボット化する、examples/editflow は Edit Flows の教育用リファレンス、examples/fastdllm は LLaDA と Dream を Fast-dLLM のキャッシュと confidence-threshold decoding で高速推論・評価する、examples/rl は LLaDA と Tiny-A2D に対する GRPO 学習を GSM8K、MATH、Countdown、Sudoku、Code の5タスクで扱う。学習まで含むのは llada、dream、a2d、bert、editflow、rl で、llada2 と llada21 は推論専用である。この非対称性は重要で、新しいモデルが出たときにまず推論だけが追加される傾向を示している。

拡散モデルの推論コストはキャッシュだけでは消えない

拡散言語モデルはトークンを並列に生成できる代わりに、サンプリングを複数ステップ反復する必要がある。examples/fastdllm はこの反復コストを KV キャッシュと confidence-threshold decoding で削る試みで、README は LLaDA と Dream を対象にしていると明記している。ここで注意したいのは、この高速化がすべてのモデルに一律に効くわけではない点だ。README の記述から確認できる対象は LLaDA と Dream に限られ、LLaDA2.0 や LLaDA2.1 の examples は推論のみで、Fast-dLLM との組み合わせには触れていない。また、confidence-threshold decoding は閾値の設定次第で生成品質と速度のトレードオフが変わる種類の手法であり、README には既定値の説明も、品質がどう変化するかの数値も示されていない。ここは自分で閾値を振って確認する以外にない部分である。

向かない用途と、代替になる選択肢

このリポジトリは拡散言語モデルに特化しており、autoregressive なモデルの学習やサービングをしたい人にはほぼ無関係である。また README のコメントアウトされた記述には、このリポジトリが主に教育目的であり公式モデルの完全な再現を目指すものではない、という趣旨の但し書きが残っている。つまり論文の数値をそのまま再現する用途を期待すると外れる可能性がある。代替としては、Hugging Face の transformers 本体と lm-evaluation-harness を直接使う経路がある。dLLM はこの2つを土台にしているので、拡散モデル固有のサンプリング処理を自分で書けるなら、依存を1段減らして同じ評価系に載せられる。違いは抽象化の層があるかどうかで、dLLM はモデル間の差分を吸収する代わりに、内部の Trainer や harness の変更に追随する必要が生じる。もう1つの代替は各モデルの公式実装を直接使うことだが、その場合はモデルごとに評価手順がばらつく。

ライセンスと保守の見通し

ライセンスは Apache-2.0 で、商用利用を含む広い用途が想定された条項だが、依存先の扱いは別問題である。transformers、peft、DeepSpeed、lm-evaluation-harness はそれぞれ独自のライセンスを持ち、学習に使うデータセットや配布モデルのライセンスも別に確認が必要になる。Apache-2.0 だからといって、examples 経由で取得するモデル重みまで同じ条件で使えるとは限らない。保守の面では、リポジトリはアーカイブされておらず、最終 push は 2026年7月である。リリースタグは取得できておらず、バージョン番号で固定して依存を宣言する手段は現状見当たらない。コミット単位で固定するか、フォークして使う前提で臨むほうが安全である。README の News 欄は2025年11月から2026年4月までほぼ毎月更新されており、LLaDA 系の新モデルが出るたびに examples が追加される流れが続いている。

編集部の結論

拡散言語モデルを自分で学習させ、複数のサンプリング手法を同じ評価系で比べたい研究・検証目的のチームに向く。逆に、すでに autoregressive なモデルで本番推論を回しており、量子化やバッチ推論の最適化だけが目的なら、このリポジトリを入れる理由は薄い。採用前に確認すべきは examples/llada か examples/dream の README に書かれた学習コマンドが手元の GPU 構成でそのまま通るか、そして examples/fastdllm の cache と confidence-threshold decoding が対象モデルのチェックポイントに対応しているかの2点である。

公式情報源

1. Issues
2. License: Apache-2.0
3. Project website
4. README
5. ZHZisZZ/dllm on GitHub