DwarfStar実地分析: DeepSeek V4 Flashをローカルで動かす狭域推論エンジン

DwarfStarはモデルと実行経路を一緒に絞る

antirez/ds4はDwarfStarという小さなネイティブ推論エンジンです。READMEは最初の最適化対象をDeepSeek V4 Flashとし、GLM 5.2、高メモリのマシンではDeepSeek V4 PROも扱うと説明しています。一般的なGGUFランナーを目指すのではなく、モデル読み込み、プロンプト描画、ツール呼び出し、KV状態、HTTPサーバー、コーディングエージェントをまとめて構築し、同じ組み合わせでテストする方針です。

主なバックエンドは三つです。Metalは96GB以上のMacを主な対象とし、RAMが足りない場合はSSDストリーミングを使えます。NVIDIA CUDAはマルチGPUとDGX Sparkを含み、ROCmはFramework DesktopのようなStrix Haloシステムを対象にします。READMEの対応機種は一般的な互換性表ではなく、プロジェクトが狙うハードウェアの範囲です。小さい端末や別のGPUで動くと推測するのではなく、自分のモデルとメモリ量で確認する必要があります。

GGUFの対応範囲は意図的に狭い

この実装が読めるのはREADMEにリストされたDeepSeek V4とGLM 5.2のGGUFです。任意のGGUFファイルを受け付けるローダーではありません。エンジンが期待するテンソル配置、量子化の組み合わせ、メタデータ、任意のMTP状態がファイルにない場合、同じGGUFという拡張子だけでは動作条件を満たしません。モデル対応が増え続ける汎用ランナーとは、採用時の確認項目が異なります。

2ビット量子化は、ルーティングされたMoEエキスパートだけを量子化し、共有エキスパート、射影、ルーティングなどを元の状態で残す非対称な方式として説明されています。upとgateはIQ2_XXS、downはQ2_Kで、READMEは提供済みの2ビット量子化を高品質と自報しています。MXFP4 GGUFではDeepSeekが公開したルーティングエキスパートの重みを使い、再量子化しない構成をMetalとCUDAで扱います。Blackwell CUDAではバッチ化したエキスパート処理にFP4行列命令を使うとされます。GLM 5.2もテスト済みの特定レイアウトに限られ、別レイアウトを標準対応とはみなせません。

SSDストリーミングは容量を広げる代わりに速度を譲る

モデル全体をメモリへ常駐させられる場合は、通常のMetal経路が最速の選択です。容量が足りない場合、MetalとROCm上のGLM 5.2ではSSDストリーミングモードを使えます。非ルーティングの重みを常駐させ、ルーティングされたMoEエキスパートをメモリ内キャッシュに置き、キャッシュミスが起きたときにGGUFから読み出す方式です。

READMEは、ストリーミングがモデル全体をRAMに収めた場合ほど速くないと明記しています。その一方で、モデル容量を支配するエキスパートの一部を高速SSDから読み込めるため、最新Macでは現実的な速度になるという判断です。自動キャッシュ予算はバックエンドの推奨ワーキングセットの80パーセントを起点にし、非ルーティング重みを差し引き、ルーティング済みプリフィルの余地を残します。--ssd-streaming-cache-experts NGBで明示設定もできます。READMEには64GBと128GB MacBook向けの実行例がありますが、モデル、SSD、コンテキスト長が変わればキャッシュミスの比率も変わります。

複数台のMacをパイプラインで一つの推論へつなぐ

パイプライン並列では、トランスフォーマーの層を複数のマシンへ割り当て、一台のメモリに収まらないモデルを動かします。READMEの代表例は128GBのMacBook二台に4ビットのDeepSeek Flashを分ける構成です。各プロセスは自分の担当層だけをマップし、アクティベーションをTCPで送り、コーディネーターが通常のCLIとAPIの操作を保ちます。

プリフィルは複数GPUが異なるマイクロバッチを同時処理できるため速くなる余地があります。しかし生成は自己回帰的で、トークンごとに少なくとも一度はマシン間のアクティベーション転送が必要です。結果として単一プロセスより遅くなる場合があります。制御用とデータ用のTCP接続に暗号化と認証はなく、READMEはリリース安定版ではないとしています。コーディネーターとワーカーを同じコミットからビルドし、信頼できるネットワークに限定するという前提です。Thunderbolt 5、WiFi、InternetやVPNの性能比較へのリンクもありますが、ネットワーク表は自環境の遅延を代替しません。

RDMAとCUDAテンソル並列は分割の仕方が違う

RDMAによるテンソル並列は、Thunderbolt 5で接続した二台のMacが同じトークンを同時に処理し、重い層の仕事を二つのGPUへ分ける方式です。同期ゲートで部分和を交換し、各マシンにはルーティングされたエキスパートの連続した半分を常駐させます。高密度層、アテンション、共有エキスパート、埋め込み、出力の重みは複製されます。READMEには128GB MacBook二台でGLM 5.2を動かす例、sysctlとifconfigの設定、測定済みのデコードとプリフィル速度があります。

一台のサーバー内で使うCUDAテンソル並列は、--cuda-tensor-parallelでDeepSeek V4 Flashを偶数枚のGPUへ分割します。デバイス順序は、全ホームを先に置き、その後に全パートナーを置く決まりです。テスト済みのホストはimatrix Q4モデルと8枚のL40Sを使います。Mac間RDMAとCUDAマルチGPUは、同じ「分散」という言葉でも、必要な接続、重みの配置、障害時の条件が違います。利用する経路ごとに、帯域、認証、同一ビルド、モデルの分割可能性を確認してください。

ベンチマークは性能を見る道具であって順位表ではない

リポジトリには速度、品質、エージェント、サーバーを確認する道具があります。ds4-benchは実行全体の平均ではなく、コンテキストのフロンティアで瞬間的なプリフィルと生成スループットを測り、行の間でKV状態を保存・復元します。ds4-evalはGPQA Diamond、監査済みSuperGPQA、AIME 2025、COMPSECから92項目を組み込んだモデル統合ベンチマークです。

READMEはds4-evalをリーダーボードランナーとは扱わず、公式ベンチマークのスコアとして報告すべきではないと明言しています。つまり、手元の実装や変更を比較する用途には使えても、別の評価系と数値を横並びにする前提はありません。品質についても、公開された公式の続きに対してローカルGGUFを採点するquality-testingの文書があります。データ、量子化、コンテキスト、キャッシュ、実行機種を固定し、同じ条件の差として読む必要があります。READMEの速度値は8枚のL40Sや特定のMac構成など、個別の環境に紐づく自報です。

ローカルエージェントと互換サーバーの使い分け

ネイティブエージェントは、ソケットやAPIの境界を挟まずにエージェント内部で推論を実行します。セッションは~/.ds4/kvcacheに保存され、/save、/list、/switch、/del、/stripで管理できます。HTTPサーバーはローカルのOpenAI互換またはAnthropic互換サーバーとして起動し、複数の常駐KVセッションには--batched-session Nを使います。モデルを単独で試すのか、既存のクライアントから呼ぶのかで入口を選べます。

ただし、エージェントがツールを呼べることと、安全な自動化が完成していることは同じではありません。READMEは、ソフトウェアが急速に変化するベータ品質で、エージェントには本番前に作業が残ると書いています。さらに、AIの強い支援を受けて開発し、人が発想、テスト、デバッグを主導したと明示しています。モデル出力、ツール権限、保存されるKV状態、ネットワークアクセスを分けて管理し、機密情報を扱う場合はエージェント機能とサーバー機能を別々に検証する必要があります。

ベータ品質とライセンスを採用前に読む

READMEは各リリース前に大規模なQAを行うものの、不安定性はあり得ると説明しています。開発状況の速さは新しいモデルやハードウェアへの追随を示す面がある一方、固定API、互換性、長期保守の保証にはなりません。llama.cppとGGMLのカーネル、量子化形式、GGUFエコシステム、蓄積された技術知識を参照し、一部のソースや量子化表をMITライセンスの下で保持・適応しているとも記載されています。貢献元への謝辞とLICENSEの著作権表示を確認してください。

プロジェクトのライセンスメタデータはMITです。利用、変更、再配布を検討しやすい条件ですが、ソフトウェアが現状のまま提供されることや、運用サポート、セキュリティ監査、本番保証を意味しません。導入時は対応するGGUFの取得元、モデルのライセンス、分散通信を閉じたネットワークに置けるか、QA_BEFORE_RELEASESやCONTRIBUTINGの検証手順を読めるかを確認します。DwarfStarは対応範囲を絞った作業用テンプレートとして試す価値がありますが、一般モデル基盤や無監督の本番サービスとして扱う根拠はREADMEだけでは足りません。

編集部の結論

DwarfStarは、汎用GGUFランナーではなく、DeepSeek V4 Flashを主対象に、GLM 5.2と高メモリ環境向けのDeepSeek V4 PROを扱う狭域のネイティブ推論エンジンです。MacのMetal、NVIDIA CUDA、Strix Halo向けROCmを使い、SSDストリーミング、パイプライン並列、Mac間RDMA、CUDAのテンソル並列、HTTP互換サーバーまで一つの実装で試せます。ただし、対応GGUFは指定されたレイアウトに限られ、分散通信には暗号化と認証がなく、README自身がベータ品質と説明しています。導入前に、GPUやRAM、モデルの量子化、信頼できるネットワーク、求める生成速度、エージェントの安全境界を確認し、公開ベンチマークと自分の実測を混同しないでください。

公式情報源

1. Official README
2. Project repository