kvcache-ai/Mooncake：README に基づく導入ガイド

kvcache-ai/Mooncake の README はプロジェクトを「Mooncake is the serving platform for Kimi, a leading LLM service provided by Moonshot AI.」と説明しています。ここではリポジトリで確認できる事実だけを整理します。star 数やバッジは注目度の手掛かりであり、品質の証明ではありません。「README」には次の説明があります。A KVCache-centric Disaggregated Architecture for LLM Serving | Slides | Traces | Documentation | Blog | Slack。これは範囲の説明であり、本番検証の結果ではありません。

README の「README」にある内容から、用途が合うかを先に判断できます。May 7, 2026: 🚀 vLLM officially features Mooncake Store , a deep dive into how Mooncake's distributed KVCache engine supercharges vLLM inference with high-throughput, memory-efficient, cross-instance KV cache sharing!。目的が違うなら、人気だけで採用する理由にはなりません。プロジェクト名やコマンドは原文のまま残し、一次資料へ戻って用語を確認できるようにしています。 README には次の確認可能な項目もあります。Jul 2, 2026: DSpark, achieving 125k prefill tokens/s and 1.5 steps/s.。初回テストの材料にはなりますが、実際の環境での確認を省略する理由にはなりません。

動作の説明は「README」など複数の箇所に分かれています。確認できる情報は次の通りです。Mooncake is an infrastructure project for large-scale LLM inference and training. It features a KV cache-centric disaggregated architecture that separates prefill and decode clusters, while leveraging otherwise underutilized CPU, DRAM, and。書かれていない構成、性能、セキュリティを推測で補いません。導入時はディレクトリ、設定ファイル、release 履歴を確認してください。

初回導入は README の入口から始めます。確認できるコマンドは次の通りです。 pip install mooncake-transfer-engine 実行可能なコマンドがない場合は手順を作らず、「Mooncake Store」で依存関係、待受ポート、初回設定を確認します。

日常運用は公式文書の範囲に限ります。「README」にはMooncake includes a high-performance Transfer Engine for low-latency data movement across heterogeneous networks and accelerators; Mooncake Store for distributed KV cache and model-weight management;とあります。設定、環境変数、権限、データ保存先は明記されたものだけを扱います。未記載の既定値は隔離環境で確認し、戻せる設定を保存してください。 同じ資料にはApr 29, 2026: SGLang introduces RDMA-based P2P weight transfer for large-scale distributed RL with zero-copy RDMA transfer across thousands of GPUs.ともあります。