RWKV-Runner: 8MBのランチャーでRWKV推論環境を組み立てる

RWKV-Runnerが埋めるのはモデル実行の手前にある段差

RWKVの推論そのものはPython側のコードで完結する。面倒なのはその周辺で、モデルの重みをどこから取得するか、どの精度・どのVRAM戦略で読み込むか、量子化やLoRA適用をどう扱うか、そして動かしたモデルをどうやって既存のクライアントから呼ぶかという部分だ。RWKV-Runnerはこの周辺工程を1つの実行ファイルにまとめる。READMEの冒頭は「All you need is a lightweight executable program of just a few megabytes」と述べており、依存関係の自動インストールも機能として挙げられている。対象読者は、GPUは持っているが推論スタックの構築に時間を割きたくない人、あるいはRWKVをChatGPT互換の口として既存ツールに差し込みたい人になる。

frontend/backend-python分離という構成

リポジトリはTypeScriptのフロントエンドとPythonのバックエンドに分かれ、両者はHTTPでつながる。READMEのTipsには「You can deploy backend-python on a server and use this program as a client only. Fill in your server address in the Settings API URL」とあり、手元のアプリはUIと設定管理だけを担い、推論は別マシンに置ける。逆方向も可能で、frontend/ を npm run build して webui_server.py で配信すればブラウザから操作できる。つまり「クライアントだけ」「推論サーバだけ」「WebUI付き推論サーバ」の3通りが同じコードベースから出てくる。デスクトップアプリとして配布される軽量バイナリは、この分離構造の上に乗った既定の入口にすぎない。

OpenAI互換エンドポイントとembeddingsの非互換

モデル起動後、http://127.0.0.1:8000/docs でAPI仕様を確認できる。READMEは「every ChatGPT client is an RWKV client」と表現し、Settings ページにAPI URLとAPI Keyを入れればChatGPT系クライアント、GPT-Playground、Ollama、llmman などから利用できるとしている。embeddingsも提供され、langchainからは OpenAIEmbeddings(openai_api_base="http://127.0.0.1:8000", openai_api_key="sk-") で接続できる。ただしREADMEはv1.4.0でembeddingsの品質を改善した結果「The generated results are not compatible with previous versions」と明記し、ナレッジベースを構築済みなら再生成を求めている。この一文は見落としやすい。ベクトルストアを運用している場合、アップグレードはモデル差し替えではなくデータ移行を伴う作業になる。

起動までの実際のコマンド

READMEのSimple Deploy Exampleは短い。git clone https://github.com/josStorer/RWKV-Runner の後、cd RWKV-Runner して python ./backend-python/main.py を実行すると推論サービスが立ち上がる。ただしこの時点ではモデルは未ロードで、/switch-model APIを叩いて読み込む必要があるとREADMEは説明している。フロントエンドを別途ビルドする場合は cd RWKV-Runner/frontend、npm ci、npm run build の順に実行し、リポジトリ直下に戻って python ./backend-python/webui_server.py を起動する。前後同時に立ち上げるなら python ./backend-python/main.py --webui で足りる。オプションの一覧は python ./backend-python/main.py -h で確認できる。設定画面側では Configs ページの Strategy を WebGPU に切り替えるとAMDやIntelのGPUでも動くとREADMEは述べている。

CUDAカーネルとmax_tokensという2つの落とし穴

既定の設定ではカスタムCUDAカーネルによる高速化が有効になっている。READMEは「much faster and consumes much less VRAM」と利点を挙げる一方、互換性問題が起きた場合の症状を「output garbled」と具体的に示し、Configsページで Use Custom CUDA kernel to Accelerate を切るか、GPUドライバを更新するよう案内している。もう一つは公開サービス側の話で、READMEはAPIゲートウェイでリクエストサイズを制限するよう求めたうえで、backend-python/utils/rwkv.py の567行目付近にある max_tokens の上限が既定で le=102400 である点を指摘し、「may result in significant resource consumption for individual responses in extreme cases」と警告している。既定値のまま外部に開放するのは危険で、これはツールの欠陥ではなく設定の責務として読むべき箇所だ。

WebUI公開とWindows Defenderの扱い

Built-in WebUIはワンクリックでWebサービスを起動し、ハードウェア資源を共有する機能として挙げられている。共有範囲の制御についてはREADMEに記述がなく、認証やアクセス制御の仕組みは読み取れない。公開前提で使うなら、前段に何かを置く前提で設計されていると考えるべきだろう。配布バイナリについては、Windows Defenderがウイルスと判定する場合の回避策がTipsに書かれている。v1.3.7_win.zip を落として自動更新で最新版に上げる、あるいは除外設定にRWKV-Runnerフォルダを追加する、という2つの手順が示されている。コード署名ではなく除外設定で対応する方針であり、組織のセキュリティポリシーによってはここで採用が止まる。

llama.cpp系サーバとの違いは何か

同じくOpenAI互換のHTTPサーバを立てる手段としてllama.cppのserverがある。両者の違いはモデル形式への関与の深さだ。llama.cppはGGUF形式のファイルを渡すことが前提で、変換は別途自分で行う。RWKV-Runnerはモデルのダウンロード管理、リモートからのモデル検査、モデル変換ツール、LoRAファインチューニング（Windows限定）までをアプリ内に持つ。つまり推論サーバであると同時にモデル運用のGUIでもある。裏を返せば、モデルファイルを自分で管理しCIに組み込みたい場合、GUIを介した操作が邪魔になる。ヘッドレスで完結させたいならbackend-python/main.py を直接叩く経路を選ぶことになる。

MITライセンスと更新コストの見積もり

ライセンスはMITで、商用利用を含めて制約が少ない。ただしライセンスが及ぶのはRWKV-Runnerのコードであり、RWKVモデルの重みや学習データの条件は別に確認が必要になる。更新頻度はリリース履歴を見る限り年数回のペースで、v1.9.10が2026年2月、v1.9.11が5月、v1.9.12が7月に公開されている。自動更新機能が組み込まれているため、デスクトップアプリとして使う分には追従コストは低い。一方、backend-python をサーバに常駐させている場合は自動更新の恩恵を受けにくく、embeddingsの非互換のような破壊的変更を自分で追う必要がある。固定運用にするならリリースノートを確認してから上げる形になる。

編集部の結論

ローカルでRWKVを動かし、既存のChatGPTクライアントやlangchainから叩きたい個人・小規模チームには向く。逆に、複数モデルを同時に常時稼働させたい、あるいはAPIゲートウェイ側でレート制御を自前実装したくない構成には向かない。導入前に確認すべきは3点で、backend-python/utils/rwkv.py の max_tokens 上限が le=102400 のままになっていないか、Configs の Use Custom CUDA kernel to Accelerate を切る必要が出るGPU環境か、そしてembeddings APIを既存のナレッジベースで使っている場合はv1.4.0以降で再生成が必要かどうかである。

公式情報源

1. josStorer/RWKV-Runner on GitHub
2. License: MIT
3. Project website
4. README
5. Releases