jundot/omlx：README に基づく導入ガイド

jundot/omlx の README はプロジェクトを「LLM inference server with continuous batching & SSD caching for Apple Silicon , managed from the macOS menu bar」と説明しています。ここではリポジトリで確認できる事実だけを整理します。star 数やバッジは注目度の手掛かりであり、品質の証明ではありません。「README」には次の説明があります。> Every LLM server I tried made me choose between convenience and control. I wanted to pin everyday models in memory, auto-swap heavier ones on demand, set context limits - and manage it all from a menu bar.。これは範囲の説明であり、本番検証の結果ではありません。

README の「Homebrew Service」にある内容から、用途が合うかを先に判断できます。Server log: /.omlx/logs/server.log (structured application log)。目的が違うなら、人気だけで採用する理由にはなりません。プロジェクト名やコマンドは原文のまま残し、一次資料へ戻って用語を確認できるようにしています。 README には次の確認可能な項目もあります。Service log: $(brew --prefix)/var/log/omlx.log (stdout/stderr)。初回テストの材料にはなりますが、実際の環境での確認を省略する理由にはなりません。

動作の説明は「Homebrew」など複数の箇所に分かれています。確認できる情報は次の通りです。Optional GLM-5.2 / MiniMax M3 native custom kernels currently require a HEAD build:。書かれていない構成、性能、セキュリティを推測で補いません。導入時はディレクトリ、設定ファイル、release 履歴を確認してください。

初回導入は README の入口から始めます。確認できるコマンドは次の通りです。 brew tap jundot/omlx https://github.com/jundot/omlx brew install omlx # Upgrade to the latest version brew update && brew upgrade omlx # Run as a background service (auto-restarts on crash) omlx start # Optional: MCP (Model Context Protocol) support /opt/homebrew/opt/omlx/libexec/bin/pip install mcp 実行可能なコマンドがない場合は手順を作らず、「macOS App」で依存関係、待受ポート、初回設定を確認します。

日常運用は公式文書の範囲に限ります。「From Source」にはRequires macOS 15.0+ (Sequoia), Python 3.11,3.13, and Apple Silicon (M1/M2/M3/M4).とあります。設定、環境変数、権限、データ保存先は明記されたものだけを扱います。未記載の既定値は隔離環境で確認し、戻せる設定を保存してください。 同じ資料にはHot tier (RAM): Frequently accessed blocks stay in memory for fast access.ともあります。