vMLX：给 Apple Silicon 的 MLX 推理服务器，缓存与量化是它的硬功夫

它解决什么问题

在 Apple Silicon 上跑大模型，通常要面对两个痛点：显存（统一内存）有限，以及重复提示词导致的重复计算。vMLX 把这两个问题放在一起处理。它是一个自托管的推理服务器，不依赖第三方 API 密钥，直接在本地提供 OpenAI、Anthropic 和 Ollama 兼容的 HTTP 接口。目标用户很明确：手上有 Mac、想跑 Qwen、Llama、DeepSeek 这类模型，又不想每次启动都重新加载权重或重新计算前缀的人。

两级缓存：L1 分页与 L2 磁盘

vMLX 的缓存设计是它的核心卖点。L1 是分页 KV 缓存，按块组织，带内容寻址去重。这意味着多个请求共享相同前缀时，KV 状态可以直接复用，后续消息的生成会快得多。L2 是磁盘缓存，把提示词缓存持久化到 SSD，服务器重启后依然有效。README 里强调 L2 缓存“survives restart”，这直接解决了重启后冷启动的问题。但要注意，磁盘缓存的命中率取决于你的提示词是否重复出现。如果每次请求都是全新内容，L2 只会消耗磁盘空间，不会带来加速。

混合 SSM 调度与连续批处理

vMLX 不只处理纯注意力模型。它支持混合 SSM 架构，比如 Mamba 和 GatedDeltaNet 与注意力层混合的模型，如 Nemotron-H、Jamba 和 Qwen3.5-A3B hybrid。文档说这些模型的 Mamba 层会被“correctly handled”，暗示调度器需要区分不同层类型，不能像纯 Transformer 那样统一处理。同时，连续批处理让多个并发请求共享一次前向传播，提高吞吐。这两个机制叠加，意味着 vMLX 在混合架构上的调度逻辑比普通 MLX 推理器更复杂，也更值得测试。

JANG 量化：2-bit 的激进尝试

README 中有一张对比表，声称 JANG 2-bit 在 MiniMax M2.5 上达到 74% MMLU，而 MLX 4-bit 只有 26.5%。这个数字差距大得离谱，但作者没有给出测试样本量之外的细节，比如是否用了相同的评估脚本。JANG 采用自适应混合精度，让关键层保持更高精度。这是典型的低比特量化思路：不是均匀压缩，而是按层重要性分配位宽。如果你在内存紧张的 Mac 上跑超大模型，JANG 可能让你塞进原本放不下的模型，但你必须自己跑一遍评估，别拿 README 的表格当结论。

上手：一条命令启动

安装方式有三种，README 推荐用 uv 或 pipx。uv 的路径是 `brew install uv`，然后 `uv tool install vmlx`，最后 `vmlx serve mlx-community/Qwen3-8B-4bit`。pipx 类似，只是把 uv 换成 pipx。如果你用虚拟环境，需要先 `python3 -m venv ~/.vmlx-env` 再激活。注意 README 特别提醒，macOS 14 以上直接 `pip install` 会报 externally-managed-environment 错误。启动后服务器监听 `http://0.0.0.0:8000`，用 OpenAI SDK 时只需设置 `base_url` 为 `http://localhost:8000/v1`，api_key 随便填。整个过程不需要任何第三方密钥。

模型支持范围与多模态能力

vMLX 声称支持任何 MLX 模型，包括文本、视觉、MoE、混合 SSM、图像生成、嵌入和重排序。具体列表很广，从 Qwen 3.6、Llama 4 到 Kimi K2.6、MiniMax M2.7。多模态方面，Nemotron-3-Nano-Omni 被特别提及，它能处理文本、图像、音频和视频，通过 OmniMultimodalDispatcher 路由到不同的 API 端点。图像生成走 mflux，支持 Flux 和 Z-Image。这个覆盖面意味着 vMLX 不只是聊天服务器，更像一个统一的本地推理网关。但模型越多，兼容性风险也越高，尤其是那些非主流架构，可能需要你手动调试。

限制与替代方案

vMLX 的一个明显限制是它只面向 Apple Silicon，这是 MLX 框架本身决定的。如果你有 N 卡或 AMD GPU，它完全无用。另一个限制是分布式支持只提到 pipeline parallelism across multiple Macs，但 README 被截断，细节不明。如果你想在单台 Mac 上快速跑 MLX 模型，官方 mlx-lm 是一个更简单的选择，它没有缓存和调度这些高级特性，但更稳定，更新也更频繁。vMLX 的复杂度换来的是性能和内存优化，但代价是调试面更大。如果你只需要基本推理，mlx-lm 可能更合适。

维护成本与许可证

vMLX 采用 Apache-2.0 许可证，这对商业使用友好，没有 copyleft 限制。项目最近更新频繁，从 2026 年 8 月 27 日到 29 日连续发布三个版本，说明作者在积极维护。但频繁发布也意味着 API 可能变动，升级时你需要检查配置文件是否兼容。缓存机制尤其是 L2 磁盘缓存，涉及持久化格式，如果版本升级改变了缓存格式，旧缓存可能失效，导致重启后需要重新构建。另外，JANG 量化模型托管在 HuggingFace 的 JANGQ-AI 组织下，使用前需要确认这些模型的许可证是否与 Apache-2.0 兼容，因为模型权重和代码许可证是两回事。

编辑结论

vMLX 适合已经在用 MLX 生态、需要把多个模型跑在同一台 Mac 上的开发者，尤其是那些在意首 token 延迟和内存占用的场景。它不适合完全不懂命令行的普通用户，也不适合需要生产级分布式推理或强一致缓存语义的团队。在采用前，先验证三件事：你的模型是否在 mlx-community 或本地路径中可直接加载，JANG 量化后的精度损失是否在你的任务可接受范围内，以及 L2 磁盘缓存在你常用的提示词模式上是否真正命中。若你只是偶尔跑一次推理，缓存带来的复杂度可能不值得。

官方来源

1. Official documentation
2. Official README
3. Project repository
4. Release notes