jundot/omlx : guide éditorial fondé sur le README

Le README décrit jundot/omlx comme « LLM inference server with continuous batching & SSD caching for Apple Silicon , managed from the macOS menu bar ». Cette page reste limitée aux faits vérifiables dans le dépôt. Les étoiles, forks et badges indiquent une attention, pas une preuve de qualité. Sous « README », la source indique : > Every LLM server I tried made me choose between convenience and control. I wanted to pin everyday models in memory, auto-swap heavier ones on demand, set context limits - and manage it all from a menu bar.. Cela fixe un périmètre déclaré, pas un test en production.

La section « Homebrew Service » aide à vérifier si le projet répond au besoin : Server log: /.omlx/logs/server.log (structured application log). Si ce besoin ne correspond pas au vôtre, la popularité ne suffit pas. Les noms, commandes et composants sont conservés pour permettre une comparaison directe avec la source primaire. Le README fournit aussi ce point vérifiable : Service log: $(brew --prefix)/var/log/omlx.log (stdout/stderr). Il peut guider le premier test, sans remplacer une vérification dans l'environnement prévu.

Le fonctionnement est réparti dans des sections comme « Homebrew ». La source fournit notamment : Optional GLM-5.2 / MiniMax M3 native custom kernels currently require a HEAD build:. Les détails absents sur l'architecture, les performances ou la sécurité ne sont pas inventés. Avant une mise en service, vérifiez l'arborescence, la configuration et l'historique des releases.

Commencez l'installation avec l'entrée documentée dans le README. La commande vérifiable est : brew tap jundot/omlx https://github.com/jundot/omlx brew install omlx # Upgrade to the latest version brew update && brew upgrade omlx # Run as a background service (auto-restarts on crash) omlx start # Optional: MCP (Model Context Protocol) support /opt/homebrew/opt/omlx/libexec/bin/pip install mcp Si aucune commande n'est fournie, cette page n'en fabrique pas. Consultez « macOS App » pour les dépendances, les ports par défaut et l'initialisation du premier lancement.