jjang-ai/vmlx : guide éditorial fondé sur le README

Le README décrit jjang-ai/vmlx comme « vMLX - JANGTQ Uber Compressed MLX Models - L2 Disk Cache (survives restart) + L1 Paged (super fast ttft) + Hybrid SSM Scheduler + Cont Batching + etc! ». Cette page reste limitée aux faits vérifiables dans le dépôt. Les étoiles, forks et badges indiquent une attention, pas une preuve de qualité. Sous « README », la source indique : Self-hosted inference server for LLMs, VLMs, and image generation on Apple Silicon. OpenAI + Anthropic + Ollama compatible HTTP API. Self-hosted; no third-party API keys required.. Cela fixe un périmètre déclaré, pas un test en production.

La section « Guidelines » aide à vérifier si le projet répond au besoin : Run the full test suite before submitting PRs. Si ce besoin ne correspond pas au vôtre, la popularité ne suffit pas. Les noms, commandes et composants sont conservés pour permettre une comparaison directe avec la source primaire. Le README fournit aussi ce point vérifiable : Run the full test suite before submitting PRs. Il peut guider le premier test, sans remplacer une vérification dans l'environnement prévu.

Le fonctionnement est réparti dans des sections comme « Install from PyPI ». La source fournit notamment : Published on PyPI as vmlx -- install and run in one command:. Les détails absents sur l'architecture, les performances ou la sécurité ne sont pas inventés. Avant une mise en service, vérifiez l'arborescence, la configuration et l'historique des releases.

Commencez l'installation avec l'entrée documentée dans le README. La commande vérifiable est : # Recommended: uv (fast, no venv hassle) brew install uv uv tool install vmlx vmlx serve mlx-community/Qwen3-8B-4bit # Or: pipx (isolates from system Python) brew install pipx pipx install vmlx vmlx serve mlx-community/Qwen3-8B-4bit # Or: pip in a virtual environment python3 -m venv ~/.vmlx-env && source ~/.vmlx-env/bin/activate pip install vmlx vmlx serve mlx-community/Qwen3-8B-4bit Si aucune commande n'est fournie, cette page n'en fabrique pas. Consultez « Install from PyPI » pour les dépendances, les ports par défaut et l'initialisation du premier lancement.