omlx
Serveur d'inférence LLM avec traitement par lots continu et mise en cache SSD pour Apple Silicon, géré depuis la barre de menu macOS.
Le problème qu’il résout
Serveur d'inférence LLM avec traitement par lots continu et mise en cache SSD pour Apple Silicon, géré depuis la barre de menu macOS.
Le contexte du projet sur cette page est accessible gratuitement. Le dépôt GitHub d’origine reste la référence ; la connexion n’est nécessaire que pour enregistrer ou rejoindre la discussion.
Notes de la communauté