omlx
LLM-Inferenzserver mit kontinuierlichem Batching und SSD-Caching für Apple Silicon, verwaltet über die macOS-Menüleiste.
Welches Problem es löst
LLM-Inferenzserver mit kontinuierlichem Batching und SSD-Caching für Apple Silicon, verwaltet über die macOS-Menüleiste.
Der Projektkontext auf dieser Seite ist kostenlos lesbar. Das ursprüngliche GitHub-Repository bleibt maßgeblich; nur zum Speichern oder Diskutieren ist eine Anmeldung nötig.
Community-Notizen