shimmy
Pure-Rust WebGPU-Inferenz-Engine, OpenAI-API-kompatibel, GGUF-nativ, läuft auf jeder GPU. Kein Python. Kein llama.cpp. Einzelne Binärdatei.
Welches Problem es löst
Pure-Rust WebGPU-Inferenz-Engine, OpenAI-API-kompatibel, GGUF-nativ, läuft auf jeder GPU. Kein Python. Kein llama.cpp. Einzelne Binärdatei.
Der Projektkontext auf dieser Seite ist kostenlos lesbar. Das ursprüngliche GitHub-Repository bleibt maßgeblich; nur zum Speichern oder Diskutieren ist eine Anmeldung nötig.
Community-Notizen