Hysen Labsnoonghunna
club-3090
Community-Rezepte für die Bereitstellung von LLMs auf RTX 3090/4090/5090 CUDA GPUs. Mehrmotorig (vLLM, llama.cpp, ik_llama) und modellunabhängig. Derzeit werden Qwen3.6-27B Qwen3.6 35B Gemma 4 26B Gemma 4 31B-Konfigurationen für 1 und 2 Karten ausgeliefert.
1.826 Sterne112 ForksPythonApache-2.0
01
REDAKTIONELLER ÜBERBLICK
Welches Problem es löst
Community-Rezepte für die Bereitstellung von LLMs auf RTX 3090/4090/5090 CUDA GPUs. Mehrmotorig (vLLM, llama.cpp, ik_llama) und modellunabhängig. Derzeit werden Qwen3.6-27B Qwen3.6 35B Gemma 4 26B Gemma 4 31B-Konfigurationen für 1 und 2 Karten ausgeliefert.
Der Projektkontext auf dieser Seite ist kostenlos lesbar. Das ursprüngliche GitHub-Repository bleibt maßgeblich; nur zum Speichern oder Diskutieren ist eine Anmeldung nötig.
Community-Notizen