Michael-A-Kuykendall/shimmy: Redaktioneller README-Leitfaden

Michael-A-Kuykendall/shimmy beschreibt sich im README als „⚡ Pure-Rust WebGPU inference engine , OpenAI-API compatible, GGUF native, runs on any GPU. No Python. No llama.cpp. Single binary.". Dieser Text bleibt bei Fakten, die im Repository überprüfbar sind. Sterne, Forks und Badges zeigen Aufmerksamkeit, aber keine Qualität. Unter „🔒 Local Inference Without Dependencies 🚀" steht: Shimmy will be free forever. No asterisks. No "free for now." No pivot to paid.. Das beschreibt den vorgesehenen Umfang, nicht einen Produktionstest.

Der Abschnitt „💝 Support Shimmy's Growth" zeigt, für welches Problem das Projekt gedacht ist: $25/month: Bug prioritizer 🐛 - Priority support + name in SPONSORS.md. Passt dieses Problem nicht zu deinem Fall, ist Popularität kein ausreichender Grund. Namen, Befehle und Komponenten bleiben unverändert, damit Leser die Primärquelle ohne neue Begriffe vergleichen können. Ein weiterer überprüfbarer README-Punkt lautet: $5/month: Coffee tier ☕ - Eternal gratitude + sponsor badge. Er hilft beim ersten Test, ersetzt aber keinen Test in der vorgesehenen Umgebung.

Die Betriebsweise verteilt sich auf Abschnitte wie „What Is Shimmy?". Die Quelle nennt: Shimmy is a single-binary that provides 100% OpenAI-compatible endpoints for GGUF models. Point your existing AI tools to Shimmy and they just work , locally, privately, and free.. Fehlende Angaben zu Architektur, Leistung oder Sicherheit werden nicht ergänzt. Vor einem echten Einsatz müssen Repository-Struktur, Konfigurationsdateien und Release-Verlauf geprüft werden.

Beginne die Installation am dokumentierten README-Einstieg. Ein überprüfbarer Befehl ist: # 1) Download pre-built binary (Windows example) curl -L https://github.com/Michael-A-Kuykendall/shimmy/releases/latest/download/shimmy-windows-x86_64.exe -o shimmy.exe # 2) Point it at a GGUF model set SHIMMY_BASE_GGUF=C:\path\to\model.gguf && ./shimmy.exe serve & # 3) See registered models ./shimmy list # 4) Smoke test the OpenAI API curl -s http://127.0.0.1:11435/v1/chat/completions \ -H 'Content-Type: application/json' \ -d '{"model":"tinyllama-1.1b","messages":[{"role":"user","conten Wenn kein ausführbarer Befehl vorhanden ist, wird hier keiner erfunden. Prüfe den Abschnitt „🔒 Local Inference Without Dependencies 🚀" auf Abhängigkeiten, Standardports und die Einrichtung beim ersten Start.