Michael-A-Kuykendall/shimmy : guide éditorial fondé sur le README

Le README décrit Michael-A-Kuykendall/shimmy comme « ⚡ Pure-Rust WebGPU inference engine , OpenAI-API compatible, GGUF native, runs on any GPU. No Python. No llama.cpp. Single binary. ». Cette page reste limitée aux faits vérifiables dans le dépôt. Les étoiles, forks et badges indiquent une attention, pas une preuve de qualité. Sous « 🔒 Local Inference Without Dependencies 🚀 », la source indique : Shimmy will be free forever. No asterisks. No "free for now." No pivot to paid.. Cela fixe un périmètre déclaré, pas un test en production.

La section « 💝 Support Shimmy's Growth » aide à vérifier si le projet répond au besoin : $25/month: Bug prioritizer 🐛 - Priority support + name in SPONSORS.md. Si ce besoin ne correspond pas au vôtre, la popularité ne suffit pas. Les noms, commandes et composants sont conservés pour permettre une comparaison directe avec la source primaire. Le README fournit aussi ce point vérifiable : $5/month: Coffee tier ☕ - Eternal gratitude + sponsor badge. Il peut guider le premier test, sans remplacer une vérification dans l'environnement prévu.

Le fonctionnement est réparti dans des sections comme « What Is Shimmy? ». La source fournit notamment : Shimmy is a single-binary that provides 100% OpenAI-compatible endpoints for GGUF models. Point your existing AI tools to Shimmy and they just work , locally, privately, and free.. Les détails absents sur l'architecture, les performances ou la sécurité ne sont pas inventés. Avant une mise en service, vérifiez l'arborescence, la configuration et l'historique des releases.

Commencez l'installation avec l'entrée documentée dans le README. La commande vérifiable est : # 1) Download pre-built binary (Windows example) curl -L https://github.com/Michael-A-Kuykendall/shimmy/releases/latest/download/shimmy-windows-x86_64.exe -o shimmy.exe # 2) Point it at a GGUF model set SHIMMY_BASE_GGUF=C:\path\to\model.gguf && ./shimmy.exe serve & # 3) See registered models ./shimmy list # 4) Smoke test the OpenAI API curl -s http://127.0.0.1:11435/v1/chat/completions \ -H 'Content-Type: application/json' \ -d '{"model":"tinyllama-1.1b","messages":[{"role":"user","conten Si aucune commande n'est fournie, cette page n'en fabrique pas. Consultez « 🔒 Local Inference Without Dependencies 🚀 » pour les dépendances, les ports par défaut et l'initialisation du premier lancement.