Michael-A-Kuykendall/shimmy:README 來源編輯指南
根據 README、倉庫資料與授權整理 Michael-A-Kuykendall/shimmy 的安裝與核驗路徑。
專案定位
Michael-A-Kuykendall/shimmy 的 README 將專案描述為「⚡ Pure-Rust WebGPU inference engine , OpenAI-API compatible, GGUF native, runs on any GPU. No Python. No llama.cpp. Single binary.」。本文只整理倉庫可直接核對的內容,不把 star、Fork 或宣傳語當成品質證明。README 在「🔒 Local Inference Without Dependencies 🚀」下寫到:Shimmy will be free forever. No asterisks. No "free for now." No pivot to paid.。這說明的是專案邊界,不是已完成的生產驗證。
適用場景
從 README 的「💝 Support Shimmy's Growth」與相關條目,可以先判斷它是否處理你的實際問題:$25/month: Bug prioritizer 🐛 - Priority support + name in SPONSORS.md。若需求不同,不應只因專案熱度就採用。本文保留原始專案名、命令與元件名,方便回到一手來源核對。 README 另外列出一項可核對的資訊:$5/month: Coffee tier ☕ - Eternal gratitude + sponsor badge。這類原文條目可用來設計試跑步驟,但不能取代實際環境測試。
運作方式
README 將運作方式分散在「What Is Shimmy?」等段落。可確認的線索包括:Shimmy is a single-binary that provides 100% OpenAI-compatible endpoints for GGUF models. Point your existing AI tools to Shimmy and they just work , locally, privately, and free.。本文不把未寫出的架構、效能或安全邊界補成結論;真正的執行鏈仍要配合目錄、設定檔與版本標籤檢查。
安裝與第一次執行
第一次安裝應從 README 指出的入口開始。目前可核對的命令是: # 1) Download pre-built binary (Windows example) curl -L https://github.com/Michael-A-Kuykendall/shimmy/releases/latest/download/shimmy-windows-x86_64.exe -o shimmy.exe # 2) Point it at a GGUF model set SHIMMY_BASE_GGUF=C:\path\to\model.gguf && ./shimmy.exe serve & # 3) See registered models ./shimmy list # 4) Smoke test the OpenAI API curl -s http://127.0.0.1:11435/v1/chat/completions \ -H 'Content-Type: application/json' \ -d '{"model":"tinyllama-1.1b","messages":[{"role":"user","conten 如果倉庫沒有命令,本文不會自行編造步驟,而是建議先閱讀「🔒 Local Inference Without Dependencies 🚀」,確認系統依賴、預設埠與首次初始化。
設定與日常使用
日常使用取決於專案文件。README 的「What Is Shimmy?」段落提到:Under the hood it runs on Airframe, a pure-Rust WebGPU (WGSL) transformer engine built from scratch. No C++ toolchain, no backend flags, no compilation required. Version history lives in the CHANGELOG for engine release notes.。設定檔、環境變數、權限與資料目錄只在來源明確時才會記錄;沒有寫出的預設值,應在測試環境驗證並保留回滾副本。 同一部分也提到:$100/month: Corporate backer 🏢 - Logo placement + monthly office hours。