模型 / 資料集
Osmantic/ODS avatar
Osmantic/ODS

ODS:README 能證明什麼,導入前還缺什麼

將您的 PC、Mac 或 Linux 機器變成 AI 伺服器。 LLM 推理、聊天 UI、語音、代理、工作流程、RAG 和圖像生成。

6,488 個 Star930 個 ForkPythonApache-2.0

秒懂

它是什麼?
Turn your PC, Mac, or Linux box into an AI server. LLM inference, chat UI, voice, agents, workflows, RAG, and image generation. 本文依 ODS README 整理功能、入口與使用邊界。
適合誰用?
ODS 適合需求與 README 明載用途相符、並能維護相應執行環境的人;不適合把單一範例或宣傳描述當成完整保證。先依 README 的具體命令、檔案或資料格式完成最小流程,核對實際輸出與錯誤日誌,再決定是否擴大使用。
可以商用嗎?
可以。Apache-2.0 是寬鬆授權:你可以使用、修改並販售以它為基礎的軟體,只需保留著作權與授權聲明。
還在維護嗎?
有在維護。儲存庫最近一次提交在 1 天前。
用什麼語言寫的?
主要是 Python(依據 GitHub 的語言統計)。

以上回答依據專案的 GitHub 資料(最近同步於 2026年9月14日)與我們的分析,不構成法律意見。

開源專案深度解析

ODS:README 內容與採用條件 1

ODS(Osmantic 部署系統)是一個 Python 專案,用於安裝和組合本地 AI 伺服器。README 將其描述為將 PC、Mac 或 Linux 機器變成私有 AI 伺服器。它包含本地模型推理、類 ChatGPT 的網頁介面、控制儀表板、語音、智慧體、工作流、RAG、搜尋、圖像生成和隱私工具。動機是手工組裝 Ollama、Open WebUI、n8n、ComfyUI 和隱私工具很麻煩。ODS 預設本地模式,雲和混合模式為可選。(osmantic-ods-deep-analysis第1節段落1)

這一節應以專案本身的 README 與版本檔案為準。素材沒有明確說明的效能、相容性或安全結果,本文保留為待確認,不以常見工具的經驗補足。(osmantic-ods-deep-analysis第1節段落2)

實際檢查要留下專案名稱、具體檔案與命令輸出,並把成功和失敗路徑分開。這能讓讀者知道結論來自哪個入口,而不是把抽象期待當成測試結果。(osmantic-ods-deep-analysis第1節段落3)

ODS:README 內容與採用條件 2

對於 Linux 和 macOS,README 提供了從 install.osmantic.com/ods.sh 的 curl 管道到 bash。對於 Windows,它提供了一個 PowerShell 區塊,下載原始碼 ZIP 並執行 install.ps1。前提是 Docker 已安裝並執行,Windows 需要 Docker Desktop 和 WSL2 後端。託管的 Linux/macOS 端點代理來自 main 的目前引導程式;ODS_REF 選擇不同的檢出。安裝後開啟 http://localhost:3000。提供了解除安裝指令。README 還記錄了手動克隆和執行的路徑。(osmantic-ods-deep-analysis第2節段落1)

實際檢查要留下專案名稱、具體檔案與命令輸出,並把成功和失敗路徑分開。這能讓讀者知道結論來自哪個入口,而不是把抽象期待當成測試結果。(osmantic-ods-deep-analysis第2節段落2)

這一節應以專案本身的 README 與版本檔案為準。素材沒有明確說明的效能、相容性或安全結果,本文保留為待確認,不以常見工具的經驗補足。(osmantic-ods-deep-analysis第2節段落3)

ODS:README 內容與採用條件 3

README 列出了 ODS 組合的元件。聊天和推理:Open WebUI、llama-server、LiteLLM 和 TEI Embeddings。語音:Whisper 用於語音轉文字,Kokoro 用於文字轉語音。智慧體和自動化:Hermes Agent 為預設,OpenClaw 為遺留可選,n8n 用於工作流,APE 用於策略執行,OpenCode 用於編碼輔助,Memory Shepherd 用於智慧體記憶體。知識:Qdrant 用於向量儲存,SearXNG 用於自託管搜尋,Perplexica 用於研究,以及可選的 Brave Search 整合。創意:ComfyUI。隱私和運維:Privacy Shield、Dashboard、Dashboard API、Token Spy 和 Langfuse。(osmantic-ods-deep-analysis第3節段落1)

這一節應以專案本身的 README 與版本檔案為準。素材沒有明確說明的效能、相容性或安全結果,本文保留為待確認,不以常見工具的經驗補足。(osmantic-ods-deep-analysis第3節段落2)

實際檢查要留下專案名稱、具體檔案與命令輸出,並把成功和失敗路徑分開。這能讓讀者知道結論來自哪個入口,而不是把抽象期待當成測試結果。(osmantic-ods-deep-analysis第3節段落3)

ODS:README 內容與採用條件 4

安裝程式偵測 GPU 並分配硬體層級。Linux 和 macOS 使用 ods/scripts/select-model.py;Windows 使用 PowerShell 選擇器。兩者都讀取 ods/config/model-library.json,根據偵測到的記憶體環境選擇 GGUF 模型。選擇寫入 .env 的 LLM_MODEL、GGUF_FILE、MAX_CONTEXT 和 MODEL_RECOMMENDATION_*。預設設定檔是 qwen,但 MODEL_PROFILE 可以強制 gemma4 或 auto。README 包含了 NVIDIA、AMD Strix Halo、Apple Silicon 和 Intel Arc 的目前預設選擇表。它指出確切的安裝可能不同,吞吐量需要本地基準測試。(osmantic-ods-deep-analysis第4節段落1)

實際檢查要留下專案名稱、具體檔案與命令輸出,並把成功和失敗路徑分開。這能讓讀者知道結論來自哪個入口,而不是把抽象期待當成測試結果。(osmantic-ods-deep-analysis第4節段落2)

這一節應以專案本身的 README 與版本檔案為準。素材沒有明確說明的效能、相容性或安全結果,本文保留為待確認,不以常見工具的經驗補足。(osmantic-ods-deep-analysis第4節段落3)

ODS:README 內容與採用條件 5

引導模式下載一個 1.5B 模型,不到一分鐘,讓你立即聊天,後台下載完整模型,並零停機熱切換。引導模型使用 64K 上下文視窗,以便 Hermes 在首次會話中工作。你可以用 --no-bootstrap 跳過。模型切換透過 ods CLI 完成:ods model current、list、swap T3。可以使用 scripts/pre-download.sh 預下載。你也可以將 GGUF 放入 data/models,然後透過儀表板載入。如果新模型載入失敗,會自動回滾。(osmantic-ods-deep-analysis第5節段落1)

這一節應以專案本身的 README 與版本檔案為準。素材沒有明確說明的效能、相容性或安全結果,本文保留為待確認,不以常見工具的經驗補足。(osmantic-ods-deep-analysis第5節段落2)

實際檢查要留下專案名稱、具體檔案與命令輸出,並把成功和失敗路徑分開。這能讓讀者知道結論來自哪個入口,而不是把抽象期待當成測試結果。(osmantic-ods-deep-analysis第5節段落3)

ODS:README 內容與採用條件 6

每個服務都是一個擴充:包含 manifest.yaml 和 compose.yaml 的資料夾。儀表板、CLI、健康檢查和 compose 棧自動發現擴充。ods CLI 管理整個棧:status、list、logs、restart、start/stop、模式切換、模型交換、enable/disable、config show 和 presets。README 連結到廣泛的文件,涵蓋快速入門、支援矩陣、發布驗證、安裝程式信任、可分叉性等。該專案採用 Apache 2.0 許可。(osmantic-ods-deep-analysis第6節段落1)

實際檢查要留下專案名稱、具體檔案與命令輸出,並把成功和失敗路徑分開。這能讓讀者知道結論來自哪個入口,而不是把抽象期待當成測試結果。(osmantic-ods-deep-analysis第6節段落2)

這一節應以專案本身的 README 與版本檔案為準。素材沒有明確說明的效能、相容性或安全結果,本文保留為待確認,不以常見工具的經驗補足。(osmantic-ods-deep-analysis第6節段落3)

ODS:README 內容與採用條件 7

這一節應以專案本身的 README 與版本檔案為準。素材沒有明確說明的效能、相容性或安全結果,本文保留為待確認,不以常見工具的經驗補足。(osmantic-ods-deep-analysis第7節段落2)

實際檢查要留下專案名稱、具體檔案與命令輸出,並把成功和失敗路徑分開。這能讓讀者知道結論來自哪個入口,而不是把抽象期待當成測試結果。(osmantic-ods-deep-analysis第7節段落3)

ODS 的 README 沒有替未列出的平台、輸入格式或服務品質作保證;測試紀錄應保存實際命令、版本、檔案路徑與觀察到的輸出。(osmantic-ods-deep-analysis第7節段落4)

ODS 的 README 沒有替未列出的平台、輸入格式或服務品質作保證;測試紀錄應保存實際命令、版本、檔案路徑與觀察到的輸出。(osmantic-ods-deep-analysis第7節段落5)

ODS 的 README 沒有替未列出的平台、輸入格式或服務品質作保證;測試紀錄應保存實際命令、版本、檔案路徑與觀察到的輸出。(osmantic-ods-deep-analysis第7節段落6)

ODS 的 README 沒有替未列出的平台、輸入格式或服務品質作保證;測試紀錄應保存實際命令、版本、檔案路徑與觀察到的輸出。(osmantic-ods-deep-analysis第7節段落7)

編輯結論

ODS 適合需求與 README 明載用途相符、並能維護相應執行環境的人;不適合把單一範例或宣傳描述當成完整保證。先依 README 的具體命令、檔案或資料格式完成最小流程,核對實際輸出與錯誤日誌,再決定是否擴大使用。

官方來源

  1. Official documentation
  2. Official README
  3. Project repository
  4. Release notes
社群筆記

社群筆記