ha-llmvision：把多模態模型接進 Home Assistant 的影像事件管線
Visual intelligence for your home.
秒懂
- 它是什麼？
- 它解決的是「監視器只會觸發、不會描述」這件事：用多模態 LLM 分析快照、影片、即時串流與 Frigate 事件，並把結果寫進時間軸與感測器。本文依 README 與版本紀錄整理機制、安裝步驟與部署邊界。
- 適合誰用？
- 如果你已經有 Home Assistant 與攝影機事件來源，而且願意把影像交給某個多模態模型端點（雲端或自架的 Ollama、LocalAI、Open WebUI 皆可），ha-llmvision 是目前把「事件」轉成「描述」這條鏈路包得相對完整的整合，Apache-2.0 授權也讓自架與商用環境的採用門檻較低。若你無法接受任何畫面離開本地網路，或你的 Home Assistant 是 Container 部署卻不打算掛載 /media，那它會在第一個步驟就卡住，這時應該先確認容器掛載與模型端點，再談要不要裝。
- 可以商用嗎？
- 可以。Apache-2.0 是寬鬆授權：你可以使用、修改並販售以它為基礎的軟體，只需保留著作權與授權聲明。
- 還在維護嗎？
- 有在維護。儲存庫最近一次提交在 10 天前。
- 用什麼語言寫的？
- 主要是 Python（依據 GitHub 的語言統計）。
以上回答依據專案的 GitHub 資料（最近同步於 2026年9月15日）與我們的分析，不構成法律意見。
開源專案深度解析
它要取代的是「移動偵測通知」這個半成品
多數家庭監控的終點是一則通知：某個時間、某支攝影機、有人形移動。剩下的判讀全交給你自己看截圖。ha-llmvision 針對的正是這段落差，README 把它定位成「uses multimodal large language models to analyze images, videos, live camera feeds, and Frigate events」，並補上一句「It can also keep track of analyzed events in a timeline」。換句話說，它處理的不是影像串流本身，而是事件發生後那幾秒的判讀工作。目標使用者是有 Home Assistant、有攝影機、而且已經在用 Frigate 或自動化觸發事件的人。若你只有一顆燈泡和一顆溫濕度感測器，這個整合沒有任何東西可以分析。
供應商抽象層是這個專案最大的工程價值
README 列出的支援清單相當長：OpenRouter、OpenAI、Anthropic、Google Gemini、AWS Bedrock、Azure、Groq，以及自架的 Ollama、Open WebUI、LocalAI，最後補上「any provider with OpenAI compatible endpoints」。這代表它的架構把模型呼叫收斂到一組相容端點後面，而不是為每家公司寫一套邏輯。對使用者的實際意義是：切換供應商不需要重寫自動化，只要在整合頁面新增一個 provider entry。這也是它跟「直接在自動化裡呼叫 RESTful 指令」最根本的差別，後者每次換模型都要重寫 YAML。反過來說，這種抽象也意味著它只能用到各家 API 的交集，供應商獨有的進階參數不會出現在設定介面上。
安裝路徑：HACS、重啟、加 provider
README 的 Quick Start 給的是六步流程。先在 HACS 安裝 LLM Vision，它已收錄於預設 repository，所以不必手動加自訂來源；接著重啟 Home Assistant；再到設定裡的裝置與服務搜尋 LLM Vision，按 submit 以預設值完成設定。第五步是關鍵：LLM Vision 使用 /media 目錄存放快照，README 明講「LLM Vision uses the more secure /media folder for storing snapshots」，並提醒若是 Home Assistant Container 部署，可能需要在容器設定中把某個資料夾掛載到 /media。最後回到整合頁面按 Add Entry 新增第一個 AI Provider。這一步之後的供應商細節，README 沒有寫在倉庫裡，而是指向 llm-vision.gitbook.io 的 providers 章節。
Blueprint 是預設入口，不是唯一入口
README 提供一個 blueprint，用途是「camera event notifications intelligently summarized by AI」，並附上兩張通知與時間軸的示意圖。對不想寫自動化的人來說，這是成本最低的起點。但要留意它的定位：blueprint 是一組現成的自動化範本，你套用之後得到的是「事件觸發、模型判讀、發通知」這條固定路線。如果你的需求是「把判讀結果寫進某個特定 sensor 再餵給其他自動化」，README 提到的另一句話更貼近那個場景：它會「updates sensors based on data extracted from camera streams, images or videos」。這條路需要自己組自動化，文件在網站與 GitBook，不在倉庫內。
時間軸與記憶功能改變了查詢方式
README 的 features 裡有兩項容易被忽略：「Remembers people, pets and objects」以及「Keeps a timeline of camera events, so you can display them on your dashboard or ask Assist about them」。前者表示判讀結果會累積成可辨識的實體，而不是每則通知各自獨立；後者表示事件會被保存下來，可透過 Assist 反查。這也解釋了為什麼它需要 /media 這個持久化目錄：時間軸需要留存影像與對應的描述。這裡的取捨很明顯，你換到的是可回溯性，付出的是儲存空間，以及影像留在裝置上的時間長度。README 沒有說明保留策略或清理機制，這部分需要自己從實際運作中確認。
Frigate 使用者與非 Frigate 使用者的落差
Frigate 事件被列為第一級支援的分析對象，這對已經在用 Frigate 的人是好消息，因為事件邊界、時間戳與物件分類都由 Frigate 提供，整合只要負責判讀。但如果你用的是 Home Assistant 內建的一般攝影機實體，事件邊界就得自己從動作感測器或自動化觸發來定義，README 沒有提供這層的細節。這是文件明顯偏薄的地方：它告訴你「可以分析即時攝影機串流」，但沒有在倉庫裡說明取樣頻率、逾時行為，或連續觸發時如何避免重複送出。這些要在 GitBook 或 discussions 裡找答案。
什麼情況下它會是錯的工具
最直接的反例是隱私邊界。README 把雲端供應商與自架選項並列，選擇權在使用者手上，但只要選了雲端，畫面就會離開你的網路。若你的部署前提是「影像絕不出區網」，可行路徑只剩 Ollama、LocalAI、Open WebUI 這幾個自架端點，而這條路對硬體有要求，README 沒有給任何硬體建議或模型大小指引。第二個反例是部署形態：Container 使用者如果不掛載 /media，安裝流程會在第五步停下，而且錯誤不會出現在供應商設定裡，容易誤判成模型問題。第三個反例是成本結構：每一則事件通知都是一次模型呼叫，事件量大的環境下，費用取決於你的攝影機數量與觸發頻率，而不是這個整合本身。
替代方案：自己串 RESTful 指令的差別
在 Home Assistant 裡要做到類似效果，另一條路是用 RESTful sensor 或 rest_command 直接打供應商的 API，把回傳塞進 template sensor。兩者的差別不在能不能呼叫模型，而在狀態管理。自己串的做法每次都要處理影像的取得、編碼、base64 或 URL 傳遞、回應解析與錯誤重試，而且這些邏輯散在 YAML 裡，換供應商就得重寫。ha-llmvision 把供應商差異、影像取得與時間軸保存收進整合層，代價是你接受它的抽象與它的更新節奏。如果你只需要單一供應商、單一攝影機、一種提示詞，自己串其實更透明也更好除錯；一旦供應商數量或事件來源變多，整合層的價值才會顯現。
維護成本與授權
版本紀錄顯示這個專案仍在活躍修正：v1.7.2 於 2026-09-03 發布，標題為 Bug Fixes，前一週有 v1.7.2-beta.1，再往前是 2026-08-04 的 v1.7.1，標題為 Bug Fixes and Performance Improvements。這種節奏意味著修補來得快，但也意味著你應該預期小版本之間會有行為調整，升級前值得看一眼 release notes。授權為 Apache-2.0，允許修改與再散布，並包含專利授權條款；實際使用時仍須自行確認你與各模型供應商之間的服務條款，這部分與本專案授權無關。README 也提到可透過 GitHub issue 回報問題，並建議附上除錯記錄，除錯可在整合設定頁啟用，遇到判讀異常時先打開它再回報，會比直接描述症狀有效。
編輯結論
如果你已經有 Home Assistant 與攝影機事件來源，而且願意把影像交給某個多模態模型端點（雲端或自架的 Ollama、LocalAI、Open WebUI 皆可），ha-llmvision 是目前把「事件」轉成「描述」這條鏈路包得相對完整的整合，Apache-2.0 授權也讓自架與商用環境的採用門檻較低。若你無法接受任何畫面離開本地網路，或你的 Home Assistant 是 Container 部署卻不打算掛載 /media，那它會在第一個步驟就卡住，這時應該先確認容器掛載與模型端點，再談要不要裝。安裝前務必先驗證三件事：/media 是否可寫、你選的供應商是否支援你要送的影像格式、以及你願意為每次事件觸發付出多少 token 成本。
社群筆記