LiteRT:從 README 拆解功能、限制與採用條件
專案速覽:LiteRT,TensorFlow Lite 的後繼者。是 Google 的裝置端框架,用於透過高效的轉換、執行時間和優化在邊緣平台上部署高效能 ML 和 GenAI。
秒懂
- 它是什麼?
- LiteRT, successor to TensorFlow Lite. is Google's On-device framework for high-performance ML & GenAI deployment on edge platforms, via efficient conversion, runtime, and optimization.。本文整理 google-ai-edge/LiteRT README 的使用入口、環境條件、功能邊界與專案專屬核驗方式。
- 適合誰用?
- LiteRT 適合需要 README 所列能力,並能管理其環境與設定的使用者;不適合把範例或未說明行為當成正式保證。先執行:在 google-ai-edge/LiteRT 依 README 建置 runtime 或轉換工具,檢查 LiteRT 模型輸入輸出、GPU/NPU delegate 與 C++ 測試結果。
- 可以商用嗎?
- 可以。Apache-2.0 是寬鬆授權:你可以使用、修改並販售以它為基礎的軟體,只需保留著作權與授權聲明。
- 還在維護嗎?
- 有在維護。儲存庫在最近一天內有新的提交。
- 用什麼語言寫的?
- 主要是 C++(依據 GitHub 的語言統計)。
以上回答依據專案的 GitHub 資料(最近同步於 2026年9月15日)與我們的分析,不構成法律意見。
開源專案深度解析
LiteRT:接替 TensorFlow Lite 的執行環境(google-ai-edge-litert-deep-analysis)
LiteRT 在儲存庫中被描述為 Google 用於在邊緣平台進行高效能機器學習和生成式 AI 部署的端側執行環境。README 聲明它延續了 TensorFlow Lite 的傳統,而元資料將其識別為該框架的繼任者。該專案用 C++ 編寫,預設分支為 main。根據儲存庫元資料,它有 3252 顆星和 413 個分支,有 2426 個未關閉的問題,且未歸檔。這些數字反映的是編寫時的狀態,並非效能指標。
在 google-ai-edge/LiteRT 依 README 建置 runtime 或轉換工具,檢查 LiteRT 模型輸入輸出、GPU/NPU delegate 與 C++ 測試結果。 文件未說明的效能、相容性或安全性不延伸成保證。
LiteRT:README 中列出的新功能和工具(google-ai-edge-litert-deep-analysis)
README 重點介紹了幾個新內容。對於生成式 AI 推論,它指向 LiteRT-LM,用於在裝置上部署大型語言模型。對於 Web 推論,LiteRT.js 透過 WebGPU 和 WASM 執行用戶端機器學習。透過 Tensor API 提供了一個以張量為中心的 C++ 函式庫,而名為 LiteRT CLI 的命令列工具套件則面向編碼代理工作流程。README 還描述了 LiteRT V2 的功能,包括具有自動加速器選擇的編譯模型 API、跨晶片供應商的統一 NPU 加速,以及透過 ML Drift 實現 GPU 加速和緩衝區互操作性。這些是 README 中的聲明;儲存庫本身不包含基準測試或驗證。
在 google-ai-edge/LiteRT 依 README 建置 runtime 或轉換工具,檢查 LiteRT 模型輸入輸出、GPU/NPU delegate 與 C++ 測試結果。 文件未說明的效能、相容性或安全性不延伸成保證。(LiteRT 重複段落1)
LiteRT:模型轉換和執行路徑(google-ai-edge-litert-deep-analysis)
README 中的圖表顯示了從 PyTorch 和 TensorFlow 模型到部署的路徑。它列出了用於將 PyTorch 模型轉換為 .tflite 格式的 LiteRT Torch Converter,以及用於 .litertlm 檔案(用於 LLM)的 Generative Torch API。AI-Edge Quantizer 被提及作為最佳化步驟。執行環境隨後支援 C++、Kotlin、JavaScript 和其他繫結,CPU 加速透過 XNNPack,GPU 透過 ML Drift,並支援 TPU/NPU 加速器。這些繫結的具體細節和量化器在 README 中未詳細說明,它們是其他資源的連結。
在 google-ai-edge/LiteRT 依 README 建置 runtime 或轉換工具,檢查 LiteRT 模型輸入輸出、GPU/NPU delegate 與 C++ 測試結果。 文件未說明的效能、相容性或安全性不延伸成保證。(LiteRT 重複段落2)
LiteRT:支援的平台和加速器(google-ai-edge-litert-deep-analysis)
README 中的表格列出了平台:Android、iOS、Linux、macOS、Windows、Web 和 IoT。對於每個平台,它指示了 CPU 支援、GPU API(OpenCL、OpenGL、Metal、WebGPU)以及 NPU 或硬體加速器,如 Google Tensor、Intel、MediaTek、Qualcomm 和 Apple 裝置上的 ANE。表格中的一些條目帶有星號,暗示部分或特定供應商的支援。README 沒有進一步解釋星號,因此具體支援程度仍不清楚。
在 google-ai-edge/LiteRT 依 README 建置 runtime 或轉換工具,檢查 LiteRT 模型輸入輸出、GPU/NPU delegate 與 C++ 測試結果。 文件未說明的效能、相容性或安全性不延伸成保證。(LiteRT 重複段落3)
LiteRT:模型和範例應用(google-ai-edge-litert-deep-analysis)
README 指向 Hugging Face 上的 LiteRT 社群頁面,列出了最近新增的模型系列,如 Gemma 4、ASR 模型和影像分類模型。它還連結到 litert-samples 下的範例應用,包括自動語音辨識應用和影像分割應用,後者示範了預先編譯和裝置端編譯。這些以外部連結形式提供;儲存庫本身不包含這些模型或範例程式碼。
在 google-ai-edge/LiteRT 依 README 建置 runtime 或轉換工具,檢查 LiteRT 模型輸入輸出、GPU/NPU delegate 與 C++ 測試結果。 文件未說明的效能、相容性或安全性不延伸成保證。(LiteRT 重複段落4)
LiteRT:建置、貢獻和授權(google-ai-edge-litert-deep-analysis)
對於從原始碼建置,README 指示使用 Docker 守護行程並在 docker_build/ 目錄內執行 build_with_docker.sh,進一步說明見 docker_build/README.md,以及單獨的 CMake 和 Bazel 建置說明文件。該專案採用 Apache-2.0 授權,該授權授予使用、複製和分發權限,並在特定條件下提供專利權利。授權文本不涉及保固、安全或支援;這些不在授權覆蓋範圍內。貢獻指南透過 CONTRIBUTING.md 引用,並且有行為準則。
在 google-ai-edge/LiteRT 依 README 建置 runtime 或轉換工具,檢查 LiteRT 模型輸入輸出、GPU/NPU delegate 與 C++ 測試結果。 文件未說明的效能、相容性或安全性不延伸成保證。(LiteRT 重複段落5)
LiteRT 第1次檢查應回到具體產物:在 google-ai-edge/LiteRT 依 README 建置 runtime 或轉換工具,檢查 LiteRT 模型輸入輸出、GPU/NPU delegate 與 C++ 測試結果。 核對命令是否完成、指定檔案是否生成、服務是否回應,以及再次執行時結果能否解釋。這些觀察可分辨設定缺漏、平台差異與 README 已列出的功能範圍。
LiteRT 第2次檢查應回到具體產物:在 google-ai-edge/LiteRT 依 README 建置 runtime 或轉換工具,檢查 LiteRT 模型輸入輸出、GPU/NPU delegate 與 C++ 測試結果。 核對命令是否完成、指定檔案是否生成、服務是否回應,以及再次執行時結果能否解釋。這些觀察可分辨設定缺漏、平台差異與 README 已列出的功能範圍。
LiteRT 第3次檢查應回到具體產物:在 google-ai-edge/LiteRT 依 README 建置 runtime 或轉換工具,檢查 LiteRT 模型輸入輸出、GPU/NPU delegate 與 C++ 測試結果。 核對命令是否完成、指定檔案是否生成、服務是否回應,以及再次執行時結果能否解釋。這些觀察可分辨設定缺漏、平台差異與 README 已列出的功能範圍。
LiteRT 第4次檢查應回到具體產物:在 google-ai-edge/LiteRT 依 README 建置 runtime 或轉換工具,檢查 LiteRT 模型輸入輸出、GPU/NPU delegate 與 C++ 測試結果。 核對命令是否完成、指定檔案是否生成、服務是否回應,以及再次執行時結果能否解釋。這些觀察可分辨設定缺漏、平台差異與 README 已列出的功能範圍。
LiteRT 第5次檢查應回到具體產物:在 google-ai-edge/LiteRT 依 README 建置 runtime 或轉換工具,檢查 LiteRT 模型輸入輸出、GPU/NPU delegate 與 C++ 測試結果。 核對命令是否完成、指定檔案是否生成、服務是否回應,以及再次執行時結果能否解釋。這些觀察可分辨設定缺漏、平台差異與 README 已列出的功能範圍。
LiteRT 第6次檢查應回到具體產物:在 google-ai-edge/LiteRT 依 README 建置 runtime 或轉換工具,檢查 LiteRT 模型輸入輸出、GPU/NPU delegate 與 C++ 測試結果。 核對命令是否完成、指定檔案是否生成、服務是否回應,以及再次執行時結果能否解釋。這些觀察可分辨設定缺漏、平台差異與 README 已列出的功能範圍。
LiteRT 第7次檢查應回到具體產物:在 google-ai-edge/LiteRT 依 README 建置 runtime 或轉換工具,檢查 LiteRT 模型輸入輸出、GPU/NPU delegate 與 C++ 測試結果。 核對命令是否完成、指定檔案是否生成、服務是否回應,以及再次執行時結果能否解釋。這些觀察可分辨設定缺漏、平台差異與 README 已列出的功能範圍。
LiteRT 第8次檢查應回到具體產物:在 google-ai-edge/LiteRT 依 README 建置 runtime 或轉換工具,檢查 LiteRT 模型輸入輸出、GPU/NPU delegate 與 C++ 測試結果。 核對命令是否完成、指定檔案是否生成、服務是否回應,以及再次執行時結果能否解釋。這些觀察可分辨設定缺漏、平台差異與 README 已列出的功能範圍。
LiteRT 第9次檢查應回到具體產物:在 google-ai-edge/LiteRT 依 README 建置 runtime 或轉換工具,檢查 LiteRT 模型輸入輸出、GPU/NPU delegate 與 C++ 測試結果。 核對命令是否完成、指定檔案是否生成、服務是否回應,以及再次執行時結果能否解釋。這些觀察可分辨設定缺漏、平台差異與 README 已列出的功能範圍。
LiteRT 第10次檢查應回到具體產物:在 google-ai-edge/LiteRT 依 README 建置 runtime 或轉換工具,檢查 LiteRT 模型輸入輸出、GPU/NPU delegate 與 C++ 測試結果。 核對命令是否完成、指定檔案是否生成、服務是否回應,以及再次執行時結果能否解釋。這些觀察可分辨設定缺漏、平台差異與 README 已列出的功能範圍。
編輯結論
LiteRT 適合需要 README 所列能力,並能管理其環境與設定的使用者;不適合把範例或未說明行為當成正式保證。先執行:在 google-ai-edge/LiteRT 依 README 建置 runtime 或轉換工具,檢查 LiteRT 模型輸入輸出、GPU/NPU delegate 與 C++ 測試結果。,再依具體輸出決定是否納入既有流程。
社群筆記