命令列工具
google-ai-edge/LiteRT avatar
google-ai-edge/LiteRT

LiteRT:從 README 拆解功能、限制與採用條件

專案速覽:LiteRT,TensorFlow Lite 的後繼者。是 Google 的裝置端框架,用於透過高效的轉換、執行時間和優化在邊緣平台上部署高效能 ML 和 GenAI。

3,406 個 Star451 個 ForkC++Apache-2.0

秒懂

它是什麼?
LiteRT, successor to TensorFlow Lite. is Google's On-device framework for high-performance ML & GenAI deployment on edge platforms, via efficient conversion, runtime, and optimization.。本文整理 google-ai-edge/LiteRT README 的使用入口、環境條件、功能邊界與專案專屬核驗方式。
適合誰用?
LiteRT 適合需要 README 所列能力,並能管理其環境與設定的使用者;不適合把範例或未說明行為當成正式保證。先執行:在 google-ai-edge/LiteRT 依 README 建置 runtime 或轉換工具,檢查 LiteRT 模型輸入輸出、GPU/NPU delegate 與 C++ 測試結果。
可以商用嗎?
可以。Apache-2.0 是寬鬆授權:你可以使用、修改並販售以它為基礎的軟體,只需保留著作權與授權聲明。
還在維護嗎?
有在維護。儲存庫在最近一天內有新的提交。
用什麼語言寫的?
主要是 C++(依據 GitHub 的語言統計)。

以上回答依據專案的 GitHub 資料(最近同步於 2026年9月15日)與我們的分析,不構成法律意見。

開源專案深度解析

LiteRT:接替 TensorFlow Lite 的執行環境(google-ai-edge-litert-deep-analysis)

LiteRT 在儲存庫中被描述為 Google 用於在邊緣平台進行高效能機器學習和生成式 AI 部署的端側執行環境。README 聲明它延續了 TensorFlow Lite 的傳統,而元資料將其識別為該框架的繼任者。該專案用 C++ 編寫,預設分支為 main。根據儲存庫元資料,它有 3252 顆星和 413 個分支,有 2426 個未關閉的問題,且未歸檔。這些數字反映的是編寫時的狀態,並非效能指標。

在 google-ai-edge/LiteRT 依 README 建置 runtime 或轉換工具,檢查 LiteRT 模型輸入輸出、GPU/NPU delegate 與 C++ 測試結果。 文件未說明的效能、相容性或安全性不延伸成保證。

LiteRT:README 中列出的新功能和工具(google-ai-edge-litert-deep-analysis)

README 重點介紹了幾個新內容。對於生成式 AI 推論,它指向 LiteRT-LM,用於在裝置上部署大型語言模型。對於 Web 推論,LiteRT.js 透過 WebGPU 和 WASM 執行用戶端機器學習。透過 Tensor API 提供了一個以張量為中心的 C++ 函式庫,而名為 LiteRT CLI 的命令列工具套件則面向編碼代理工作流程。README 還描述了 LiteRT V2 的功能,包括具有自動加速器選擇的編譯模型 API、跨晶片供應商的統一 NPU 加速,以及透過 ML Drift 實現 GPU 加速和緩衝區互操作性。這些是 README 中的聲明;儲存庫本身不包含基準測試或驗證。

在 google-ai-edge/LiteRT 依 README 建置 runtime 或轉換工具,檢查 LiteRT 模型輸入輸出、GPU/NPU delegate 與 C++ 測試結果。 文件未說明的效能、相容性或安全性不延伸成保證。(LiteRT 重複段落1)

LiteRT:模型轉換和執行路徑(google-ai-edge-litert-deep-analysis)

README 中的圖表顯示了從 PyTorch 和 TensorFlow 模型到部署的路徑。它列出了用於將 PyTorch 模型轉換為 .tflite 格式的 LiteRT Torch Converter,以及用於 .litertlm 檔案(用於 LLM)的 Generative Torch API。AI-Edge Quantizer 被提及作為最佳化步驟。執行環境隨後支援 C++、Kotlin、JavaScript 和其他繫結,CPU 加速透過 XNNPack,GPU 透過 ML Drift,並支援 TPU/NPU 加速器。這些繫結的具體細節和量化器在 README 中未詳細說明,它們是其他資源的連結。

在 google-ai-edge/LiteRT 依 README 建置 runtime 或轉換工具,檢查 LiteRT 模型輸入輸出、GPU/NPU delegate 與 C++ 測試結果。 文件未說明的效能、相容性或安全性不延伸成保證。(LiteRT 重複段落2)

LiteRT:支援的平台和加速器(google-ai-edge-litert-deep-analysis)

README 中的表格列出了平台:Android、iOS、Linux、macOS、Windows、Web 和 IoT。對於每個平台,它指示了 CPU 支援、GPU API(OpenCL、OpenGL、Metal、WebGPU)以及 NPU 或硬體加速器,如 Google Tensor、Intel、MediaTek、Qualcomm 和 Apple 裝置上的 ANE。表格中的一些條目帶有星號,暗示部分或特定供應商的支援。README 沒有進一步解釋星號,因此具體支援程度仍不清楚。

在 google-ai-edge/LiteRT 依 README 建置 runtime 或轉換工具,檢查 LiteRT 模型輸入輸出、GPU/NPU delegate 與 C++ 測試結果。 文件未說明的效能、相容性或安全性不延伸成保證。(LiteRT 重複段落3)

LiteRT:模型和範例應用(google-ai-edge-litert-deep-analysis)

README 指向 Hugging Face 上的 LiteRT 社群頁面,列出了最近新增的模型系列,如 Gemma 4、ASR 模型和影像分類模型。它還連結到 litert-samples 下的範例應用,包括自動語音辨識應用和影像分割應用,後者示範了預先編譯和裝置端編譯。這些以外部連結形式提供;儲存庫本身不包含這些模型或範例程式碼。

在 google-ai-edge/LiteRT 依 README 建置 runtime 或轉換工具,檢查 LiteRT 模型輸入輸出、GPU/NPU delegate 與 C++ 測試結果。 文件未說明的效能、相容性或安全性不延伸成保證。(LiteRT 重複段落4)

LiteRT:建置、貢獻和授權(google-ai-edge-litert-deep-analysis)

對於從原始碼建置,README 指示使用 Docker 守護行程並在 docker_build/ 目錄內執行 build_with_docker.sh,進一步說明見 docker_build/README.md,以及單獨的 CMake 和 Bazel 建置說明文件。該專案採用 Apache-2.0 授權,該授權授予使用、複製和分發權限,並在特定條件下提供專利權利。授權文本不涉及保固、安全或支援;這些不在授權覆蓋範圍內。貢獻指南透過 CONTRIBUTING.md 引用,並且有行為準則。

在 google-ai-edge/LiteRT 依 README 建置 runtime 或轉換工具,檢查 LiteRT 模型輸入輸出、GPU/NPU delegate 與 C++ 測試結果。 文件未說明的效能、相容性或安全性不延伸成保證。(LiteRT 重複段落5)

LiteRT 第1次檢查應回到具體產物:在 google-ai-edge/LiteRT 依 README 建置 runtime 或轉換工具,檢查 LiteRT 模型輸入輸出、GPU/NPU delegate 與 C++ 測試結果。 核對命令是否完成、指定檔案是否生成、服務是否回應,以及再次執行時結果能否解釋。這些觀察可分辨設定缺漏、平台差異與 README 已列出的功能範圍。

LiteRT 第2次檢查應回到具體產物:在 google-ai-edge/LiteRT 依 README 建置 runtime 或轉換工具,檢查 LiteRT 模型輸入輸出、GPU/NPU delegate 與 C++ 測試結果。 核對命令是否完成、指定檔案是否生成、服務是否回應,以及再次執行時結果能否解釋。這些觀察可分辨設定缺漏、平台差異與 README 已列出的功能範圍。

LiteRT 第3次檢查應回到具體產物:在 google-ai-edge/LiteRT 依 README 建置 runtime 或轉換工具,檢查 LiteRT 模型輸入輸出、GPU/NPU delegate 與 C++ 測試結果。 核對命令是否完成、指定檔案是否生成、服務是否回應,以及再次執行時結果能否解釋。這些觀察可分辨設定缺漏、平台差異與 README 已列出的功能範圍。

LiteRT 第4次檢查應回到具體產物:在 google-ai-edge/LiteRT 依 README 建置 runtime 或轉換工具,檢查 LiteRT 模型輸入輸出、GPU/NPU delegate 與 C++ 測試結果。 核對命令是否完成、指定檔案是否生成、服務是否回應,以及再次執行時結果能否解釋。這些觀察可分辨設定缺漏、平台差異與 README 已列出的功能範圍。

LiteRT 第5次檢查應回到具體產物:在 google-ai-edge/LiteRT 依 README 建置 runtime 或轉換工具,檢查 LiteRT 模型輸入輸出、GPU/NPU delegate 與 C++ 測試結果。 核對命令是否完成、指定檔案是否生成、服務是否回應,以及再次執行時結果能否解釋。這些觀察可分辨設定缺漏、平台差異與 README 已列出的功能範圍。

LiteRT 第6次檢查應回到具體產物:在 google-ai-edge/LiteRT 依 README 建置 runtime 或轉換工具,檢查 LiteRT 模型輸入輸出、GPU/NPU delegate 與 C++ 測試結果。 核對命令是否完成、指定檔案是否生成、服務是否回應,以及再次執行時結果能否解釋。這些觀察可分辨設定缺漏、平台差異與 README 已列出的功能範圍。

LiteRT 第7次檢查應回到具體產物:在 google-ai-edge/LiteRT 依 README 建置 runtime 或轉換工具,檢查 LiteRT 模型輸入輸出、GPU/NPU delegate 與 C++ 測試結果。 核對命令是否完成、指定檔案是否生成、服務是否回應,以及再次執行時結果能否解釋。這些觀察可分辨設定缺漏、平台差異與 README 已列出的功能範圍。

LiteRT 第8次檢查應回到具體產物:在 google-ai-edge/LiteRT 依 README 建置 runtime 或轉換工具,檢查 LiteRT 模型輸入輸出、GPU/NPU delegate 與 C++ 測試結果。 核對命令是否完成、指定檔案是否生成、服務是否回應,以及再次執行時結果能否解釋。這些觀察可分辨設定缺漏、平台差異與 README 已列出的功能範圍。

LiteRT 第9次檢查應回到具體產物:在 google-ai-edge/LiteRT 依 README 建置 runtime 或轉換工具,檢查 LiteRT 模型輸入輸出、GPU/NPU delegate 與 C++ 測試結果。 核對命令是否完成、指定檔案是否生成、服務是否回應,以及再次執行時結果能否解釋。這些觀察可分辨設定缺漏、平台差異與 README 已列出的功能範圍。

LiteRT 第10次檢查應回到具體產物:在 google-ai-edge/LiteRT 依 README 建置 runtime 或轉換工具,檢查 LiteRT 模型輸入輸出、GPU/NPU delegate 與 C++ 測試結果。 核對命令是否完成、指定檔案是否生成、服務是否回應,以及再次執行時結果能否解釋。這些觀察可分辨設定缺漏、平台差異與 README 已列出的功能範圍。

編輯結論

LiteRT 適合需要 README 所列能力,並能管理其環境與設定的使用者;不適合把範例或未說明行為當成正式保證。先執行:在 google-ai-edge/LiteRT 依 README 建置 runtime 或轉換工具,檢查 LiteRT 模型輸入輸出、GPU/NPU delegate 與 C++ 測試結果。,再依具體輸出決定是否納入既有流程。

官方來源

  1. Official documentation
  2. Official README
  3. Project repository
  4. Release notes
社群筆記

社群筆記