模型 / 資料集
tenstorrent/tt-metal avatar
tenstorrent/tt-metal

tt-metal:從 README 拆解能力、限制與採用條件

TT-NN 運算子庫和 TT-Metaium 低階內核程式設計模型。

1,673 個 Star676 個 ForkC++Apache-2.0

秒懂

它是什麼?
以 tenstorrent/tt-metal 的 README 為依據,整理用途、實作入口、依賴條件與適用範圍。
適合誰用?
tt-metal 適合需要 TT-NN operator library, and TT-Metalium low level kernel programming model. 能力,且能滿足版本、平台與依賴條件的使用者;不適合把文件未承諾的功能當成既定行為的人。採用前應依 tt-metal 文件中的命令與檔案完成最小流程,核對輸入、輸出、權限及失敗時的錯誤訊息,再決定是否納入長期系統。
可以商用嗎?
可以。Apache-2.0 是寬鬆授權:你可以使用、修改並販售以它為基礎的軟體,只需保留著作權與授權聲明。
還在維護嗎?
有在維護。儲存庫最近一次提交在 1 天前。
用什麼語言寫的?
主要是 C++(依據 GitHub 的語言統計)。

以上回答依據專案的 GitHub 資料(最近同步於 2026年9月14日)與我們的分析,不構成法律意見。

開源專案深度解析

tt-metal:一個儲存庫中的兩個函式庫

tt-metal 的 README 將這一段放在實作脈絡中,重點是它在 tenstorrent/tt-metal 裡實際承擔的責任。依文件所述,使用者可以理解資料如何流動、哪些元件需要先準備,以及哪些行為仍取決於平台、帳號或硬體狀態。\n\ntt-metal 儲存庫託管了 Tenstorrent 軟體堆疊中兩個獨立但相關的部分。TT-NN 是一個 Python 和 C++ 神經網路算子函式庫,為建構模型提供高層操作。TT-Metalium 是用於 Tenstorrent 硬體的低層程式設計模型,面向希望編寫自訂核心的開發者。README 將它們作為獨立專案呈現,各自帶有 API 參考和文件:TT-NN 連結到 API 參考和模型示範,TT-Metalium 指向程式設計指南和核心範例。GitHub 上的儲存庫描述將其稱為「TT-NN 算子函式庫,以及 TT-Metalium 低層核心程式設計模型」,這與 README 的結構一致。\n\n針對 tt-metal,先固定版本與依賴,再依文件出現的命令或檔案路徑執行最小流程,觀察輸出是否符合描述。涉及權限、網路、平台或硬體時,前置條件不能省略;README 沒有交代的部分,不當成專案已保證的能力。

tt-metal:TT-NN:算子函式庫與模型示範

tt-metal 的 README 將這一段放在實作脈絡中,重點是它在 tenstorrent/tt-metal 裡實際承擔的責任。依文件所述,使用者可以理解資料如何流動、哪些元件需要先準備,以及哪些行為仍取決於平台、帳號或硬體狀態。\n\nTT-NN 被介紹為 Python 和 C++ 神經網路算子函式庫。README 提供了 API 參考連結和 models/demos 資料夾。它還列出了一些精選模型,每個都帶有效能表:Llama 3.3 70B、Qwen 2.5 7B 和 72B、Whisper(distil-large-v3)以及 Mixtral 8x7B。表中報告了首 token 時間(TTFT,毫秒)、每使用者每秒 token 數(T/S/U)、總每秒 token 數(T/S)以及平行化因子(TP 和 DP)。README 定義了這些指標,並指出資料來自 tt-metal 模型示範,同時提醒其他執行時期(如 vLLM 推論伺服器)可能產生不同結果。它還說明 Blackhole 軟體最佳化正在積極開發中,並邀請參與。\n\n針對 tt-metal,先固定版本與依賴,再依文件出現的命令或檔案路徑執行最小流程,觀察輸出是否符合描述。涉及權限、網路、平台或硬體時,前置條件不能省略;README 沒有交代的部分,不當成專案已保證的能力。

tt-metal:TT-Metalium:低層核心開發

tt-metal 的 README 將這一段放在實作脈絡中,重點是它在 tenstorrent/tt-metal 裡實際承擔的責任。依文件所述,使用者可以理解資料如何流動、哪些元件需要先準備,以及哪些行為仍取決於平台、帳號或硬體狀態。\n\nTT-Metalium 被描述為一種低層程式設計模型,能夠為 Tenstorrent 硬體進行核心開發。README 指向程式設計指南和 API 參考,並建議從簡單核心開始。一系列程式設計範例涵蓋了 hello world 計算和資料處理核心、在 Baby RISC-V 核心或計算核心中新增整數、簡單的張量操作(分片、填充)、DRAM 回圈、逐元素一元和二元操作,以及單核和多核的 matmul 範例。每個範例都有對應的 markdown 檔案。TT-Metalium 還擁有一組技術報告,包括矩陣引擎、資料格式、分配器、張量佈局、閃存注意力、乙太網路多晶片以及 Blackhole 啟動指南。這些都在儲存庫內的連結中。\n\n針對 tt-metal,先固定版本與依賴,再依文件出現的命令或檔案路徑執行最小流程,觀察輸出是否符合描述。涉及權限、網路、平台或硬體時,前置條件不能省略;README 沒有交代的部分,不當成專案已保證的能力。

tt-metal:技術報告與擴充文件

tt-metal 的 README 將這一段放在實作脈絡中,重點是它在 tenstorrent/tt-metal 裡實際承擔的責任。依文件所述,使用者可以理解資料如何流動、哪些元件需要先準備,以及哪些行為仍取決於平台、帳號或硬體狀態。\n\n儲存庫中攜帶了大量 markdown 格式的技術報告,與程式碼一起維護並標註日期。對於 TT-NN,有關於高級效能最佳化、ViT 實作、LLM 啟動和 CNN 最佳化的報告。對於 TT-Metalium,報告涵蓋了矩陣引擎、資料格式、重新設定資料格式、處理特殊浮點數、分配器、張量佈局、飽和 DRAM 頻寬、閃存注意力、CNN、乙太網路和多晶片基礎、Blackhole 啟動以及子裝置。單獨的擴充技術報告則涵蓋裝置網格程式設計、CCL 效能調校、多網格程式設計、TT-Fabric 架構和 TT-Distributed 架構。README 提供了所有這些報告的連結,每個都包含更新日期。\n\n針對 tt-metal,先固定版本與依賴,再依文件出現的命令或檔案路徑執行最小流程,觀察輸出是否符合描述。涉及權限、網路、平台或硬體時,前置條件不能省略;README 沒有交代的部分,不當成專案已保證的能力。

tt-metal:除錯與效能分析工具

tt-metal 的 README 將這一段放在實作脈絡中,重點是它在 tenstorrent/tt-metal 裡實際承擔的責任。依文件所述,使用者可以理解資料如何流動、哪些元件需要先準備,以及哪些行為仍取決於平台、帳號或硬體狀態。\n\n對於在任一層面工作的開發者,README 列出了幾個配套工具。TT-NN Visualizer 提供互動式圖形和記憶體圖,用於模型執行,支援多實例,並可透過檔案或 SSH 載入報告。TT-Exalens(在其自己的儲存庫中有文件)是一個低層除錯工具,可以存取 Wormhole 和 Blackhole 裝置。TT-SMI 是 Tenstorrent 系統管理介面,一個用於裝置、遙測和韌體資訊的命令列公用程式。Model Explorer 提供模型圖形的階層式檢視。Tracy Profiler 是一個即時奈秒解析度分析器,支援 CPU、GPU、記憶體和鎖。對於核心除錯,README 提到了 DPRINT,它可以從核心列印變數、位址和循環緩衝區資料,以及 Watcher,它監控韌體和核心中的常見程式設計錯誤和掛起。Inspector 記錄主機執行時期資料以供調查。\n\n針對 tt-metal,先固定版本與依賴,再依文件出現的命令或檔案路徑執行最小流程,觀察輸出是否符合描述。涉及權限、網路、平台或硬體時,前置條件不能省略;README 沒有交代的部分,不當成專案已保證的能力。

tt-metal:版本發布與授權

tt-metal 的 README 將這一段放在實作脈絡中,重點是它在 tenstorrent/tt-metal 裡實際承擔的責任。依文件所述,使用者可以理解資料如何流動、哪些元件需要先準備,以及哪些行為仍取決於平台、帳號或硬體狀態。\n\nREADME 包含一個版本表,列出了從 0.56.0 到 0.68.0 的版本(後者預計發布日期為 2026 年 4 月 30 日),每個版本都帶有發布日期,較新版本還帶有韌體、KMD 和 SMI 版本。有些版本被標記為跳過。表格之後是一個註釋,要求存取 releases 資料夾以取得詳細資訊。授權部分說明 TT-Metalium 和 TTNN 根據 Apache 2.0 授權授權,並提供了授權檔案和解釋文字的連結。授權摘錄授予永久、全球性、非獨占、免版稅的版權和專利授權,並帶有散布條件。README 還指出,可散佈的形式(如符合 manylinux 的輪子)可能需要捆綁額外的函式庫,如 libnuma、libhwloc、openmpi 和 libevent,這些函式庫有各自的授權條款。README 沒有提供關於支援、保固或軟體安全保證的資訊。\n\n針對 tt-metal,先固定版本與依賴,再依文件出現的命令或檔案路徑執行最小流程,觀察輸出是否符合描述。涉及權限、網路、平台或硬體時,前置條件不能省略;README 沒有交代的部分,不當成專案已保證的能力。

編輯結論

tt-metal 適合需要 TT-NN operator library, and TT-Metalium low level kernel programming model. 能力,且能滿足版本、平台與依賴條件的使用者;不適合把文件未承諾的功能當成既定行為的人。採用前應依 tt-metal 文件中的命令與檔案完成最小流程,核對輸入、輸出、權限及失敗時的錯誤訊息,再決定是否納入長期系統。

官方來源

  1. Official documentation
  2. Official README
  3. Project repository
  4. Release notes
社群筆記

社群筆記