Tenstorrents tt-metal: TT-NN-Operatorbibliothek und TT-Metalium-Kernelprogrammierung
TT-NN-Operatorbibliothek und TT-Metalium-Low-Level-Kernel-Programmiermodell.
Auf einen Blick
- Was ist das?
- Ein Blick auf die zwei Bibliotheken des Repositorys, seine Modell-Leistungstabellen, technischen Berichte, Debugging-Werkzeuge und Lizenzierung.
- Für wen ist es gedacht?
- Das Repository kombiniert eine High-Level-Operatorbibliothek mit einem Low-Level-Kernelmodell und liefert eine große Anzahl technischer Berichte und Werkzeuge. Die Apache-2.0-Lizenz deckt den Code ab, aber die README geht nicht auf Support, Garantie oder Sicherheitszusagen ein.
- Darf ich es kommerziell nutzen?
- Ja. Apache-2.0 ist eine freizügige Lizenz: Sie dürfen darauf aufbauende Software nutzen, verändern und verkaufen, solange Sie die Urheberrechts- und Lizenzhinweise beibehalten.
- Wird es noch gepflegt?
- Ja. Die letzten Commits kamen vor 1 Tag.
- In welcher Sprache ist es geschrieben?
- Hauptsächlich C++, laut der Sprachstatistik von GitHub.
Die Antworten beruhen auf den GitHub-Daten des Projekts (zuletzt abgeglichen am 14. September 2026) und auf unserer Analyse. Sie sind keine Rechtsberatung.
TIEFGEHENDE OPEN-SOURCE-ANALYSE
Zwei Bibliotheken in einem Repository
Das tt-metal-Repository hostet zwei unterschiedliche, aber verwandte Teile des Tenstorrent-Softwarestapels. TT-NN ist eine Python- und C++-Bibliothek für neuronale Netzwerkoperatoren und bietet High-Level-Operationen zum Erstellen von Modellen. TT-Metalium ist das Low-Level-Programmiermodell für Tenstorrent-Hardware, das sich an Entwickler richtet, die benutzerdefinierte Kernel schreiben möchten. Die README präsentiert sie als separate Projekte mit eigenen API-Referenzen und Dokumentationen: TT-NN verlinkt auf eine API-Referenz und Modelldemos, während TT-Metalium auf einen Programmierleitfaden und Kernelbeispiele verweist. Die Repository-Beschreibung auf GitHub nennt es die "TT-NN-Operatorbibliothek und das TT-Metalium-Low-Level-Kernelprogrammiermodell", was der Struktur der README entspricht.
TT-NN: Operatorbibliothek und Modelldemos
TT-NN wird als Python- und C++-Bibliothek für neuronale Netzwerkoperatoren eingeführt. Die README enthält einen API-Referenzlink und einen models/demos-Ordner. Außerdem listet sie eine Reihe von ausgewählten Modellen auf, jeweils mit einer Leistungstabelle: Llama 3.3 70B, Qwen 2.5 7B und 72B, Whisper (distil-large-v3) und Mixtral 8x7B. Die Tabellen berichten die Zeit bis zum ersten Token (TTFT) in Millisekunden, Token pro Sekunde pro Benutzer (T/S/U), Gesamt-Token pro Sekunde (T/S) und Parallelisierungsfaktoren (TP und DP). Die README definiert diese Metriken und weist darauf hin, dass die Daten aus den tt-metal-Modelldemos stammen, mit der Warnung, dass andere Laufzeiten wie der vLLM-Inferenzserver andere Ergebnisse liefern können. Außerdem wird festgestellt, dass die Blackhole-Softwareoptimierung aktiv entwickelt wird und zur Teilnahme einlädt.
TT-Metalium: Low-Level-Kernelentwicklung
TT-Metalium wird als Low-Level-Programmiermodell beschrieben, das die Kernelentwicklung für Tenstorrent-Hardware ermöglicht. Die README verweist auf einen Programmierleitfaden und eine API-Referenz und empfiehlt, mit einfachen Kernen zu beginnen. Eine Liste von Programmierbeispielen umfasst Hello-World-Compute- und Datenbewegungskernel, das Addieren von Ganzzahlen auf einem Baby-RISC-V-Kern oder in einem Compute-Kernel, einfache Tensoroperationen (Sharding, Padding), DRAM-Loopback, elementweise unäre und binäre Operationen sowie Matmul-Beispiele für Einzel- und Mehrkern. Jedes Beispiel hat eine eigene Markdown-Datei. TT-Metalium hat auch eine Reihe technischer Berichte, darunter die Matrix-Engine, Datenformate, Allocator, Tensor-Layouts, Flash-Attention, Ethernet-Multichip und einen Blackhole-Bring-up-Leitfaden. Dies sind Links innerhalb des Repositorys.
Technische Berichte und Scale-out-Dokumentation
Das Repository enthält eine große Anzahl technischer Berichte im Markdown-Format, die datiert und zusammen mit dem Code gepflegt werden. Für TT-NN gibt es Berichte über erweiterte Leistungsoptimierungen, ViT-Implementierung, LLM-Bring-up und CNN-Optimierung. Für TT-Metalium decken die Berichte die Matrix-Engine, Datenformate, Neukonfiguration von Datenformaten, Umgang mit speziellen Gleitkommazahlen, den Allocator, Tensor-Layouts, Sättigung der DRAM-Bandbreite, Flash-Attention, CNNs, Ethernet- und Multichip-Grundlagen, Blackhole-Bring-up und Sub-Devices ab. Separate Scale-out-Berichte behandeln die Programmierung eines Gerätemeshs, CCL-Leistungsabstimmung, Programmierung mehrerer Meshes, TT-Fabric-Architektur und TT-Distributed-Architektur. Die README verlinkt alle diese und jedes enthält ein Aktualisierungsdatum.
Werkzeuge zum Debuggen und Profilieren
Für Entwickler, die auf beiden Ebenen arbeiten, listet die README mehrere Begleitwerkzeuge auf. TT-NN Visualizer bietet interaktive Graphen und Speicherdiagramme für die Modellausführung, mit Multi-Instanz-Unterstützung und datei- oder SSH-basiertem Laden von Berichten. TT-Exalens (in einem eigenen Repository dokumentiert) ist ein Low-Level-Debugging-Werkzeug, das auf Wormhole- und Blackhole-Geräte zugreifen kann. TT-SMI ist die Tenstorrent-Systemverwaltungsschnittstelle, ein Befehlszeilentool für Geräte-, Telemetrie- und Firmware-Informationen. Model Explorer bietet eine hierarchische Ansicht von Modellgraphen. Tracy Profiler ist ein Echtzeit-Profiler mit Nanosekundenauflösung, der CPU, GPU, Speicher und Sperren unterstützt. Für Kernel-Debugging erwähnt die README DPRINT, das Variablen, Adressen und Ringpufferdaten von Kernen ausgibt, und Watcher, das Firmware und Kernel auf häufige Programmierfehler und Hänger überwacht. Inspector protokolliert Host-Laufzeitdaten zur Untersuchung.
Versionen und Lizenz
Die README enthält eine Versionsliste von 0.56.0 bis 0.68.0 (letztere mit einem voraussichtlichen Erscheinungsdatum vom 30. April 2026), jeweils mit einem Veröffentlichungsdatum und für neuere Versionen Firmware-, KMD- und SMI-Versionen. Einige Versionen sind als übersprungen markiert. Auf die Tabelle folgt ein Hinweis, die Releases-Ordner für Details zu besuchen. Der Lizenzabschnitt besagt, dass TT-Metalium und TTNN unter der Apache-2.0-Lizenz lizenziert sind, mit einem Link zur Lizenzdatei und einem erklärenden Text. Der Lizenzauszug gewährt dauerhafte, weltweite, nicht-exklusive, gebührenfreie Urheberrechts- und Patentlizenzen mit Bedingungen für die Weiterverbreitung. Die README weist auch darauf hin, dass verteilbare Formen, wie manylinux-konforme Wheels, zusätzliche Bibliotheken wie libnuma, libhwloc, openmpi und libevent bündeln müssen, die jeweils eigenen Lizenzbedingungen unterliegen. Die README enthält keine Informationen zu Support, Garantie oder Sicherheitsgarantien für die Software.
Bei tt-metal sollte die Prüfung außerdem die konkrete Version und die im README genannten Befehle berücksichtigen. Ein kleiner Test mit den vorgesehenen Eingaben zeigt, ob der Einstieg in der Zielumgebung funktioniert. Beobachtet werden sollten die erzeugte Ausgabe, Rückgabecodes und alle Dateien, die tenstorrent/tt-metal verändert. Nicht dokumentierte Leistungswerte, Kompatibilitätsversprechen oder Sicherheitsannahmen bleiben offen. Diese Einschränkung ist für die Entscheidung wichtig, weil tt-metal laut Material einen klar beschriebenen Zweck hat, aber daraus keine allgemeine Eignung für fremde Arbeitsabläufe folgt.
Redaktionelles Fazit
Das Repository kombiniert eine High-Level-Operatorbibliothek mit einem Low-Level-Kernelmodell und liefert eine große Anzahl technischer Berichte und Werkzeuge. Die Apache-2.0-Lizenz deckt den Code ab, aber die README geht nicht auf Support, Garantie oder Sicherheitszusagen ein.
Community-Notizen