onnxruntime: ONNX Runtime: cross-platform, high performance ML inferencing and training accelerator

Plattformübergreifende Inferenz und Training in einem Projekt

ONNX Runtime ist ein Machine-Learning-Beschleuniger, der sowohl Inferenz als auch Training abdeckt. Das README beschreibt es als plattformübergreifend, was bedeutet, dass es auf verschiedenen Hardware, Treibern und Betriebssystemen läuft. Es behauptet nicht, ein Framework zum Erstellen von Modellen zu sein, sondern beschleunigt Modelle aus anderen Trainingsumgebungen. Das Repository ist in C++ geschrieben und hat zum Zeitpunkt des Schreibens 21.276 Sterne, wobei der Hauptzweig noch aktiv ist. Das Projekt gibt nicht an, welche spezifischen Plattformen es über diese plattformübergreifende Behauptung hinaus unterstützt, daher müsste jede bestimmte Betriebssystem- oder Beschleunigerliste gegen die Dokumentation verifiziert werden. Das README enthält auch keine Benchmark-Ergebnisse oder Leistungszahlen, daher sind Behauptungen über Geschwindigkeit oder Kosteneinsparungen nur die eigene Beschreibung des Projekts. Die Metadaten des Repositories zeigen, dass das Projekt nicht archiviert ist und die Homepage auf onnxruntime.ai verweist, was mit dem allgemeinen Informationslink des README übereinstimmt. Im README von microsoft/onnxruntime steht dieser Punkt im Zusammenhang mit ONNX Runtime. Das ist für die Einordnung relevant, weil die Dokumentation hier eine konkrete Grenze setzt und keine allgemeine Zusage macht. Wer ONNX Runtime einsetzt, sollte diesen Abschnitt als Beschreibung des Repository-Zustands lesen: Ausführung, Abhängigkeiten und Ergebnisse hängen von der gewählten Umgebung ab. Die Aussage lässt sich am angegebenen Projektpfad nachvollziehen, ohne zusätzliche Annahmen über nicht dokumentierte Funktionen einzuführen.

Inferenz: unterstützte Modelle und Hardwarepfade

Für Inferenz listet das README die Unterstützung für Modelle aus Deep-Learning-Frameworks wie PyTorch und TensorFlow/Keras sowie aus klassischen Machine-Learning-Bibliotheken einschließlich scikit-learn, LightGBM und XGBoost auf. Wie diese Modelle in ONNX Runtime gelangen, wird im README nicht erklärt; es erwähnt weder das ONNX-Format noch Konvertierungswerkzeuge. Das Projekt sagt, dass es mit verschiedenen Hardware, Treibern und Betriebssystemen kompatibel ist und wo anwendbar Hardwarebeschleuniger zusammen mit Graphoptimierungen und Transformationen nutzt. Es werden keine spezifischen Beschleuniger genannt. Das README verweist für weitere Erläuterungen auf onnxruntime.ai/docs, aber dieses Repository allein stellt nicht fest, welche Hardwarebeschleuniger unterstützt werden oder was die Graphoptimierungen in der Praxis tun. Es sagt auch, dass Inferenz schnellere Kundenerlebnisse und geringere Kosten ermöglichen kann, liefert aber keine spezifischen Daten oder Fallstudien. Im README von microsoft/onnxruntime steht dieser Punkt im Zusammenhang mit Execution Provider. Das ist für die Einordnung relevant, weil die Dokumentation hier eine konkrete Grenze setzt und keine allgemeine Zusage macht. Wer ONNX Runtime einsetzt, sollte diesen Abschnitt als Beschreibung des Repository-Zustands lesen: Ausführung, Abhängigkeiten und Ergebnisse hängen von der gewählten Umgebung ab. Die Aussage lässt sich am angegebenen Projektpfad nachvollziehen, ohne zusätzliche Annahmen über nicht dokumentierte Funktionen einzuführen.

Training: eine einzeilige Änderung für PyTorch

Der Trainingsanteil von ONNX Runtime ist im README eng begrenzt. Es heißt, dass das Training die Trainingszeit auf Multi-Node-NVIDIA-GPUs für Transformer-Modelle mit einer einzeiligen Ergänzung zu bestehenden PyTorch-Trainingsskripten beschleunigen kann. Es wird nicht erklärt, was diese eine Zeile ist, noch beschreibt es eine Trainings-API, Speichernutzung oder unterstützte PyTorch-Versionen. Es erwähnt auch keine anderen Frameworks für das Training. Für jeden, der die Trainingsfunktion bewertet, verweist das README auf ein Begleit-Repository, microsoft/onnxruntime-training-examples, und auf die Dokumentationsseite. Die tatsächlichen Codeänderungen und Einrichtungsschritte müssten aus diesen Quellen verifiziert werden. Das README sagt auch nicht, ob das Training mit Single-Node- oder Nicht-NVIDIA-Hardware funktioniert, noch erwähnt es Trainingsunterstützung für andere Frameworks. Im README von microsoft/onnxruntime steht dieser Punkt im Zusammenhang mit onnxruntime.ai/docs. Das ist für die Einordnung relevant, weil die Dokumentation hier eine konkrete Grenze setzt und keine allgemeine Zusage macht. Wer ONNX Runtime einsetzt, sollte diesen Abschnitt als Beschreibung des Repository-Zustands lesen: Ausführung, Abhängigkeiten und Ergebnisse hängen von der gewählten Umgebung ab. Die Aussage lässt sich am angegebenen Projektpfad nachvollziehen, ohne zusätzliche Annahmen über nicht dokumentierte Funktionen einzuführen.

Dokumentation, Beispiele und Plugins

Das README führt die Leser zu mehreren externen Ressourcen. Die allgemeine Informationsseite ist onnxruntime.ai, und Nutzungsdokumentation und Tutorials befinden sich unter onnxruntime.ai/docs. Es gibt auch einen YouTube-Kanal, eine Roadmap-Seite und zwei begleitende Beispiel-Repositories: eines für Inferenzbeispiele und eines für Trainingsbeispiele. Für hardwarespezifische Ausführungsanbieter nennt das README ein QNN-Plugin-EP-Repository, onnxruntime/onnxruntime-qnn, beschreibt aber nicht, was QNN ist oder wie das Plugin funktioniert. Die Roadmap-Seite ist der genannte Ort für kommende Release-Termine, Funktionen und Anleitungen zum Einreichen von Funktionsanfragen. Keine der verlinkten Seiteninhalte sind im README reproduziert, daher müssen Details zu Tutorials oder Roadmap-Punkten auf diesen Links überprüft werden. Das README spezifiziert auch nicht, ob die Beispiel-Repositories vollständig ausführbare Projekte oder nur Codeausschnitte enthalten, noch listet es andere Ausführungsanbieter auf. Im README von microsoft/onnxruntime steht dieser Punkt im Zusammenhang mit v1.28.1. Das ist für die Einordnung relevant, weil die Dokumentation hier eine konkrete Grenze setzt und keine allgemeine Zusage macht. Wer ONNX Runtime einsetzt, sollte diesen Abschnitt als Beschreibung des Repository-Zustands lesen: Ausführung, Abhängigkeiten und Ergebnisse hängen von der gewählten Umgebung ab. Die Aussage lässt sich am angegebenen Projektpfad nachvollziehen, ohne zusätzliche Annahmen über nicht dokumentierte Funktionen einzuführen.

Releases, Telemetrie und Datenschutz

Laut README werden Releases auf GitHub unter https://github.com/microsoft/onnxruntime/releases veröffentlicht. Das aktuelle Release und vergangene Releases sind dort zu finden. Details zum kommenden Release, einschließlich Daten und Funktionen, befinden sich auf der Roadmap-Seite und nicht in diesem Repository. Das README enthält auch einen Telemetriehinweis: Das Projekt kann Nutzungsdaten sammeln und an Microsoft senden, um Produkte und Dienste zu verbessern. Es verlinkt eine Datenschutzerklärung in docs/Privacy.md. Das README sagt nicht, welche Telemetrie gesammelt wird, ob sie opt-in oder opt-out ist, oder was die Datenschutzerklärung enthält. Diese Fragen werden von dieser Datei nicht beantwortet. Das Repository hat 1.491 offene Issues, was als Referenz für Projektaktivität dienen kann, aber das README kommentiert nicht, was diese Zahl bedeutet. Im README von microsoft/onnxruntime steht dieser Punkt im Zusammenhang mit ONNX Runtime. Das ist für die Einordnung relevant, weil die Dokumentation hier eine konkrete Grenze setzt und keine allgemeine Zusage macht. Wer ONNX Runtime einsetzt, sollte diesen Abschnitt als Beschreibung des Repository-Zustands lesen: Ausführung, Abhängigkeiten und Ergebnisse hängen von der gewählten Umgebung ab. Die Aussage lässt sich am angegebenen Projektpfad nachvollziehen, ohne zusätzliche Annahmen über nicht dokumentierte Funktionen einzuführen.

Beiträge, Verhaltenskodex und Lizenz

Das Projekt begrüßt Beiträge und verlinkt für Richtlinien auf CONTRIBUTING.md. Fehlerberichte und Funktionsanfragen laufen über GitHub Issues, während allgemeine Diskussionen in GitHub Discussions stattfinden. Das Projekt hat den Microsoft Open Source Code of Conduct übernommen, und das README verlinkt dessen FAQ und Kontakt-E-Mail. Das Repository ist unter der MIT-Lizenz lizenziert, und der Lizenztext gewährt die Erlaubnis, Kopien der Software zu verwenden, zu kopieren, zu modifizieren, zu fusionieren, zu veröffentlichen, zu verteilen, zu unterlizenzieren und zu verkaufen, vorbehaltlich der Aufnahme des Copyright-Hinweises und des Genehmigungshinweises. Die Lizenz besagt, dass die Software 'wie besehen' ohne jegliche Gewährleistung bereitgestellt wird, einschließlich der Gewährleistung der Marktgängigkeit, der Eignung für einen bestimmten Zweck und der Nichtverletzung von Rechten. Sie beschränkt auch die Haftung. Die Lizenz sagt nichts über Support, Sicherheitsgarantien oder Wartungserwartungen aus. Das README erwähnt auch keine Beitragsvereinbarung oder CLA-Anforderung. Im README von microsoft/onnxruntime steht dieser Punkt im Zusammenhang mit Execution Provider. Das ist für die Einordnung relevant, weil die Dokumentation hier eine konkrete Grenze setzt und keine allgemeine Zusage macht. Wer ONNX Runtime einsetzt, sollte diesen Abschnitt als Beschreibung des Repository-Zustands lesen: Ausführung, Abhängigkeiten und Ergebnisse hängen von der gewählten Umgebung ab. Die Aussage lässt sich am angegebenen Projektpfad nachvollziehen, ohne zusätzliche Annahmen über nicht dokumentierte Funktionen einzuführen.

Redaktionelles Fazit

Geeignet ist microsoft/onnxruntime für Teams, die ONNX Runtime anhand der README und der vorhandenen Beispiele prüfen wollen. Ungeeignet ist ein unkritischer Einsatz ohne passende Umgebung. Starte mit onnxruntime.ai/docs beziehungsweise dem dokumentierten Einstieg, beobachte konkrete Ausgaben und Fehler und entscheide erst danach über die Übernahme in den eigenen Ablauf.

Offizielle Quellen

1. Official documentation
2. Official README
3. Project repository
4. Release notes