huggingface/tokenizers
tokenizers
đ„ Fast State-of-the-Art Tokenizers optimized for Research and Production
11.036 Sterne1.197 ForksRustApache-2.0
Auf einen Blick
- Was ist das?
- đ„ Fast State-of-the-Art Tokenizers optimized for Research and Production
- Darf ich es kommerziell nutzen?
- Ja. Apache-2.0 ist eine freizĂŒgige Lizenz: Sie dĂŒrfen darauf aufbauende Software nutzen, verĂ€ndern und verkaufen, solange Sie die Urheberrechts- und Lizenzhinweise beibehalten.
- Wird es noch gepflegt?
- Ja. Die letzten Commits kamen vor 1 Tag.
- In welcher Sprache ist es geschrieben?
- HauptsÀchlich Rust, laut der Sprachstatistik von GitHub.
Die Antworten beruhen auf den GitHub-Daten des Projekts (zuletzt abgeglichen am 15. September 2026) und auf unserer Analyse. Sie sind keine Rechtsberatung.
DatenaktualitÀt
Redaktionsstatus
Eine vollstĂ€ndige redaktionelle Analyse dieses Projekts ist noch nicht veröffentlicht. Die obigen Fakten stammen aus den öffentlichen GitHub-Metadaten. PrĂŒfen Sie Repository, Lizenz und Issue-Tracker, bevor Sie es in Produktion einsetzen.
Community-Notizen