ModelTC
★ 4.289LightLLM
LightLLM is a Python-based LLM (Large Language Model) inference and serving framework, notable for its lightweight design, easy scalability, and high-speed performance.
HYSEN LABS VERZEICHNIS
Geprüfte Repositories, Klassifikationen und Analysen der Organisation ModelTC.
LightLLM is a Python-based LLM (Large Language Model) inference and serving framework, notable for its lightweight design, easy scalability, and high-speed performance.
Projektüberblick: Leichtes Inferenz-Framework für die Generierung von Bild- und Videoaktionen. 27. Februar 2026: Wir unterstützen jetzt die FP8- und NVFP4-Quantisierung für autoregressive Videogenerierungsmodelle (Self Forcing)!
[EMNLP 2024 & AAAI 2026] A powerful toolkit for compressing large models including LLMs, VLMs, and video generative models.