ModelTC
★ 4 289LightLLM
LightLLM is a Python-based LLM (Large Language Model) inference and serving framework, notable for its lightweight design, easy scalability, and high-speed performance.
RÉPERTOIRE HYSEN LABS
Dépôts vérifiés, classifications et analyses de l’organisation ModelTC.
LightLLM is a Python-based LLM (Large Language Model) inference and serving framework, notable for its lightweight design, easy scalability, and high-speed performance.
Aperçu du projet : Cadre d'inférence léger de génération d'action vidéo d'image. 27 février 2026 : Nous prenons désormais en charge la quantification FP8 et NVFP4 pour les modèles de génération vidéo autorégressive (Self Forcing) !
[EMNLP 2024 & AAAI 2026] A powerful toolkit for compressing large models including LLMs, VLMs, and video generative models.