sgl-project
★ 35 949sglang
SGLang est un framework de service hautes performances pour les grands modèles de langage et les modèles multimodaux.
RÉPERTOIRE HYSEN LABS
Dépôts vérifiés, classifications et analyses de l’organisation sgl-project.
SGLang est un framework de service hautes performances pour les grands modèles de langage et les modèles multimodaux.
A compact implementation of SGLang, designed to demystify the complexities of modern LLM serving systems.
Train speculative decoding models effortlessly and port them smoothly to SGLang serving.