vllm-project
★ 86 907vllm
Un moteur d'inférence et de service à haut débit et économe en mémoire pour les LLM.
RÉPERTOIRE HYSEN LABS
Dépôts vérifiés, classifications et analyses de l’organisation vllm-project.
Un moteur d'inférence et de service à haut débit et économe en mémoire pour les LLM.
Un cadre pour une inférence de modèle efficace avec des modèles omnimodaux.
Composants d'infrastructure rentables et enfichables pour l'inférence GenAI.