vllm
Un moteur d'inférence et de service à haut débit et économe en mémoire pour les LLM.
Le problème qu’il résout
Un moteur d'inférence et de service à haut débit et économe en mémoire pour les LLM.
Le contexte du projet sur cette page est accessible gratuitement. Le dépôt GitHub d’origine reste la référence ; la connexion n’est nécessaire que pour enregistrer ou rejoindre la discussion.
Idéal pour
Les équipes qui évaluent IA et apprentissage automatique et Outils de développement
Notes de la communauté