vLLM : guide pratique et limites à connaître

Le serveur vLLM

vLLM est une bibliothèque pour l'inférence et le service de LLM. Selon le README, elle a été développée à l'origine dans le Sky Computing Lab de l'UC Berkeley et est devenue un projet open-source actif avec plus de 2000 contributeurs provenant de nombreuses institutions académiques et entreprises. La description du projet indique qu'il s'agit d'un moteur d'inférence et de service à haut débit et efficace en mémoire pour les grands modèles de langage, conçu pour être rapide et facile à utiliser.

Chargement et mémoire GPU

Le README énumère plusieurs fonctionnalités de performance. PagedAttention est mis en avant comme une méthode efficace pour gérer la mémoire des clés et des valeurs d'attention. D'autres fonctionnalités incluent le traitement par lots continu des requêtes entrantes, le préremplissage par blocs, la mise en cache des préfixes, et l'exécution rapide de modèles à l'aide de graphes CUDA/HIP partiels et complets. La quantification est prise en charge pour des formats tels que FP8, MXFP8/MXFP4, NVFP4, INT8, INT4, GPTQ/AWQ, GGUF, compressed-tensors, ModelOpt et TorchAO. Le projet utilise également des noyaux d'attention optimisés comme FlashAttention, FlashInfer et TRTLLM-GEN, et des noyaux GEMM/MoE via CUTLASS, TRTLLM-GEN et CuTeDSL. Les méthodes de décodage spéculatif (n-gram, suffixe, EAGLE, DFlash), l'intégration de torch.compile et le préremplissage, décodage et encodage désagrégés sont également mentionnés.

API, batching et streaming

Pour la facilité d'utilisation, vLLM s'intègre aux modèles Hugging Face populaires et prend en charge divers algorithmes de décodage, notamment l'échantillonnage parallèle et la recherche par faisceau. Il offre un parallélisme tensoriel, pipeline, de données, d'experts et de contexte pour l'inférence distribuée, ainsi que des sorties en streaming. Les sorties structurées peuvent être générées à l'aide de xgrammar ou de guidance. Les appels d'outils et les analyseurs de raisonnement sont disponibles. Le serveur fournit une API compatible OpenAI, ainsi qu'un support pour l'API Anthropic Messages et gRPC. Un support multi-LoRA efficace pour les couches denses et MoE est inclus. La prise en charge matérielle couvre les GPU NVIDIA, les GPU AMD, les GPU Intel et les CPU x86/ARM/PowerPC, avec des plugins supplémentaires pour les TPU Google, Intel Gaudi, IBM Spyre, Huawei Ascend, Rebellions NPU, Apple Silicon, MetaX GPU, et plus encore.

Modèles et paramètres

Le README indique que vLLM prend en charge plus de 200 architectures de modèles sur Hugging Face. Cela inclut les LLM à décodeur seul tels que Llama, Qwen et Gemma ; les modèles de mélange d'experts comme Mixtral, DeepSeek-V3, Qwen-MoE et GPT-OSS ; les modèles hybrides d'attention et d'espace d'état tels que Mamba et Qwen3.5 ; les modèles multimodaux comme LLaVA, Qwen-VL et Pixtral ; les modèles d'embedding et de recherche comme E5-Mistral, GTE et ColBERT ; et les modèles de récompense et de classification comme Qwen-Math. La liste complète des modèles pris en charge est disponible dans la documentation du projet.

Mesurer une requête réelle

Pour l'installation, le README recommande d'utiliser `uv` ou `pip`, avec la commande `uv pip install vllm`. La construction à partir des sources est également documentée pour le développement. Le README renvoie aux pages de documentation pour l'installation, le démarrage rapide et la liste des modèles pris en charge. La page d'accueil du projet est vllm.ai, qui héberge également des événements et des ressources supplémentaires.

Pour vLLM, le contrôle doit rester lié à vllm serve et l API compatible OpenAI. Reproduisez d abord l exemple du README, puis observez la sortie exacte, les journaux et les fichiers créés. Une commande réussie ne prouve pas la compatibilité avec toutes les machines : relevez la version, le système, les dépendances et les paramètres effectivement utilisés. Les éléments que la documentation ne décrit pas restent des points à vérifier, pas des garanties. Pour vLLM, le contrôle doit rester lié à vllm serve et l API compatible OpenAI. Reproduisez d abord l exemple du README, puis observez la sortie exacte, les journaux et les fichiers créés. Une commande réussie ne prouve pas la compatibilité avec toutes les machines : relevez la version, le système, les dépendances et les paramètres effectivement utilisés. Les éléments que la documentation ne décrit pas restent des points à vérifier, pas des garanties.

Conclusion éditoriale

vLLM convient aux lecteurs dont le besoin correspond à vllm serve et l API compatible OpenAI. Il ne convient pas à une intégration qui suppose des plateformes, modèles ou garanties absents du README. Commencez par un essai minimal avec la commande et la configuration documentées, puis comparez la sortie attendue aux journaux et fichiers réellement produits.

Sources officielles

1. Official documentation
2. Official README
3. Project repository
4. Release notes