vllm-project
★ 91 844vllm
Un moteur d'inférence et de service à haut débit et économe en mémoire pour les LLM.
RÉPERTOIRE HYSEN LABS
vllm-project
Dépôts vérifiés, classifications et analyses de l’organisation vllm-project.
10 projets open source sélectionnés
vllm-project
★ 6 792vllm-omni
Un cadre pour une inférence de modèle efficace avec des modèles omnimodaux.
vllm-project
★ 5 826semantic-router
A programmable Mixture-of-Models router for heterogeneous LLM inference
vllm-project
★ 5 090aibrix
Composants d'infrastructure rentables et enfichables pour l'inférence GenAI.
vllm-project
★ 3 785llm-compressor
Transformers-compatible library for applying various compression algorithms to LLMs for optimized deployment with vLLM
vllm-project
★ 2 829vllm-ascend
Community maintained hardware plugin for vLLM on Ascend
vllm-project
★ 1 739vllm-metal
Community maintained hardware plugin for vLLM on Apple Silicon
vllm-project
★ 1 609guidellm
Evaluate and Enhance Your LLM Deployments for Real-World Inference Needs
vllm-project
★ 833speculators
A unified library for building, evaluating, and storing speculative decoding algorithms for LLM inference in vLLM
vllm-project
★ 467vime
An LLM post-training framework with vLLM for RL Scaling