LiteLLM : une passerelle IA open source pour plus de 100 LLM
Passerelle IA auto-hébergée avec cœur Rust et SDK Python, qui appelle plus de 100 fournisseurs de LLM au format OpenAI avec suivi des coûts, garde-fous et répartition de charge.
En bref
- De quoi s’agit-il ?
- Un SDK Python et un serveur proxy qui exposent de nombreux fournisseurs de LLM via une interface compatible OpenAI.
- À qui s’adresse-t-il ?
- Les deux options de déploiement de LiteLLM, un SDK Python et un proxy auto-hébergé, permettent aux équipes de se standardiser sur le format OpenAI tout en gardant les différences spécifiques aux fournisseurs derrière une interface unique.
- Puis-je l’utiliser commercialement ?
- À vérifier. La licence de ce dépôt n’entre pas dans les catégories que nous classons automatiquement : lisez son fichier LICENSE avant tout usage commercial.
- Est-il encore maintenu ?
- Oui. Le dépôt a reçu de nouveaux commits au cours des dernières 24 heures.
- En quel langage est-il écrit ?
- Principalement Python, d’après les statistiques de langage de GitHub.
Ces réponses reposent sur les données GitHub du projet (dernière synchronisation le 15 septembre 2026) et sur notre analyse. Elles ne constituent pas un avis juridique.
ANALYSE OPEN SOURCE APPROFONDIE
Une interface unique pour de nombreux fournisseurs de LLM
LiteLLM est une passerelle IA open source qui fournit une interface unifiée pour appeler plus de 100 fournisseurs de LLM, notamment OpenAI, Anthropic, Gemini, Bedrock et Azure. Le README indique que l'objectif est de supprimer les frictions liées aux différents SDK, modèles d'authentification, formats de requête et types d'erreurs. Les requêtes sont effectuées au format OpenAI, de sorte que le code écrit pour ce format peut être pointé vers d'autres fournisseurs sans réécriture. Le projet peut être utilisé comme SDK Python pour une intégration directe, ou comme serveur proxy agissant comme un service centralisé pour une équipe ou une organisation.
Deux modes : SDK et passerelle
Le README compare le SDK Python LiteLLM et la passerelle IA LiteLLM. Le SDK est destiné aux développeurs créant des projets LLM qui souhaitent appeler plusieurs modèles depuis leur code ; il comprend un routeur avec logique de nouvelle tentative et de secours entre les déploiements, équilibrage de charge au niveau de l'application, suivi des coûts et gestion des exceptions compatible OpenAI. La passerelle s'adresse aux équipes d'activation de l'IA générative et aux équipes de plateforme ML qui ont besoin d'un service centralisé avec authentification, clés virtuelles, suivi des coûts multi-locataires, personnalisation par projet de la journalisation et des garde-fous, et un tableau de bord d'administration. Les deux partagent la même interface unifiée, et le choix dépend de si vous souhaitez intégrer la logique dans votre code ou l'exécuter comme service séparé.
Couverture des fournisseurs et des points de terminaison
Le README liste un grand tableau des fournisseurs pris en charge, chacun avec des coches pour des points de terminaison comme /chat/completions, /messages, /responses, /embeddings, /image/generations, /audio/transcriptions, /audio/speech, /moderations, /batches et /rerank. Le tableau couvre des fournisseurs allant d'OpenAI et Anthropic à Bedrock, Vertex AI, Azure, vLLM, Nvidia NIM et de nombreux services plus petits. La liste complète et les points de terminaison pris en charge sont documentés sur le site Web et la documentation du projet. Le README note également que les fournisseurs manquants peuvent être demandés via un ticket de demande de fonctionnalité.
Fonctionnalités de la passerelle pour la production
La passerelle est décrite comme prête pour la production, avec des clés virtuelles pour un contrôle d'accès sécurisé, suivi des dépenses et gestion des coûts par projet et par utilisateur, garde-fous, équilibrage de charge et une interface de tableau de bord d'administration. Le README mentionne également la mise en cache, la journalisation et la personnalisation par projet. Il indique que le serveur proxy peut être exécuté en mode développeur avec une configuration docker-compose pour les dépendances, et que les images de version stable sont étiquetées -stable et ont subi des tests de charge de 12 heures avant publication. Les affirmations de performance exactes dans le README citent une latence P95 de 8 ms à 1k RPS, liée à une page de benchmarks.
Au-delà du chat : agents A2A et outils MCP
Deux domaines de fonctionnalités étendent la passerelle au-delà des simples complétions de chat. Le premier est la prise en charge du protocole A2A (agent à agent), permettant aux utilisateurs d'ajouter des agents de LangGraph, Vertex AI Agent Engine, Azure AI Foundry, Bedrock AgentCore et Pydantic AI, puis de les invoquer via la passerelle à l'aide du SDK A2A. Le second est les outils MCP (Model Context Protocol) : le SDK Python peut charger des outils MCP au format OpenAI, et la passerelle peut exposer des serveurs MCP comme outils appelables via /chat/completions. Le README montre un exemple de connexion d'un serveur MCP GitHub et de son appel avec une définition d'outil dans la requête.
Déploiement Terraform pour AWS et GCP
Pour les équipes qui souhaitent exécuter la passerelle comme une pile composée, le dépôt publie des modules Terraform sur le registre public Terraform pour AWS et GCP. Le module AWS utilise ECS Fargate avec Aurora, ElastiCache et un ALB ; le module GCP utilise Cloud Run avec Cloud SQL, Memorystore et un équilibreur de charge HTTPS. Les deux modules incluent une base Postgres gérée (écrivain et lecteur), Redis, un stockage d'objets versionné, une clé maîtresse auto-générée dans le gestionnaire de secrets cloud, et un travail de migration unique qui exécute prisma migrate deploy avant le démarrage du proxy. Le README fournit des exemples de configuration et note que les clés API des fournisseurs sont stockées dans Secrets Manager ou Secret Manager, référencées via gateway_extra_secrets.
Signature des images et licence
Toutes les images Docker publiées sur GHCR sont signées avec cosign, et le README explique deux façons de les vérifier : en utilisant un hachage de commit épinglé pour la clé de signature, ou en utilisant un tag de version. L'extrait de licence montre que le contenu en dehors du répertoire enterprise/ est sous licence MIT, tandis que le répertoire enterprise, s'il existe, est sous une licence séparée définie dans enterprise/LICENSE. Le texte MIT accorde la permission d'utiliser, copier, modifier, fusionner, publier, distribuer, sous-licencier et vendre des copies, sans garantie. Le README mentionne également un niveau entreprise qui inclut des fonctionnalités sous licence commerciale, la priorisation des fonctionnalités, des intégrations personnalisées, un support professionnel, des SLA personnalisés et l'authentification unique, mais les détails se trouvent sur une page séparée.
Conclusion éditoriale
Les deux options de déploiement de LiteLLM, un SDK Python et un proxy auto-hébergé, permettent aux équipes de se standardiser sur le format OpenAI tout en gardant les différences spécifiques aux fournisseurs derrière une interface unique. Le README documente les points de terminaison pris en charge, les fonctionnalités de la passerelle et les chemins de déploiement cloud, mais il ne fournit pas de détails sur les garanties de sécurité ou les performances au-delà du benchmark cité.
Notes de la communauté