BerriAI/litellm : guide éditorial fondé sur le README

Le README décrit BerriAI/litellm comme « The fastest, litest AI Gateway. Rust core with Python SDK. Call 100+ LLM APIs in OpenAI (or native) format with cost tracking, guardrails, load balancing, and logging [Bedrock, Azure, OpenAI, Anthropic, OpenAI, VertexAI, vLLM, Nvidia NIM] ». Cette page reste limitée aux faits vérifiables dans le dépôt. Les étoiles, forks et badges indiquent une attention, pas une preuve de qualité. Sous « What is LiteLLM », la source indique : LiteLLM is an open source AI Gateway that gives you a single, unified interface to call 100+ LLM providers , OpenAI, Anthropic, Gemini, Bedrock, Azure, and more , using the OpenAI format.. Cela fixe un périmètre déclaré, pas un test en production.

La section « Why LiteLLM » aide à vérifier si le projet répond au besoin : Drop-in OpenAI compatibility , swap providers without rewriting your code. Si ce besoin ne correspond pas au vôtre, la popularité ne suffit pas. Les noms, commandes et composants sont conservés pour permettre une comparaison directe avec la source primaire. Le README fournit aussi ce point vérifiable : Unified API , one interface for 100+ LLMs, no provider-specific SDK juggling. Il peut guider le premier test, sans remplacer une vérification dans l'environnement prévu.

Le fonctionnement est réparti dans des sections comme « Why LiteLLM ». La source fournit notamment : Managing LLM calls across providers gets complicated fast , different SDKs, auth patterns, request formats, and error types for every model. LiteLLM removes that friction:. Les détails absents sur l'architecture, les performances ou la sécurité ne sont pas inventés. Avant une mise en service, vérifiez l'arborescence, la configuration et l'historique des releases.

Commencez l'installation avec l'entrée documentée dans le README. La commande vérifiable est : curl -X POST 'http://0.0.0.0:4000/v1/chat/completions' \ -H 'Authorization: Bearer sk-1234' \ -H 'Content-Type: application/json' \ -d '{ "model": "gpt-4o", "messages": [{"role": "user", "content": "Summarize the latest open PR"}], "tools": [{ "type": "mcp", "server_url": "litellm_proxy/mcp/github", "server_label": "github_mcp", "require_approval": "never" }] }' Si aucune commande n'est fournie, cette page n'en fabrique pas. Consultez « Why LiteLLM » pour les dépendances, les ports par défaut et l'initialisation du premier lancement.