BerriAI/litellm:README 来源编辑指南
基于 README、仓库元数据和许可证整理 BerriAI/litellm 的安装与核验路径。
项目定位
BerriAI/litellm 的 README 将项目描述为"The fastest, litest AI Gateway. Rust core with Python SDK. Call 100+ LLM APIs in OpenAI (or native) format with cost tracking, guardrails, load balancing, and logging [Bedrock, Azure, OpenAI, Anthropic, OpenAI, VertexAI, vLLM, Nvidia NIM]"。本文只整理仓库能直接核验的内容,不把星标、Fork 或宣传语当成质量证明。README 在"What is LiteLLM"下的说明是:LiteLLM is an open source AI Gateway that gives you a single, unified interface to call 100+ LLM providers , OpenAI, Anthropic, Gemini, Bedrock, Azure, and more , using the OpenAI format.。这给出的首先是项目边界,而不是已经完成的生产验证。
适用场景
从 README 的"Why LiteLLM"和相关条目看,读者可以先判断它是否解决自己的具体问题:Drop-in OpenAI compatibility , swap providers without rewriting your code。如果你的目标与这段说明不一致,就不应仅凭项目热度采用它。这里保留原项目名、命令和组件名,方便回到一手来源核对。 README 还列出了另一条可核对的信息:Unified API , one interface for 100+ LLMs, no provider-specific SDK juggling。这类原文条目可以帮助读者设计试运行步骤,但不能代替自己的环境测试。
工作方式
README 把工作方式分散写在"Why LiteLLM"等段落中。可确认的线索包括:Managing LLM calls across providers gets complicated fast , different SDKs, auth patterns, request formats, and error types for every model. LiteLLM removes that friction:。这篇整理没有把未写出的架构、性能或安全边界补成结论;真正的运行链仍应结合仓库目录、配置文件和版本标签检查。
安装与第一次运行
第一次安装应从 README 给出的入口开始。当前可复核的命令是: curl -X POST 'http://0.0.0.0:4000/v1/chat/completions' \ -H 'Authorization: Bearer sk-1234' \ -H 'Content-Type: application/json' \ -d '{ "model": "gpt-4o", "messages": [{"role": "user", "content": "Summarize the latest open PR"}], "tools": [{ "type": "mcp", "server_url": "litellm_proxy/mcp/github", "server_label": "github_mcp", "require_approval": "never" }] }' 如果仓库没有提供命令,本文不会替它编造安装步骤,而是建议先打开 README 的"Why LiteLLM"部分,确认系统依赖、默认端口和首次初始化动作。
配置与日常使用
日常使用的细节取决于项目实际文档。README 的"Features"段落提到:All Supported Endpoints - /chat/completions, /responses, /embeddings, /images, /audio, /batches, /rerank, /a2a, /messages and more.。对于配置文件、环境变量、权限和数据目录,当前稿只记录来源明确的部分;未写明的默认值必须在测试环境中验证,并保留可回滚的配置副本。 同一部分还提到:Production-ready gateway , virtual keys, spend tracking, guardrails, load balancing, and an admin dashboard out of the box。