返回 AI 工具目录

LiteLLM

基础设施人工精选最近核验 2026年7月23日

LiteLLM 是开源的大模型网关(LLM Gateway),用统一的 OpenAI 兼容格式接入 100+ 家模型供应商(OpenAI、Azure、Anthropic、Gemini、Bedrock 及自建模型等),让应用一套代码在不同模型间切换。两种形态:Python SDK(在代码内直接调用,自带重试与跨部署 fallback 路由)与 Proxy Server 代理网关(团队统一入口,提供虚拟密钥、消费与成本核算、预算与 RPM/TPM 限流、负载均衡、护栏与管理后台)。可对接 Langfuse、Prometheus、OpenTelemetry,并支持 A2A、MCP 协议。以 Python 为主,提供 Docker、Helm、Terraform 部署,核心开源、另有企业版。

定价开源部署自托管、API 接入国内可达国内可达

解决什么问题

  • 组织同时使用多家大模型时,会遇到接口各异、密钥分散、成本不透明、限流与容灾缺失等问题;LiteLLM 解决多模型统一治理与接入这层
  • 对上,用 OpenAI 兼容的统一请求/响应格式屏蔽各家 SDK 差异,应用只写一套调用逻辑即可在 GPT、Claude、Gemini、通义、文心或自建 vLLM 服务间切换
  • 对下,聚合各供应商并做负载均衡、失败重试与跨模型 fallback,提升可用性
  • 代理网关形态还把企业治理收拢到一处:发放虚拟密钥、按密钥/用户/团队/标签核算消费与设预算、做 RPM/TPM 限流、配置内容护栏
  • 并把调用日志导向 Langfuse、Prometheus、OpenTelemetry 等系统,变成可观测、可计费、可管控的统一入口

适合

  • 适合同时对接多家大模型、需要统一接入与切换的团队;希望用一个 OpenAI 兼容入口同时覆盖闭源 API 与自建(vLLM/Ollama)模型、并在故障时自动切换
  • 要对模型调用做成本归集、预算、限流与多团队分权的中大型组织
  • 需要把 LLM 调用纳入统一可观测与审计的平台方
  • 轻量集成可只用 Python SDK 拿到重试与 fallback;平台级治理则部署 Proxy 网关作为公司统一 LLM 入口
  • 对正在做内部大模型平台的团队,LiteLLM 常作为路由与治理层,前接应用、后接各推理引擎与供应商,是这类架构里的常见选型

不适合

  • 不适合只调用单一模型、无多供应商与治理诉求的小项目,直接用该模型官方 SDK 更简单,引网关反增一跳延迟与运维;对延迟极敏感、不能容忍任何中间层的场景需谨慎评估
  • LiteLLM 是路由与治理层,本身不做模型推理,需要自建高吞吐推理的仍要 vLLM/SGLang 在其后端
  • 它也不是完整可观测平台,追踪与评测要接 Langfuse 一类工具(LiteLLM 负责把日志送过去)
  • 若团队缺乏网关运维能力,自托管 Proxy(含数据库、密钥、限流配置)有一定复杂度,轻量需求可能被过度设计
  • 它不解决出境链路:接海外模型时,网络与合规问题仍需自行处理

如何接入

  • 一是 Python SDK:pip install litellm,用统一的 completion() 等接口调用任意受支持模型,内置 Router 做多部署间的重试与 fallback,适合嵌入单个应用
  • 二是 Proxy Server 网关:以配置文件声明各模型与密钥,起一个 OpenAI 兼容的 HTTP 服务作为公司统一入口,应用改 base_url 即可接入
  • 网关提供虚拟密钥、消费核算、预算、限流、负载均衡、护栏与管理后台
  • 部署上提供官方 Docker 镜像(含经负载测试的 -stable 标签)、Helm Chart,以及面向 AWS(ECS Fargate + Aurora + ElastiCache)和 GCP(Cloud Run + Cloud SQL + Memorystore)的 Terraform 模块,也支持隔离网(air-gapped)部署
  • 观测侧可对接 Langfuse、Prometheus、OpenTelemetry、S3/GCS 等;后端可挂 vLLM、Ollama 等自建服务,组成完整栈

已知限制

  • 网关是链路上的一跳,会引入额外延迟与一个需高可用保障的关键组件;自托管 Proxy 涉及数据库、密钥管理、限流与配置,规模化后有运维与调优成本
  • 它统一了接口,但各供应商的能力差异(函数调用、多模态、参数语义)无法完全抹平,边缘特性仍可能需要按模型适配
  • 成本核算依赖各家计价与用量口径,数字仅供内部管理参考,应与供应商账单核对;部分高级能力(SSO、审计日志、SLA 等)属企业版
  • 国内可达性方面,网关本身开源、可自托管在境内,数据经自有网关转发、链路可控,可达性良好;但它代理的海外模型(OpenAI、Anthropic、Gemini 等)在国内无法直连,需自行解决合规出境,且经网关中转的用户数据要评估出域与留存合规;接国产模型(通义、文心、DeepSeek 等)则无此问题
  • 项目迭代较快,升级前建议在 -stable 版本上做回归

接入与使用事实

部署方式
自托管、API 接入
实现语言
Python、TypeScript
中文界面
待确认
中文文档
待确认
定价方式
开源
许可证
待确认
国内可达性
国内可达
可达性观察
待补充
查看代码仓库

权限、依赖与维护信号

这些字段记录公开可见信号，不等同于安全审计结论。

权限信号

暂无公开信号。

依赖信号

暂无公开信号。

维护信号

暂无公开信号。

公开来源与证据

  1. 代码仓库仅作事实索引
    查看来源

访问官网