LiteLLM

详细介绍

功能特点

• 统一的 API 接入网关: 使用 OpenAI 格式接口接入 100+ 大模型服务商，无需单独适配每家 API。
• 费用追踪与预算控制: 支持用户、团队、组织等维度的消费归属与预算配置，并自动记录到 S3/GCS。
• 模型回退与负载均衡: 提供自动回退机制和并发负载分发，保障高可用性与稳定性。
• 企业级功能支持: 支持 JWT Auth、SSO、审计日志等企业安全与合规需求。
• 开源可自部署: 提供免费开源版本，可部署在本地或私有云中，满足不同部署策略。

使用场景

• 统一模型调用接口: 通过 LiteLLM 一次集成，即可支持 OpenAI、Anthropic、Gemini 等多个 LLM 平台。
• 企业级大模型平台建设: 支持权限管理、费用归属、日志审计，适合构建大规模企业内的 LLM 使用平台。
• 快速上线新模型: 无需适配新模型接口，一旦支持即可立即上线使用，适用于高速迭代场景。

工具展示

Previous slideNext slide