一键切换上百种大模型API，LiteLLM值得拥有
2025年11月8日
LiteLLM 是一个开源项目，它让你能用同一种 API 格式（OpenAI 格式）调用 100 多种不同的大型语言模型。
在实际开发中，OpenAI、Anthropic (Claude)、Google (Gemini)、Mistral 以及各种本地模型 (Ollama) 的 API 请求、认证和响应格式完全不同。
如果你的应用最初基于 GPT-4 开发，后续希望切换到 Claude 3.5，就必须重写所有相关的 API 调用代码。
使用LiteLLM后，只需要一个接口即可。
怎么用
LiteLLM 是一个 Python 库。
你只需使用 litellm.completion 这一个函数调用所有模型。
from litellm import completion
messages = [{"role": "user", "content": "你好，你是谁？"}]
# 调用 OpenAI
response = completion(model="gpt-4o", messages=messages)
# 切换到 Claude 3.5，只需改变 model 字符串
response = completion(model="claude-3.5-sonnet", messages=messages)
# 切换到本地 Ollama
response = completion(
model="ollama/llama3",
messages=messages,
api_base="http://localhost:11434"
)
无论哪个模型，代码结构完全相同。
LiteLLM 在后台处理了所有的格式转换和错误适配。
在实际应用中，这意味着你可以快速尝试不同的模型组合。
想从 GPT-4 切到便宜的 Claude？改一行配置。发现某个模型不稳定想加备用方案？改配置。
不需要碰代码。