LiteLLM

LiteLLM是一个简化大型语言模型（LLM）API调用的Python库，它通过将所有LLM API映射到OpenAI ChatCompletion格式来统一输入输出格式。

主要功能：

1. 统一接口：使用相同的输入/输出格式调用100+不同的LLMs，这包括OpenAI、Anthropic、VertexAI、HuggingFace、Azure等。
2. 基本用法：安装LiteLLM非常简单，可以通过`pip install litellm`进行安装。之后，用户可以设置环境变量并调用`completion`函数来发送请求并获取响应。
3. 社区密钥：LiteLLM默认提供了一个免费的$10社区密钥，供用户尝试所有受支持的提供商。
4. OpenAI代理服务器：LiteLLM管理输入转换，以适应各个提供商的完成、嵌入和图像生成端点。它还确保一致的输出格式，并且能够跨多个部署（如Azure/OpenAI）实现重试/回退逻辑。