LiteLLM入门指南 - 统一调用100+LLM API的Python SDK和代理服务器

LiteLLM简介

LiteLLM是一个开源项目,旨在为开发者提供一个统一的接口来调用各种大型语言模型(LLM)API。它的主要特点包括:

支持100多个LLM提供商,包括OpenAI、Azure、Anthropic、Cohere等。
使用OpenAI格式的统一API,简化了不同LLM之间的切换。
提供Python SDK和代理服务器两种使用方式。
支持身份验证、负载均衡和支出跟踪等功能。

LiteLLM功能概览

快速开始

安装

使用pip安装LiteLLM:

pip install litellm

基本使用

以下是一个简单的示例,展示如何使用LiteLLM调用OpenAI的API:

from litellm import completion
import os

# 设置环境变量
os.environ["OPENAI_API_KEY"] = "your-api-key"

response = completion(
  model="gpt-3.5-turbo", 
  messages=[{"role": "user", "content": "Hello, how are you?"}]
)

代理服务器

LiteLLM还提供了一个代理服务器,可以用来管理多个项目的API调用:

安装代理服务器功能:

pip install 'litellm[proxy]'

启动代理服务器:

litellm --model huggingface/bigcode/starcoder

使用代理服务器:

import openai

client = openai.OpenAI(
    api_key="anything",
    base_url="http://0.0.0.0:4000"
)

response = client.chat.completions.create(
    model="gpt-3.5-turbo",
    messages=[
        {"role": "user", "content": "This is a test request, write a short poem"}
    ]
)