PyLLMs

PyLLMs是一个极简的Python库，用于连接各种语言模型（LLMs），并内置模型性能基准测试。

目录

• 功能特点
• 安装
• 快速开始
• 使用方法
  • 基本用法
  • 多模型使用
  • 异步支持
  • 流式支持
  • 聊天历史和系统消息
  • 其他方法
• 配置
• 模型基准测试
• 支持的模型
• 高级用法
  • 在Azure上使用OpenAI API
  • 使用Google Vertex LLM模型
  • 使用本地Ollama LLM模型
• 贡献
• 许可证

功能特点

• 几行代码即可连接顶级LLMs
• 响应元数据包括处理的令牌数、成本和延迟，在各模型间标准化
• 多模型支持：同时从不同模型获取补全
• LLM基准测试：评估模型的质量、速度和成本
• 对兼容模型提供异步和流式支持

安装

使用pip安装包：

pip install pyllms

快速开始

import llms

model = llms.init('gpt-4o')
result = model.complete("5+5等于多少？")

print(result.text)

使用方法

基本用法

import llms

model = llms.init('gpt-4o')
result = model.complete(
    "莫扎特出生的国家的首都是什么？",
    temperature=0.1,
    max_tokens=200
)

print(result.text)
print(result.meta)

多模型使用

models = llms.init(model=['gpt-3.5-turbo', 'claude-instant-v1'])
result = models.complete('莫扎特出生的国家的首都是什么？')

print(result.text)
print(result.meta)

异步支持

result = await model.acomplete("莫扎特出生的国家的首都是什么？")

流式支持

model = llms.init('claude-v1')
result = model.complete_stream("写一篇关于内战的文章")
for chunk in result.stream:
   if chunk is not None:
      print(chunk, end='')

聊天历史和系统消息

history = []
history.append({"role": "user", "content": user_input})
history.append({"role": "assistant", "content": result.text})

model.complete(prompt=prompt, history=history)

# 对于OpenAI聊天模型
model.complete(prompt=prompt, system_message=system, history=history)

其他方法

count = model.count_tokens('敏捷的棕色狐狸跳过了懒惰的狗')

配置

PyLLMs将尝试从环境变量中读取API密钥和默认模型。您可以这样设置它们：

export OPENAI_API_KEY="你的api密钥"
export ANTHROPIC_API_KEY="你的api密钥"
export AI21_API_KEY="你的api密钥"
export COHERE_API_KEY="你的api密钥"
export ALEPHALPHA_API_KEY="你的api密钥"
export HUGGINFACEHUB_API_KEY="你的api密钥"
export GOOGLE_API_KEY="你的api密钥"
export MISTRAL_API_KEY="你的api密钥"
export REKA_API_KEY="你的api密钥"
export TOGETHER_API_KEY="你的api密钥"
export GROQ_API_KEY="你的api密钥"
export DEEPSEEK_API_KEY="你的api密钥"

export LLMS_DEFAULT_MODEL="gpt-3.5-turbo"

或者，您可以将初始化值传递给init()方法：

model = llms.init(openai_api_key='你的api密钥', model='gpt-4')

模型基准测试

PyLLMs包含一个自动化基准测试系统。模型质量使用强大的模型（如GPT-4）在一系列预定义问题上进行评估，或者您可以提供自己的问题。

model = llms.init(model=['claude-3-haiku-20240307', 'gpt-4o-mini', 'claude-3-5-sonnet-20240620', 'gpt-4o', 'mistral-large-latest', 'open-mistral-nemo', 'gpt-4', 'gpt-3.5-turbo', 'deepseek-coder', 'deepseek-chat', 'llama-3.1-8b-instant', 'llama-3.1-70b-versatile'])

gpt4 = llms.init('gpt-4o')

models.benchmark(evaluator=gpt4)

查看 Kagi LLM 基准测试项目 获取最新的基准测试结果！

要对自己的提示进行模型评估：

models.benchmark(prompts=[("芬兰的首都是什么？", "赫尔辛基")], evaluator=gpt4)

支持的模型

获取完整的支持模型列表：

model = llms.init()
model.list()
model.list("gpt")  # 仅列出名称/提供者名称中包含 'gpt' 的模型

当前支持的模型（可能已过时）：

提供者	模型
HuggingfaceHubProvider	hf_pythia, hf_falcon40b, hf_falcon7b, hf_mptinstruct, hf_mptchat, hf_llava, hf_dolly, hf_vicuna
GroqProvider	llama-3.1-8b-instant, llama-3.1-405b-reasoning, llama-3.1-70b-versatile
DeepSeekProvider	deepseek-chat, deepseek-coder
MistralProvider	mistral-tiny, open-mistral-7b, open-mistral-nemo, mistral-small, open-mixtral-8x7b, mistral-small-latest, mistral-medium-latest, mistral-large-latest
OpenAIProvider	gpt-4o-mini, gpt-3.5-turbo, gpt-3.5-turbo-1106, gpt-3.5-turbo-instruct, gpt-4o, gpt-4-1106-preview, gpt-4-turbo-preview, gpt-4-turbo
GoogleProvider	gemini-1.5-pro-preview-0514, gemini-1.5-flash-preview-0514, chat-bison, text-bison, text-bison-32k, code-bison, code-bison-32k, codechat-bison, codechat-bison-32k, gemini-pro
GoogleGenAIProvider	chat-bison-genai, text-bison-genai, gemini-1.5-pro-latest
AnthropicProvider	claude-3-haiku-20240307, claude-instant-v1.1, claude-instant-v1, claude-instant-1, claude-instant-1.2, claude-3-sonnet-20240229, claude-3-5-sonnet-20240620, claude-2.1, claude-v1, claude-v1-100k, claude-3-opus-20240229
BedrockAnthropicProvider	anthropic.claude-3-haiku-20240307-v1:0, anthropic.claude-instant-v1, anthropic.claude-v1, anthropic.claude-v2, anthropic.claude-3-sonnet-20240229-v1:0
TogetherProvider	meta-llama/Meta-Llama-3.1-405B-Instruct-Turbo
RekaProvider	reka-edge, reka-flash, reka-core
AlephAlphaProvider	luminous-base, luminous-extended, luminous-supreme, luminous-supreme-control
AI21Provider	j2-grande-instruct, j2-jumbo-instruct, command, command-nightly
CohereProvider	command, command-nightly

高级用法

在 Azure 上使用 OpenAI API

import llms
AZURE_API_BASE = "{在此插入}"
AZURE_API_KEY = "{在此插入}"

model = llms.init('gpt-4')

azure_args = {
    "engine": "gpt-4",  # Azure 部署 ID
    "api_base": AZURE_API_BASE,
    "api_type": "azure",
    "api_version": "2023-05-15",
    "api_key": AZURE_API_KEY,
}

azure_result = model.complete("5+5等于多少？", **azure_args)

使用 Google Vertex LLM 模型

1. 设置 GCP 账户并创建项目
2. 在 GCP 项目中启用 Vertex AI APIs
3. 安装 gcloud CLI 工具
4. 设置应用默认凭证

然后：

model = llms.init('chat-bison')
result = model.complete("你好！")

使用本地 Ollama LLM 模型

1. 确保 Ollama 正在运行，并且你已经拉取了所需的模型
2. 获取你想使用的 LLM 的名称
3. 初始化 PyLLMs：

model = llms.init("tinyllama:latest")
result = model.complete("你好！")

贡献

欢迎贡献！请随时提交拉取请求。

许可证

本项目采用 MIT 许可证。详情请参见 LICENSE 文件。