Instructor入门指南 - 轻松构建结构化LLM输出

Instructor简介

Instructor是一个基于Pydantic构建的Python库,旨在简化大语言模型(LLMs)结构化输出的处理过程。它提供了一个简单、透明和用户友好的API,可以轻松管理验证、重试和流式响应等功能。无论你是刚接触LLM开发还是经验丰富的开发者,Instructor都能帮助你更高效地处理LLM输出。

主要特性

Instructor具有以下几个核心特性:

• 响应模型: 使用Pydantic模型定义LLM输出的结构
• 重试管理: 轻松配置请求重试次数
• 验证: 使用Pydantic验证确保LLM响应符合预期
• 流式支持: 轻松处理列表和部分响应
• 灵活后端: 无缝集成OpenAI以外的多种LLM提供商
• 多语言支持: 支持Python、TypeScript、Ruby、Go和Elixir等多种编程语言

快速入门

安装

使用pip安装Instructor:

pip install -U instructor

基本用法

下面是一个简单的示例,展示了如何使用Instructor从自然语言中提取结构化数据:

import instructor
from pydantic import BaseModel
from openai import OpenAI

# 定义输出结构
class UserInfo(BaseModel):
    name: str
    age: int

# 初始化Instructor客户端  
client = instructor.from_openai(OpenAI())

# 从自然语言中提取结构化数据
user_info = client.chat.completions.create(
    model="gpt-3.5-turbo",
    response_model=UserInfo,
    messages=[{"role": "user", "content": "John Doe is 30 years old."}],
)

print(user_info.name)  # 输出: John Doe
print(user_info.age)   # 输出: 30

支持多种LLM后端

除了OpenAI,Instructor还支持Anthropic、Cohere、Google Gemini等多种LLM后端。你可以根据需要选择合适的模型:

# 使用Anthropic模型
client = instructor.from_anthropic(Anthropic())

# 使用Cohere模型  
client = instructor.from_cohere(cohere.Client())

# 使用Google Gemini模型
client = instructor.from_gemini(genai.GenerativeModel())

高级功能

Instructor还提供了一些高级功能,如:

• 异步调用
• 返回原始completion对象
• 流式处理部分对象
• 流式处理可迭代对象

这些功能可以帮助你更灵活地处理LLM输出,适应不同的应用场景。

总结

Instructor为处理LLM的结构化输出提供了一个强大而灵活的解决方案。通过简单的API和丰富的功能,它可以显著提高你的LLM开发效率。无论你是构建聊天机器人、信息提取系统还是其他AI应用,Instructor都是一个值得尝试的工具。

要了解更多信息,欢迎访问Instructor官方文档或GitHub仓库。

开始使用Instructor,让你的LLM开发更上一层楼!