OpenPipe入门学习资料汇总 - 开源微调和模型托管平台

OpenPipe简介

OpenPipe是一个开源的AI模型微调和托管平台，旨在帮助开发者利用强大但昂贵的大型语言模型(LLM)来微调更小、更便宜的模型，以满足特定需求。它允许用户查询过去的请求并评估不同模型的表现，只需一行代码就可以在OpenAI和微调模型之间切换。

主要功能

• 轻松集成OpenAI的Python和TypeScript SDK
• 提供OpenAI兼容的聊天补全端点
• 支持微调GPT 3.5、Mistral和Llama 2等模型
• 可在平台上托管模型或下载权重文件
• 使用内置强大过滤器查询日志
• 导入OpenAI兼容的JSONL格式数据集
• 删减系统提示等大块重复文本
• 与gpt-3.5-turbo等基础模型比较输出准确性

支持的基础模型

• mistralai/Mixtral-8x7B-Instruct-v0.1
• OpenPipe/mistral-ft-optimized-1227
• meta-llama/Llama-3-8B
• meta-llama/Llama-3-70B
• gpt-3.5-turbo系列

本地运行指南

1. 安装PostgreSQL和Node.js 20
2. 安装pnpm: npm i -g pnpm
3. 克隆仓库: git clone https://github.com/openpipe/openpipe
4. 安装依赖: cd openpipe && pnpm install
5. 创建.env文件并设置OPENAI_API_KEY
6. 设置数据库和GitHub OAuth应用
7. 运行 pnpm dev 启动应用
8. 访问 http://localhost:3000

使用示例

from openpipe import OpenAI

client = OpenAI(
    api_key="Your API Key",
    openpipe={
        "api_key": "Your OpenPipe API Key",
        "base_url": "http://localhost:3000/api/v1",
    }
)

completion = client.chat.completions.create(
    model="gpt-3.5-turbo",
    messages=[{"role": "system", "content": "count to 10"}],
    openpipe={
        "tags": {"prompt_id": "counting"},
        "log_request": True
    },
)

更多资源

• 官方文档
• GitHub仓库
• 在线演示
• Python SDK
• TypeScript SDK

OpenPipe为开发者提供了一个强大的工具,可以更经济高效地利用大型语言模型的能力。无论您是想优化成本还是提升性能,都可以尝试使用OpenPipe来微调和部署适合您特定需求的模型。