gpt-llm-训练器

新版：Claude 3 -> LLaMA 2 7B 微调版本：

LLaMA 2 7B 微调版本：

GPT-3.5 微调版本：

概述

训练模型很困难。你需要收集数据集，清理数据，将其转换为正确的格式，选择模型，编写训练代码并进行训练。而这还只是最理想的情况。

这个项目的目标是探索一种实验性的新流程来训练高性能的特定任务模型。我们试图抽象掉所有的复杂性，使从想法到高性能全训练模型的过程尽可能简单。

只需输入你的任务描述，系统就会从头开始生成数据集，将其解析为正确的格式，并为你微调LLaMA 2或GPT-3.5模型。

特点

• 数据集生成：使用Claude 3或GPT-4，gpt-llm-trainer将根据提供的用例生成各种提示和响应。

• 系统消息生成：gpt-llm-trainer将为你的模型生成有效的系统提示。

• 微调：在生成数据集后，系统将自动将其分为训练集和验证集，为你微调模型，并准备好进行推理。

设置

1. 在Google Colab中打开笔记本或在本地Jupyter笔记本中打开。

2. 如果你使用Colab，切换到可用的最佳GPU（转到运行时 -> 更改运行时类型）。

3. 在openai.api_key = "YOUR KEY HERE"这一行添加你的OpenAI API密钥。

使用方法

1. 定义你的prompt。prompt是对你希望训练的AI做什么的描述。描述越具体和清晰越好。此外，设置我们用于生成数据集的温度（高=创意，低=精确），以及你想生成的示例数量（100是一个不错的起点）。

例如：

prompt = "一个模型，接收英语中类似谜题的需要推理的问题，并以西班牙语回答，给出经过深思熟虑的、逐步推理的回应。"
temperature = .4
number_of_examples = 100

2. 运行所有单元格（如果使用LLaMA 2版本，在"合并模型并存储到Google Drive"处停止）。

这将需要一些时间（从10分钟到几个小时不等，取决于你生成的示例数量），但很快，你就会拥有你的微调模型！

3. 模型训练完成后，你可以使用"运行推理"单元格（在LLaMA 2版本上）或"让我们试试看！"单元格（在GPT-3.5版本上）来测试模型，如果你使用的是LLaMA版本，下面的单元格允许你将模型保存到Google Drive并从中加载以供后续使用。如果你使用的是OpenAI版本，你的模型将可以通过API或OpenAI Playground使用。

欢迎贡献！一些想法：

• 改进示例生成流程以提高效率/降低成本（使用n=）
• 添加额外的示例生成提示以创建更多样化的示例
• 添加示例筛选，移除非常相似的示例以提高性能
• 使用GPT-4根据一些示例和高级数据集详情（如示例数量）自动选择训练超参数（甚至可能选择要微调的模型！）
• 训练多个模型变体并选择评估损失最低的那个

非常感谢Maxime Labonne提供的本仓库中使用的训练代码！

许可证

本项目采用MIT许可。

联系方式

Matt Shumer - @mattshumer_

最后，如果你想尝试比这更酷的东西，请注册Personal Assistant（我的大部分时间都花在这上面）。它基本上是一个可以操作你的网络浏览器来完成任务的AI。