Infinity-Instruct-3M-0625-Llama3-8B

项目介绍：Infinity-Instruct-3M-0625-Llama3-8B

项目背景

Infinity-Instruct-3M-0625-Llama3-8B 是由北京智源人工智能研究院（BAAI）开发的开源监督指令微调模型。这一模型无需人类反馈的强化学习（RLHF），主要通过在 Infinity-Instruct-3M 和 Infinity-Instruct-0625 数据集上进行微调。在 AlpacaEval 2.0 和 MT-Bench 测试中，这一模型展现了出色的表现。

最新动态

• 模型权重发布：2024年7月9日，研究院发布了多个版本的模型权重，包括 InfInstruct-Mistral-7B 0625、InfInstruct-Qwen2-7B 0625、以及 InfInstruct-Llama3-8B 0625 等。
• 数据集更新：同日，更新了聊天数据集 Infinity-Instruct-0625，这是 Infinity-Instruct-0613 的升级版。
• 近期发布：2024年6月28日，发布了 InfInstruct-Llama3-70B 0613 的模型权重，在未采用 RLHF 的情况下，在 AlpacaEval 2.0 中表现优于 GPT4-0613。

训练细节

Infinity-Instruct-3M-0625-Llama3-8B 的训练数据来自百万级别的指令数据集 Infinity-Instruct。模型通过基础数据集 Infinity-Instruct-3M 提高了 Llama3-8B 的数学和编码基础能力，然后进行微调，以获取更强的聊天模型。

训练参数如下：

• Epoch：3
• 学习率（lr）：5e-6
• 最小学习率（min_lr）：0
• 学习率预热步骤：40
• 学习率衰减方式：cosine
• 权重衰减：0.0
• Adam 优化器参数：beta1=0.9, beta2=0.95
• 全局批处理大小：528
• 梯度裁剪：1.0

利用 FlagScale 的优化技术，该项目有效地减少了训练成本。目前代码尚未发布，不过未来会开放更多资源。

基准测试

Infinity-Instruct-3M-0625-Llama3-8B 在 MT-Bench 和 AlpacaEval2.0 两个主流基准测试中进行了评估。MT-Bench 是一组包含代码、数学和常规对话的复杂多轮问题，而 AlpacaEval2.0 则基于 AlpacaFarm 的评估集合。评估显示，这一模型在 AlpacaEval2.0 中的表现尤为突出。

如何使用

Infinity-Instruct-3M-0625-Llama3-8B 模型采用与 Llama3-7B-instruct 类似的聊天模板。用户可以通过 Python 代码加载模型，并按需应用在对话场景中。示例代码展示了如何实现与模型的交互。

声明

本项目的资源（包括代码、数据和模型权重）仅限于学术研究用途，禁止用于商业目的。由于输出内容中存在随机性，因此本项目不对模型输出内容的准确性作任何保证，同时不承担因使用相关资源和结果而产生的任何损失。

引用

项目论文将很快在 arXiv 上发布，详述 Infinity Instruct 数据集和微调模型的开发及特点。请保持关注！