LLaMA3-iterative-DPO-final

项目介绍：LLaMA3-iterative-DPO-final

背景介绍

LLaMA3-iterative-DPO-final 是一个尖端的指令模型，由韩泽等人参与开发，并详细介绍在论文《RLHF Workflow: From Reward Modeling to Online RLHF》中。该论文发表在2024年的TMLR中。这一项目展示了使用在线强化学习人类反馈（RLHF）方法训练指令模型的优越性和可复制性。

项目概述

LLaMA3-iterative-DPO-final在众多通用的指令模型基准测试中表现优越，如Alpaca-Eval-V2、MT-Bench和Chat-Arena-Hard。与其他体积相似的模型（如LLaMA-3-8B-it）以及一些大型开源和商业模型相比，该模型在性能上占据明显优势。此外，本项目提供了详细的模型复现指南，便于研究人员进行验证和进一步优化。

模型发布

项目发布了包括训练集、奖励模型和SFT模型在内的一系列模型和数据集：

SFT模型: 可以在HuggingFace平台上查看和使用 LLaMA3-SFT。
奖励模型: 同样在HuggingFace上查看 FsfairX-LLaMA3-RM-v0.1。
当前的模型版本发布面临一些许可问题，开发团队正在努力解决以便进一步发布。

数据集

提供了用于训练的多种数据集，以支持不同场景下模型的强化学习：

偏好数据集混合: 用于对模型进行奖励偏好学习。
RLHF训练提示集合: 提供了用于RLHF训练的大量提示。

训练方法

本项目开发了一种简单高效的在线RLHF训练方法，基于DPO，比起传统的基于PPO的方法更加经济和易于调优。与常用的离线DPO方法不同，本项目的方法通过在线组件在策略优化过程中有效减轻了分布偏移的问题。

基准测试

聊天基准

在聊天模型基准测试中，LLaMA3-iterative-DPO-final以其独特的迭代DPO方法在多项测试中获得了优越的分数：

LC Alpaca-Eval-V2, MT-Bench, Chat-Arena-Hard: 这些测试基准证实了该模型在实际应用场景下的强大聊天能力。

学术基准

学术类的测试中，该模型也表现不俗，例如在GSM-8K、MMLU、HumanEval等测试中均表现良好。

使用教程

本文档提供了一个简单的Python代码示例，旨在快速上手利用模型进行生成任务。详细代码示例展示了如何加载模型和tokenizer，以及生成对话的具体步骤。

限制

如项目团队所述，LLaMA3-iterative-DPO-final是一个非官方的模型检查点，主要用于研究目的。即使在对安全和伦理问题进行了充分考虑的情况下，模型仍可能在恶意或对抗性条件下生成不当内容。项目团队致力于持续改进模型，以尽量减少此类风险，并鼓励用户谨慎使用。

引用

如在研究或产品中使用了本模型或其相关技术报告，请按照以下引用格式进行引用。

@misc{dong2024rlhf,
      title={RLHF Workflow: From Reward Modeling to Online RLHF}, 
      author={Hanze Dong and Wei Xiong and Bo Pang and Haoxiang Wang and Han Zhao and Yingbo Zhou and Nan Jiang and Doyen Sahoo and Caiming Xiong and Tong Zhang},
      year={2024},
      eprint={2405.07863},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}