RLHF-Reward-Modeling

RLHF-Reward-Modeling 项目介绍

项目概述

RLHF-Reward-Modeling 项目是一个致力于奖励模型和偏好建模的开源项目。最初，它侧重于布拉德利-特里（Bradley-Terry）奖励模型和成对偏好模型的开发。随着项目的进展，更多先进技术被纳入，用于构建更复杂的偏好模型。其作用是通过奖励建模来提高基于强化学习的人类反馈（RLHF）系统的效能。

项目结构

项目的结构包括以下几个核心组件：

• 布拉德利-特里奖励模型（Bradley-Terry Reward Model）：在bradley-terry-rm目录中，专注于训练经典的布拉德利-特里奖励模型。

• 成对偏好模型（Pairwise Preference Model）：存储在pair-pm目录中。该模型处理给定的提示和两个响应，直接预测第一个响应被偏好的概率。模型中使用了生成式奖励建模（Generative RM）的概念。

  • SSRM：半监督奖励建模，通过自训练迭代来进行。
  • RRM：利用因果推断扩充偏好数据集，并减少奖励的作弊现象。

• 多目标奖励模型（ArmoRM）：在armo-rm目录中，使用了一种集合专家（Mixture-of-Experts）的方法进行多目标奖励建模。

• 奥丁奖励模型（odin-rm）：用于消除奖励建模中的长度偏差。

• 数学奖励模型（math-rm）：这个部分支持过程监督奖励（PRM）和结果监督奖励（ORM）的训练，提供稳健的开源数据、代码、超参数和模型。

新闻动态

项目中不断有新动向，比如在 2024 年 11 月，PRM 和 ORM 的训练代码被公开，还有其他月份的一些更新，如 ArmoRM 的训练代码发布等。

模型与架构

项目提供了几个重要的模型，它们在奖励评估平台（RewardBench）中表现出色：

• 绝对评分多目标奖励模型（ArmoRM）
• 成对偏好奖励模型
• 布拉德利-特里奖励模型

数据集准备

项目提供的标准数据格式包括被选择和被拒绝的对话样本。这些数据被预处理成标准格式，并上传到 Hugging Face 平台。开放的偏好数据集可以供研究人员使用。

评估与测试

你可以使用命令行指令测试生成的奖励模型，评估数据来自于国际标准数据集。

未来发展计划

项目未来计划包括开发更完善的偏好建模方法，如将大型语言模型作为评估者（LLM-as-a-judge）。

贡献与引用

此项目汇聚了众多贡献者，如果你在自己的研究中使用了此项目，请考虑引用相关论文和研究成果。

本项目对学术研究的贡献如下：

• 许多研究项目采用了本项目的模型和代码。

希望本项目的详细介绍能帮助大家更好地理解它的功能和作用。如果你对奖励建模和偏好建模有兴趣，RLHF-Reward-Modeling 项目将是一个不错的选择。