safe-rlhf

安全RLHF项目介绍

项目背景

Safe RLHF 是北京大学PKU-Alignment团队开发的一个高模块化的开放源码框架，其目标是为对齐研究，特别是通过安全强化学习从人类反馈（Safe RLHF）方法进行的约束对齐LLM（大型语言模型）研究提供训练数据和可重现的代码流程。

Beaver框架的主要特点

1. 多模型支持：Beaver框架支持SFT（监督微调）、RLHF（从人类反馈中学习的强化学习）和Safe RLHF训练，适用于如LLaMA、OPT和Baichuan等流行的预训练模型。
2. 大规模数据集：提供了一个包含多达100万对人工标注的数据集，包含既有用又无害的偏好，用于支持RLHF研究的可重现性。
3. 模型支持：支持奖励模型和成本模型的训练，并提供预训练的检查点。
4. 参数和数据集的自定义：允许针对SFT和RLHF进行参数和数据集的自定义。
5. 安全验证的指标：提供多尺度的指标用于安全约束验证，如BIG-bench和GPT-4的评估。

PKU-SafeRLHF数据集

PKU-SafeRLHF数据集是一个包含性能和安全偏好的人工标注数据集，包含多维度的约束（例如侮辱、非道德行为、犯罪、情感伤害和隐私）用于RLHF技术中的细粒度价值对齐。数据集的发布具有滚动更新机制，以确保科学和学术研究的可重现性。

子集数据集

• PKU-SafeRLHF-10K：包含10K个实例的首轮Safe RLHF训练数据。
• PKU-SafeRLHF-1M：逐步发布，包含100万对人工标注数据用于有益和无害偏好。

为什么称之为“Beaver”

Beaver模型是基于LLaMA训练的强化学习模型，建立在Alpaca模型的基础上，通过收集关于有用和无害性的人类偏好数据并采用安全RLHF技术进行训练。与Alpaca模型相比，Beaver不仅保持了其有用性能，还显著提高了无害性。

Beaver，作为自然界中的“筑坝工程师”，通过“构筑大坝”为LLMs提供安全保障，就像在生态系统中的重要角色一样，Beaver模型也为大型语言模型的发展提供了重要支持，助力人工智能技术的可持续发展。

Beaver与Alpaca的比较

使用GPT-4对Beaver进行了评估，与Alpaca相比，Beaver在安全相关的多个维度上有显著改善。

安装步骤

通过GitHub克隆源代码：

git clone https://github.com/PKU-Alignment/safe-rlhf.git
cd safe-rlhf

采用conda环境进行依赖安装：

conda env create --file conda-recipe.yaml

或使用docker配置环境：

make docker-run

训练流程

Safe RLHF框架支持从监督微调到奖励模型训练，再到RLHF对齐训练的完整流程。以下为基本步骤：

1. 监督微调（SFT）
2. 价值模型（奖励模型和成本模型）训练
3. （可选）RLHF训练
4. 安全RLHF训练

中国语言支持

Safe RLHF不仅支持LLaMA模型，还支持其他预训练模型如Baichuan和InternLM，这些模型对中文的支持更好。可以通过更新代码中预训练模型的路径来使用。

自定义数据集

Safe RLHF允许为所有训练阶段创建自定义数据集，通过更新数据集路径即可实现个性化训练。

推理与评估

提供交互式CLI演示和竞技场模式用于模型推理与评估。

未来计划

• 逐步发布Safe RLHF数据集
• 训练更大型的LLM
• 支持内存高效的训练方法如LoRA和PEFT

许可

Safe-RLHF在Apache License 2.0下发布。