Skywork-Reward-Llama-3.1-8B-v0.2

Skywork-Reward-Llama-3.1-8B-v0.2项目介绍

项目背景

Skywork-Reward-Llama-3.1-8B-v0.2是一个基于Llama-3.1-8B-Instruct架构的高级奖励模型。它是Skywork奖励模型系列的一部分,由Skywork团队开发。该模型使用精心策划的Skywork奖励数据集进行训练,数据集包含80K高质量的偏好对。

模型特点

1. 基础模型：该模型基于meta-llama/Llama-3.1-8B-Instruct架构构建。

2. 训练数据：使用Skywork/Skywork-Reward-Preference-80K-v0.2数据集进行训练,该数据集是经过去污处理的版本。

3. 性能出色：在RewardBench排行榜上,该模型在8B规模的模型中排名第一。

4. 能力全面：擅长处理复杂场景中的偏好,涵盖数学、编程、安全等多个领域。

数据集特点

1. 数据来源多样：包括HelpSteer2、OffsetBias、WildGuard等多个公开数据集。

2. 精心策划：通过子采样和筛选,确保数据质量和领域平衡。

3. 规模适中：总计约80K个样本,证明了小型高质量数据集的有效性。

使用方法

该模型可以通过Hugging Face Transformers库轻松加载和使用。使用时需要注意:

1. 建议启用flash_attention_2或eager实现,以获得最佳性能。

2. 可以使用AutoModelForSequenceClassification和AutoTokenizer类来加载模型和分词器。

3. 模型输入需要使用特定的对话模板格式化。

性能评估

在RewardBench评测中,该模型在总分、聊天、困难聊天、安全性和推理等方面都表现出色:

• 总分: 93.1
• 聊天: 94.7
• 困难聊天: 88.4
• 安全性: 92.7
• 推理: 96.7

使用声明

1. 不得将模型用于危害国家或社会安全的活动。

2. 未经安全审查,不得将模型部署为互联网服务。

3. 模型存在潜在风险,使用者需承担相应责任。

许可协议

使用该模型需遵守Skywork社区许可协议。支持商业用途,但必须遵守协议条款。

技术报告

相关技术细节可参考论文《Skywork-Reward: Bag of Tricks for Reward Modeling in LLMs》。

总的来说,Skywork-Reward-Llama-3.1-8B-v0.2是一个性能强大、应用广泛的奖励模型,为大语言模型的偏好学习和评估提供了有力工具。