Gemma-2-9B-It-SPPO-Iter3

项目介绍：Gemma-2-9B-It-SPPO-Iter3

项目背景

Gemma-2-9B-It-SPPO-Iter3 是一个语言模型，基于 google/gemma-2-9b-it 架构开发，并经过三次迭代的自我博弈偏好优化方法(Self-Play Preference Optimization)。此模型主要用于文本生成任务，并采用英文作为其主要语言。

技术背景

• 模型规格：这是一个具有 8B 参数的模型，类似于 GPT 模型，通过合成数据集进行微调。
• 基础模型：模型从 google/gemma-2-9b-it 微调而来。
• 语言：主要使用英语。

数据集与优化策略

该模型使用了 openbmb/UltraFeedback 数据集中的提示集合，并通过 snorkelai/Snorkel-Mistral-PairRM-DPO-Dataset 将数据集分为三个部分，用于三次迭代。所有用于训练的响应都是合成的。

训练超参数

以下是训练期间使用的超参数：

• 学习率：5e-07
• eta：1000
• 每设备训练批次大小：8
• 梯度累积步骤：1
• 随机种子：42
• 分布式类型：deepspeed_zero3
• 设备数量：8
• 优化器：RMSProp
• 学习率调度器类型：线性
• 学习率调度器预热比例：0.1
• 训练轮数：1.0

模型评价

根据 AlpacaEval 评估结果，Gemma-2-9B-It-SPPO-Iter3 模型的整体表现优于其前两次迭代：

• LC. Win Rate：53.27
• Win Rate：47.74
• 平均生成长度：1803

链接与参考

该项目有三个迭代版本，链接如下：

• Gemma-2-9B-It-SPPO-Iter1
• Gemma-2-9B-It-SPPO-Iter2
• Gemma-2-9B-It-SPPO-Iter3

使用条款

该模型遵循 Apache-2.0 许可证，详细使用条款可通过 此链接 查看。

引用

如果使用此模型或技术，请引用如下：

@misc{wu2024self,
      title={Self-Play Preference Optimization for Language Model Alignment}, 
      author={Wu, Yue and Sun, Zhiqing and Yuan, Huizhuo and Ji, Kaixuan and Yang, Yiming and Gu, Quanquan},
      year={2024},
      eprint={2405.00675},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}