SPPO

项目介绍：SPPO 语言模型对齐优化

项目背景

SPPO，全称为自对弈偏好优化，是一项帮助语言模型（LLM）进行对齐的新方法。它旨在通过自我对弈框架为大型语言模型的微调提供高效的优化途径，并引入了一种新的学习目标——SPPO损失，从而在没有强烈外部信号（如GPT-4的响应或偏好）的情况下显著提升LLM的表现。

项目团队

此项目由来自卡内基梅隆大学和加州大学洛杉矶分校的学者们共同开发，包括吴越、孙志清、袁辉卓、纪凯旋、杨一鸣和顾泉泉。

发布的模型

已发布模型包括Mistral-7B和Llama-3-8B系列，在AlpacaEval 2.0开放排行榜中取得了显著成绩，这些模型通过不同迭代的SPPO方法不断优化，在多项基准测试中展现出超过一些专有模型（如GPT-4）的能力。

• Mistral-7B-SPPO Iter3：在AlpacaEval 2.0长度控制胜率中达到28.53%。
• Llama-3-8B-SPPO Iter3：进一步提升，胜率达到38.77%。
• Gemma-2-9B-SPPO Iter3：胜率高达53.27%，展现出超越其他方法的卓越表现。

环境配置与训练步骤

为了使用SPPO方法，用户需要根据以下步骤设置训练环境：

1. 创建Python虚拟环境，确保与所需的依赖兼容。
2. 安装生成工具vllm和排名工具PairRM。
3. 克隆项目代码库并安装，需要具备一定的命令行操作能力。
4. 根据基础模型选择合适的训练脚本，启动自对弈优化过程。

模型评估

项目使用多个基准进行模型评估，包括AlpacaEval 2.0和MT-Bench，并将结果上传到HuggingFace的开放LLM排行榜，以确保模型表现的公开透明和可验证性。

项目交流与支持

如有关于论文的问题，可以通过邮件联系项目作者；如果在使用代码过程中遇到问题，欢迎在GitHub上提交问题反馈，项目团队将尽力提供技术支持和解答。

致谢

本项目感谢《The Alignment Handbook》团队和PairRM、vllm工具的开发者们的贡献，这些工作都对SPPO的开发与实现产生了重要影响。