Open-R1

项目介绍

Open R1 项目的目标是构建 R1 管道中缺失的部分，使得每个人都能够重现并在此基础上进行开发。项目主要由src/open_r1目录下的脚本和Makefile组成，src/open_r1中的脚本可用于训练和评估模型，以及生成合成数据；Makefile则提供了易于运行的命令。项目参考 DeepSeek - R1 的技术报告，分三步进行开发，目前已发布了多个数据集，并实现了训练、推理和评估等功能。在安装方面，项目依赖 CUDA 12.4，需按特定步骤创建虚拟环境并安装相关依赖。训练支持 DDP 和 DeepSpeed，提供 SFT 和 GRPO 两种训练方式，还可使用代码解释器和进行数据去重与去污染。评估使用lighteval工具，能复现 DeepSeek 在多个基准测试上的评估结果。

主要功能

模型训练：支持监督微调（SFT）和组相对策略优化（GRPO）两种训练方法，可在指定数据集上对模型进行训练。 模型评估：使用lighteval工具对模型进行评估，支持多个基准测试，如 AIME 2024、MATH - 500、GPQA Diamond 等，能复现 DeepSeek 的评估结果。 数据生成：借助Distilabel从模型生成合成数据。 数据处理：提供数据去重和去污染脚本，确保数据质量。

应用场景

学术研究：研究人员可以使用该项目进行模型训练和评估的相关研究，探索新的训练方法和评估指标。 工业应用：企业可以利用该项目对模型进行定制化训练，以满足特定业务需求，如代码生成、数学问题求解等。 教育学习：学生可以通过该项目学习模型训练和评估的基本原理和方法，提高实践能力。

常见问题

问题 1：项目需要哪些环境依赖？ 回答：项目依赖 CUDA 12.4，需要创建 Python 虚拟环境，安装 vLLM、FlashAttention 等库，同时还需要登录 Hugging Face 和 Weights and Biases 账户，并且确保系统安装了 Git LFS。

问题 2：项目支持哪些训练方法？ 回答：项目支持监督微调（SFT）和组相对策略优化（GRPO）两种训练方法。

问题 3：如何评估模型性能？ 回答：可以使用lighteval工具对模型进行评估，支持多个基准测试，如 AIME 2024、MATH - 500、GPQA Diamond 等。可以根据模型大小选择不同的并行方式，如单 GPU、数据并行或张量并行。

问题 4：项目发布了哪些数据集？ 回答：项目发布了CodeForces - CoTs和OpenR1 - Math - 220k等数据集。