Abel - 数学推理开源大模型学习资料汇总

Abel是由上海交通大学GAIR实验室开发的专注于数学推理的开源大语言模型,在GSM8K和MATH等数学推理基准测试上取得了业界领先的成绩。本文汇总了Abel项目的相关学习资料,帮助读者快速了解和使用这一强大的数学AI模型。

项目简介

Abel项目旨在通过纯监督微调的方式,打造一个在数学推理领域表现卓越的开源大模型。该项目主要亮点包括:

• 在GSM8K基准上达到83.62%的准确率,超越了PaLM-1、Minerva等顶级模型
• 在MATH基准上达到28.26%的准确率,远超其他开源模型
• 7B和13B版本的模型在GSM8K和MATH上均创造了开源模型的历史最佳成绩
• 仅通过监督微调就取得了优异成绩,无需使用工具、继续预训练、奖励模型、RLHF等技术

模型与性能

目前Abel提供了以下几个版本的模型:

其中Abel-7B-002是最新发布的版本,在GSM8K上首次突破80%,在MATH上也取得了显著进步。

方法论

Abel项目提出了"父母监督"(Parental Oversight)的数据处理理念,强调应该谨慎地选择最有效的数据处理方法来指导大语言模型。该方法的核心思想包括:

• 数据质量比数量更重要
• 训练样本不仅要给出正确答案,还要教会模型如何推导
• 及时补充模型知识的不足

评估与使用

项目提供了详细的评估脚本,可以方便地复现论文中的实验结果。使用步骤如下:

1. 创建conda环境:conda create -n abel python=3.10
2. 激活环境:conda activate abel
3. 安装依赖:pip install -r requirements.txt
4. 运行评估:bash evaluation/eval.sh

局限性

尽管Abel取得了出色的成绩,但仍存在一些局限性,包括:

• 可能存在过拟合问题
• 泛化能力有待提高
• 缺乏多语言支持
• 未探索奖励模型、RLHF等高级技术

项目维护者已经创建了相关的issues列表来追踪这些问题。

总结

Abel项目展示了纯监督微调在数学推理任务上的强大潜力,为研究人员提供了一个强大的开源基线模型。项目代码、模型权重和评估脚本均已开源,欢迎感兴趣的读者进一步探索和使用。

如果您对数学AI感兴趣,Abel无疑是一个值得关注的重要项目。您可以访问项目GitHub仓库获取更多详细信息。