abel

项目介绍：Abel——生成式AI数学项目

项目概述

Abel是一个以生成式AI为基础的数学项目，旨在提升在数学推理任务中的模型表现。这一项目是为了向在代数与分析领域做出卓越贡献的数学家尼尔斯·亨利克·阿贝尔致敬。Abel模型致力于在不依赖外部工具、持续训练、奖励模型或人类反馈强化学习的情况下，通过仅使用监督微调（SFT）来实现出色的数学问题解决能力。

模型与性能

Abel项目共有多个版本的模型，其中新发布的Abel-7B-002在GSM8K和MATH数据集上表现优异。该模型首次在7B模型中取得了GSM8K超过80%的准确率，并在MATH数据集上达到了29.46的高分。此版本在处理复杂的数学竞赛问题时，也展示了显著的领先优势。

一般化能力

Abel模型不仅在数学数据集（如GSM8K、MATH、MathQA等）中表现出色，同时在跨领域推理数据集（如ARC-E、ARC-C、HellaSwag）中也具有竞争力，超越了基础模型Mistral-7b。尤其是在新数据集TAL-SCQ5K-EN的测试中，该模型也实现了快速且优异的表现，超越了商业化数学模型MathGPT及GPT-4。

排行榜与领导地位

在数学推理的排行榜中，Abel模型在无外部工具协助的情况下取得了显著成绩。在70B参数模型中，展现了强大的推理能力，仅次于OpenAI、Anthropic和Google等大型科技公司的专有模型。

方法论

Abel的“家长监督”方法论倡导在生成式AI时代，通过结构化数据工程优化监督微调数据的质量和表现。该方法类比于父母精心教育孩子，通过多样化的教育形式引导AI模型更有效地学习和推理。

评价与鲁棒性分析

Abel模型进行了多角度的评价和鲁棒性分析，探讨其对不同数据分布的泛化能力及面对分布外测试样本的表现，其中包括对GSM8k_robust数据集的对抗性评估以及在TAL-SCQ5K-EN数据集上的监督迁移学习。分析结果显示，Abel在面对分布外数据时表现出了更强的鲁棒性。

限制与未来展望

当前模型在多语言支持、通用性、跨领域泛化和高级技术采用等方面仍有改进空间。未来的优化重点将是提升模型的跨领域适用性和多语言能力，以及在强数学推理模型基础上整合至更广泛的聊天机器人应用中。

项目展望

Abel团队将继续对模型进行改进，并会定期发布更新，敬请期待！