Chain-of-Thought Hub: 测量大语言模型的复杂推理能力

Chain-of-Thought Hub简介

Chain-of-Thought Hub是由来自爱丁堡大学、华盛顿大学、Allen AI研究所和滑铁卢大学的研究人员共同开发的一个开源项目。该项目旨在通过一系列复杂的推理任务来评估大型语言模型(LLMs)的能力。

随着LLMs的快速发展,有些人声称一个不到10B参数的小模型就可以达到与GPT-3.5相当的性能。但事实真的如此吗?正如GPT-4发布博客中所说:"在日常对话中,GPT-3.5和GPT-4之间的区别可能很微妙。但当任务复杂度达到一定阈值时,差异就会显现出来 - GPT-4更可靠、更有创造力,能够处理更细微的指令。"

因此,关键的区别在于模型是否能够完成复杂任务。正如古语所说:"闲聊容易,展示推理才是关键。"这就是为什么该项目汇编了一系列复杂推理任务,包括数学(GSM8K)、科学(MATH、TheoremQA)、符号推理(BBH)、知识(MMLU、C-Eval)、编码(HumanEval)、事实推理(SummEdits)和长文本理解(RepoBench、Qspr、QALT、BkSS)等,以测量模型在具有挑战性的任务上的表现。

更重要的是,研究人员预见大语言模型将成为下一代计算平台,并孕育基于LLM的新应用生态系统。在这种情况下,链式思考提示工程将成为下一代系统调用和shell脚本。

主要任务和数据集

Chain-of-Thought Hub将任务分为三类:

1. 主要任务:稳定且被LLM研发机构广泛参考的数据集。
2. 实验性任务:有潜力测试未来LLM能力的数据集。
3. 长文本任务:需要对很长上下文进行推理的数据集,这是未来LLM的一个重要方向。

主要任务包括:

• GSM8K:小学数学应用题
• MATH:竞赛级数学和科学问题
• MMLU:多学科知识测试
• BBH:具有挑战性的语言和符号推理
• HumanEval:Python编码
• C-Eval:中文多学科知识评估

实验性任务包括:

• TheoremQA:定理证明
• SummEdits:事实推理

长文本任务包括:

• Qspr:对研究论文进行问答
• QALT:对长文章和故事进行多项选择
• BkSS:重新排序小说片段的摘要

评估结果

Chain-of-Thought Hub对多个主流大语言模型进行了评估,包括GPT-4、Claude、PaLM-2、LLaMA等。结果显示:

• GPT-4在GSM8K和MMLU等任务上明显优于其他模型。
• 65B参数的LLaMA非常接近text/code-davinci-002的性能,这意味着如果对其进行适当的指令微调和人类反馈强化学习,很可能可以基于LLaMA复现出ChatGPT级别的性能。
• Claude是唯一一个可以与GPT系列相媲美的模型家族。
• 在GSM8K上,gpt-3.5-turbo优于text-davinci-003,这验证了OpenAI在2023年1月30日发布说明中提到的"改进了数学能力"。

项目意义

Chain-of-Thought Hub为评估大语言模型的复杂推理能力提供了一个标准化的框架。它不仅关注模型在简单对话中的表现,更注重测试模型在需要多步推理的复杂任务中的能力。这对于理解不同模型之间的真实差距,以及指导未来LLM的研发方向具有重要意义。

该项目的开源性质也鼓励了社区贡献,研究人员邀请社区成员提出新的任务建议,特别是测量超长文本推理和复杂API调用的任务。这将有助于推动LLM技术的进一步发展,使其在更广泛的应用场景中发挥作用。

Chain-of-Thought Hub不仅是一个评估工具,也是一个促进LLM研究和应用的平台。通过标准化的测试和开放的合作,它将推动大语言模型向着更强大、更可靠的方向发展,最终实现真正的人工智能。