LongBench

LongBench项目介绍

简介

LongBench是首个针对双语和多任务的大型语言模型进行完整评估的标杆项目，专注于长文本理解能力。其涵盖了中文和英文，旨在更全面地评估大型模型在处理长上下文时的多语言能力。LongBench由六大类共21个不同任务组成，覆盖了单文档问答、多文档问答、摘要生成、少样本学习、合成任务以及代码补全等关键长文本应用场景。

背景与动机

在长文本场景下进行模型评估往往成本极高，例如手动标注费用和API调用成本等。因此，LongBench采用了全自动化的评估方式，目标是以最低成本测量和评估模型的长文本理解能力。

数据集与任务构成

LongBench包含14个英文任务、5个中文任务，以及2个代码任务。大多数任务的文本长度平均在5千到15千字，总共有4,750个测试数据。为了更深入地分析模型在不同输入长度下的表现，LongBench还提供了一个长度分布更均匀的测试集LongBench-E。这些数据在长度0-4k、4k-8k以及8k+的区间上均匀采样。

任务类型与分布如下：

多文档问答：3个英文任务，1个中文任务
单文档问答：3个英文任务，1个中文任务
摘要生成：3个英文任务，1个中文任务
少样本学习：3个英文任务，1个中文任务
合成任务：2个英文任务，1个中文任务
代码补全：2个代码任务

评估方法

用户可以通过Hugging Face数据集下载LongBench及LongBench-E的数据，并使用Python库进行加载。项目提供了详细文档来指导用户如何评估模型的长文本理解能力，并使用不同的数据格式标准化所有数据，以便于评估过程。

评价结果

LongBench对现行多种大语言模型进行评估，并提供了不同任务和不同语言下的得分排名。用户可以参考这些评估结果来了解各模型在长文本处理能力上的差异和优劣。

致谢

部分LongBench项目中的任务基于前人提出的数据集，例如HotpotQA、DuReader、NarrativeQA等。我们在此感谢这些数据集的原始作者所做的贡献。

引用格式

若在研究中使用了LongBench项目，请按如下格式引用我们的工作：

@article{bai2023longbench,
  title={LongBench: A Bilingual, Multitask Benchmark for Long Context Understanding},
  author={Bai, Yushi and Lv, Xin and Zhang, Jiajie and Lyu, Hongchang and Tang, Jiankai and Huang, Zhidian and Du, Zhengxiao and Liu, Xiao and Zeng, Aohan and Hou, Lei and Dong, Yuxiao and Tang, Jie and Li, Juanzi},
  journal={arXiv preprint arXiv:2308.14508},
  year={2023}
}

LongBench项目的出现，将大大推动长文本理解技术的发展，欢迎广大研究者和开发者使用和评估这项成果。