hallucination-leaderboard

Hallucination Leaderboard 项目介绍

项目背景与目标

Hallucination Leaderboard 是一个由 Vectara 公司发起的公共大规模语言模型（LLM）排行榜，该排行榜基于哈奇斯幻觉评估模型（Hughes Hallucination Evaluation Model, HHEM）来评估。当LLM在总结文档时引入不真实信息（幻觉）的频率如何。此项目旨在随着模型和LLM的更新，定期更新排行榜，为学术研究和产业应用提供实时评估工具。

幻觉评估模型

排行榜的排行是通过最新版本的HHEM-2.1幻觉评估模型来计算的。此模型专门用于检测LLM输出中的幻觉，以确保生成的总结内容与原始文档的一致性和准确性。感兴趣的用户可以在 Hugging Face 和 Kaggle 访问这一开源版本的评估模型。

数据来源与方法论

为了评估模型，我们使用了多个开放源代码的数据集，这些数据集用于研究总结模型的真实性一致性。具体而言，项目方将千余个短文档通过各个LLM的公共API进行总结，最终使用831个被所有模型总结的文档来计算各个模型的总体真实性一致性率与幻觉率。

项目特别关注于总结任务中的真实一致性而非总体真实准确性，这是为了能更精准地比较模型在给定信息下的回复表现。幻觉检出过程参考了大量现有的学术研究，使得这一方法不仅可用于当前任务，也对LLM的整体真实性能力提供指引。

模型排行榜

在排行榜上，各个模型的表现通过以下指标进行展示：

• 幻觉率：反映了模型生成不真实内容的频率。
• 实际一致性率：描述了模型生成内容与原始文档的一致性。
• 回应率：模型是否能有效回应指定任务。
• 总结长度：模型生成总结的平均字数。

这些指标结合为用户提供了对不同模型在总结任务中的真实性和一致性表现的全面理解。

已实现与未来计划

项目当前实现了一个排名列表，用户可以在 Hugging Face 网站查看完整排行榜。项目方还计划添加更多特性，例如引用准确性的排行榜以及多文档总结等任务的评估。此外，未来也将扩展语言覆盖范围，以适应更多样化的用户需求和应用场景。

总之, Hallucination Leaderboard 项目致力于为大规模语言模型提供直观且详尽的真实性检测工具，也是模型研究和应用的一大进展。希望通过社区共同努力，不断推进幻觉检测领域的发展，优化模型的输出质量。