opencompass

OpenCompass 项目介绍

OpenCompass 是一个旨在为大型模型提供公平、开放和可重复验证的评估平台。其目标是通过一系列强大且直观的工具，使用户能够轻松评估自然语言处理（NLP）模型的质量和效果。OpenCompass 通过其灵活的算法和友好的用户界面，引导用户在复杂的语言模型评估旅程中前进。

欢迎加入 OpenCompass

OpenCompass 像指南针一样，引领用户穿越大规模语言模型评估的复杂领域。该项目的设计使得评估 NLP 模型的质量与效果变得异常简单。项目目前正在招募全职研究员、工程师和实习生，对语言模型及 OpenCompass 有兴趣的人士可通过邮件联系项目团队。

新版本更新

OpenCompass 经常更新支持的模型和数据集。最近的更新包括对多语言问答数据集 MMMLU 的支持，以及对 Qwen2.5 和 OpenAI o1 系列模型的支持。此外，OpenCompass 还引入了更准确的答案抽取模型和多样化评估基准 SciCode 和 RULER 等。

排行榜与社区参与

OpenCompass 提供了一个排行榜，允许社区内的公共模型和 API 模型进行排名。如果希望参与评估，用户可以通过提供模型仓库 URL 或标准 API 接口加入。

安装与环境准备

OpenCompass 的安装相对简单，推荐使用 conda 来管理 Python 环境。用户可以通过 pip 安装 OpenCompass，或从源代码构建以使用最新功能。

数据准备

用户有多种方法准备数据集，包括离线下载和从 OpenCompass 服务器自动下载。在使用 ModelScope 时，用户无需将所有数据下载到本地。

评估指南

在确保正确安装 OpenCompass 及准备好相应的数据集后，用户可以开始第一次评估。OpenCompass 支持通过命令行或 Python 脚本配置模型评估，具体操作示例详见项目文档。

OpenCompass 2.0

OpenCompass 2.0 引入了 CompassKit、CompassHub 和 CompassRank 三大组成部分，提升了模型评估的全面性与灵活性。

• CompassRank：增强后的排行榜结合了开放和专有的基准。
• CompassHub：提供了一种便捷的基准浏览界面。
• CompassKit：一个评估工具包集合，专注于大规模语言模型。

项目的主要特色

• 全面的模型与数据集支持：预支持 20 多个 HuggingFace 和 API 模型，支持 70 多个数据集，覆盖约 40 万个问题。
• 高效的分布式评估：一行命令即可实现任务分配和分布式评估。
• 多样化的评估方式：支持零样本、少样本及思维链评估。
• 模块化设计，易于扩展：用户可以轻松扩展新模型或数据集。
• 实验管理和报告机制：通过日志完整记录每次实验，支持实时报告结果。

支持的数据集和模型

OpenCompass 支持多种数据集，涵盖语言、知识、推理、考试、多语言问答等类别。此外，也支持多个开源模型和 API 模型，也开放用户自定义模型的支持。

未来路线图

OpenCompass 计划继续完善主观评估、长文本上下文评估、代码评估排行榜、活代理框架支持和健壮性支持等功能。

贡献与致谢

项目鼓励用户参与贡献，以持续改进 OpenCompass 的功能。部分代码参考和修改自 OpenICL 及其他开源项目。

如需引用 OpenCompass，可以使用以下 BibTeX 条目：

@misc{2023opencompass,
    title={OpenCompass: A Universal Evaluation Platform for Foundation Models},
    author={OpenCompass Contributors},
    howpublished = {\url{https://github.com/open-compass/opencompass}},
    year={2023}
}

OpenCompass 项目持续发展，欢迎更多对大型模型评估感兴趣的开发者加入，一起探索和推动 NLP 模型的进步。