EvalScope: 一个简化高效的大型模型评估与性能基准测试框架

EvalScope简介

EvalScope是一个专为评估大型模型(包括大型语言模型和多模态大型语言模型)而设计的开源框架。随着大型模型的快速发展,对模型进行全面、客观的评估变得越来越重要。EvalScope正是为了满足这一需求而诞生的,它提供了一套简化而高效的评估流程,帮助研究人员和开发者更好地理解和比较不同模型的性能。

框架特性

EvalScope具有以下主要特性:

丰富的基准数据集: 预加载了多个常用的测试基准,包括MMLU、CMMLU、C-Eval、GSM8K、ARC、HellaSwag、TruthfulQA、MATH、HumanEval等。这些数据集涵盖了多个领域和任务类型,可以全面评估模型的能力。
多样化的评估指标: 实现了多种常用的评估指标,可以从不同角度衡量模型的性能。
统一的模型接口: 提供了统一的模型访问机制,兼容多个模型系列的Generate和Chat接口,简化了评估过程。
自动化评估: 包括客观问题的自动评估,以及使用专家模型进行复杂任务评估,提高了评估效率。
评估报告生成: 可自动生成详细的评估报告,方便分析和比较。
Arena模式: 用于模型间的比较和客观评估,支持多种评估模式,包括:
- 单模式: 对单个模型进行评分
- 基线对比模式: 与基线模型进行比较
- 全对比模式: 所有模型间进行两两比较
可视化工具: 提供直观的评估结果展示,便于理解和分析。
模型性能评估: 提供模型推理服务的性能测试工具和详细统计信息。
OpenCompass集成: 支持使用OpenCompass作为评估后端,提供更高级的封装和任务简化。
VLMEvalKit集成: 支持使用VLMEvalKit作为评估后端,便于启动多模态评估任务。
全链路支持: 通过与ms-swift训练框架的无缝集成,提供从模型训练、部署、评估到报告查看的一站式开发流程。

EvalScope框架架构

框架架构

EvalScope的架构包括以下主要模块:

模型适配器: 用于将特定模型的输出转换为框架所需的格式,支持API调用模型和本地运行模型。
数据适配器: 负责转换和处理输入数据,以满足各种评估需求和格式。
评估后端:
- Native: EvalScope自身的默认评估框架
- OpenCompass: 支持使用OpenCompass作为评估后端
- VLMEvalKit: 支持使用VLMEvalKit作为评估后端
- ThirdParty: 其他第三方评估任务,如ToolBench
性能评估器: 负责测量模型推理服务的性能,包括性能测试、压力测试、性能报告生成和可视化。
评估报告: 生成总结模型性能的最终评估报告。
可视化: 提供可视化结果,帮助用户直观理解评估结果。

快速开始

要开始使用EvalScope,您可以通过以下步骤快速进行简单的评估:

安装EvalScope:
```
pip install evalscope
```

运行简单评估:

python -m evalscope.run \
--model qwen/Qwen2-0.5B-Instruct \
--template-type qwen \
--datasets arc

这个命令将使用默认设置在ARC数据集上评估Qwen2-0.5B-Instruct模型。

参数化评估

如果您想进行更加定制化的评估,可以使用更多参数:

python evalscope/run.py \
--model qwen/Qwen2-0.5B-Instruct \
--template-type qwen \
--model-args revision=v1.0.2,precision=torch.float16,device_map=auto \
--datasets mmlu ceval \
--use-cache true \
--limit 10

这个命令将在MMLU和CEval数据集上评估Qwen2-0.5B-Instruct模型,使用指定的模型参数和生成配置。