AgentBench

AgentBench 项目介绍

AgentBench 是一个专用于评估大型语言模型（LLM）作为自主代理能力的基准测试平台。通过构建一系列不同环境，AgentBench 旨在全面测试 LLM 在各种情境下的自主操作能力。该项目首次提供了一个专门为 LLM-as-Agent 设计的评估工具，帮助研究人员和开发人员了解 LLM 在不同任务中的表现。下面将详细介绍 AgentBench 的背景、功能和使用方法。

背景与目标

AgentBench 的推出旨在填补现有 LLM 评估工具中关于自主代理功能的缺口。它涵盖了 8 个独特的环境，以更全面地评估 LLMs 在各种任务中的表现。这些环境包括：

• 操作系统（OS）
• 数据库（DB）
• 知识图谱（KG）
• 数字卡牌游戏（DCG）
• 发散性思维谜题（LTP）

此外，还有 3 个从已发布的数据集中重新编译的任务：

• 家务管理（HH）- 源自 ALFWorld
• 在线购物（WS）- 源自 WebShop
• 网页浏览（WB）- 源自 Mind2Web

版本更新

AgentBench v0.2 是最新版本，结合了用户反馈和新的技术更新，包括：

• 更新框架架构以便于使用和扩展
• 调整部分任务设置
• 添加了更多模型的测试结果
• 发布了开发和测试集的完整数据

VisualAgentBench

随着 AgentBench 的发展，项目团队还推出了 VisualAgentBench。这是一个专为评估和训练基于大型多模态模型（LMMs）的视觉基础代理而设计的工具。VisualAgentBench 提供了五个不同的环境，以系统地对 17 种 LMMs 进行基准测试。这些环境包括：

• 实体环境：如 VAB-OmniGibson 和 VAB-Minecraft
• 图形用户界面环境：如 VAB-Mobile 和 VAB-WebArena-Lite
• 视觉设计环境：如 VAB-CSS

数据集与排行榜

AgentBench 提供了开发（Dev）和测试（Test）这两个数据集用以进行模型评测。它要求 LLMs 在多回合互动中分别生成约 4000 次和 13000 次内容。所有的测试结果都在排行榜（Leaderboard）上显示，为用户提供选择模型时的参考。

快速开始指南

对新手用户，AgentBench 提供了一个快速开始指导，包括以下几个步骤：

1. 安装先决条件：确保系统上正确安装了 Docker 和所需的 Python 依赖。
2. 配置代理：设置 OpenAI API Key 并尝试启动预配置的代理。
3. 启动任务服务器：自动化脚本帮助启动所需的任务工作程序。
4. 开始任务分配：通过任务分配器正式启动任务。

扩展与引用

AgentBench 的灵活性允许用户添加新的任务环境。用户可以参考项目的扩展指南来进行自定义开发。此外，该项目还提供了相关的学术引用格式，供需要在研究中使用 AgentBench 的学者引用。

通过提供丰富的功能和易于使用的接口，AgentBench 为评估 LLM 的自主代理能力提供了一个全面的解决方案。无论是研究人员还是开发者，都可以利用该平台优化和选型他们的语言模型，以提升模型的实用性和适用性。