Odyssey

项目介绍：Odyssey - 赋予Minecraft代理开创性的开放世界技能

Odyssey项目是一个创新框架，旨在为Minecraft中的代理们赋予更多的开放世界探索和任务执行能力。这个项目的基础是以大型语言模型（LLM）为依托，帮助代理在Minecraft这样丰富的开放世界中更好地完成复杂任务。项目借助了Voyager框架，并在此基础上进行了扩展。

背景

现有的研究多致力于在开放世界环境中，如Minecraft，构建通用代理。尽管取得了一些进展，但目前的努力主要集中在解决基础的程序化任务上，比如收集材料和沿着技术树制作工具，以及将获取钻石作为最终目标。这一限制源于代理可用的行动集合的范围较窄，迫使其从零开始学习有效的长远策略。因此，在开放世界中发现多样化的游戏机会变得异常困难。

Odyssey 框架组成

Odyssey框架通过以下三个核心组件赋予Minecraft代理开创性的开放世界技能：

1. 互动代理及其开放世界技能库：该技能库包含40种基础技能和183种组合技能，旨在帮助代理在复杂的环境中进行自由探索和任务执行。

2. 经过微调的大型语言模型（LLaMA-3）：该模型在来自Minecraft Wiki的超过39万条指令构成的大型问答数据集上进行训练，以在复杂任务中为代理提供更强大的规划和执行能力。

3. 新的代理能力基准测试：包括长远规划任务、动态即时规划任务和自主探索任务，旨在全面评估代理的能力。

实验结果

经过广泛的实验验证，Odyssey框架可以有效评估基于大型语言模型的代理的不同能力。项目旨在激励未来关于自主代理解决方案的更多研究。所有的数据集、模型权重以及代码都是开源的，以供研究和进一步开发。

最新动态

• 2024年10月1日：发布了更多基线比较数据和测试场景。
• 2024年9月1日：开放了用于Minecraft Wiki数据收集的网页爬虫程序。
• 2024年8月14日：开放了全面的技能库，用于自动收集Minecraft中可收集和制作的所有物品。
• 2024年7月23日：Odyssey相关论文已发布在arXiv上。
• 2024年6月13日：项目代码库在GitHub上开源。

项目演示

Odyssey项目还提供了多个功能演示视频，展示了以下能力：

• 从零开始挖掘钻石
• 制作剑和对抗僵尸
• 剪羊毛和挤奶
• 自主探索

项目任务

Odyssey定义了多个任务以测试不同的代理能力，包括子目标任务、长远规划任务、动态即时规划任务和自主探索任务。

如何安装和配置

项目需要Python ≥ 3.9 和Node.js ≥ 16.13.0的环境，支持在Ubuntu 20.04，Windows 10和macOS上运行。有详细的安装说明和配置指南，确保用户能够顺利部署和使用Odyssey框架。

相关研究

Odyssey项目得到了许多相关研究的启发和支持，这部分内容列出了关键论文和贡献者以供参考。

如果您对这项研究感兴趣，欢迎通过电子邮件与Zhejiang University的VIPA实验室团队联系。