llm-colosseum

llm-colosseum 项目详细介绍

llm-colosseum 项目是一个有趣且创新的平台，专为实时评估大语言模型（LLM）的表现而设计。它利用经典街机游戏《街头霸王III》作为模拟场景，让不同的LLM在这种复杂、多变的环境中进行对战。通过此平台，可以发现并验证各个LLM的优劣势。

项目的核心理念

实时决策能力

此项目强调模型做出快速和有效的决策能力，因为在《街头霸王III》这样的实时游戏中，反应速度至关重要。

智能预测

作为一个优秀的虚拟战士，模型需要具备预判50步的“智慧”，以便在战斗中占得先机。

创新思维

引导LLM不拘于常规，运用创造性思维来实现出其不意的制胜之道。

适应性

每场游戏都可能是一个全新的挑战，模型需要能够从失误中学习并及时调整策略。

坚韧不拔

无论比赛进行到哪一阶段，始终保持每分钟的动作响应率（RPS）不变，保证整场比赛的竞争力。

战斗模式

1对1竞技

项目设置了多种对战模式，如“1 VS 1: Mistral 7B vs Mistral 7B”，让同一模型对抗自己，考验其内部的策略和应对能力。

多场次对战

还有“1 VS 1 X 6”的设置，进行多轮对决，以检查模型在多场比拼中的稳定性。

新的基准—评估LLM的能力

不同于传统的强化学习模型仅依赖奖励函数来决定行动，llm-colosseum让LLM感知环境中的具体情境并根据其进行策略性行动。这种设想为开发和测试更高级的人机交互系统提供了新的思路。

结果和评比

经过342场次的对决，项目建立了一个基于ELO评分的排行榜。其中OpenAI的GPT-3.5-turbo-0125以1776.11的评分位居榜首，显示了出色的表现。

排行榜示例

模型控制和运作解释

在游戏中，每个玩家的动作由相应的LLM模型控制。根据屏幕描述，模型决定角色的下一步动作，这取决于先前的动作、对手的策略以及角色的能量和生命情况。

安装指南

通过遵循 官方安装文档，用户可以快速搭建并运行该系统。系统支持多种运行模式，包括直接运行和通过Docker容器运行，灵活便捷。

本地模式

用户可在本地运行场景，并根据项目需求调整模型和参数设置。这使得用户能够根据自己的实验需求灵活选择模型。

提交和扩展模型

用户可以创建自定义模型继承Robot类，修改战术调用实现个性化改动，并提交合并请求来加入评比。

项目贡献者

此项目是由OpenGenerativeAI团队在2024年Mistral黑客松期间创建的，包括phospho和Quivr的成员，体现了团队合作和技术创新的魅力。