Solo-Performance-Prompting

Solo-Performance-Prompting 项目介绍

项目背景

Solo-Performance-Prompting（简称SPP）是一项创新性研究，旨在探索大规模语言模型的认知协同能力。该项目的相关论文已被接受为2024年北美计算语言学年会（NAACL2024）的主会场论文，展示了这一领域的重要进展。

项目特点

• 认知协同的涌现性： 项目中对GPT-3.5和LLama2模型的推理代码及结果更新，展示了这些模型在任务解决中展现出的协同能力。
• 多角色自我协作： 通过多角色的自我协作，该项目能够有效实施任务解决代理，提升模型的任务解决能力。

如何设置

要体验Solo-Performance-Prompting的功能，用户需要按照以下步骤进行设置：

1. 安装依赖： 使用以下命令安装项目所需的所有依赖包。

   pip install -r requirements.txt
   

2. 配置OpenAI API： 设置OpenAI API的配置文件config_template.sh，然后运行source config_template.sh来配置环境变量。

快速开始

Solo-Performance-Prompting 提供了针对三类任务的运行脚本，用户可以通过以下命令迅速启动：

• Trivia创意写作： bash scripts/trivia_creative_writing.sh
• 猜词游戏合作： bash scripts/codenames_collaborative.sh
• 逻辑网格谜题： bash scripts/logic_grid_puzzle.sh

提示语与数据集

项目的所有提示语可以在prompts/文件夹中找到，而所有数据集则存放在data/文件夹中。通过这些资源，用户可以深入了解并运行各类实验。

论文实验结果

项目中提到的实验结果存储在logs/文件夹中，其中包含不同模型在各任务上的表现数据。对于实验结果，项目详细记录了各种配置和评估指标，便于用户对实验进行复现和分析。

感谢与引用

Solo-Performance-Prompting项目参考了Tree-of-thought的代码结构，特别感谢这些开源项目的努力。用户在引用该项目成果时，可以使用如下的引用格式：

@article{wang2023unleashing,
  title={Unleashing Cognitive Synergy in Large Language Models: A Task-Solving Agent through Multi-Persona Self-Collaboration},
  author={Wang, Zhenhailong and Mao, Shaoguang and Wu, Wenshan and Ge, Tao and Wei, Furu and Ji, Heng},
  journal={arXiv preprint arXiv:2307.05300},
  year={2023}
}

这个项目为研究和应用大规模语言模型的认知协同提供了新视角，展示了人工智能在复杂任务中的潜力。希望更多研究者和开发者能从中获得启发，共同推动这一领域的发展。