MCTSr: 将数学作为大语言模型的黑盒

环境

服务器

我们需要VLLM或其他兼容OpenAI的方法。

pip install vllm

客户端

我们需要Huggingface工具包和OpenAI进行推理。

pip install datasets transformers openai

使用方法

该脚本依赖于Slurm，如果您在非Slurm环境中运行，

只需使用VLLM创建一个兼容OpenAI的服务器，并将其插入到'server.csv'中

IP,PORT,MODEL_NAME

如果您在Slurm环境中运行，请在make_n_server.py中将partition name更改为您自己的分区名称

然后，您可以运行run_with_earlystopping.py来处理数据集。

python run_with_earlystopping.py MODEL_NAME DATA_DIR_NAME

支持的数据集

数据集由DATA_DIR_NAME参数的第一部分给出，如gsm8k-llama3-8b-new-mcts-8对应gsm8k，可以从以下选项中选择：

        'gsm8k-llama3-8b-new-mcts-8',
         'gsmhard-llama3-8b-new-mcts-8',
         'olympiadbench-llama3-8b-new-mcts-8',
         'GAIC-llama3-8b-new-mcts-8',
         'MATH-llama3-8b-new-mcts-8',
         'AIME-llama3-8b-mcts-2'

使用run_olympics.py运行所有数据集。

注意：这将消耗很长时间。

引用

@misc{zhang2024accessing,
      title={Accessing GPT-4 level Mathematical Olympiad Solutions via Monte Carlo Tree Self-refine with LLaMa-3 8B}, 
      author={Di Zhang and Xiaoshui Huang and Dongzhan Zhou and Yuqiang Li and Wanli Ouyang},
      year={2024},
      eprint={2406.07394},
      archivePrefix={arXiv},
      primaryClass={cs.AI}
}

免责声明

本项目仍处于探索的早期阶段，请注意算法的输出，在未经充分测试的情况下不要将其部署到实际产品中。

阅读更多

https://arxiv.org/abs/2406.07394

重新实现

https://github.com/BrendanGraham14/mcts-llm

Jupyter笔记本

GPT-4O结果