渐进提示法改善大型语言模型的推理能力

$PWC$ $PWC$ Python 3.8

<div align="center"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/4a57a268-f1a6-4e0a-af87-e07224c92ac8.png"> </div> <p align="center"> 图1：渐进提示法（PHP）与大语言模型的交互。 </p>

PHP：简单有效的方法，用于提高大语言模型的推理能力。<br> 郑传洋、刘正英、谢恩泽、李振国和李煜<br> 预印本论文

本仓库包含PHP的官方Pytorch实现代码。如图1所示，PHP是一种简单、有效且强大的方法。它可以轻松地与先前的工作（如思维链和自洽性）结合使用，因为它们是相互正交的。

新闻

[2023/06/05]：使用PHP和自洽性（K=40），我们在GSM8K数据集上达到了新的最佳水平：96.5！
[2023/05/11]：我们更新了MATH数据集的代码和数据
[2023/05/02]：我们在MATH数据集上达到了53.9%的最佳性能，这是目前最具挑战性的推理数据集！我们将很快更新论文和代码！感谢您的关注！！！
[2023/04/25]：我们更新了数据集！
[2023/04/21]：我们上传了代码！

PaperWithCode排行榜

我们在AQuA、SVAMP、GSM8K和MATH数据集上取得了最佳性能，如SVAMP排行榜、GSM8K排行榜和MATH排行榜所示（日期：2023年5月5日）

<div align="center"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/dd990fb5-3e05-4460-a28f-995b79ad00fa.png"> </div> <p align="center"> 我们在GSM8K数据集上达到了最佳性能。 </p> <div align="center"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/266e3bd9-23ea-49fe-b976-423901f4d9ad.png"> </div> <p align="center"> 我们在MATH数据集上达到了最佳性能。 </p>

安装

pip install jsonlines
pip install openai

使用

代码需要配置您账户的密钥，可在网站上获取。将openai.api_key设置为其值：

import openai
openai.api_key = "sk-..."

运行

我们使用以下方式运行main_clean：

python python main_clean.py --prompt_dir [基础提示] --eng [openAI模型] --seed [种子数] --hint [PHP提示] --dataset [数据集名称] --num_test -1 --q1 [ori: 标准或CoT, complex: 复杂CoT] --q2 [ori: 标准或CoT, complex: 复杂CoT] --sample [样本数] --temp [0.0为贪婪, 0.7为自洽性]

或者，我们可以直接使用bash目录中的文件：

bash bash/cot.sh

结果

我们这里只展示了使用GPT-3.5-Turbo和GPT-4的复杂CoT结果。有关更多实验结果（如text-davinci-002和text-davinci-003），请参阅我们的论文。

<div align="center"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/c7cb25f6-5a10-43b9-99da-f315d97b9091.png"> </div> <p align="center"> 表8：使用GPT-3.5-Turbo和GPT-4的渐进提示法（PHP）。当模型更强大时，PHP效果更好。 </p>

引用

@article{zheng2023progressive,
  title={Progressive-hint prompting improves reasoning in large language models},
  author={Zheng, Chuanyang and Liu, Zhengying and Xie, Enze and Li, Zhenguo and Li, Yu},
  journal={arXiv preprint arXiv:2304.09797},
  year={2023}
}