优秀的LLM提示词优化

本仓库旨在记录LLM提示词调优和自动优化的高级论文（2022年之后）。

我们强烈鼓励希望在LLM提示词优化领域推广其出色工作的研究人员提交拉取请求，以更新他们论文的信息！

LLM优化

黑盒提示词优化：无需模型训练的大语言模型对齐
Jiale Cheng, Xiao Liu, Kehan Zheng, Pei Ke, Hongning Wang, Yuxiao Dong, Jie Tang, Minlie Huang
arXiv 2023. [论文] [GitHub]
2023年11月7日

语言模型解码作为直接指标优化
Haozhe Ji, Pei Ke, Hongning Wang, Minlie Huang
arXiv 2023. [论文]
2023年10月2日

大语言模型作为进化优化器
Shengcai Liu, Caishun Chen, Xinghua Qu, Ke Tang, Yew-Soon Ong
arXiv 2023 [论文]
2023年10月29日

OptiMUS：使用MIP求解器和大语言模型的优化建模
Ali AhmadiTeshnizi, Wenzhi Gao, Madeleine Udell
arXiv 2023. [论文] [GitHub]
2023年10月9日

PromptAgent：语言模型的战略规划实现专家级提示词优化
Xinyuan Wang, Chenxi Li, Zhen Wang, Fan Bai, Haotian Luo, Jiayou Zhang, Nebojsa Jojic, Eric P. Xing, Zhiting Hu
arXiv 2023. [论文]
2023年10月25日

自学优化器（STOP）：递归自我改进的代码生成
Eric Zelikman, Eliana Lorch, Lester Mackey, Adam Tauman Kalai
arXiv 2023. [论文]
2023年10月3日

Promptbreeder：通过提示词进化实现自指自我改进
Chrisantha Fernando, Dylan Banarse, Henryk Michalewski, Simon Osindero, Tim Rocktäschel
arXiv 2023. [论文]
2023年9月28日

连接大语言模型与进化算法产生强大的提示词优化器
Qingyan Guo, Rui Wang, Junliang Guo, Bei Li, Kaitao Song, Xu Tan, Guoqing Liu, Jiang Bian, Yujiu Yang
arXiv 2023. [论文]
2023年9月15日

大语言模型作为优化器（OPRO）
Chengrun Yang, Xuezhi Wang, Yifeng Lu, Hanxiao Liu, Quoc V. Le, Denny Zhou, Xinyun Chen
arXiv 2023. [论文]
2023年9月7日

使用"梯度下降"和束搜索的自动提示词优化（APO）
Reid Pryzant, Dan Iter, Jerry Li, Yin Tat Lee, Chenguang Zhu, Michael Zeng
EMNLP 2023. [论文][GitHub]
2023年5月4日

大语言模型是人类水平的提示词工程师（APE）
Yongchao Zhou, Andrei Ioan Muresanu, Ziwen Han, Keiran Paster, Silviu Pitis, Harris Chan, Jimmy Ba
ICLR 2023. [论文][GitHub]
2022年11月3日

长提示词的自动工程
Cho-Jui Hsieh, Si Si, Felix X. Yu, Inderjit S. Dhillon
arXiv 2023. [论文]
2023年11月16日 通过随机采样进行提示优化 Yao Lu, Jiayi Wang, Sebastian Riedel, Pontus Stenetorp arXiv 2023. [论文][GitHub] 2023年11月16日

提示优化中的专家混合 匿名作者 ICLR 2024投稿。[论文] 2024年10月

构建提示工程师的提示工程 匿名作者 ICLR 2024投稿。[论文] 2024年10月

微调方法

Tuna：使用大型语言模型反馈进行指令调优 Haoran Li, Yiran Liu, Xingxing Zhang, Wei Lu, Furu Wei EMNLP 2023. [论文][GitHub] 2023年10月20日

编程

DSPy：将声明式语言模型调用编译为自我改进的流水线 Omar Khattab, Arnav Singhvi, Paridhi Maheshwari, Zhiyuan Zhang, Keshav Santhanam, Sri Vardhamanan, Saiful Haq, Ashutosh Sharma, Thomas T. Joshi, Hanna Moazam, Heather Miller, Matei Zaharia, Christopher Potts arXiv 2023. [论文][GitHub] 2023年10月

人类偏好和反馈

使用语言模型引出人类偏好 Belinda Z. Li, Alex Tamkin, Noah Goodman, Jacob Andreas arXiv 2023. [论文][GitHub] 2023年10月17日

集成方法

Promptboosting：仅需十次前向传播的黑盒文本分类 Bairu Hou, Joe O'Connor, Jacob Andreas, Shiyu Chang, Yang Zhang ICML 2023. [论文][GitHub] 2023年1月23日

通用基础模型能否超越专门调优？医学领域案例研究 Harsha Nori, Yin Tat Lee, Sheng Zhang, Dean Carignan, Richard Edgar, Nicolo Fusi, Nicholas King, Jonathan Larson, Yuanzhi Li, Weishung Liu, Renqian Luo, Scott Mayer McKinney, Robert Osazuwa Ness, Hoifung Poon, Tao Qin, Naoto Usuyama, Chris White, Eric Horvitz arXiv 2023. [论文] 2023年11月28日

强化学习

Eureka：通过编码大型语言模型实现人类水平的奖励设计 Yecheng Jason Ma, William Liang, Guanzhi Wang, De-An Huang, Osbert Bastani, Dinesh Jayaraman, Yuke Zhu, Linxi Fan, Anima Anandkumar arXiv 2023. [论文][GitHub] 2023年10月19日

基于离线逆强化学习的查询相关提示评估和优化 Hao Sun, Alihan Hüyük, Mihaela van der Schaar arXiv 2023. [论文][GitHub] 2023年9月13日

Retroformer：具有策略梯度优化的回顾性大型语言智能体 Weiran Yao, Shelby Heinecke, Juan Carlos Niebles, Zhiwei Liu, Yihao Feng, Le Xue, Rithesh Murthy, Zeyuan Chen, Jianguo Zhang, Devansh Arpit, Ran Xu, Phil Mui, Huan Wang, Caiming Xiong, Silvio Savarese arXiv 2023. [论文] 2023年8月4日

TEMPERA：基于强化学习的测试时提示 Tianjun Zhang, Xuezhi Wang, Denny Zhou, Dale Schuurmans, Joseph E. Gonzalez arXiv 2023. [论文][GitHub] 2022年11月21日

RLPrompt：使用强化学习优化离散文本提示 Mingkai Deng, Jianyu Wang, Cheng-Ping Hsieh, Yihan Wang, Han Guo, Tianmin Shu, Meng Song, Eric P. Xing, Zhiting Hu EMNLP 2022. [论文][GitHub] 2022年5月25日

预训练语言模型的黑盒提示学习 Shizhe Diao, Zhichao Huang, Ruijia Xu, Xuechun Li, Yong Lin, Xiao Zhou, Tong Zhang TMLR 2023. [论文][GitHub] 2022年1月22日

无梯度方法

PROPANE: 将提示设计视为逆问题 Rimon Melamed, Lucas H. McCabe, Tanay Wakhare, Yejin Kim, H. Howie Huang, Enric Boix-Adsera arXiv 2023. [论文] [GitHub] 2023年11月13日

最具影响力提示的生存：通过聚类和剪枝实现高效的黑盒提示搜索 Han Zhou, Xingchen Wan, Ivan Vulić, Anna Korhonen EMNLP 2023. [论文] [GitHub] 2023年10月19日

FedBPT: 大型语言模型的高效联邦黑盒提示调优 Jingwei Sun, Ziyue Xu, Hongxu Yin, Dong Yang, Daguang Xu, Yiran Chen, Holger R. Roth arXiv 2023. [论文] 2023年10月2日

语言模型作为视觉-语言模型的黑盒优化器 Shihong Liu, Samuel Yu, Zhiqiu Lin, Deepak Pathak, Deva Ramanan arXiv 2023. [论文][GitHub] 2023年9月12日

InstructZero: 黑盒大型语言模型的高效指令优化 Lichang Chen, Jiuhai Chen, Tom Goldstein, Heng Huang, Tianyi Zhou arXiv 2023. [论文] [GitHub] 2023年6月5日

BlackVIP: 用于稳健迁移学习的黑盒视觉提示 Changdae Oh, Hyeji Hwang, Hee-young Lee, YongTaek Lim, Geunyoung Jung, Jiyoung Jung, Hosik Choi, Kyungwoo Song CVPR 2023. [论文][GitHub] 2023年3月26日

GrIPS: 用于提示大型语言模型的基于梯度无关编辑的指令搜索 Archiki Prasad, Peter Hase, Xiang Zhou, Mohit Bansal EACL 2023. [论文][GitHub] 2022年3月14日

作为服务的语言模型的黑盒调优 Tianxiang Sun, Yunfan Shao, Hong Qian, Xuanjing Huang, Xipeng Qiu ICML 2022. [论文][GitHub] 2022年1月10日

BBTv2: 迈向大型语言模型的无梯度未来 Tianxiang Sun, Zhengfu He, Hong Qian, Yunhua Zhou, Xuanjing Huang, Xipeng Qiu EMNLP 2022. [论文] [GitHub] 2022年12月7日

上下文学习

从标记数据自动增强和选择思维链提示 KaShun Shum, Shizhe Diao, Tong Zhang arXiv 2023. [论文][GitHub] 2023年2月24日

大型语言模型中的自动思维链提示 Zhuosheng Zhang, Aston Zhang, Mu Li, Alex Smola ICLR 2023. [论文][GitHub] 2022年10月7日

上下文学习的主动示例选择 Yiming Zhang, Shi Feng, Chenhao Tan EMNLP 2022. [论文][GitHub] 2022年11月8日

选择性标注使语言模型成为更好的少样本学习器 Hongjin Su, Jungo Kasai, Chen Henry Wu, Weijia Shi, Tianlu Wang, Jiayi Xin, Rui Zhang, Mari Ostendorf, Luke Zettlemoyer, Noah A. Smith, Tao Yu ICLR 2023. [论文][GitHub] 2022年9月5日

奇妙有序的提示及其所在：克服少样本提示顺序敏感性 Yao Lu, Max Bartolo, Alastair Moore, Sebastian Riedel, Pontus Stenetorp ACL 2022. [论文] 2022年3月3日

学习检索用于上下文学习的提示 Ohad Rubin, Jonathan Herzig, Jonathan Berant NAACL-HLT 2022. [论文][GitHub] 2021年12月16日