思维链论文集

这一趋势始于"思维链提示激发大型语言模型的推理能力"。

查看**工具使用大语言模型和环境交互大语言模型**，了解我们正在进行的最新研究方向！

论文

思维链提示激发大型语言模型的推理能力。

Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Ed Chi, Quoc Le, Denny Zhou [pdf] 2022.1
自一致性提高语言模型的思维链推理。

Xuezhi Wang, Jason Wei, Dale Schuurmans, Quoc Le, Ed Chi, Denny Zhou [pdf] 2022.3
STaR: 自学推理器通过推理引导推理。

Eric Zelikman, Yuhuai Wu, Noah D. Goodman [pdf], [code] 2022.3
PaLM: 通过Pathways扩展语言建模。

Aakanksha Chowdhery, Sharan Narang, Jacob Devlin, Maarten Bosma, Gaurav Mishra, Adam Roberts, Paul Barham, Hyung Won Chung, Charles Sutton, Sebastian Gehrmann, Parker Schuh, Kensen Shi, Sasha Tsvyashchenko, Joshua Maynez, Abhishek Rao, Parker Barnes, Yi Tay, Noam Shazeer, Vinodkumar Prabhakaran, Emily Reif, Nan Du, Ben Hutchinson, Reiner Pope, James Bradbury, Jacob Austin, Michael Isard, Guy Gur-Ari, Pengcheng Yin, Toju Duke, Anselm Levskaya, Sanjay Ghemawat, Sunipa Dev, Henryk Michalewski, Xavier Garcia, Vedant Misra, Kevin Robinson, Liam Fedus, Denny Zhou, Daphne Ippolito, David Luan, Hyeontaek Lim, Barret Zoph, Alexander Spiridonov, Ryan Sepassi, David Dohan, Shivani Agrawal, Mark Omernick, Andrew M. Dai, Thanumalayan Sankaranarayana Pillai, Marie Pellat, Aitor Lewkowycz, Erica Moreira, Rewon Child, Oleksandr Polozov, Katherine Lee, Zongwei Zhou, Xuezhi Wang, Brennan Saeta, Mark Diaz, Orhan Firat, Michele Catasta, Jason Wei, Kathy Meier-Hellstern, Douglas Eck, Jeff Dean, Slav Petrov, Noah Fiedel [pdf] 2022.4
语言模型能否从上下文中的解释中学习？

Andrew K. Lampinen, Ishita Dasgupta, Stephanie C. Y. Chan, Kory Matthewson, Michael Henry Tessler, Antonia Creswell, James L. McClelland, Jane X. Wang, Felix Hill [pdf] 2022.4
用语言模型推断隐含关系。

Uri Katz, Mor Geva, Jonathan Berant [pdf] 2022.4
少样本上下文学习中解释的不可靠性。

Xi Ye, Greg Durrett [pdf] 2022.5
大型语言模型是零样本推理器。

Takeshi Kojima, Shixiang Shane Gu, Machel Reid, Yutaka Matsuo, Yusuke Iwasawa [pdf], [code] 2022.5
最少到最多提示使大型语言模型能够进行复杂推理。

Denny Zhou, Nathanael Schärli, Le Hou, Jason Wei, Nathan Scales, Xuezhi Wang, Dale Schuurmans, Olivier Bousquet, Quoc Le, Ed Chi [pdf] 2022.5
选择-推理：利用大型语言模型进行可解释的逻辑推理。

Antonia Creswell, Murray Shanahan, Irina Higgins [pdf] 2022.5
关于提高语言模型推理能力的进展。

Yifei Li, Zeqi Lin, Shizhuo Zhang, Qiang Fu, Bei Chen, Jian-Guang Lou, Weizhu Chen [pdf] 2022.6
大型语言模型的涌现能力。

Jason Wei, Yi Tay, Rishi Bommasani, Colin Raffel, Barret Zoph, Sebastian Borgeaud, Dani Yogatama, Maarten Bosma, Denny Zhou, Donald Metzler, Ed H. Chi, Tatsunori Hashimoto, Oriol Vinyals, Percy Liang, Jeff Dean, William Fedus [pdf] 2022.6
Minerva：用语言模型解决定量推理问题。

由Ethan Dyer和Guy Gur-Ari发布，Google Research, Blueshift团队研究科学家 [blog] 2022.6
九章：一个用于数学问题理解的中文预训练语言模型。

Wayne Xin Zhao, Kun Zhou, Zheng Gong, Beichen Zhang, Yuanhang Zhou, Jing Sha, Zhigang Chen, Shijin Wang, Cong Liu, Ji-Rong Wen [pdf], [code] 2022.6
自动回答和生成机器学习期末考试的数据集和基准

Sarah Zhang, Reece Shuttleworth, Derek Austin, Yann Hicke, Leonard Tang, Sathwik Karnik, Darnell Granberry, Iddo Drori [pdf] 2022.6
语言模型中的理由增强集成。

Xuezhi Wang, Jason Wei, Dale Schuurmans, Quoc Le, Ed Chi, Denny Zhou [pdf] 2022.7
语言模型级联。 David Dohan, Winnie Xu, Aitor Lewkowycz, Jacob Austin, David Bieber, Raphael Gontijo Lopes, Yuhuai Wu, Henryk Michalewski, Rif A. Saurous, Jascha Sohl-dickstein, Kevin Murphy, Charles Sutton [pdf], [代码] 2022年7月
文本和模式:有效的思维链需要二者配合

Aman Madaan, Amir Yazdanbakhsh [pdf] 2022年9月

使用大型语言模型进行组合语义解析

Andrew Drozdov, Nathanael Schärli, Ekin Akyürek, Nathan Scales, Xinying Song, Xinyun Chen, Olivier Bousquet, Denny Zhou [pdf] 2022年9月

通过策略梯度进行动态提示学习,用于半结构化数学推理

Pan Lu, Liang Qiu, Kai-Wei Chang, Ying Nian Wu, Song-Chun Zhu, Tanmay Rajpurohit, Peter Clark, Ashwin Kalyan [pdf] 2022年9月

语言模型是多语言思维链推理器

Freda Shi, Mirac Suzgun, Markus Freitag, Xuezhi Wang, Suraj Srivats, Soroush Vosoughi, Hyung Won Chung, Yi Tay, Sebastian Ruder, Denny Zhou, Dipanjan Das, Jason Wei [pdf], [代码] 2022年10月

大型语言模型中的自动思维链提示

Zhuosheng Zhang, Aston Zhang, Mu Li, Alex Smola [pdf], [代码] 2022年10月

在符号语言中绑定语言模型

Zhoujun Cheng, Tianbao Xie*, Peng Shi, Chengzu Li, Rahul Nadkarni, Yushi Hu, Caiming Xiong, Dragomir Radev, Mari Ostendorf, Luke Zettlemoyer, Noah A. Smith, Tao Yu* [pdf], [代码] 2022年10月

ReAct:协同语言模型的推理和行动能力

Shunyu Yao, Jeffrey Zhao, Dian Yu, Nan Du, Izhak Shafran, Karthik Narasimhan, Yuan Cao [pdf], [代码] 2022年10月

问我任何问题:一种简单的语言模型提示策略

Simran Arora, Avanika Narayan, Mayee F. Chen, Laurel Orr, Neel Guha, Kush Bhatia, Ines Chami, Frederic Sala, Christopher Ré [pdf], [代码] 2022年10月

代码语言模型是少样本常识学习器

Aman Madaan, Shuyan Zhou, Uri Alon, Yiming Yang, Graham Neubig [pdf], [代码] 2022年10月

大型语言模型可以自我改进

Jiaxin Huang, Shixiang Shane Gu, Le Hou, Yuexin Wu, Xuezhi Wang, Hongkun Yu, Jiawei Han [pdf] 2022年10月

大型语言模型是少样本(1-shot)表格推理器

Wenhu Chen [pdf], [代码] 2022年10月

PAL:程序辅助语言模型

Luyu Gao, Aman Madaan, Shuyan Zhou, Uri Alon, Pengfei Liu, Yiming Yang, Jamie Callan, Graham Neubig [pdf] 2022年11月

思维程序提示:在数值推理任务中分离计算和推理

Wenhu Chen, Xueguang Ma, Xinyi Wang, William W. Cohen [pdf], [代码] 2022年11月

大型语言模型的自我提示用于零样本开放域问答

Junlong Li, Zhuosheng Zhang, Hai Zhao [pdf] 2022年12月

语言模型提示推理:一项调查

Shuofei Qiao, Yixin Ou, Ningyu Zhang, Xiang Chen, Yunzhi Yao, Shumin Deng, Chuanqi Tan, Fei Huang, Huajun Chen [pdf], [代码] 2022年12月

走向大型语言模型的推理:一项调查

Jie Huang, Kevin Chen-Chuan Chang [pdf], [代码] 2022年12月

大型语言模型是具有自我验证能力的推理器

Yixuan Weng, Minjun Zhu, Shizhu He, Kang Liu, Jun Zhao [pdf] [代码] 2022年12月

理解思维链提示:重要因素的实证研究

Boshi Wang, Sewon Min, Xiang Deng, Jiaming Shen, You Wu, Luke Zettlemoyer, Huan Sun [pdf], [代码] 2022年12月

大型语言模型是推理教师

Namgyu Ho, Laura Schmid, Se-Young Yun [pdf] [代码] 2022年12月

忠实的思维链推理 Qing Lyu*、Shreya Havaldar*、Adam Stein*、Li Zhang、Delip Rao、Eric Wong、Marianna Apidianaki、Chris Callison-Burch [pdf]，[代码] 2023年1月
大型语言模型是多功能分解器：分解证据和问题以进行基于表格的推理

Yunhu Ye、Binyuan Hui、Min Yang、Binhua Li、Fei Huang、Yongbin Li [pdf]，[代码] 2023年2月
语言模型中的多模态思维链推理

Zhuosheng Zhang、Aston Zhang、Mu Li、Hai Zhao、George Karypis、Alex Smola [pdf]，[代码] 2023年2月
大型语言模型很容易被无关上下文分散注意力

Freda Shi、Xinyun Chen、Kanishka Misra、Nathan Scales、David Dohan、Ed Chi、Nathanael Schärli、Denny Zhou [pdf]，[代码] 2023年2月
大型语言模型的主动提示与思维链

Shizhe Diao、Pengcheng Wang、Yong Lin、Tong Zhang [pdf]，[代码] 2023年2月
MM-REACT：提示ChatGPT进行多模态推理和行动

Zhengyuan Yang、Linjie Li、Jianfeng Wang、Kevin Lin、Ehsan Azarnasab、Faisal Ahmed、Zicheng Liu、Ce Liu、Michael Zeng、Lijuan Wang [pdf]，[代码] 2023年3月
探索大型语言模型的类人翻译策略

Zhiwei He、Tian Liang、Wenxiang Jiao、Zhuosheng Zhang、Yujiu Yang、Rui Wang、Zhaopeng Tu、Shuming Shi、Xing Wang [pdf]，[代码] 2023年5月
使用思维链提示推理隐含情感

Hao Fei、Bobo Li、Qian Liu、Lidong Bing、Fei Li、Tat-Seng Chua [pdf]，[代码] 2023年5月
使用大型语言模型进行元素感知摘要：专家对齐评估和思维链方法

Yiming Wang、Zhuosheng Zhang、Rui Wang [pdf]，[代码] 2023年5月
流式批处理下的思维链提示：案例研究

Yuxin Tang [pdf] 2023年6月
Tab-CoT：零样本表格思维链

Ziqi Jin和Wei Lu [pdf]，[代码] 2023年6月
使用语言模型推理就是用世界模型进行规划

Shibo Hao*、Yi Gu*、Haodi Ma、Joshua Jiahua Hong、Zhen Wang、Daisy Zhe Wang、Zhiting Hu [pdf]，[代码] 2023年5月
思维递归：语言模型多上下文推理的分治方法

Soochan Lee和Gunehee Kim [pdf]，[代码]，[海报]
CoT集合：通过思维链微调改进语言模型的零样本和少样本学习

Seungone Kim、Se June Joo、Doyoung Kim、Joel Jang、Seonghyeon Ye、Jamin Shin、Minjoon Seo [pdf]
使用大型语言模型进行累积推理

Yifan Zhang*、Jinqqin Yang*、Yang Yuan、Andrew Chi-Chih Yao [pdf]，[代码] 2023年8月