LLMSurvey

LLMSurvey 项目简介

项目概述

LLMSurvey 是一个专注于大型语言模型（Large Language Models，LLM）相关资源和论文的集合。该项目旨在收集和整理与 LLM 相关的重要研究成果和资源，以便研究人员能够更好地了解和利用这些技术。LLMSurvey 的组织结构参考于一篇题为“LLMs 调查”的学术论文，该论文全面阐述了 LLM 的研究进展。

中文书籍发行

LLMSurvey 团队已经发布了该调查的中文版书籍。这本书专注于为 LLM 领域的初学者提供入门指导和全面框架，适合有深度学习基础的高年级本科生和低年级研究生。读者可以通过该书理解 LLM 的基本概念和发展路径。书籍可以从 这里 下载。

科研趋势和数据

论文数量趋势

自2018年6月以来，包含“语言模型”关键词的论文数量逐渐增加，而自2019年10月以来，“大型语言模型”主题的论文数量爆发性增长，尤其是在 ChatGPT 发布后，每天平均新增8.58篇相关论文。相关统计数据通过搜索论文标题和摘要中的关键词获得。

GPT系列模型的技术演进

LLMSurvey 提供了一个简要图示，展示了 GPT 系列模型的技术演进。该图采用实线和虚线分别表示模型间的强和弱演进关联，如不同模型之间的发展路径。

LLaMA 家族演变图

LLaMA 家族的研究工作量巨大，LLMSurvey 项目为便于逐步更新，提供了其演化图的源文件，并鼓励读者通过 GitHub 提交 pull request 来补充额外的模型。

使用提示和实验

提示设计

LLMSurvey 收集了一些提示设计的实用技巧，提供了与提示相关的原理和要素。读者可以点击此处查看更详细的信息。项目团队也欢迎任何人通过 GitHub 提交相关建议。

实验介绍

LLMSurvey 中包括两类实验：

• 指令微调实验：探讨不同类型指令对 LLM 微调效果的影响。
• 能力评估实验：对 LLM 的不同能力进行精细评估，选取具有代表性的任务和数据集进行评测。

团队呼吁提供计算资源，以便进行更加全面的实验。

时间线与模型列表

LLMSurvey 提供了一份关于 LLM 的时间线，涵盖了多个重要的模型发布，按公有和闭源两类进行分类。例如，GPT-3、LaMDA 等知名大模型均在列表之中。

公开可获得的模型示例

• T5: 由 Colin Raffel 等人提出，2019 年发布。
• mT5: Linting Xue 等人于 2021 年发布的多语言模型。
• PanGu-α: 由华为团队于 2021 年发布的中文语言大模型。

闭源模型示例

• GPT-3: OpenAI 于 2020 年发布，成为前沿语言模型的标杆。
• LaMDA: Google 于 2021 年发布的对话型语言模型。

结论

LLMSurvey 是了解和研究大型语言模型的宝贵资源。通过收集和组织丰富的研究材料，该项目为学术界提供了一个学习、交流和创新的平台。团队鼓励各界人士关注该项目的更新，并参与到其中。