llm论文笔记

来自Latent Space论文俱乐部的笔记。跟随或开始你自己的阅读！

1. 注意力机制即所需： 查询、键和值就是你所需要的*（*还需要位置嵌入、多头注意力、前馈层、跳跃连接等）

2. GPT：通过生成式预训练改进语言理解： 解码器就是你所需要的*（*还需要预训练+微调）

3. BERT：用于语言理解的深度双向Transformer预训练： 编码器就是你所需要的*。从左到右的语言建模并不是你所需要的全部。（*还需要预训练+微调）

4. T5：探索统一文本到文本Transformer的迁移学习极限： 仅编码器或仅解码器并不是你所需要的全部，但文本到文本是你所需要的*（*还需要预训练+微调）

5. GPT2：语言模型是无监督的多任务学习器： 无监督预训练就是你所需要的全部？！

6. GPT3：语言模型是少样本学习器： 无监督预训练加上少量*示例就是你所需要的全部。（*从对话式问答中的5个示例到Winogrande、PhysicalQA和TriviaQA中的50个示例）

7. 神经语言模型的缩放法则： 在较少数据上训练更大模型*是你所需要的。（*10倍的计算应用于5.5倍大的模型和1.8倍多的标记）

8. Chinchilla：训练计算最优的大型语言模型： 在更多数据上训练更小的模型*是你所需要的。（*10倍的计算应用于3.2倍大的模型和3.2倍多的标记）

9. LLaMA：开放高效的基础语言模型： 在公开数据上长时间训练的更小模型就是你所需要的全部

10. InstructGPT：通过人类反馈训练语言模型遵循指令： 40名标注员就是你所需要的*（*还需要有监督微调、奖励建模和PPO）

11. LoRA：大型语言模型的低秩适应： 一个秩就是你所需要的全部

12. QLoRA：量化LLM的高效微调： 4位就是你所需要的*（*还需要双重量化和分页优化器）

13. DPR：用于开放域问答的密集段落检索： 密集嵌入就是你所需要的*（*还需要高精度检索）

14. RAG：用于知识密集型NLP任务的检索增强生成： 半参数化模型*就是你所需要的全部（*密集向量检索作为非参数化组件；预训练LLM作为参数化组件）

15. RETRO：通过从万亿标记中检索来改进语言模型： 基于输入块的检索和分块交叉注意力就是你所需要的全部

16. 通过少样本提示进行开放域问答的互联网增强语言模型： 用Google搜索作为检索就是你所需要的全部

17. HyDE：无需相关性标签的精确零样本密集检索： LLM生成的假设性文档就是你所需要的全部

18. FlashAttention：具有IO感知的快速且内存高效的精确注意力： SRAM中的for循环就是你所需要的全部

19. ALiBi；短训练长测试：具有线性偏差的注意力实现输入长度外推： 查询-键点积的恒定偏差就是你所需要的*（*还需要超参数m和缓存的Q、K、V表示）

20. Codex：评估在代码上训练的大型语言模型： 在代码上微调就是你所需要的全部

21. 层归一化： 每层一致的均值和方差就是你所需要的全部

22. Transformer架构中的层归一化： 前置层归一化，而不是后置层归一化，就是你所需要的全部

23. PPO：近端策略优化算法： 裁剪你的代理函数就是你所需要的全部

24. WizardCoder：用Evol-Instruct增强代码大型语言模型： 要求模型使问题变得更难就是你所需要的*（*但他们从哪里获得这些更难问题的回答呢？！）

25. Llama 2：开放基础和微调对话模型： 迭代微调、PPO、拒绝采样和幽灵注意力就是你所需要的*（*还需要27,540个SFT注释和超过100万个二元比较偏好数据）

26. RWKV：为Transformer时代重新发明RNN： 通过RNN在推理过程中进行线性注意力就是你所需要的

27. RLAIF；宪法AI：来自AI反馈的无害性： 自然语言宪法*和模型对无害性的反馈就是你所需要的全部（*16种不同的无害性原则变体）

28. 极其庞大的神经网络：稀疏门控专家混合层： softmax中的噪声和专家正则化就是你所需要的全部

29. CLIP：从自然语言监督中学习可迁移的视觉模型： *文本和图像嵌入之间的投影层就是你所需要的全部（*还需要4亿对图像-文本对）

30. ViT；一张图像价值16x16个词：用于大规模图像识别的Transformer： 展平的2D图像块就是你所需要的全部

31. 生成式代理：人类行为的交互模拟： 反思、记忆和检索就是你所需要的全部

32. 通过域外微调引导幻觉检测： 开源、允许使用的数据就是你所需要的

33. DPO；直接偏好优化：你的语言模型秘密是一个奖励模型： 单独的奖励模型并不是你所需要的

34. 一致性模型： 映射到扩散如何向图像添加高斯噪声就是你所需要的全部

35. LCM；潜在一致性模型：用少步推理合成高分辨率图像： 潜在空间中的一致性建模就是你所需要的*（*还需要一个用于蒸馏的扩散模型）

36. LCM-LoRA：通用的稳定扩散加速模块： 组合LoRA就是你所需要的全部

37. 注释链：增强检索增强语言模型的鲁棒性： 要求LLM反思检索到的文档就是你所需要的全部

38. **大语言模型的涌现能力：**痛苦教训就是你所需要的全部

39. **Q-Transformer：通过自回归Q函数实现可扩展的离线强化学习：**贝尔曼方程和回放缓冲区就是你所需要的全部

40. **Llama Guard：基于LLM的人机对话输入输出保护：**分类指南和多项选择响应就是你所需要的全部

41. **REST^EM；超越人类数据：用语言模型扩展自训练问题解决：**合成数据和奖励函数就是你所需要的全部

42. **专家混合模型解释：**MOE是一种将观察结果路由到块内子网络的架构选择。这允许我们通过引入更多专家来扩大参数数量，从而提高网络能力。然而，这也带来了新的挑战，如更高的参数数量导致的推理难度、训练不稳定性以及跨设备推理时专家的配置问题。

43. 自我指导：通过自生成指令对齐语言模型

44. **Pythia：一套用于分析大型语言模型训练和扩展的工具：**一系列开源LLM，具有完全可复现的数据集和检查点，用于LLM研究。包括记忆化、数据去重和数据顺序以及性别偏见消除等方面的新颖研究（包括负面结果）。

45. **自我奖励语言模型：**无需从人类偏好训练奖励模型，LLM可以在训练过程中提供自己的奖励（即无需从GPT4蒸馏）。在我们方法的三次迭代中对Llama 2 70B进行微调，产生的模型在AlpacaEval 2.0排行榜上超越了许多现有系统，包括Claude 2、Gemini Pro和GPT-4 0613。

46. **构建你自己的产品协助工具 - 挑战、机遇和需求：**提示工程LLM并非你所需要的全部。

47. **套娃表示学习：**跨$2^n$维嵌入的聚合损失就是你所需要的全部。

48. **走向高效的生成式大型语言模型服务：从算法到系统的调查：**更大的GPU并非你所需要的全部。

49. **如何生成和使用合成数据进行微调：**合成数据几乎就是你所需要的全部。

50. **Whisper：通过大规模弱监督实现稳健的语音识别：**680k小时的音频和作为序列的多任务公式就是你所需要的全部。

51. **利用大型语言模型进行自然语言生成评估：一项调查：**一篇关于模型和任务评估技术的综述论文。包括使用Auto-J相关性而不是AlpacaEval，这是我们喜欢的方法。