llms_paper

项目介绍：llms_paper

LLMs 论文研读社由杨夕创建，旨在为对大语言模型（LLMs）感兴趣的算法工程师提供一个平台，分享和记录顶会论文的研读笔记。项目涵盖多模态、PEFT（参数高效微调）、小样本问答、RAG（检索增强生成）、LMMs可解释性、智能体（Agents）以及推理链（Chain of Thought, CoT）等多个领域。该项目的目标不仅是理解最新的研究进展，还致力于提供对这些复杂课题的通俗解释，以帮助更多的从业者和学术人士。

项目内容

多模态篇

在多模态篇中，该项目收集和分析了如Gemini、GPT4-V等多模态模型，通过仔细的论文笔记，提供了对于这些模型在图像、音频、视频和文本理解方面的能力的深入了解。例如，Gemini系列模型展现了极高的多模态推理能力，而GPT4-V则在结构化推理任务中表现优异。

PEFT 系列篇

PEFT篇主要讨论了如何在不大幅增加计算成本的情况下，对大语言模型进行参数高效微调。在这个系列中，探讨了诸如Prompt Tuning、Instruction Tuning及LoRA等方法，它们通过巧妙的算法设计，仅改动少量参数即可适应于下游任务。

GPT 系列篇

该系列篇章专注于对GPT模型及其衍生方法的研究，包括表格解析和小样本问答等场景。在这个过程中，论文笔记详细地介绍了如何利用图推动和合成数据增强等策略，提高语言模型在表格信息读取和表格问答任务中的表现。

RAG 系列篇

RAG系列篇集中讨论如何通过检索增强生成技术优化模型结果。比如，项目中提到的Self-RAG和Active-RAG策略，注重智能选择与合并相关信息，以提高文本生成的质量和准确性。

其他专题研究

项目还涉及到如LMMs的可解释性研究，探讨如何让模型的决策过程更加透明；LLMs Agents部分则侧重于智能体模型的能力扩展和应用案例。此外，还有关于Prompt Series的探讨，强调如何通过改进模型交互方式来提高用户体验。

项目资源站点

• LLMs 千面郎君：包括面试准备与应用笔记。
• NLP 百面百搭：详细的NLP面试指南。
• 推荐系统与搜索引擎：涵盖推荐算法和搜索引擎技术的面试准备资料和研究笔记。
• GCN 论文学习笔记：关于图卷积网络的深度学习笔记。
• 推广搜 军火库：搜索广告相关资源。

此次项目还通过线上交流平台，如微信公众号与学习群分享更多多样的资料，鼓励更多人加入学术交流，以推动大语言模型研究与应用的发展。项目不仅致力于深耕技术细节，还希望能通过简化复杂学术原理，让更多的人参与其中。