RAG-Survey

项目背景

RAG-Survey 项目专注于研究和收集有关检索增强生成（Retrieval-Augmented Generation，RAG）技术的论文。RAG 是一种将信息检索与生成模型相结合的新兴技术，能够在许多应用中显著提升 AI 生成内容的质量。该项目的资料库和论文收录涵盖了多种 RAG 技术应用场景，并随着该领域的快速发展不断更新。

项目概述

RAG-Survey 项目通过分析和分类现有研究，提供了一幅全面的领域全景图，展示了 RAG 方法的基础、增强和应用等多个维度。项目的核心是一个不断更新的数据库，其中包含来自世界各地的领先研究论文。

方法分类

RAG 基础

RAG 的基础分为三大类：基于查询的 RAG、潜在表示的 RAG 和基于 Logit 的 RAG。

• 基于查询的 RAG：包含一些提炼查询信息以改进语言模型生成效果的方法，如 “REALM” 和 “Self-RAG”。

• 潜在表示的 RAG：通过将文本转换成潜在表示形式，增强生成模型的表现，如 “Bashexplainer”和 “EditSum”。

• 基于 Logit 的 RAG：使用结果分数提升检索和生成的效果，包括像 “通用记忆语言模型”和 “高效最近邻语言模型”的研究。

RAG 增强

此部分集中在如何通过输入增强、检索器增强和生成器增强来提高模型性能。

• 输入增强：包括查询变换和数据增强。通过更精确的查询和大规模数据提升生成性能。
• 检索器增强：通过提高检索器的效率和准确性来改进生成结果，比如递归检索和块优化。
• 生成器增强：通过灵活的提示工程和解码调优策略，提高模型生成的质量和速度。

RAG 流水线增强

主要讨论自适应检索和迭代增强的大规模应用，使生成模型能更好地理解复杂问题和领域知识。

应用分类

文字领域

• 问答系统：使用 RAG 技术提升开放域问答系统的性能。
• 事实验证：跨语言事实验证的改进，使用检索增强方法，如“CONCRETE”。
• 常识推理：增强模型在常识推理任务中的生成能力。
• 人机对话：提高对话系统的响应质量和话题延续性。

代码领域

• 代码生成和总结：RAG 技术在编码生成和代码摘要中的应用，显著提升代码治理效率。
• 代码完备：包括自动化编程修复和深度断言生成，改善软件开发工作流。

音视频领域

• 音频生成和字幕：通过检索增强生成音频和文本描述，提高音频处理技术。
• 图像生成：RAG 用于图像合成和文本到图像的生成，推动创意领域的发展。

通过这些多样化的应用，RAG 技术展示出强大的柔性和扩展性，能够适应多样的内容生成需求。RAG-Survey 项目通过收集和分享前沿的研究，促进了这一技术在各个领域的应用和发展。