RAGFoundry

RAG Foundry：增强检索增强生成的LLM框架

RAG Foundry是一个旨在通过在特别创建的RAG增强数据集上微调模型来提高LLM使用外部信息能力的库。该库有助于根据RAG技术创建训练数据，使用参数高效微调（PEFT）轻松训练模型，最后可以帮助用户使用各种RAG特定指标衡量改进的性能。该库具有模块化特性，工作流程可以使用配置文件进行自定义。

欢迎评论、建议、问题和拉取请求！❤️

安装

本地克隆并运行：

pip install -r requirements.txt

快速开始

有关简单的端到端示例，请参阅PubmedQA教程。

概述

RAG Foundry框架便于快速原型开发和实验各种RAG设置和配置，包括数据选择和过滤、处理、检索、排序、查询操作、提示生成、训练、推理、输出处理和评估。该库由4个模块组成：数据集创建、训练、推理和评估。

数据集创建：处理模块创建数据集，保存RAG交互，用于RAG训练和推理。RAG交互包括数据集加载、列规范化、数据聚合（少样本创建）、使用外部工具和框架的信息检索、API集成、基于模板的提示创建以及任何其他形式的预处理。数据以一致的、与模型无关的输入-输出格式保存，同时包括所有其他字段和元数据。参见Processing.md。
训练：使用PEFT进行高效训练和TRL（如监督微调），用户可以在增强数据集上训练任何模型。训练是在完成任务上进行的。模型可以推送到HF Hub。参见Training.md。
推理：使用训练过或未训练的LLM在增强数据集上生成预测。参见Inference.md。
评估：对推理模块生成的输出进行评估。用户可以提供要运行的指标列表；可以轻松实现自定义指标。当前指标包括EM、F1、ROUGE、BERTScore、Deepeval、RAGAS、HF evaluate和分类。指标可以是局部的——在每个示例上运行，或全局的——在整个数据集上运行，例如召回率。指标可以利用数据集中的任何特征，如检索结果、推理、引用和归因，而不仅仅是输入和输出文本。参见Evaluation.md。

运行

4个模块表示为顶层的脚本：processing.py、training.py、inference.py和evaluation.py。每次调用的形式为python 脚本选项...。

该库使用Hydra配置工具；它支持使用分层配置，可以在CLI中轻松覆盖值，并能够远程运行多个作业（例如与SLURM和Ray集成）。它代表了一种配置即代码的方法，因为它可以根据配置实例化Python类（_target_关键字指示在给定上下文中使用的Python类）。

configs文件夹中有每个模块的默认配置。可以像这样覆盖配置文件：

python processing -cp configs/paper -cn processing-asqa-retrieval

也可以覆盖单个关键字：

python processing -cp configs/paper -cn processing-asqa-retrieval   \
       output_path=/store/data/here                                 \
       cache=true

有关完整的配置集，用ASQA数据集重现论文中的实验，请参见Paper文件夹中的配置。

引用

如果我们的论文对您的研究有帮助，请引用：

@article{fleischerRAGFoundryFramework2024,
  title =        {{RAG} {Foundry}: {A} {Framework} for {Enhancing} {LLMs} for {Retrieval} {Augmented} {Generation}},
  author =       {Fleischer, Daniel and Berchansky, Moshe and Wasserblat, Moshe and Izsak, Peter},
  year =         2024,
  note =         {arXiv:2408.02545 [cs]},
  annote =       {Comment: 10 pages},
  url =          {http://arxiv.org/abs/2408.02545},
  publisher =    {arXiv},
}