fastRAG

fastRAG 项目介绍

fastRAG 是一个专为研究人员和开发者设计的框架，致力于构建高效、优化的检索增强生成模型和应用。这一框架集成了最先进的大型语言模型（LLM）和信息检索技术。通过提供一整套完备的工具，fastRAG 旨在推动检索增强生成技术的发展。

任何建议、评论、问题报告以及拉取请求都是诚挚欢迎的！

最新动态

• 2024-05：fastRAG V3 兼容 Haystack 2.0。
• 2023-12：增加 Gaudi2 和 ONNX 运行时支持，优化嵌入模型，新增多模态和聊天演示。
• 2023-06：支持 ColBERT 索引的修改，包括添加和删除文档。
• 2023-05：提供动态提示合成示例。
• 2023-04：添加对 Qdrant DocumentStore 的支持。

主要特点

• 优化的 RAG：利用最先进的高效组件，构建更高计算效率的 RAG 流水线。
• 针对英特尔硬件进行了优化：通过使用英特尔的 PyTorch 扩展、HuggingFace 的 Optimum Intel 等工具，确保在英特尔至强处理器和 Gaudi AI 加速器上达到最佳性能。
• 可定制化：基于 Haystack 和 HuggingFace 构建，所有组件完全兼容 Haystack。

组件简介

fastRAG 包含多个独特的组件，包括支持大规模语言模型运行的 LLM 后端与优化组件。具体包括：

• LLM 后端

  • Intel Gaudi 加速器
  • ONNX 运行时
  • OpenVINO
  • Llama-CPP

• 优化组件

  • 嵌入器：优化的 int8 双编码器
  • 排序器：优化的稀疏交叉编码器

• RAG-高效组件

  • ColBERT：基于 token 的晚期交互
  • Fusion-in-Decoder (FiD)：生成型的多文档编码-解码器
  • REPLUG：改进的多文档解码器
  • PLAID：极为高效的索引引擎

安装指南

fastRAG 的安装要求 Python 3.8 或更高版本以及 PyTorch 2.0 或更高版本。使用以下命令进行安装，建议在新创建的虚拟环境中操作：

pip install fastrag

此外，根据具体的使用情况，还可以安装额外的依赖包：

pip install fastrag[intel]               # Intel 优化的后端
pip install fastrag[openvino]            # 使用 OpenVINO 的英特尔优化后端
pip install fastrag[elastic]             # 支持 ElasticSearch 存储
pip install fastrag[qdrant]              # 支持 Qdrant 存储
pip install fastrag[colbert]             # 支持 ColBERT+PLAID，需 FAISS
pip install fastrag[faiss-cpu]           # 基于 CPU 的 Faiss 库
pip install fastrag[faiss-gpu]           # 基于 GPU 的 Faiss 库

要使用 fastRAG 的最新版本，可以使用以下命令：

pip install .

开发工具

如果需要开发工具，可以使用以下命令安装：

pip install .[dev]

许可

fastRAG 的代码使用 Apache 2.0 许可证。

免责声明

fastRAG 并非英特尔官方产品。