fastRAG - 高效的检索增强生成框架 - 使用英特尔优化组件加速RAG应用

fastRAG:高效的检索增强生成框架

fastRAG是英特尔实验室开发的一个开源框架,旨在为检索增强生成(RAG)应用提供高效和优化的解决方案。该框架集成了最先进的语言模型和信息检索技术,为研究人员和开发人员提供了一套全面的工具,以推动RAG技术的发展。

主要特性

优化的RAG流程: fastRAG提供了多种高效组件,可以显著提升RAG管道的计算效率。
针对英特尔硬件优化: 利用Intel Extension for PyTorch (IPEX)、Optimum Intel等技术,在英特尔至强处理器和Gaudi AI加速器上实现最佳性能。
高度可定制: 基于Haystack和Hugging Face构建,所有组件100%兼容Haystack。

核心组件

fastRAG提供了多种优化组件,包括:

LLM后端: 支持在Gaudi 2、ONNX Runtime、OpenVINO等后端上运行LLM。
优化的嵌入和排序模型: 提供int8量化的双编码器和稀疏交叉编码器。
高效的RAG组件: 包括ColBERT、Fusion-in-Decoder (FiD)、REPLUG等先进模型。

fastRAG overview

快速入门

安装fastRAG非常简单:

pip install fastrag

fastRAG还提供了多种可选组件,可以根据需要安装:

pip install fastrag[intel]  # 英特尔优化后端
pip install fastrag[openvino]  # OpenVINO优化后端
pip install fastrag[colbert]  # 支持ColBERT+PLAID

使用示例

以下是一个使用fastRAG构建RAG流程的简单示例:

from fastrag.retrievers import QuantizedBiEncoderRetriever
from fastrag.rankers import QuantizedBiEncoderRanker
from haystack import Pipeline

# 初始化检索器和排序器
retriever = QuantizedBiEncoderRetriever(...)
ranker = QuantizedBiEncoderRanker(...)

# 构建Pipeline
p = Pipeline()
p.add_node(component=retriever, name="retriever", inputs=["Query"])
p.add_node(component=ranker, name="ranker", inputs=["retriever"])

# 运行查询
results = p.run(query="What is the capital of France?")