Renumics RAG: 探索和可视化检索增强生成系统

什么是 Renumics RAG?

Renumics RAG 是一个开源项目,旨在帮助用户探索和可视化检索增强生成(Retrieval-Augmented Generation, RAG)系统的数据。该项目基于 LangChain 和 Streamlit 构建,提供了一个交互式的 RAG 助手演示。

RAG 系统是一种结合了检索和生成能力的 AI 系统,能够从大量文档中检索相关信息,并基于检索结果生成高质量的回答。Renumics RAG 项目不仅实现了 RAG 系统的基本功能,还提供了丰富的可视化工具,让用户能够深入理解系统的工作原理和性能。

安装与配置

要使用 Renumics RAG,首先需要在项目目录中设置一个虚拟环境:

python3.8 -m venv .venv
source .venv/bin/activate  # Linux/MacOS
# .\.venv\Scripts\activate.bat  # Windows CMD
# .\.venv\Scripts\activate.ps1  # PowerShell
pip install -IU pip setuptools wheel

然后安装 RAG 演示包及其额外依赖:

# 支持 GPU
pip install renumics-rag[all]@git+https://github.com/Renumics/renumics-rag.git torch torchvision sentence-transformers accelerate
# 仅支持 CPU
# pip install renumics-rag[all]@git+https://github.com/Renumics/renumics-rag.git torch torchvision sentence-transformers accelerate --extra-index-url https://download.pytorch.org/whl/cpu

如果你计划使用 OpenAI 模型,需要创建一个 .env 文件并添加以下内容:

OPENAI_API_KEY="Your OpenAI API key"

对于使用 Hugging Face 模型的情况,可以在配置文件 (settings.yaml) 中设置嵌入模型、检索器和语言模型。默认设置如下:

llm_type: 'openai'       # 'openai', 'hf' or 'azure'
llm_name: 'gpt-3.5-turbo'

relevance_score_fn: 'l2'
k: 20
search_type: 'similarity'
score_threshold: 0.5
fetch_k: 20
lambda_mult: 0.5

embeddings_model_type: 'openai'     # 'openai', 'hf' or 'azure'
embeddings_model_name: 'text-embedding-ada-002'

使用方法

索引文档

首先需要对文档进行索引。你可以下载演示数据库,其中包含了一个 Formula One 数据集的嵌入。或者,你也可以创建一个新的 data/docs 目录并放入自己的文档(支持递归目录)。

执行以下命令开始索引过程:

create-db

这将在项目中创建一个 db-docs 目录,其中包含索引后的文档。

问答

索引完成后,你可以使用以下命令来检索相关文档或回答问题:

# 仅检索相关文档
retrieve "Your question here"

# 回答问题
answer "Your question here"

要启动 Web 应用程序,使用以下命令:

app

这将打开一个新的浏览器窗口,你可以在其中输入问题并获得 RAG 系统的回答。

RAG演示GUI

在 GUI 中,你可以:

输入问题并获得 RAG 系统的回答
查看每个回答的来源文档片段
在左侧的设置部分选择不同的 LLM(OpenAI 或 Hugging Face)
在高级设置中调整检索设置,如相关性评分函数、检索片段数量和搜索类型
更改嵌入模型(注意:更改嵌入模型需要使用新的嵌入重新创建数据库)

交互式探索

提交一些问题后,你可以使用 Renumics Spotlight 进行交互式探索。点击左侧的红色"explore"按钮即可打开 Spotlight 界面。

RAG演示探索

在 Spotlight 界面中,你可以:

查看所有问题和文档片段的表格
使用相似度图可视化问题和文档的嵌入关系
自定义相似度图的颜色设置,例如根据片段被检索的次数着色
在底部的详细视图中显示选定的片段信息

RAG演示Spotlight调整后

通过探索 F1 数据集和来自 RAG 评估文章的 500 多个问题,你可以发现一些有趣的聚类。例如,赛车统计、比赛技巧和策略以及车队详情等文档聚类经常被至少一个问题引用,而电视转播权或特定赛道细节等内容则较少被检索。

深入学习

要深入了解 RAG 的可视化技术,可以查看以下文章:

ITNext: Visualize your RAG Data - EDA for Retrieval-Augmented Generation: 这篇文章展示了单个问题、答案和相关文档的可视化如何为 RAG 系统提供巨大潜力。通过降维技术,可以使嵌入空间对用户和开发者更加可访问。

UMAP降维示例

Towards Data Science: Visualize your RAG Data - Evaluate your Retrieval-Augmented Generation System with Ragas: 这篇文章介绍了如何利用基于 UMAP 的可视化技术,深入分析 RAG 系统的性能,而不仅仅停留在全局指标的层面。

UMAP迭代动画

结语

Renumics RAG 项目为探索和可视化检索增强生成系统提供了一个强大而灵活的工具。通过结合 LangChain 和 Streamlit 的优势,该项目不仅实现了 RAG 系统的基本功能,还提供了丰富的可视化和交互式探索能力。无论你是 RAG 系统的开发者、研究者还是使用者,Renumics RAG 都能帮助你更好地理解和优化 RAG 系统的性能。

我们鼓励你亲自尝试 Renumics RAG,探索其丰富的功能,并考虑如何将这些可视化技术应用到你自己的 RAG 项目中。记住,理解和可视化数据是提高 AI 系统性能的关键步骤之一。让我们一起深入 RAG 的世界,发现更多的可能性! 🚀🔍💡