ArXivChatGuru

ArXiv ChatGuru 项目介绍

欢迎来到 ArXiv ChatGuru 项目。这个工具利用 LangChain 和 Redis，让 ArXiv 庞大的科学论文收藏变得更加互动和易于访问。通过这种方法，我们不仅希望让研究更加容易理解和参与，还希望教授如何使用检索增强生成（Retrieval Augmented Generation，RAG）系统。

📖 工作原理

ArXiv ChatGuru 的工作流程如下：用户提交一个主题，该主题用于从 ArXiv 检索相关论文。这些论文会被划分为更小的块，为其生成嵌入。这些嵌入存储在 Redis 中，Redis 被用作向量数据库。然后，用户可以根据他们提交的主题，针对检索到的论文提出问题，系统会返回最相关的答案。

🛠 组件说明

LangChain 的 ArXiv Loader：高效地直接从 ArXiv 拉取科学文献。
块切分与嵌入生成：使用 LangChain，我们将长篇论文分割为可控的片段，然后为其生成嵌入。
Redis：展示快速高效的向量存储、索引和检索能力，以支持 RAG。
RetrievalQA：基于 LangChain 的 RetrievalQA 和 OpenAI 模型构建，用户可以就他们提交主题检索到的论文提出查询。
Python 库：使用如 redisvl、Langchain、Streamlit 等工具。

💡 学习目标

上下文窗口探索：了解上下文窗口大小的重要性及其如何影响互动结果。
向量距离理解：理解向量距离在 RAG 中的角色，观察调整如何改变响应的特异性。
文档检索动态：观察检索到的文档数量如何影响 RAG 系统的性能。
使用 Redis 作为向量数据库与语义缓存：学习如何使用 Redis 作为 RAG 系统的向量数据库及语义缓存。

注意：这不是一个生产应用。它更多是一个学习工具。我们使用 Streamlit 来简化互动，但它并不旨在成为一个可扩展的应用。我们会不断改进这个工具，以便更好地理解 RAG 系统的工作原理，以及如何利用其使科学文献更具互动性。

如果您喜欢我们的工作，请给我们一个星星！欢迎任何贡献和反馈。

未来计划

我们接下来的计划（欢迎提供想法！）：

固定稳定版本的依赖项，使用 Poetry
添加年份、作者等过滤器
更高效的块切分
各种 LLM 缓存切换
Redis 中的聊天历史和会话记忆

如何运行应用

本地运行

首先，克隆这个仓库并进入其目录。

$ git clone https://github.com/RedisVentures/ArxivChatGuru.git && cd ArxivChatGuru

创建你的环境文件：
```
$ cp .env.template .env
```
填写环境变量，特别是你的 OPENAI_API_KEY。
使用 Poetry 安装依赖：
```
$ poetry install --no-root
```

运行应用：

$ poetry run streamlit run app.py --server.fileWatcherType none --browser.gatherUsageStats false --server.enableXsrfProtection false --server.address 0.0.0.0

打开浏览器访问：
```
http://localhost:8501/
```

使用 Docker Compose

首先，如上所述克隆仓库。

创建你的环境文件：
```
$ cp .env.template .env
```
填写环境变量，特别是你的 OPENAI_API_KEY。
使用 Docker Compose 运行：
```
$ docker compose up
```
如果需要，在后台运行可以添加 -d 选项。

如果遇到依赖问题，请尝试使用不缓存的方式强制构建：
```
$ docker compose build --no-cache
```
打开浏览器访问：
```
http://localhost:8501/
```