llm-search

项目介绍：llm-search

llm-search 项目是一个先进的问答系统（RAG），它的主要目标是通过简单的 YAML 配置，与本地文档集合进行交互，提供便捷的问答功能。该系统不仅限于基本的基于大型语言模型（LLM）的问答，还在多个方面进行了改进，包括更好的文档解析、混合搜索（hybrid search）、启用 HyDE 的搜索、聊天记录、深度链接、重新排序以及自定义嵌入的能力等。这个包可以兼容各类自定义大型语言模型，不论是来自 OpenAI 的模型还是本地安装的模型。

功能特性

支持的格式和解析器：
- 内置解析器：
  - .md 格式：根据逻辑结构（如标题、副标题和代码块）分割文件，还支持清理图片链接、添加自定义元数据等。
  - .pdf 格式：使用 MuPDF 解析器。
  - .docx 格式：自定义解析器，支持嵌套表格。
- 其他通用格式通过 Unstructured 预处理器支持，格式列表可在此处查看。
表格解析支持：可使用开源 gmft 项目或 Azure Document Intelligence 进行解析。
可选的图像解析支持：通过 Gemini API。
多文档集合支持：可以按文档集合筛选结果。
增量更新嵌入：无需重新索引整个文档库即可更新嵌入。
生成稠密嵌入：从文档文件夹中生成，并存储在向量数据库 (ChromaDB) 中。
- 支持的嵌入模型：
  - Hugging Face 嵌入。
  - 基于 Sentence-transformers 的模型，如 multilingual-e5-base。
  - 基于 Instructor 的模型，如 instructor-large。
生成稀疏嵌入：使用 SPLADE 实现混合搜索（稀疏 + 稠密）。
“检索并重新排序”策略：支持语义搜索。
支持 HyDE（Hypothetical Document Embeddings）：需要注意启用 HyDE 可能显著改变结果的质量。
多查询支持：受到 RAG Fusion 启发，当启用时，原始查询将被替换为同一查询的三个变体，从不同角度解决术语差异。
聊天记录和问题情境化支持：可以选择性地保留聊天记录。
文档嵌入交互：内部支持包括 OpenAI 模型、HuggingFace 模型、Llama cpp 支持的模型等。
与 LiteLLM + Ollama 的互操作性：通过 OpenAI API，支持数百种不同的模型。
其他功能：
- 简单的命令行和 Web 界面。
- 深度链接文档章节。
- 可将响应保存到离线数据库中以便日后分析。
- 实验性的 API 等。