LLM_Web_search

项目介绍：LLM_Web_search

LLM_Web_search项目旨在为本地大型语言模型（LLM）提供网页搜索的能力。通过输出特定的命令，该项目能够识别模型输出的信息，并利用DuckDuckGo等搜索引擎进行网络搜索，从而获取一些结果页面。后续，项目结合了一个密集嵌入模型与Okapi BM25（或者可选用SPLADE）的方法，从搜索结果中提取出相关内容，并将这些内容附加到模型的输出中。

安装说明

要安装LLM_Web_search扩展，可以按以下步骤操作：

1. 在Web UI的“Session”标签中，使用“Install or update an extension”功能来下载此扩展的最新代码。

2. 有两种方法来安装扩展的依赖项：

   • 简单方法：在text-generation-webui文件夹内运行合适的update_wizard脚本，选择 Install/update extensions requirements。这种方式使用pip安装所有内容，因此可能与系统不兼容。
   • 安全方法：手动更新你安装的文本生成web UI的conda环境。在终端中打开text-generation-webui/extensions/LLM_Web_search子文件夹并运行命令来更新环境。

3. 通过运行适当的start脚本启动Web UI，并在“Session”标签启用扩展。

若安装成功并加载扩展，你应能在Web UI中看到一个名为“LLM Web Search”的新标签。

使用方法

通过正则表达式从模型输出中提取搜索查询。可以提示模型使用固定的搜索命令。例如：

1. 加载一个模型。
2. 前往“LLM Web search”标签。
3. 加载一个自定义的系统消息/提示。
4. 确保系统消息中提到的命令中的查询部分能够匹配当前的“Search command regex string”。
5. 选择适合的生成参数预设。
6. 选择“chat-instruct”或“instruct”模式并开始交互。

使用自定义正则表达式

默认的正则表达式格式为：Search_web\("(.*)"\)，其中括号内的内容将作为搜索查询。这一表达式可以通过更灵活但复杂的正则表达式来进行匹配。

搜索后台

• DuckDuckGo：默认的网页搜索后台。
• SearXNG：可以通过在“LLM Web Search”设置区域填入SearXNG实例的URL来切换搜索后台。

搜索类型

• 简单搜索：快速找到答案，仅使用搜索引擎返回的网页片段。适合需要快速结果的场景。
• 全面搜索：扫描整个网页，以更全面地查找信息。适合需要深入寻找信息的场景。

关键词检索器

• Okapi BM25：默认启用，用于基于关键词的文档检索，其特点是快速且在CPU上运行。
• SPLADE：如果有多余的VRAM，则可以选择启用SPLADE作为替代。

分块方法

• 基于字符的分块：将网页文本根据固定大小分块，不考虑文本内容。
• 语义分块：根据语义将文本划分成块，当两个句子的语义差异明显时，开启新块。

推荐模型

对于VRAM小于等于12 GB的用户，推荐使用如Llama-3.1-8B-instruct、gemma-2-9b-it或Mistral-Nemo-Instruct-2407等模型。同时根据模型特性选择相应的生成参数预设和系统消息以获得最佳效果。