searchGPT

项目介绍：searchGPT 开源搜索引擎

概述

searchGPT 是一个开源项目，旨在构建基于大型语言模型（LLM）技术的搜索引擎。这个搜索引擎可以通过自然语言来提供答案。它可以看作是一种针对搜索引擎和问答功能的简化版本的新 Bing。searchGPT 提供根据网页内容或文件内容进行回答的功能。

如果您对这个项目感兴趣，不妨给项目一个星星支持！🌟

项目特点

1. 数据来源：

   • 实时网页搜索结果
   • 文件内容搜索（例如 PPT、DOC、PDF 等）

2. 语义搜索：

   • 使用 FAISS 或 pyterrier 技术，从数据源进行语义搜索

3. 大型语言模型集成：

   • 支持 OpenAI 和 GooseAI 等平台

4. 前端：

   • 提供简易直观的用户界面

演示页面

欢迎访问 searchGPT 的演示页面：Demo Page

请勿通过任何程序滥用演示页面。加载时间通常为约 10 秒，请耐心等待。

架构与发展规划

searchGPT 的架构致力于实现实时信息的获取和准确的回答能力。由于 LLM 在训练过程中无法学到所有信息，因此需要借助实时来源来提供事实信息。

为什么选择 RAG？

RAG（Retrieval-Augmented Generation）技术结合了信息检索和生成的优势。因为大型语言模型在训练时无法学习到所有知识，因此在回答过程中需要依赖实时信息进行查证和补充。通过与 RAG 技术的结合，searchGPT 可以提供更为准确的信息和答案。

开始使用

软件需求

要运行 searchGPT，您需要：

• Python 3.10.8
• OpenAI API 密钥 或 GooseAI API 密钥
  • 第一次使用 OpenAI 提供价值 18 美元的免费额度（足够进行 3000+ 次搜索）
  • GooseAI 提供价值 10 美元的免费额度
• Azure Bing 搜索订阅密钥
  • 提供免费版本（每秒 3 次搜索，每月 1000 次搜索）

安装步骤

1. 创建 Python 或 Anaconda 环境并安装所需的 Python 包。

   Native:

   # 使用 python=3.10.8
   pip install -r requirements.txt

   Anaconda:

   conda create --name searchgpt python=3.10.8
   conda activate searchgpt
   pip install -r requirements.txt

2. 在 backend/src/config/config.yaml 中输入 API 密钥（OpenAI/Azure Bing 搜索），或者通过 UI 在使用 Web 应用时输入。

3. 运行 app.py 或 flask_app.py 启动前端 Web 应用。

4. 如需快速测试，运行 main.py。此操作将只输出终端信息。

参与贡献

我们欢迎对 searchGPT 的贡献！如果您对参与项目感兴趣，请查看我们的贡献指南以获取更多信息。

许可证

searchGPT 遵循 MIT 许可证。