VecTextSearch

VecTextSearch 项目介绍

项目概述

VecTextSearch 是一个创新项目，旨在利用 OpenAI 的语言模型来生成文本向量，并在 Weaviate 数据库中进行高效搜索。通过这个工具，用户可以将文本数据存储在 Weaviate 数据库中，基于文本相似性快速找到和检索相关内容。这个项目使用 Go (Golang) 编写，并提供一个简单易用的 REST API 供客户端调用。

背景

在现代信息处理应用中，基于文本相似性进行快速搜索显得尤为重要。例如，用户需要在一篇文章的基础上快速找到与其内容类似的其他文章。传统的关键词搜索方法往往不能准确反映文本之间的相似性。而 VecTextSearch 则通过 OpenAI 的强大语言模型，将文本转换为向量，利用 Weaviate 数据库的高效存储和搜索能力，实现快速的文本相似性搜索。

使用场景

VecTextSearch 在多个领域中具有广泛的应用前景，包括但不限于：

• 为各类文章、博客和学术论文寻找内容相似的相关文献。
• 实现智能问答系统，根据用户问题迅速匹配相关问题和答案。
• 根据用户的历史阅读记录构建推荐系统，为其推荐类似的文章。
• 检测重复或抄袭内容，提高内容创作的原创性。

功能介绍

VecTextSearch 项目通过提供 REST API 接口，让用户得以轻松地添加文本和搜索相似文本：

添加文本接口

• URL：/add-text

• 方法：POST

• 请求格式：application/json

• 请求示例：

  {
    "name": "文章名称",
    "content": "文章内容"
  }

• 响应结果：如果成功添加文本，会返回一个包含该文本唯一标识符的 JSON 对象。

  {
    "id": "文章唯一标识符"
  }

搜索相似文本接口

• URL：/search-similar-texts

• 方法：POST

• 请求格式：application/json

• 请求示例：

  {
    "content": "查询内容"
  }

• 响应结果：搜索后，将返回包含相似文本信息的 JSON 数组，每个对象包括文本名称、内容、距离和相似度。

  [
    {
      "name": "文章名称",
      "content": "文章内容",
      "distance": 浮点数,
      "certainty": 浮点数
    }
    ...
  ]

技术栈与工具

• 编程语言：Golang
• 数据库：Weaviate
• 语言模型：OpenAI
• 开发工具：Docker 用于容器化，Makefile 提供项目构建和运行命令。

TODO 列表

关注项目后续开发计划，VecTextSearch 目前计划以下改进：

• 开发演示应用，便于展示项目功能。
• 增加数据管理接口，便捷管理数据库中的数据。
• 提供用户友好的前端界面，以便使用者更易于上手。
• 详细文档编写，包括 API 参考、使用示例和教程。
• 增加更多配置选项，满足不同用户需求。
• 实施单元测试和集成测试，确保代码质量与稳定性。
• 跟踪 OpenAI 模型更新，以确保技术的先进性。
• 开发插件或扩展系统，支持功能自定义。

项目贡献

如果开发者有兴趣加入 VecTextSearch 的开发，可以通过以下方式贡献：

1. 克隆 GitHub 仓库，安装所需依赖。
2. 修改项目配置，将 OpenAI API 密钥填写至 config.yml 文件中。
3. 运行项目代码，进行调试与开发。
4. 若遇到问题或有改进建议，可提交 Issue 或 Pull Request。

许可证与联系

VecTextSearch 项目采用 MIT 许可证。如果在使用过程中有任何疑问或请求帮助，开发者可以通过提交 GitHub 的 Issue 或发送邮件至项目负责人的邮箱进行联系。支持者的关注与贡献是项目持续改进的重要动力。