codequestion

项目介绍：codequestion

codequestion 是一个专为开发者设计的语义搜索应用。它帮助开发者在本地环境中寻找与输入问题相似的开发相关问题，从而减少对网络搜索的依赖。以下是该项目的详细介绍。

项目概述

开发人员在工作时经常需要在浏览器中查找问题，而 codequestion 让这一过程更为简单和本地化。通过执行相似度查询，codequestion 可以在本地查找与输入问题相似的问题，这样开发者不必每次都在网上搜索。

codequestion 的默认模型基于 Stack Exchange 在 archive.org 上的公开数据构建。一旦安装了模型，用户即可离线使用，不需要网络连接进行查询。

技术细节

codequestion 使用 Python 3.8+ 开发，并整合了 txtai 做为其底层技术。这一项目可以通过以下步骤轻松安装并开始使用。

安装指南

要安装 codequestion，最简单的方法是通过 pip 和 PyPI：

pip install codequestion

推荐使用 Python 虚拟环境，以保障不同项目之间的依赖隔离。

如需访问最新的、尚未发布的功能，可以直接从 GitHub 安装：

pip install git+https://github.com/neuml/codequestion

模型下载

安装完成后，需下载所需的模型：

python -m codequestion.download

下载的模型将存储在 ~/.codequestion/ 目录下。如果没有直接的网络连接，也可以手动安装模型，默认的模型可以从 GitHub 发布页面中获取。

搜索使用

启动 codequestion 后，可以在 shell 中键入查询。在控制台输入 help 来查看所有可用命令。

主题和路径遍历

最新版本的 codequestion 集成了 txtai 5.0，支持语义图。通过语义图，可以进行主题建模和路径遍历。例如，可以查看两个可能完全无关联的条目如何通过语义图连接起来。

在 VS Code 中使用

在 Visual Studio Code 中，用户可以启动 codequestion 的提示框，直接从 IDE 中提出编程问题。按下 Ctrl+` 可以开启一个新的终端并输入 codequestion 启动搜索。

API 服务

codequestion 构建了一个标准的 txtai 嵌入索引，因此支持通过 txtai API 服务托管该索引。开发者可以配置一个 app.yml 文件来开启 API 服务，并通过 curl 命令测试 API 的搜索功能。

技术概述

数据处理

Stack Exchange 的 7z XML 原始数据经过多步骤处理，仅选取评分较高且有公认答案的问题存储到模型中。这些问题和答案被整合到一个名为 questions.db 的 SQLite 文件中。

建立索引

为 questions.db 中的每个问题构建 txtai 嵌入索引，使用一种句子变换模型为其向量化。全部转换完成后，这些嵌入将被存储在 Faiss 系统里，支持快速搜索。

查询处理

codequestion 使用与索引用相同的方法将每次查询令牌化，并将其转化为句子嵌入。通过 Faiss 索引来查找最相似的问题。

模型的构建

构建 codequestion 模型实际上包括从 Stack Exchange 下载数据，执行 ETL 过程，最终生成可被查询的索引。以下步骤涵盖了这一过程：

从 archive.org 下载 Stack Exchange 数据。
在本地设置目录结构并运行 ETL 过程。
选择性地构建词向量模型（如有需要）。
使用一个 index.yml 文件建立嵌入索引。

模型准确性

为评估模型的性能，使用了 Mean Reciprocal Rank (MRR) 和 Pearson Correlation 衡量其在最新的 Stack Exchange 数据下的表现。

测试

可以在本地通过以下命令重现模型测试结果：

mkdir -p $TEST_PATH
wget https://raw.githubusercontent.com/neuml/codequestion/master/test/stackexchange/query.txt -P $TEST_PATH/stackexchange
wget http://ixa2.si.ehu.es/stswiki/images/4/48/Stsbenchmark.tar.gz
tar -C $TEST_PATH -xvzf Stsbenchmark.tar.gz
python -m codequestion.evaluate -s test -p $TEST_PATH