Toshi

一个用Rust编写的全文搜索引擎

请注意，这远未达到生产就绪状态，而且Toshi仍在积极开发中，我只是进展缓慢。

描述

Toshi旨在成为一个类似于Elasticsearch的全文搜索引擎。Toshi努力成为Elasticsearch之于Tantivy，就像Tantivy之于Lucene一样。

动机

Toshi将始终针对稳定版Rust，并尽最大努力避免使用任何不安全的Rust代码。虽然底层库可能会使用一些不安全代码，但Toshi将竭尽全力审查这些库，以确保完全不使用不安全的Rust代码。我之所以选择这样做，是因为我觉得要让这成为人们考虑的一个有吸引力的选择，它必须安全、稳定和一致。这就是为什么选择稳定版Rust，因为它提供了保证和安全性。我不想陷入使用nightly特性的兔子洞，然后在稳定性方面出现问题。由于Toshi不是一个库，我完全可以接受这个要求，因为那些想使用它的人很可能会直接使用它而不进行修改。我的动机是在构建Toshi时满足这种使用场景。

构建要求

目前，Toshi应该可以在Windows、Mac OS X和Linux上正常构建和工作。从依赖要求来看，你需要1.39.0版本的Rust和Cargo来进行构建。你可以从rustup轻松获取Rust。

配置

在config/config.toml中有一个默认配置文件：

host = "127.0.0.1"
port = 8080
path = "data2/"
writer_memory = 200000000
log_level = "info"
json_parsing_threads = 4
bulk_buffer_size = 10000
auto_commit_duration = 10
experimental = false

[experimental_features]
master = true
nodes = [
    "127.0.0.1:8081"
]

[merge_policy]
kind = "log"
min_merge_size = 8
min_layer_size = 10_000
level_log_size = 0.75

主机

host = "localhost"

Toshi启动时将绑定的主机名。

端口

port = 8080

Toshi启动时将绑定的端口。

路径

path = "data/"

Toshi存储其数据和索引的数据路径。

写入内存

writer_memory = 200000000

Toshi应为新文档的提交分配的内存量（以字节为单位）。

日志级别

log_level = "info"

用于Toshi日志记录的详细级别。

JSON解析

json_parsing_threads = 4

当Toshi批量导入文档时，它会启动多个线程来解析接收到的文档的JSON。这控制了处理此任务的线程数。

批量缓冲

bulk_buffer_size = 10000

这将控制将文档解析到索引中的缓冲区大小。它将通过在消息缓冲区填满时阻塞来控制批量导入所占用的内存量。如果你想完全放开限制，可以将其设置为0以使缓冲区无界。

自动提交时间

auto_commit_duration = 10

这控制了如果有文档需要提交，索引自动提交文档的频率。将其设置为0可禁用此功能，但你将必须在提交文档时自行进行提交。

合并策略

[merge_policy]
kind = "log"

Tantivy 将根据此处概述的配置合并索引段。这里有两个选项。"log"是默认的段合并行为。Log 还有3个附加值。这3个值中的任何一个都可以省略，以使用 Tantivy 的默认值。默认值如下所示。

min_merge_size = 8
min_layer_size = 10_000
level_log_size = 0.75

此外还有 "nomerge" 选项，在此选项下 Tantivy 不会合并任何段。

实验性设置

experimental = false

[experimental_features]
master = true
nodes = [
    "127.0.0.1:8081"
]

通常这些设置还没有准备好使用，因为它们非常不稳定或完全无法使用。目前 Toshi 的分布式功能隐藏在这个标志后面，所以如果 experimental 设置为 false，则所有这些设置都会被忽略。

构建和运行

可以使用 cargo build --release 构建 Toshi。构建完成后，您可以从顶层目录运行 ./target/release/toshi 来根据 config/config.toml 中的配置启动 Toshi。

您应该会看到类似这样的启动消息。

  ______         __   _   ____                 __
 /_  __/__  ___ / /  (_) / __/__ ___ _________/ /
  / / / _ \(_-</ _ \/ / _\ \/ -_) _ `/ __/ __/ _ \
 /_/  \___/___/_//_/_/ /___/\__/\_,_/_/  \__/_//_/
 Such Relevance, Much Index, Many Search, Wow
 
 INFO  toshi::index > Indexes: []

您可以通过以下方式验证 Toshi 是否正在运行：

curl -X GET http://localhost:8080/

这应该返回：

{
  "name": "Toshi Search",
  "version": "0.1.1"
}

Toshi 运行后，最好查看项目根目录中的 requests.http 文件，以查看更多使用示例。

查询示例

词条查询

{ "query": {"term": {"test_text": "document" } }, "limit": 10 }

模糊词条查询

{ "query": {"fuzzy": {"test_text": {"value": "document", "distance": 0, "transposition": false } } }, "limit": 10 }

短语查询

{ "query": {"phrase": {"test_text": {"terms": ["test","document"] } } }, "limit": 10 }

范围查询

{ "query": {"range": { "test_i64": { "gte": 2012, "lte": 2015 } } }, "limit": 10 }

正则表达式查询

{ "query": {"regex": { "test_text": "d[ou]{1}c[k]?ument" } }, "limit": 10 }

布尔查询

{ "query": {"bool": {"must": [ { "term": { "test_text": "document" } } ], "must_not": [ {"range": {"test_i64": { "gt": 2017 } } } ] } }, "limit": 10 }

使用方法

要尝试上述任何查询，您可以使用以下示例

curl -X POST http://localhost:8080/test_index -H 'Content-Type: application/json' -d '{ "query": {"term": {"test_text": "document" } }, "limit": 10 }'

还需注意，limit 是可选的，默认值为 10。这里包含它只是为了完整性。