opensearch-neural-sparse-encoding-v1

项目介绍：OpenSearch Neural Sparse Encoding V1

概述

OpenSearch Neural Sparse Encoding V1 是一个学习稀疏检索模型，旨在提高搜索的相关性和效率。该模型能将查询和文档编码成 30522 维的稀疏向量，其中每一个非零维度对应词汇表中的一个词符，其权重则表示该词符的重要性。

模型的选择

在选择模型时，应考虑搜索相关性、模型推理和检索效率（如 FLOPS，浮点运算次数）。通过在 BEIR 基准测试的子集中测试模型的零样本性能，v2 系列的模型整体上比 v1 系列在搜索相关性、效率和推理速度上表现更好。

以下是一些不同版本模型的比较：

而 v1 模型在一些特定数据集上的具体表现差异可能不同，用户可以根据实际需求进行选择。

技术细节

该模型基于 MS MARCO 数据集进行训练。模型的一个核心功能是支持使用 OpenSearch 的高层 API，通过 Lucene 倒排索引进行学习的稀疏检索。具体可以参考OpenSearch Neural Sparse 文档。

模型可以在 OpenSearch 集群内运行，也可以通过 HuggingFace 的 API 在集群外使用。模型能够将稠密向量转换为稀疏向量，并通过向量的点积计算查询和文档之间的相似度。

使用示例

一个简单的 Python 示例展示了如何使用该模型：

import itertools
import torch
from transformers import AutoModelForMaskedLM, AutoTokenizer

# 加载模型
model = AutoModelForMaskedLM.from_pretrained("opensearch-project/opensearch-neural-sparse-encoding-v1")
tokenizer = AutoTokenizer.from_pretrained("opensearch-project/opensearch-neural-sparse-encoding-v1")

query = "What's the weather in ny now?"
document = "Currently New York is rainy."

# 编码查询和文档
feature = tokenizer([query, document], padding=True, truncation=True, return_tensors='pt', return_token_type_ids=False)
output = model(**feature)[0]
# 获得稀疏向量并计算相似度
sparse_vector = get_sparse_vector(feature, output)
sim_score = torch.matmul(sparse_vector[0], sparse_vector[1])
print(sim_score)   # 输出一个相似度得分

# 转换稀疏向量为字典形式以便分析
query_token_weight, document_query_token_weight = transform_sparse_vector_to_dict(sparse_vector)
# 展示查询和文档中每个词符的权重
for token in sorted(query_token_weight, key=lambda x:query_token_weight[x], reverse=True):
    if token in document_query_token_weight:
        print("score in query: %.4f, score in document: %.4f, token: %s"%(query_token_weight[token],document_query_token_weight[token],token))

详细的搜索相关性

在详细的搜索相关性指标中，不同模型在多个数据集上的表现如下：

开源许可证

本项目基于 Apache v2.0 License 开放。

版权

版权所有 OpenSearch 贡献者。详情参阅NOTICE 文档。