fast_vector_similarity

快速向量相似性库介绍

简介

快速向量相似性库是一个高性能的工具，用于高效地计算向量之间的相似度度量。这个库使用 Rust 编写，特别适合数据分析、机器学习和统计任务中需要比较向量的场景。该库提供了多种先进的相似性度量，经过性能优化，还集成了 Python 绑定，可以与 Python 工作流无缝对接。

功能特点

相似度度量

该库实现了一系列经典和现代的相似度度量，包括：

1. 斯皮尔曼等级相关系数 (spearman_rho)
2. 肯德尔秩相关系数 (kendall_tau)（针对大数据集进行了计算速度优化）
3. 近似距离相关 (approximate_distance_correlation)（向量化以提高速度和准确性）
4. Jensen-Shannon 依赖性度量 (jensen_shannon_dependency_measure)（经过修改以提高依赖性测量的实用性）
5. 霍夫丁的 D 度量 (hoeffding_d)
6. 归一化互信息 (normalized_mutual_information)（新引入用于分析变量依赖性）

引导技术

该库包含强大的引导功能，用于估计相似度度量的分布。引导通过多次随机重采样数据集，提高了结果的置信度。

性能优化

为实现最佳效率，引入了多项改进：

• 并行处理：采用 rayon 包进行并行计算，以确保操作的可扩展性与 CPU 内核数量一致。
• 高效算法：使用归并排序算法进行转换计数，提高了如肯德尔秩相关系数等度量的速度。
• 向量化操作：许多函数利用 ndarray 包进行向量化操作，在 Rust 中最大化性能。

基准测试和验证

该库现在包括一个基准测试套件，用于验证数值结果的正确性，同时测量最近改进带来的性能提升，从而确保计算速度的变化不会影响准确性（除非像 Jensen-Shannon 度量那样的有意更改）。

Python 绑定

通过绑定可以在 Python 中无缝集成核心功能。该库为 Python 用户提供了两个关键功能：

• py_compute_vector_similarity_stats：用于计算各种向量相似度量。
• py_compute_bootstrapped_similarity_stats：用于基于引导的相似性计算。

这两个功能都以 JSON 格式返回结果，使其在 Python 环境中易于使用。

安装

Rust

在 Rust 项目中，可以通过在 Cargo.toml 文件中引入该库来进行安装。

Python

可以直接从 PyPI 安装 Python 绑定：

pip install fast_vector_similarity

使用大型语言模型的文本嵌入向量

该库与 Llama2 等现代语言模型高度兼容，能够轻松分析文本嵌入。它可以与 Llama2 Embeddings FastAPI Service 的输出集成，处理高维嵌入（如 4096 维向量）。

示例工作流

1. 将嵌入加载到数据帧中：将 JSON 格式的文本嵌入转换为 Pandas 数据帧。
2. 计算相似性：使用快速向量相似性库计算嵌入之间的相似度量，利用优化的函数。
3. 分析结果：根据 Hoeffding 的 D 等度量生成相似度最高向量的排名列表。

示例 Python 代码

以下是一个示例 Python 代码片段，展示了如何使用该库来处理大型嵌入向量：

# 请参见项目文档中的完整代码示例

用法

在 Rust 中

可以直接在 Rust 项目中使用核心功能。例如，使用 compute_vector_similarity_stats 或 compute_bootstrapped_similarity_stats 及其参数以进行高效的计算。

在 Python 中

安装 Python 包并使用所提供的功能来计算向量相似度或执行基于引导的分析，如上例所示。

---

详细相似度量概述

斯皮尔曼等级相关系数 (spearman_rho)

斯皮尔曼等级相关系数是一种非参数度量，衡量两个变量之间单调关系的强弱和方向。不同于测量线性关系的 Pearson 相关，斯皮尔曼相关可以捕捉非线性单调关系。这使得它在诸多实际应用中有用，如当变量存在复杂关系但仍遵循一致方向趋势时。

肯德尔秩相关系数 (kendall_tau)

肯德尔秩相关系数是一个基于等级的度量，通过比较数据点的相对顺序来评估两个变量之间的序关系强度。其解释为关联是否是一致的概率。

近似距离相关 (approximate_distance_correlation)

距离相关是一种强大的度量，可以检测变量间的线性和非线性依赖性。其基本性质是距离相关只有在变量独立时为零，这是传统相关度量如 Pearson 的或斯皮尔曼的所不具备的特性。

注意事项

无论您处于什么技术水平，快速向量相似性库都能帮助您高效实现向量比较任务，加速数据分析和机器学习项目。通过引入多种优化措施和无缝的 Python 集成，该库为复杂的数据处理任务提供了强大的支持。