vector-storage

项目介绍：Vector Storage

Vector Storage 是一个轻量级且高效的向量数据库，它将文档向量存储在浏览器的 IndexedDB 中。通过使用向量嵌入，Vector Storage 能够对文本文档执行语义相似性搜索。语义搜索指的是理解文本文档和查询的含义和上下文，从而实现更准确和相关的搜索结果。为了实现这一点，该项目利用 OpenAI 的嵌入技术将文本转化为向量，并提供一个界面来基于余弦相似性进行相似文档的搜索。

功能特性

在 IndexedDB 中存储和管理文档向量
对文本文档进行相似性搜索
可以根据元数据或文本内容筛选搜索结果
自动管理存储空间大小，同时在空间限制达到时移除最近最少使用的文档

余弦相似性算法

余弦相似性是内积空间中两个非零向量之间相似度的度量，定义为两个向量之间夹角的余弦值。其取值范围从 -1 到 1，其中 1 表示完全相似，0 表示无相似性，-1 表示完全不相似。在 Vector Storage 中，余弦相似性用于衡量文档向量与查询向量之间的相似度。余弦相似性分数是通过计算向量的点积并除以其幅度的乘积得到的。

LRU 机制

项目使用了最近最少使用（Least Recently Used，简称 LRU）机制来管理存储空间大小。当存储空间超过指定限制时，自动移除文档。文档根据其访问次数（hit count）和时间戳（timestamp）升序排序，访问次数最低且时间戳最早的文档首先被移除，直到空间大小低于限制。

安装方法

通过 npm 安装此包：

npm i vector-storage

使用方法

以下是如何使用 VectorStorage 类的基本示例：

import { VectorStorage } from "vector-storage";

// 创建 VectorStorage 实例
const vectorStore = new VectorStorage({ openAIApiKey: "your-openai-api-key" });

// 将文本文档添加到存储中
await vectorStore.addText("The quick brown fox jumps over the lazy dog.", {
  category: "example",
});

// 执行相似性搜索
const results = await vectorStore.similaritySearch({
  query: "A fast fox leaps over a sleepy hound.",
});

// 显示搜索结果
console.log(results);

API 说明

VectorStorage 类

用于在 IndexedDB 中管理文档向量的主类。

constructor(options: IVSOptions)

创建一个新的 VectorStorage 实例。

options: 包含以下属性的对象：

interface IVSOptions {
  openAIApiKey: string; // 用于生成嵌入的 OpenAI API 密钥。
  maxSizeInMB?: number; // 存储的最大大小，以MB为单位。默认为 2GB。
  debounceTime?: number; // 保存到 IndexedDB 的防抖时间，以毫秒为单位。默认为 0。
  openaiModel?: string; // 用于生成嵌入的 OpenAI 模型。默认为 'text-embedding-ada-002'。
}

addText(text: string, metadata: object): Promise<IVSDocument>

将文本文档添加到存储中，并返回创建的文档。

text: 文档的文本内容。
metadata: 与文档相关联的元数据对象。

similaritySearch(params: ISimilaritySearchParams): Promise<IVSDocument[]>

对存储的文档执行相似性搜索，并返回匹配文档的数组。

params: 包含以下属性的对象：

interface ISimilaritySearchParams {
  query: string | number[]; // 用于搜索的查询文本或向量。
  k?: number; // 返回的前 k 个结果的数量（默认：4）。
  filterOptions?: object; // 搜索的筛选条件。
}