Vectra

Vectra是一个用于Node.js的本地向量数据库，具有类似于Pinecone或Qdrant的功能，但使用本地文件构建。每个Vectra索引都是磁盘上的一个文件夹。文件夹中有一个index.json文件，包含索引的所有向量以及任何已索引的元数据。创建索引时，可以指定要索引的元数据属性，只有这些字段会存储在index.json文件中。项目的所有其他元数据将以GUID为键存储在磁盘上的单独文件中。

查询Vectra时，你可以使用Pinecone支持的MongoDB查询运算符的同一子集，结果将按相似度排序返回。索引中的每个项目首先会通过元数据进行过滤，然后按相似度排名。尽管每个项目都会被评估，但由于全部在内存中进行，所以应该几乎是即时的。即使是相当大的索引，可能也只需1毫秒到2毫秒。较小的索引应该不到1毫秒。

请记住，你的整个Vectra索引都会加载到内存中，因此它不适合像长期聊天机器人记忆这样的场景。对于这种情况，请使用真正的向量数据库。Vectra旨在用于你有一小部分大多是静态数据的场景，你想将这些数据包含在你的提示中。无限少样本示例是Vectra的一个很好的用例，或者仅仅是你想要询问的单个文档。

Pinecone风格的命名空间不直接支持，但你可以通过为每个命名空间创建一个单独的Vectra索引（和文件夹）来轻松模仿它们。

其他语言绑定

这个仓库包含Vectra的TypeScript/JavaScript绑定，但其他语言绑定正在创建中。由于Vectra是基于文件的，任何语言绑定都可以用来读取或写入Vectra索引。这意味着你可以使用JS构建Vectra索引，然后使用Python读取它。

vectra-py - Vectra的Python版本。

安装

$ npm install vectra

使用方法

首先创建一个LocalIndex实例，指定你想存储项目的文件夹路径：

import { LocalIndex } from 'vectra';

const index = new LocalIndex(path.join(__dirname, '..', 'index'));

然后，在异步函数内创建你的索引：

if (!await index.isIndexCreated()) {
    await index.createIndex();
}

向索引中添加一些项目：

import { OpenAIApi, Configuration } from 'openai';

const configuration = new Configuration({
    apiKey: `<YOUR_KEY>`,
});

const api = new OpenAIApi(configuration);

async function getVector(text: string) {
    const response = await api.createEmbedding({
        'model': 'text-embedding-ada-002',
        'input': text,
    });
    return response.data.data[0].embedding;
}

async function addItem(text: string) {
    await index.insertItem({
        vector: await getVector(text),
        metadata: { text }
    });
}

// 添加项目
await addItem('苹果');
await addItem('橙子');
await addItem('红色');
await addItem('蓝色');

然后查询项目：

async function query(text: string) {
    const vector = await getVector(text);
    const results = await index.queryItems(vector, 3);
    if (results.length > 0) {
        for (const result of results) {
            console.log(`[${result.score}] ${result.item.metadata.text}`);
        }
    } else {
        console.log(`未找到结果。`);
    }
}

await query('绿色');
/*
[0.9036569942401076] 蓝色
[0.8758153664568566] 红色
[0.8323828606103998] 苹果
*/

await query('香蕉');
/*
[0.9033128691220631] 苹果
[0.8493374123092652] 橙子
[0.8415324469533297] 蓝色
*/