sqlite-vec: 一个可在任何地方运行的向量搜索SQLite扩展

sqlite-vec

sqlite-vec: 为SQLite带来强大的向量搜索能力

在当今人工智能和机器学习飞速发展的时代,向量搜索已经成为许多应用不可或缺的功能。然而,现有的向量数据库解决方案往往过于复杂或难以集成到本地应用中。为了解决这个问题,开发者Alex Garcia推出了sqlite-vec - 一个小巧精悍、性能出色的向量搜索SQLite扩展。

什么是sqlite-vec?

sqlite-vec是一个为SQLite数据库带来向量搜索能力的扩展。它具有以下主要特点:

轻量级: 整个扩展由纯C语言编写,没有任何外部依赖。
高度可移植: 可以在任何SQLite支持的环境中运行,包括Linux、MacOS、Windows、浏览器WebAssembly环境和树莓派等。
功能强大: 支持存储和查询浮点、int8和二进制向量。
性能出色: 采用了多种优化技术,可以实现"足够快"的查询速度。
易于使用: 通过vec0虚拟表提供简单直观的SQL接口。

sqlite-vec是sqlite-vss的继任者,旨在提供一个更加轻量、灵活的向量搜索解决方案。

安装和使用

sqlite-vec支持多种编程语言和环境,安装方式也很简单。以下是几种常见的安装方法:

Python: pip install sqlite-vec
Node.js: npm install sqlite-vec
Ruby: gem install sqlite-vec
Go: go get -u github.com/asg017/sqlite-vec/bindings/go
Rust: cargo add sqlite-vec

安装完成后,就可以在SQLite中使用sqlite-vec提供的功能了。以下是一个简单的使用示例:

-- 创建一个存储向量的虚拟表
CREATE VIRTUAL TABLE vec_examples USING vec0(
  sample_embedding float[8]
);

-- 插入一些向量数据
INSERT INTO vec_examples(rowid, sample_embedding) VALUES
  (1, '[-0.200, 0.250, 0.341, -0.211, 0.645, 0.935, -0.316, -0.924]'),
  (2, '[0.443, -0.501, 0.355, -0.771, 0.707, -0.708, -0.185, 0.362]'),
  (3, '[0.716, -0.927, 0.134, 0.052, -0.669, 0.793, -0.634, -0.162]'),
  (4, '[-0.710, 0.330, 0.656, 0.041, -0.990, 0.726, 0.385, -0.958]');

-- 执行KNN风格的查询
SELECT
  rowid,
  distance
FROM vec_examples
WHERE sample_embedding MATCH '[0.890, 0.544, 0.825, 0.961, 0.358, 0.0196, 0.521, 0.175]'
ORDER BY distance
LIMIT 2;

这个例子展示了如何创建一个存储8维向量的虚拟表,插入一些向量数据,然后执行一个K近邻(KNN)查询。

技术特性

sqlite-vec采用了多项技术来实现高效的向量搜索:

纯C实现: 整个扩展由纯C语言编写,没有任何外部依赖,这保证了最大的性能和可移植性。
虚拟表: 使用SQLite的虚拟表机制来实现向量存储和搜索,这允许sqlite-vec在保持与普通SQLite表相同接口的同时,实现自定义的存储和索引策略。
多种向量类型: 支持float、int8和二进制向量,满足不同应用场景的需求。
预过滤: 支持通过rowid IN (...)子查询预过滤向量,提高查询效率。
SIMD优化: 利用SIMD(单指令多数据)指令集来加速向量运算。