AwaDB: AI原生向量数据库助力LLM应用开发

awadb

AwaDB简介

AwaDB是一款专为嵌入向量设计的AI原生数据库,旨在为大语言模型(LLM)应用提供高效的向量存储和搜索服务。作为一个开源项目,AwaDB由awa-ai团队开发并维护,目前在GitHub上已获得160多个星标。

AwaDB的主要特点

易用性强: 无需繁琐的数据库模式定义,也无需关注向量索引的细节。
实时搜索: 采用无锁实时索引技术,保证新数据可以毫秒级被检索到,无需等待或手动操作。
高稳定性: 基于Vearch系统的5年以上生产环境运行经验,结合业界最佳实践开发而成。
灵活部署: 支持本地运行(Mac OSX和Linux)和服务化部署(通过Docker)。
多语言支持: 提供Python SDK,同时支持RESTful API接口。

AwaDB的核心功能

1. 向量存储

AwaDB可以高效存储各种类型的嵌入向量,包括但不限于文本、图像、音频和视频的特征向量。这些向量通常由AI模型(如大语言模型或其他深度神经网络)生成。

2. 相似度搜索

基于存储的向量,AwaDB可以快速执行最近邻(KNN)搜索,找出与查询向量最相似的结果。这对于实现语义搜索、推荐系统等AI应用至关重要。

3. 实时索引更新

AwaDB采用无锁实时索引技术,确保新添加的数据可以立即被搜索到,无需额外的索引重建过程。

4. 多模态数据支持

除了向量数据,AwaDB还支持存储和检索与向量关联的文本、数值等结构化数据。

AwaDB的使用方法

本地安装和使用

安装AwaDB:

pip3 install awadb

基本使用示例:

import awadb

# 初始化AwaDB客户端
awadb_client = awadb.Client()

# 创建表
awadb_client.Create("test_llm1")

# 添加数据
awadb_client.Add([{'embedding_text':'The man is happy'}, {'source' : 'pic1'}])
awadb_client.Add([{'embedding_text':'The man is very happy'}, {'source' : 'pic2'}])
awadb_client.Add([{'embedding_text':'The cat is happy'}, {'source' : 'pic3'}])
awadb_client.Add([{'embedding_text':'The man is eating'}, {'source':'pic4'}])

# 搜索
query = "The man is happy"
results = awadb_client.Search(query, 3)

# 输出结果
print(results)

在这个例子中,文本自动使用SentenceTransformer进行嵌入。用户也可以选择使用OpenAI或其他LLM来生成嵌入向量。

服务化部署

对于Windows用户或需要服务化部署的场景,AwaDB提供了Docker镜像。部署步骤如下:

安装gRPC和AwaDB服务端Python客户端:

pip3 install grpcio
pip3 install awadb-client

使用Docker部署AwaDB服务(具体步骤请参考官方文档)
使用Python SDK连接服务:

from awadb_client import Awa

# 初始化AwaDB客户端
client = Awa()

# 添加数据
client.add("example1", {'name':'david', 'feature':[1.3, 2.5, 1.9]})
client.add("example1", {'name':'jim', 'feature':[1.1, 1.4, 2.3]})

# 搜索
results = client.search("example1", [1.0, 2.0, 3.0])

# 输出结果
print(results)

RESTful API使用

AwaDB还提供了RESTful API,方便其他语言或系统集成:

# 添加文档
curl -H "Content-Type: application/json" -X POST -d '{"db":"default", "table":"test", "docs":[{"_id":1, "name":"lj", "age":23, "f":[1,0]},{"_id":2, "name":"david", "age":32, "f":[1,2]}]}' http://localhost:8080/add

# 搜索文档
curl -H "Content-Type: application/json" -X POST -d '{"db":"default", "table":"test", "vector_query":{"f":[1, 1]}}' http://localhost:8080/search