Korvus：革新性的全栈RAG搜索SDK

korvus

引言：Korvus的诞生与愿景

在当今数据驱动的世界中，高效的搜索和信息检索能力已成为许多应用程序的核心需求。然而，传统的搜索解决方案往往涉及复杂的架构、多个外部服务和繁琐的API调用，这不仅增加了系统的复杂性，还可能导致性能瓶颈。为了解决这些挑战，Korvus应运而生。

Korvus是一款革命性的开源搜索SDK，它巧妙地将整个RAG（检索增强生成）流程压缩到单个数据库查询中。通过充分利用PostgreSQL强大的功能，Korvus为开发者提供了一种简单而高效的方式来实现复杂的搜索和信息检索功能。

Korvus的核心特性

1. 统一的RAG流程

Korvus最显著的特点是将整个RAG流程整合到一个查询中。这包括：

嵌入生成
向量搜索
重新排序
文本生成
自定义模型集成

通过这种"一个查询统治所有"的方法，Korvus大大简化了搜索架构，同时提高了性能。

2. 基于PostgreSQL的强大功能

Korvus充分利用了PostgreSQL的强大功能，使开发者能够直接在数据库中执行复杂的RAG操作。这种方法消除了对外部服务和API调用的需求，显著降低了延迟和复杂性。

3. 多语言支持

Korvus提供了多种编程语言的SDK支持，使其能够无缝集成到各种技术栈中：

Python：通过PyPI包提供
JavaScript：通过npm包提供
Rust：通过Crates.io包提供
C：可从源代码构建

4. 开源和可定制

作为一个开源项目，Korvus为开发者提供了极大的灵活性和可定制性。开发者可以根据自己的需求修改和扩展Korvus的功能，同时也可以贡献自己的改进回馈社区。

Korvus的技术架构

Korvus的核心是建立在PostgreSQL之上的，它利用了PostgresML的pgml扩展和pgvector扩展来实现整个RAG流程的压缩。这种架构设计带来了几个关键优势：

高性能：通过消除API调用和数据移动，Korvus实现了更快的处理速度和更高的可靠性。
可扩展性：依托于PostgreSQL的优秀可扩展性，Korvus能够随着数据量的增长而保持高性能。
简化的基础设施：开发者可以使用Docker在本地运行Korvus，大大简化了开发和部署过程。

快速上手Korvus

要开始使用Korvus，开发者需要先准备一个安装了pgml和pgvector的PostgreSQL数据库。Korvus提供了两种选择：

自托管：开发者可以按照自托管指南设置自己的数据库。
托管服务：使用预装了pgml和pgvector的PostgresML Cloud托管服务。

安装完成后，开发者可以通过以下步骤快速开始使用Korvus：

安装Korvus SDK
设置数据库连接
初始化Collection和Pipeline
插入文档
执行RAG查询

以下是一个简单的Python示例，展示了如何使用Korvus执行RAG查询：

from korvus import Collection, Pipeline
import asyncio

collection = Collection("korvus-demo-v0")
pipeline = Pipeline(
    "v1",
    {
        "text": {
            "splitter": {"model": "recursive_character"},
            "semantic_search": {"model": "Alibaba-NLP/gte-base-en-v1.5"},
        }
    },
)

async def rag():
    query = "Is Korvus fast?"
    results = await collection.rag(
        {
            "CONTEXT": {
                "vector_search": {
                    "query": {
                        "fields": {"text": {"query": query}},
                    },
                    "document": {"keys": ["id"]},
                    "limit": 1,
                },
                "aggregate": {"join": "\n"},
            },
            "chat": {
                "model": "meta-llama/Meta-Llama-3-8B-Instruct",
                "messages": [
                    {
                        "role": "system",
                        "content": "You are a friendly and helpful chatbot",
                    },
                    {
                        "role": "user",
                        "content": f"Given the context\n:{{CONTEXT}}\nAnswer the question: {query}",
                    },
                ],
                "max_tokens": 100,
            },
        },
        pipeline,
    )
    print(results)

asyncio.run(rag())