pg_vectorize

项目介绍：pg_vectorize

pg_vectorize 是一个为 Postgres 打造的扩展工具，旨在简化文本到嵌入（embeddings）的转换和编排过程，并提供与流行大型语言模型 (LLMs) 的集成。凭借这一工具，只需调用两个函数，即可在现有数据上进行向量搜索，并构建基于 LLM 的应用程序。

背景和依赖

pg_vectorize 强烈依赖于 pgvector（用于向量相似性搜索）、pgmq（用于后台工作的编排），以及 SentenceTransformers（用于文本转换）。该项目支持 Tembo Cloud 上的 VectorDB Stack，并且在所有 hobby 层级实例中均可用。

特性

• 向量搜索和 RAG（检索增强生成）的工作流
• 与 OpenAI 的嵌入和聊天完成端点集成，以及用于运行 Hugging Face Sentence-Transformers 的自托管容器
• 自动创建 Postgres 触发器，以保持嵌入的更新
• 高级API：一个函数初始化嵌入转换，另一个函数用于搜索

安装

最简单的开始方式是运行 Tembo 的 Docker 容器以及向量服务器：

docker compose up -d

然后连接至 Postgres：

docker compose exec -it postgres psql

启用扩展及其依赖项：

CREATE EXTENSION vectorize CASCADE;

向量搜索示例

文本到嵌入的转换可以使用 Hugging Face 的 Sentence-Transformers 或 OpenAI 的嵌入来完成。以下示例使用 Hugging Face 的工具。

首先设置一个产品表，并从扩展提供的示例数据中复制数据：

CREATE TABLE products (LIKE vectorize.example_products INCLUDING ALL);
INSERT INTO products SELECT * FROM vectorize.example_products;

为产品表创建一个向量化任务，并指定主键和需要搜索的列：

SELECT vectorize.table(
    job_name    => 'product_search_hf',
    "table"     => 'products',
    primary_key => 'product_id',
    columns     => ARRAY['product_name', 'description'],
    transformer => 'sentence-transformers/all-MiniLM-L6-v2',
    schedule    => 'realtime'
);

这会在你的表中新增一列，并用转换后的嵌入填充数据，随后可以进行搜索：

SELECT * FROM vectorize.search(
    job_name        => 'product_search_hf',
    query           => 'accessories for mobile devices',
    return_columns  => ARRAY['product_id', 'product_name'],
    num_results     => 3
);

RAG 示例

可以向 products 数据集提出问题，并从 OpenAI 的 LLM 得到回答。

初始化 RAG 项目，使用开源 Sentence Transformer 生成嵌入：

SELECT vectorize.init_rag(
    agent_name          => 'product_chat',
    table_name          => 'products',
    "column"            => 'context',
    unique_record_id    => 'product_id',
    transformer         => 'sentence-transformers/all-MiniLM-L6-v2'
);

然后可以向表中的产品提问，并且从 product_chat 代理获得使用 openai/gpt-3.5-turbo 生成模型的回答。

嵌入更新

当源数据更新时，嵌入的更新时间和方式由 vectorize.table 和 vectorize.init_rag 中的 schedule 参数决定。默认情况下，后台进程每分钟检查一次变更，实时更新嵌入。

直接与 LLM 交互

在需要更高控制力的场景下，可以直接使用 SQL 调用各LLM提供商：

对于文本生成：

select vectorize.generate(
  input => 'Tell me the difference between a cat and a dog in 1 sentence',
  model => 'openai/gpt-4o'
);

对于嵌入生成：

select vectorize.encode(
  input => 'Tell me the difference between a cat and a dog in 1 sentence',
  model => 'openai/text-embedding-3-large'
);

通过 pg_vectorize，用户可以在 Postgres 环境中无缝地使用现代 LLM 技术，实现高效的文本处理和智能搜索。