ChatGPT Your Files: 构建安全的文档聊天应用

在当今信息爆炸的时代,如何高效地管理和利用大量文档成为了一个普遍的挑战。本文将介绍如何利用Supabase和OpenAI的技术,构建一个名为"ChatGPT Your Files"的应用,让用户能够安全地上传文件,并与这些文件进行智能对话。这个应用不仅能提高文档管理的效率,还能为用户提供一种全新的信息获取方式。

项目概述

"ChatGPT Your Files"是一个生产级别的最小可行产品(MVP),旨在实现与用户文档的安全对话。该项目利用了Supabase的数据库和存储功能,以及OpenAI的GPT模型,创建了一个功能强大yet易于使用的文档聊天系统。

项目概览

核心功能

交互式聊天界面: 利用OpenAI的GPT模型和检索增强生成(RAG)技术,实现与文档的智能对话。
第三方登录: 集成多种第三方登录方式,包括18种认证提供商和用户名/密码登录。
文档存储: 安全地上传、存储和检索用户文档。
REST API: 提供灵活的REST API,用于构建交互式前端。
行级安全: 通过生产级别的行级安全(RLS)确保用户数据的安全性。

技术栈概览

前端: Next.js, React Query, shadcn/ui
后端: Supabase (PostgreSQL, pgvector, Edge Functions)
AI模型: OpenAI GPT
认证: Supabase Auth
存储: Supabase Storage

实现步骤

1. 设置存储系统

首先,我们需要设置Supabase的存储系统来处理文件上传。这包括创建存储桶和设置相应的行级安全策略。

insert into storage.buckets (id, name)
values ('files', 'files')
on conflict do nothing;

create policy "Authenticated users can upload files"
on storage.objects for insert to authenticated with check (
  bucket_id = 'files' and owner = auth.uid()
);

2. 文档处理

接下来,我们创建documents和document_sections表来存储处理后的文件内容。这一步还包括设置触发器,以在文件上传后自动处理文档。

create table documents (
  id bigint primary key generated always as identity,
  name text not null,
  storage_object_id uuid not null references storage.objects (id),
  created_by uuid not null references auth.users (id) default auth.uid(),
  created_at timestamp with time zone not null default now()
);

create table document_sections (
  id bigint primary key generated always as identity,
  document_id bigint not null references documents (id),
  content text not null,
  embedding vector (384)
);

3. 生成嵌入向量

为了实现高效的相似性搜索,我们需要为文档片段生成嵌入向量。这通过Supabase Edge Functions和OpenAI的嵌入模型来实现。

const model = new Supabase.ai.Session('gte-small');

// 生成嵌入向量的代码
const embedding = await model.embed(content);

4. 实现聊天功能

最后,我们实现聊天功能,这包括检索相关文档片段和使用OpenAI的GPT模型生成回复。

const { data: contexts } = await supabase.rpc('match_documents', {
  query_embedding: embedding,
  match_count: 5,
});

const completion = await openai.chat.completions.create({
  model: 'gpt-3.5-turbo',
  messages: [
    { role: 'system', content: systemPrompt },
    ...messages,
    { role: 'user', content: lastMessage },
  ],
});