🔒 PrivateGPT 📑

PrivateGPT是一个可用于生产环境的AI项目，它允许您利用大型语言模型（LLMs）的能力来询问有关您文档的问题，即使在没有互联网连接的情况下也能使用。100%私密，数据在任何时候都不会离开您的执行环境。

[!提示] 如果您正在寻找一个企业级、完全私密的AI工作空间， 请查看Zylon的网站或申请演示。 Zylon由PrivateGPT背后的团队精心打造，是一个一流的AI协作工作空间， 可以轻松部署在本地（数据中心、裸机等）或您的私有云（AWS、GCP、Azure等）上。

该项目提供了一个API，提供了构建私密、上下文感知的AI应用所需的所有基本功能。它遵循并扩展了OpenAI API标准，支持普通和流式响应。

API分为两个逻辑块：

高级API，抽象了RAG（检索增强生成）管道实现的所有复杂性：

• 文档摄入：内部管理文档解析、分割、元数据提取、嵌入生成和存储。
• 使用摄入文档的上下文进行聊天和完成：抽象了上下文检索、提示工程和响应生成。

低级API，允许高级用户实现自己的复杂管道：

• 嵌入生成：基于一段文本。
• 上下文块检索：给定一个查询，返回摄入文档中最相关的文本块。

除此之外，还提供了一个可用的Gradio UI客户端来测试API，以及一套有用的工具，如批量模型下载脚本、摄入脚本、文档文件夹监视等。

🎞️ 概述

[!警告] 本README的更新频率不及文档。 请查看文档以获取最新更新！

PrivateGPT的动机

生成式AI对我们的社会来说是一个游戏规则改变者，但在各种规模的公司以及数据敏感领域（如医疗保健或法律）中的应用受到一个明确的担忧限制：隐私。 在使用第三方AI工具时无法确保您的数据完全在您的控制之下，这是那些行业无法承担的风险。

原始版本

PrivateGPT的第一个版本于2023年5月推出，是一种通过完全离线方式使用LLMs来解决隐私问题的新方法。

那个版本迅速成为隐私敏感设置的首选项目，并为数千个本地化的生成式AI项目提供了种子。它是PrivateGPT现在发展的基础；因此是一个更简单、更具教育意义的实现，用于理解构建完全本地化（因此是私密的）类似chatGPT工具所需的基本概念。

如果您想继续尝试它，我们已经将其保存在项目的primordial分支中。

如果您来自之前的原始版本，强烈建议您对PrivateGPT的这个新版本进行全新的克隆和安装。

PrivateGPT的现在和未来

PrivateGPT现在正在发展成为生成式AI模型和基本功能的网关，包括完成、文档摄入、RAG管道和其他低级构建块。我们希望让任何开发者更容易构建AI应用和体验，并为社区提供一个合适的可扩展架构以继续贡献。

请关注我们的发布以查看所有包含的新功能和变更。

📄 文档

有关安装、依赖、配置、运行服务器、部署选项、摄入本地文档、API详情和UI功能的完整文档可以在这里找到：https://docs.privategpt.dev/

🧩 架构

从概念上讲，PrivateGPT是一个封装RAG管道并公开其基本功能的API。

• API使用FastAPI构建，并遵循OpenAI的API方案。
• RAG管道基于LlamaIndex。

PrivateGPT的设计允许轻松扩展和适应API和RAG实现。一些关键的架构决策包括：

• 依赖注入，解耦不同的组件和层。
• 使用LlamaIndex的抽象，如LLM、BaseEmbedding或VectorStore，使得更换这些抽象的实际实现变得简单。
• 简单性，尽可能少地添加新的层和抽象。
• 即用即取，提供API和RAG管道的完整实现。

主要构建块：

• API在private_gpt:server:<api>中定义。每个包都包含一个<api>_router.py（FastAPI层）和一个<api>_service.py（服务实现）。每个Service使用LlamaIndex的基本抽象而不是特定实现，将实际实现与其使用解耦。
• 组件放置在private_gpt:components:<component>中。每个Component负责为Service中使用的基本抽象提供实际实现 - 例如LLMComponent负责提供LLM的实际实现（例如LlamaCPP或OpenAI）。

💡 贡献

欢迎贡献！为确保代码质量，我们启用了多项格式和类型检查，只需在提交前运行make check以确保您的代码没有问题。 记得测试您的代码！您会在tests文件夹中找到帮助程序，并且可以使用make test命令运行测试。

不知道贡献什么？这里是公开的项目看板，其中有几个想法。

前往Discord的#contributors频道，申请对该GitHub项目的写入权限。

💬 社区

加入PrivateGPT的对话：

• Twitter（又名X）
• Discord

📖 引用

如果您在论文中使用PrivateGPT，请查看Citation文件以获取正确的引用方式。 您也可以使用此仓库中的"引用此仓库"按钮以获取不同格式的引用。

以下是几个例子：

BibTeX

@software{Zylon_PrivateGPT_2023,
author = {Zylon by PrivateGPT},
license = {Apache-2.0},
month = may,
title = {{PrivateGPT}},
url = {https://github.com/zylon-ai/private-gpt},
year = {2023}
}

APA

Zylon by PrivateGPT (2023). PrivateGPT [Computer software]. https://github.com/zylon-ai/private-gpt

🤗 合作伙伴与支持者

PrivateGPT得到以下团队的积极支持：

• Qdrant，提供默认的向量数据库
• Fern，提供文档和SDK
• LlamaIndex，提供基础RAG框架和抽象

这个项目受到其他优秀项目的强烈影响和支持，如 LangChain、 GPT4All、 LlamaCpp、 Chroma 和SentenceTransformers。