LocalGPT: 本地化的私密文档问答系统

LocalGPT:让文档问答更安全、更私密 🔒

LocalGPT是一个创新的开源项目,旨在让用户能够在本地设备上与自己的文档进行安全、私密的对话。与传统的云端AI服务不同,LocalGPT将整个处理过程都在本地完成,确保用户的数据100%不会离开设备,从而最大程度地保护用户隐私。

主要特性

LocalGPT具有以下几个突出的特点:

1. 极致隐私保护: 所有数据处理都在本地完成,无需担心信息泄露。

2. 多样化模型支持: 支持多种开源模型,包括HF、GPTQ、GGML和GGUF等。

3. 灵活的嵌入选择: 用户可以选择多种开源嵌入方式。

4. LLM模型重用: 下载一次后可重复使用,无需重复下载。

5. 对话历史记录: 能够记住同一会话中的之前对话内容。

6. API支持: 提供API接口,方便开发RAG应用。

7. 图形用户界面: 内置两种GUI,一种基于API,另一种是独立的(基于Streamlit)。

8. 多平台支持: 支持GPU(CUDA)、CPU和MPS等多种平台。

技术细节

LocalGPT巧妙地利用了LangChain和适当的本地模型,实现了一个完全本地化的RAG(检索增强生成)流程:

1. 使用LangChain工具解析文档并通过InstructorEmbeddings在本地创建嵌入。
2. 使用Chroma向量存储将结果存储在本地向量数据库中。
3. 使用本地LLM理解问题并生成答案,通过相似度搜索从本地向量存储中提取相关上下文。

这种设计确保了整个过程都在本地环境中完成,无需任何数据传输到外部。

使用方法

1. 克隆项目仓库:

git clone https://github.com/PromtEngineer/localGPT.git

2. 安装依赖:

pip install -r requirements.txt

3. 将待查询的文档放入SOURCE_DOCUMENTS文件夹。

4. 运行ingest.py摄入文档:

python ingest.py

5. 运行run_localGPT.py开始对话:

python run_localGPT.py

支持的文件格式

LocalGPT支持多种常见文件格式,包括:

• 文本文件(.txt, .md, .py)
• PDF文件(.pdf)
• Word文档(.docx, .doc)
• Excel表格(.xls, .xlsx)
• CSV文件(.csv)
• 等等

模型选择

用户可以通过修改constants.py文件来选择不同的LLM模型。默认使用的是:

MODEL_ID = "TheBloke/Llama-2-7b-Chat-GGUF"
MODEL_BASENAME = "llama-2-7b-chat.Q4_K_M.gguf"

LocalGPT支持多种类型的模型,包括原始训练模型和量化模型(GGML、GPTQ、GGUF等)。

硬件需求

不同大小的模型对VRAM的需求也不同。以下是一些参考数据(不包括嵌入模型使用的VRAM):

结语

LocalGPT为那些对数据隐私有严格要求的用户提供了一个理想的解决方案。它不仅保护了用户的隐私,还提供了灵活的模型选择和多平台支持。虽然目前仍处于测试阶段,但LocalGPT已经展示了全本地化问答系统的可行性和潜力。

随着人们对AI隐私问题的日益关注,像LocalGPT这样的项目无疑将扮演越来越重要的角色。它为我们展示了一种既能享受AI带来的便利,又能保护个人隐私的可能性。未来,我们可以期待看到更多类似的创新项目,推动AI技术向更安全、更私密的方向发展。