LocalGPT：与您的文档进行安全、本地化对话 🌐

🚨🚨 您可以在预配置的虚拟机上运行localGPT。请使用代码：PromptEngineering 获得50%的折扣。我将获得小额佣金！

LocalGPT是一个开源项目，让您可以与文档对话而不会泄露隐私。所有内容都在本地运行，确保您的数据永远不会离开您的计算机。通过LocalGPT，您可以安全地进行本地文档交互。

特性 🌟

• 最高隐私：您的数据保留在计算机上，确保100%安全。
• 多样化模型支持：无缝集成各种开源模型，包括HF、GPTQ、GGML和GGUF。
• 多种嵌入方式：从多种开源嵌入中选择。
• 重复使用LLM：下载后，无需重复下载即可重复使用您的LLM。
• 聊天历史：记住您之前的对话（在一个会话中）。
• API：LocalGPT提供API，可用于构建RAG应用程序。
• 图形界面：LocalGPT提供两种GUI，一种使用API，另一种是独立的（基于streamlit）。
• GPU、CPU和MPS支持：开箱即用支持多种平台，使用CUDA、CPU或MPS等与您的数据聊天！

通过我们的视频深入了解 🎥

• 详细代码演示
• LocalGPT中的Llama-2
• 添加聊天历史
• LocalGPT - 更新版 (2023年9月17日)

技术细节 🛠️

通过选择适当的本地模型和利用LangChain的强大功能，您可以在本地运行整个RAG流程，无需任何数据离开您的环境，并且性能合理。

• ingest.py使用LangChain工具解析文档，并使用InstructorEmbeddings在本地创建嵌入。然后使用Chroma向量存储将结果存储在本地向量数据库中。
• run_localGPT.py使用本地LLM理解问题并创建答案。答案的上下文通过相似性搜索从本地向量存储中提取，以定位文档中的正确上下文片段。
• 您可以用HuggingFace中的任何其他LLM替换这个本地LLM。请确保您选择的任何LLM都是HF格式的。

这个项目的灵感来自原始的privateGPT。

使用的技术 🧩

• LangChain
• HuggingFace LLMs
• InstructorEmbeddings
• LLAMACPP
• ChromaDB
• Streamlit

环境设置 🌍

1. 📥 使用git克隆仓库：

git clone https://github.com/PromtEngineer/localGPT.git

2. 🐍 安装conda用于虚拟环境管理。创建并激活一个新的虚拟环境。

conda create -n localGPT python=3.10.0
conda activate localGPT

3. 🛠️ 使用pip安装依赖

要设置运行代码的环境，首先安装所有要求：

pip install -r requirements.txt

安装LLAMA-CPP：

LocalGPT使用LlamaCpp-Python支持GGML（需要llama-cpp-python <=0.1.76）和GGUF（llama-cpp-python >=0.1.83）模型。

如果您想使用BLAS或Metal与llama-cpp，可以设置适当的标志：

对于NVIDIA GPU支持，使用cuBLAS

# 示例：cuBLAS
CMAKE_ARGS="-DLLAMA_CUBLAS=on" FORCE_CMAKE=1 pip install llama-cpp-python --no-cache-dir

对于Apple Metal（M1/M2）支持，使用

# 示例：METAL
CMAKE_ARGS="-DLLAMA_METAL=on"  FORCE_CMAKE=1 pip install llama-cpp-python --no-cache-dir

更多详情，请参考llama-cpp

Docker 🐳

在NVIDIA GPU上安装GPU推理所需的包（如gcc 11和CUDA 11）可能会与系统中的其他包发生冲突。 作为Conda的替代方案，你可以使用提供的Dockerfile来使用Docker。 它包含了CUDA，你的系统只需要Docker、BuildKit、NVIDIA GPU驱动程序和NVIDIA容器工具包。 使用docker build -t localgpt .构建，需要BuildKit。 目前Docker BuildKit在docker build时不支持GPU，只在docker run时支持。 使用docker run -it --mount src="$HOME/.cache",target=/root/.cache,type=bind --gpus=all localgpt运行。

测试数据集

为了测试，本仓库提供了美国宪法作为示例文件使用。

导入你自己的数据

将你的文件放入SOURCE_DOCUMENTS文件夹。你可以在SOURCE_DOCUMENTS文件夹内放置多个文件夹，代码会递归读取你的文件。

支持的文件格式：

LocalGPT目前支持以下文件格式。LocalGPT使用LangChain加载这些文件格式。constants.py中的代码使用DOCUMENT_MAP字典将文件格式映射到相应的加载器。要添加对另一种文件格式的支持，只需在此字典中添加文件格式和来自LangChain的相应加载器。

DOCUMENT_MAP = {
    ".txt": TextLoader,
    ".md": TextLoader,
    ".py": TextLoader,
    ".pdf": PDFMinerLoader,
    ".csv": CSVLoader,
    ".xls": UnstructuredExcelLoader,
    ".xlsx": UnstructuredExcelLoader,
    ".docx": Docx2txtLoader,
    ".doc": Docx2txtLoader,
}

导入

运行以下命令导入所有数据。

如果你的系统上设置了cuda：

python ingest.py

你会看到如下输出： <img width="1110" alt="Screenshot 2023-09-14 at 3 36 27 PM" src="https://github.com/PromtEngineer/localGPT/assets/134474669/c9274e9a-842c-49b9-8d95-606c3d80011f">

使用设备类型参数指定给定设备。 在cpu上运行：

python ingest.py --device_type cpu

在M1/M2上运行：

python ingest.py --device_type mps

使用帮助获取支持的设备完整列表。

python ingest.py --help

这将创建一个名为DB的新文件夹，并将其用于新创建的向量存储。你可以导入任意数量的文档，所有文档都将累积到本地嵌入数据库中。 如果你想从空数据库开始，请删除DB并重新导入你的文档。

注意：首次运行时，需要互联网连接来下载嵌入模型（默认：Instructor Embedding）。在后续运行中，数据不会离开你的本地环境，你可以在没有互联网连接的情况下导入数据。

在本地向你的文档提问！

要与你的文档聊天，请运行以下命令（默认在cuda上运行）。

python run_localGPT.py

你也可以像ingest.py一样指定设备类型

python run_localGPT.py --device_type mps # 在Apple芯片上运行

这将加载已导入的向量存储和嵌入模型。你会看到一个提示：

> Enter a query:

输入你的问题后，按回车键。LocalGPT会根据你的硬件花费一些时间。你会得到如下回应。 <img width="1312" alt="Screenshot 2023-09-14 at 3 33 19 PM" src="https://github.com/PromtEngineer/localGPT/assets/134474669/a7268de9-ade0-420b-a00b-ed12207dbe41">

生成答案后，你可以再次提问而无需重新运行脚本，只需等待提示再次出现。

注意： 首次运行时，需要互联网连接来下载LLM（默认：TheBloke/Llama-2-7b-Chat-GGUF）。之后你可以断开互联网连接，脚本推理仍然可以工作。没有数据会离开你的本地环境。

输入exit结束脚本。

run_localGPT.py的额外选项

你可以使用--show_sources标志与run_localGPT.py一起显示嵌入模型检索的块。默认情况下，它将显示4个不同的来源/块。你可以更改来源/块的数量

python run_localGPT.py --show_sources

另一个选项是启用聊天历史。注意：默认情况下这是禁用的，可以使用--use_history标志启用。上下文窗口是有限的，所以请记住启用历史记录会使用它并可能溢出。

python run_localGPT.py --use_history

你可以使用--save_qa标志将用户问题和模型响应存储到csv文件/local_chat_history/qa_log.csv中。每次交互都会被存储。

python run_localGPT.py --save_qa

运行图形用户界面

1. 在你选择的编辑器中打开constants.py，根据选择添加你想使用的LLM。默认情况下，将使用以下模型：

   MODEL_ID = "TheBloke/Llama-2-7b-Chat-GGUF"
   MODEL_BASENAME = "llama-2-7b-chat.Q4_K_M.gguf"

2. 打开终端并激活包含从requirements.txt安装的依赖项的Python环境。

3. 导航到/LOCALGPT目录。

4. 运行以下命令python run_localGPT_API.py。API应该开始运行。

5. 等待一切加载完成。你应该会看到类似 INFO:werkzeug:Press CTRL+C to quit 的提示。

6. 打开第二个终端并激活相同的 Python 环境。

7. 导航到 /LOCALGPT/localGPTUI 目录。

8. 运行命令 python localGPTUI.py。

9. 打开网页浏览器并访问地址 http://localhost:5111/。

如何选择不同的 LLM 模型？

要更改模型，你需要同时设置 MODEL_ID 和 MODEL_BASENAME。

1. 用你选择的编辑器打开 constants.py。

2. 更改 MODEL_ID 和 MODEL_BASENAME。如果你使用的是量化模型（GGML、GPTQ、GGUF），你需要提供 MODEL_BASENAME。对于非量化模型，将 MODEL_BASENAME 设置为 NONE。

3. 有许多来自 HuggingFace 的示例模型已经经过测试，可以与原始训练模型（以 HF 结尾或在其"文件和版本"中有 .bin 文件）和量化模型（以 GPTQ 结尾或在其"文件和版本"中有 .no-act-order 或 .safetensors 文件）一起运行。

4. 对于以 HF 结尾或在其 HuggingFace 页面的"文件和版本"中有 .bin 文件的模型：

   • 确保你选择了一个 MODEL_ID。例如 -> MODEL_ID = "TheBloke/guanaco-7B-HF"
   • 访问 HuggingFace 仓库

5. 对于名称中包含 GPTQ 或在其 HuggingFace 页面的"文件和版本"中有 .no-act-order 或 .safetensors 扩展名的模型：

   • 确保你选择了一个 MODEL_ID。例如 -> model_id = "TheBloke/wizardLM-7B-GPTQ"
   • 访问相应的 HuggingFace 仓库 并选择"文件和版本"。
   • 选择一个模型名称并将其设置为 MODEL_BASENAME。例如 -> MODEL_BASENAME = "wizardLM-7B-GPTQ-4bit.compat.no-act-order.safetensors"

6. 对 GGUF 和 GGML 模型遵循相同的步骤。

GPU 和 VRAM 要求

下表列出了不同大小模型（以十亿参数计）的 VRAM 要求。表中的估算不包括嵌入模型使用的 VRAM - 根据模型不同，嵌入模型会额外使用 2GB-7GB 的 VRAM。

模型大小 (B)	float32	float16	GPTQ 8bit	GPTQ 4bit
7B	28 GB	14 GB	7 GB - 9 GB	3.5 GB - 5 GB
13B	52 GB	26 GB	13 GB - 15 GB	6.5 GB - 8 GB
32B	130 GB	65 GB	32.5 GB - 35 GB	16.25 GB - 19 GB
65B	260.8 GB	130.4 GB	65.2 GB - 67 GB	32.6 GB - 35 GB

系统要求

Python 版本

要使用此软件，你必须安装 Python 3.10 或更高版本。早期版本的 Python 将无法编译。

C++ 编译器

如果在 pip install 过程中遇到构建 wheel 时的错误，你可能需要在计算机上安装 C++ 编译器。

对于 Windows 10/11

要在 Windows 10/11 上安装 C++ 编译器，请按以下步骤操作：

1. 安装 Visual Studio 2022。
2. 确保选择了以下组件：
   • 通用 Windows 平台开发
   • 用于 Windows 的 C++ CMake 工具
3. 从 MinGW 网站 下载 MinGW 安装程序。
4. 运行安装程序并选择 "gcc" 组件。

NVIDIA 驱动问题：

按照这个页面安装 NVIDIA 驱动。

星标历史

免责声明

这是一个测试项目，旨在验证使用 LLM 和向量嵌入进行问答的完全本地解决方案的可行性。它尚未准备好用于生产环境，也不适合在生产环境中使用。Vicuna-7B 基于 Llama 模型，因此遵循原始 Llama 许可。

常见错误

• Torch 与启用 CUDA 不兼容

  • 获取 CUDA 版本

    nvcc --version

    nvidia-smi

  • 尝试根据你的 CUDA 版本安装 PyTorch

       conda install -c pytorch torchvision cudatoolkit=10.1 pytorch

  • 如果不起作用，尝试重新安装

       pip uninstall torch
       pip cache purge
       pip install torch -f https://download.pytorch.org/whl/torch_stable.html

• 错误：pip 的依赖解析器目前无法考虑所有已安装的包

     pip install h5py
     pip install typing-extensions
     pip install wheel

• 无法导入 transformers

  • 尝试重新安装

       conda uninstall tokenizers, transformers
       pip install transformers