LlamaGPTJ-chat

LlamaGPTJ-chat 项目介绍

LlamaGPTJ-chat 是一个简单的命令行聊天程序，专为 GPT-J、LLaMA 和 MPT 模型设计，使用 C++ 编写。它的开发基于 llama.cpp，并结合 gpt4all-backend 以实现全面兼容性。尽管项目尚处于早期阶段，可能会存在一些 Bug，但它为用户提供了一个简洁高效的聊天体验。

安装指南

由于该程序使用 C++ 开发，因此可以在大多数 Linux、MacOS 和 Windows 系统上构建和运行。在 GitHub 的 Releases 页面可以找到已经构建好的二进制文件。现代计算机通常支持 AVX2 指令集，该版本运行速度更快。如果要执行该程序，它会检测并告知您的计算机是否支持 AVX2。

下载步骤

执行以下命令以下载代码：

git clone --recurse-submodules https://github.com/kuvaus/LlamaGPTJ-chat
cd LlamaGPTJ-chat

接着，需要下载模型文件，请参考支持的模型以获取详细信息和链接。

构建步骤

在大多数系统上，只需要以下步骤进行构建：

mkdir build
cd build
cmake ..
cmake --build . --parallel

• 对于较老的处理器，可以在构建步骤中关闭 AVX2 指令，使用 -DAVX2=OFF 标志。
• 对于新处理器，可以开启 AVX512 指令，使用 -DAVX512=ON 标志。
• 针对旧版 macOS，可以设置 -DBUILD_UNIVERSAL=OFF，使构建仅适用于 x86 而不是通用的 Intel/ARM64 二进制文件。
• 在 Windows 系统中，可以使用 Visual Studio 或 MinGW 进行构建。

使用方法

完成编译后，二进制文件位于：

build/bin/chat

可以按需移动到任何位置。以下是启动程序的简单命令，使用 4 个线程：

./chat -m "/path/to/modelfile/ggml-vicuna-13b-1.1-q4_2.bin" -t 4

聊天愉快！

支持的模型

当前后台支持 GPT-J、LLaMA 和 MPT 模型。这些模型各有特点，用户可以根据需求选择下载。例如：

• GPT-J 模型：需要先下载相应的 GPT-J 模型文件。
• LLaMA 模型：可以下载源于科研用途的原始模型文件的衍生版本。
• MPT 模型：可下载使用 Mosaic ML 训练的 MPT-7B 模型。

这些模型的大小各异，但都储存在 RAM 中以便运行，因此需要确保计算机拥有足够的内存空间。

详细命令列表

可以使用以下命令查看帮助和完整的参数列表：

./chat -h

重要功能概览

• 保存/加载聊天记录：可以将聊天记录保存到文本文件，也可以在新会话中加载之前的聊天记录。
• 非交互模式运行程序：可以设定初始提示，并使用标志来开启无交互模式。
• 添加 AI 角色和个性：可以通过修改提示模板文件来给 AI 增加不同的角色个性。
• 重置聊天上下文：通过输入 /reset 随时重置聊天上下文。
• 使用 JSON 加载参数：可以从 JSON 文件加载参数，以便对不同模型进行更好的优化。

许可证

该项目基于 MIT 许可证进行许可，这意味着用户可以自由使用、修改和分发代码。