OpenChatKit

OpenChatKit提供了一个强大的开源基础，可用于创建专用和通用模型，适用于各种应用。该工具包包括一个经过指令调整的语言模型、一个审核模型，以及一个可扩展的检索系统，用于从自定义存储库中包含最新响应。OpenChatKit模型是在OIG-43M训练数据集上训练的，该数据集是由Together、LAION和Ontocord.ai合作完成的。

在此存储库中，您将找到以下代码：

训练GPT-NeoXT-Chat-Base-20B，一个20B参数的聊天模型（参见docs/GPT-NeoXT-Chat-Base-20B.md）
微调Llama-2-7B-32K-beta，一个7B参数的长上下文模型
训练Pythia-Chat-Base-7B，一个7B参数的聊天模型
使用任一聊天模型进行推理测试
通过检索索引增强模型的额外上下文

入门

在本教程中，您将下载Pythia-Chat-Base-7B（一个经过指令调整的语言模型），并使用命令行工具对其进行一些推理请求。

Pythia-Chat-Base-7B是Eleuther AI的Pythia-6.9B-deduped的7B参数微调变体。该模型的预训练权重可在Hugging Face上获取，名为togethercomputer/Pythia-Chat-Base-7B，采用Apache 2.0许可。

更多详细信息可以在Hugging Face上的Pythia-Chat-Base-7B模型卡片中找到。

要求

在开始之前，您需要安装PyTorch和其他依赖项。

从官网安装Miniconda。
从官网安装Git LFS。
安装git lfs钩子。

git lfs install

在base环境中安装mamba，使其在所有环境中可用。

conda install mamba -n base -c conda-forge

使用存储库根目录的environment.yml文件创建名为OpenChatKit的环境。

注意使用mamba创建环境。它比使用conda快得多。

mamba env create -f environment.yml

激活新的conda环境。

conda activate OpenChatKit

与Pythia-Chat-Base-7B聊天

为了帮助您尝试该模型，inference/bot.py是一个简单的命令行测试工具，提供了一个shell界面，使您能够与模型聊天。只需在提示符下输入文本，模型就会回复。测试工具还维护对话历史，为模型提供上下文。

从存储库的根目录调用bot.py来启动机器人。

python inference/bot.py --model togethercomputer/Pythia-Chat-Base-7B

加载模型可能需要一些时间，但一旦加载完成，您会看到一个提示。打个招呼吧。

$ python inference/bot.py 
Loading /home/csris/src/github.com/togethercomputer/OpenChatKit/inference/../huggingface_models/GPT-NeoXT-Chat-Base-20B to cuda:1...
Welcome to OpenChatKit shell.   Type /help or /? to list commands.

>>> Hello.
Hello human.

>>>

在提示符下输入其他查询，模型将回复。在底层，shell会将所有先前的查询组成一个提示，并将其传递给模型以生成更多文本。

shell还支持其他命令来检查超参数、完整提示等。命令以/为前缀。

注意 /quit命令退出shell。

有关参数、在多个/特定GPU上运行以及在消费级硬件上运行的更多详细信息，请参阅推理README。

微调Llama-2-7B-32K-beta

Llama-2-7B-32K-beta模型可以使用各种数据集进行微调。在本教程中，我们将使用多文档自然问题数据集和BookSum数据集。

下载并转换基础模型

要下载Llama-2-7B-32K-beta模型并为微调做准备，请从存储库的根目录运行以下命令。

python pretrained/Llama-2-7B-32K-beta/prepare.py

此模型的权重将位于pretrained/Llama-2-7B-32K-beta/togethercomputer_Llama-2-7B-32K-beta目录中。

微调模型

training/finetune_llama-2-7b-32k-mqa.sh和training/finetune_llama-2-7b-32k-booksum.sh脚本配置并运行训练循环。

要微调多文档自然问题数据集，请运行：
```
bash training/finetune_llama-2-7b-32k-mqa.sh
```

要微调BookSum数据集，请运行：

bash training/finetune_llama-2-7b-32k-booksum.sh

训练循环运行时，检查点会保存到存储库根目录的model_ckpts目录中。

有关自定义训练运行的更多详细信息，请参阅训练README。

将训练后的权重转换为Hugging Face格式

在使用此模型进行推理之前，必须将其转换为Hugging Face格式。从存储库的根目录运行以下命令来完成此操作。

例如

mkdir huggingface_models \
  && python tools/convert_to_hf_llama.py \
       --config-name togethercomputer/Llama-2-7B-32K-beta \
       --ckpt-path model_ckpts/llama-2-7b-32k-mqa/checkpoint_10 \
       --save-path huggingface_models/llama-2-7b-32k-mqa \
       --n-stages 4 \
       --n-layer-per-stage 8 \
       --fp16

其中--fp16标志将以fp16格式加载和存储模型。

确保将model_ckpts/llama-2-7b-32k-mqa/checkpoint_10替换为model_ckpts/llama-2-7b-32k-mqa或model_ckpts/llama-2-7b-32k-booksum目录中的最新检查点。

复现Pythia-Chat-Base-7B

本教程将指导您通过使用OIG数据集微调Eleuther AI的Pythia-6.9B-deduped模型来复现Pythia-Chat-Base-7B模型。

下载训练数据和基础模型

聊天模型是在LAION、Together和Ontocord.ai构建的OIG数据集上训练的。要从Hugging Face下载数据集，请从存储库的根目录运行以下命令。

python data/OIG/prepare.py

注意您可以通过贡献数据来帮助改进这个聊天模型！有关更多详细信息，请参阅OpenDataHub存储库。

命令完成后，数据将位于data/OIG/files目录中。

Pythia-Chat-Base-7B是Eleuther AI的Pythia-6.9B-deduped的微调变体。要下载模型并为微调做准备，请从存储库的根目录运行以下命令。

python pretrained/Pythia-6.9B-deduped/prepare.py

此模型的权重将位于pretrained/Pythia-6.9B-deduped/EleutherAI_pythia-6.9b-deduped目录中。

（可选）8位Adam

要在训练期间使用8位adam，请安装bitsandbytes包。

pip install bitsandbytes # 可选，用于使用8位adam

训练模型

training/finetune_Pythia-Chat-Base-7B.sh脚本配置并运行训练循环。下载数据集和基础模型后，运行：

bash training/finetune_Pythia-Chat-Base-7B.sh

训练循环运行时，检查点会保存到存储库根目录的model_ckpts目录中。

有关自定义训练运行的更多详细信息，请参阅训练README。

将权重转换为Hugging Face格式

在使用此模型进行推理之前，必须将其转换为Hugging Face格式。从存储库的根目录运行以下命令来完成此操作。

mkdir huggingface_models \
  && python tools/convert_to_hf_gptneox.py \
       --config-name EleutherAI/pythia-6.9b-deduped \
       --ckpt-path model_ckpts/Pythia-Chat-Base-7B/checkpoint_100 \
       --save-path huggingface_models/Pythia-Chat-Base-7B \
       --n-stages 4 \
       --n-layer-per-stage 8 \
       --fp16

其中--fp16标志将以fp16格式加载和存储模型。

确保将model_ckpts/Pythia-Chat-Base-7B/checkpoint_100替换为model_ckpts/Pythia-Chat-Base-7B目录中的最新检查点。

测试新模型

您可以使用OpenChatKit Shell测试工具与新模型聊天。从存储库的根目录运行

python inference/bot.py

默认情况下，脚本将加载huggingface_models目录下名为Pythia-Chat-Base-7B的模型，但您可以通过指定--model来覆盖该行为。

python inference/bot.py --model ./huggingface_models/GPT-NeoXT-Chat-Base-20B

模型加载后，在提示符下输入文本，模型将回复。

$ python inference/bot.py 
正在将 /home/csris/src/github.com/togethercomputer/OpenChatKit/inference/../huggingface_models/GPT-NeoXT-Chat-Base-20B 加载到 cuda:1...
欢迎使用 OpenChatKit 命令行。输入 /help 或 /? 列出命令。

>>> 你好。
你好，人类。

>>>

命令行还支持额外的命令来查看超参数、完整提示词等。命令以 / 开头。

注意 /quit 命令可退出命令行。

有关参数、在多个/特定 GPU 上运行以及在消费级硬件上运行的更多详细信息，请参阅推理 README。

监控

默认情况下，训练脚本只会在训练过程中打印损失值，但它也可以使用 loguru 将指标输出到文件，或者将它们报告给 Weights & Biases。

Loguru

在训练脚本中添加 --train-log-backend loguru 标志，将日志记录到 ./logs/file_{time}.log

Weights & Biases

要使用 Weights & Biases，首先使用你的 Weights & Biases 令牌登录。

wandb login

然后在训练脚本中设置 --train-log-backend wandb 以启用 Weights & Biases 日志记录。

实验性功能：检索增强模型

警告检索支持功能仍处于实验阶段。

/retrieval 目录中的代码实现了一个 Python 包，用于查询 Wikipedia 的 Faiss 索引。以下步骤说明如何使用此索引来增强测试工具中的查询，加入检索器提供的上下文。

下载 Wikipedia 索引。

python data/wikipedia-3sentence-level-retrieval-index/prepare.py

使用 --retrieval 标志运行机器人。

python inference/bot.py --retrieval

启动后，机器人将加载聊天模型和检索索引，这需要很长时间。一旦模型和索引加载完成，所有查询都将增加额外的上下文信息。

$ python inference/bot.py --retrieval
正在将 /OpenChatKit/inference/../huggingface_models/GPT-NeoXT-Chat-Base-20B 加载到 cuda:0...
正在加载检索索引...
欢迎使用 OpenChatKit 命令行。输入 /help 或 /? 列出命令。

>>> 苏黎世在哪里？
苏黎世在哪里？
苏黎世位于瑞士。

>>>

另请参阅

docs/GPT-NeoXT-Chat-Base-20B.md。OpenChatKit 还提供了一个更大的 20B 参数聊天模型，该模型是在 Eleuther AI 的 GPT-NeoXT-Chat-Base-20B 基础上训练而成。

许可证

版权所有 2023 Together Computer

根据 Apache 许可证 2.0 版（"许可证"）授权；
除非遵守许可证，否则您不得使用此文件。
您可以在以下位置获取许可证副本：

   http://www.apache.org/licenses/LICENSE-2.0

除非适用法律要求或书面同意，否则根据许可证分发的软件是基于
"按原样"分发的，不附带任何明示或暗示的担保或条件。
有关许可证下的特定语言管理权限和限制，请参阅许可证。

本仓库还包含由其他多位作者编写的代码。这些贡献已标明，并在适当的地方包含了相关的许可。

有关完整条款，请参阅 LICENSE 文件。如果您对许可有任何问题、意见或疑虑，请联系我们。

引用 OpenChatKit

@software{openchatkit,
  title = {{OpenChatKit: 用于对话式应用的开放工具包和基础模型}},
  author = {Together Computer},
  url = {https://github.com/togethercomputer/OpenChatKit}
  month = {3},
  year = {2023},
  version = {0.15},
}