WebCPM

<div align="center"> <h1>WebCPM</h1> </div>

✨ 这是ACL 2023论文基于交互式网络搜索的中文长文本问答的实现

快速链接

快速链接
概述
环境要求
准备工作
- 准备数据
- 准备模型
训练WebCPM
单任务评估
对新问题运行WebCPM
- 交互式网络搜索
- 基于管道的网络搜索
数据标注平台搭建
问题或疑问？
工具学习资源
引用

概述

在这项工作中,我们提出了WebCPM,一个使用中文预训练模型进行交互式网络搜索的项目。我们开发了一个网络搜索界面,可以收集人类的网络搜索行为。然后我们微调了参数量高达100亿的PLM模型,以模仿人类的网络搜索行为并基于收集的事实生成答案。我们开源了网络搜索界面、数据集、实现代码和模型参数。

环境要求

要运行我们的代码,请使用以下命令安装所有依赖包:

pip install -r requirements.txt

注意:不同版本的包(如pytorch)可能会导致与论文中不同的结果。但是,无论使用哪个版本的包,趋势应该仍然保持一致。

准备工作

准备数据

首先从Google Drive下载数据,并将文件interactive_data和pipeline_data放到./data目录下,或者运行以下命令:

下载的文件包含以下内容:

interactive_data/data.json是论文实验中使用的数据集(总共5500个实例)。 interactive_data/data_zhihu.json是与本文一起收集的额外数据集(约900个实例),问题来源于知乎,你可以用它来进行数据增强。

请使用以下代码将上述数据分割为训练集、开发集和测试集(设置--add_zhihu将添加data_zhihu.json)。

cd data/interactive_data
python split.py --add_zhihu

除了交互式网络搜索数据外,我们还提供了训练基于管道的网络搜索所需的数据集:pipeline_data(总共11万个实例)。所有数据都是通过提示text-davinci-003(同时使用了Bing搜索引擎)创建,然后由人工标注员手动筛选。(注意这部分未包含在论文中,你不需要将其分割为训练/开发/测试集。)

准备模型

WebCPM基于CPM-bee,参数量高达100亿,是社区中最大的中文预训练语言模型之一。我们使用了CPM-bee的早期版本,称为cpm_10b_webcpm_exp.pt。CPM-bee的最新版本托管在New-CPM-bee。你可能需要替换新版本的cpm-live包。注意模型检查点尚未针对任何下游任务进行微调。要获取cpm_10b_webcpm_exp.pt,你可以从清华云下载模型参数,或运行以下脚本:

cd models
bash download_model_initial_model.sh

上述代码会在models目录下载100亿参数(未微调)的模型,对于微调后的管道模型,请参考download_model_pipeline_finetuned.sh,或从清华云手动下载。

训练WebCPM

我们提供了两个版本的WebCPM:(1)交互式网络搜索(ACL论文中提出的方法)和(2)基于管道的网络搜索,更易于部署(这种方法未在论文中报告)。两个版本使用不同的脚本生成训练数据,但使用相同的代码进行模型训练。

基于管道的网络搜索简介

工作流程包括四个阶段:(1)首先,根据原始问题生成可能的搜索查询;(2)然后对每个搜索查询,调用Bing搜索并访问前K个网页;(3)对每个网页,提取重要信息;(4)基于所有记录的信息,生成连贯详细的答案。所有这些任务都以多任务方式进行训练,请参考run_web_browsing/run_pipeline.py。有关交互式网络搜索的详细信息,请参阅我们的原始论文。

数据预处理

在开始之前,运行以下代码:

export PYTHONPATH=/**your-base-path**/webcpm

训练数据生成如下(我们区分了交互式网络搜索和基于管道的方法)。以下代码将在相应文件夹中生成train_data、dev_data和test_data,这些数据将在训练期间加载。

交互式网络搜索的训练数据生成

首先,使用以下代码构建合成模型的数据:

cd dataset_interactive
python make_data_synthesis_model.py --data_path ../../data/interactive_data  --augment_qa_data --augment_data_path ../../data/pipeline_data

我们解释一些参数如下:

data_path:源数据路径。
augment_qa_data:是否使用text-davinci自动生成的问答数据来增强训练数据。(要复现我们论文中的结果,请不要添加此参数)
augment_data_path:增强训练数据的数据路径。

搜索模型的训练数据生成如下:

python make_data_search_model.py --add_query --add_action --add_abstract --abstract_all_tokens

我们解释一些参数如下:

data_path:源数据路径。
add_query:如果为True,将添加查询生成数据。
add_abstract:如果为True,将添加生成支持事实提取数据。
abstract_all_tokens:如果为True,支持事实提取模块将生成所有标记,而不仅仅是前几个/最后几个标记。
add_action:如果为True,将添加动作预测数据。
add_synthesis:如果为True,将加载合成模型的本地数据。注意你必须首先运行python make_data_synthesis_model.py以获取合成数据,然后才能在此处添加此参数。

如果你想以多任务方式训练所有子任务,只需添加所有上述参数;否则,只添加一个参数(例如,--add_query)进行单任务测试。

基于管道的网络搜索的训练数据生成

请运行以下代码:

cd dataset_pipeline
python make_data.py

训练

要训练WebCPM,运行以下代码:

cd training
export PYTHONPATH=/**your-base-path**/webcpm
export CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7
GPUS_PER_NODE=$(echo $CUDA_VISIBLE_DEVICES | tr ',' '\n' | wc -l | xargs)
echo "Number of visible devices: $GPUS_PER_NODE, should be the same as visible devices"

set -ex

MASTER_ADDR=localhost
MASTER_PORT=3239
NNODES=1
NODE_RANK=0

OPTS=""
OPTS+=" --model-config config/cpm-bee-10b.json"
OPTS+=" --dataset ../data/dataset_interactive/train_data"
OPTS+=" --dataseteval ../data/dataset_interactive/dev_data"
OPTS+=" --epoch 5"
OPTS+=" --batch-size 8"
OPTS+=" --train-iters 100"
OPTS+=" --save-name webcpm_finetuned"
OPTS+=" --max-length 2560"
OPTS+=" --save ../models/"
OPTS+=" --lr 0.0001"
OPTS+=" --inspect-iters 100"
OPTS+=" --warmup-iters 1"
OPTS+=" --save-epochs 1"
OPTS+=" --lr-decay-style noam"
OPTS+=" --weight-decay 0.01"
OPTS+=" --clip-grad 1.0"
OPTS+=" --loss-scale 32768"
OPTS+=" --start-step 0"
OPTS+=" --load ../models/cpm_10b_webcpm_exp.pt"

CMD="torchrun --nnodes=${NNODES} --nproc_per_node=${GPUS_PER_NODE} --rdzv_id=1 --rdzv_backend=c10d --rdzv_endpoint=${MASTER_ADDR}:${MASTER_PORT} finetune_cpm_bee.py ${OPTS}"

echo ${CMD}
$CMD

我们解释一些参数如下:

dataset和dataseteval：处理后文件的路径。对于交互式网络搜索，是dataset_interactive，而对于基于流水线的方法，是dataset_pipeline。
batch-size：单个GPU的批次大小，实际批次大小将是GPU数量 x 每个GPU的批次大小。
max-length：数据的最大序列长度（不是模型的），超过此长度的训练实例将被丢弃。
save-name和save：保存微调模型的路径和保存的模型检查点名称。
epoch：训练轮数。
load：预训练模型检查点的路径（本例中为cpmb）。

无论你训练哪个模块（或多任务设置），都可以使用上述代码。我们在8个80G A100上训练，你可以根据你的GPU设备调整批次大小，性能对超参数不敏感。

单任务评估

要评估不同的子任务，你可以先运行以下代码，获取微调模型在测试数据上的预测结果：

cd inference
python inference.py --test_file ../training/dataset_interactive/test.txt --output_file output/test_predictions.json --ckpt_path **你的微调检查点.pt

我们解释一些参数如下：

test_file：测试文件的路径，应该在数据预处理期间生成。
output_file：你想写入预测结果的路径。
ckpt_path：你的微调模型的路径。

获得测试文件的预测结果后，你可以运行以下代码进行单任务评估：

python evaluate.py --input_file output/test_predictions.txt --evaluate_action

我们解释一些参数如下：

input_file：你写入测试文件预测结果的路径。
evaluate_action：是否要评估动作预测任务（F1）。
evaluate_query：是否要评估搜索查询生成任务（Rouge-L）。
evaluate_abstract：是否要评估支持事实提取任务（Rouge-L）。
abstract_all_tokens：你训练模型进行支持事实提取的模式，如果生成所有标记，添加此参数（Rouge-L）。
evaluate_answer：是否要评估答案综合任务（Rouge-L）。
beam_size：将束搜索大小设为1会显著加快推理速度，但会稍微影响性能。

对新问题运行WebCPM

这是整个流水线评估的实现。你可以使用以下代码为新问题生成答案。注意，这需要你先从这里获取Bing搜索API密钥，然后运行以下代码：

cd run_web_browsing
export PYTHONPATH=/**基础路径**/webcpm
export BING_SEARCH_KEY="**你的Bing搜索API密钥**"

交互式网络搜索

python run_interactive.py --data_path predictions/test_interactive.json --ckpt_path **你的检查点**

基于流水线的网络搜索

python run_pipeline.py --data_path predictions/test.json --ckpt_path **你的检查点**

我们解释一些参数如下：

data_path：你写入预测结果的路径。
ckpt_path：使用基于流水线方法训练的检查点路径。

数据标注平台构建

我们开源了我们的网络搜索界面，你可以用它进行数据标注。请参考标注。目前代码有些混乱，我们很快会上传一个更整洁的版本。

问题或疑问？

如果你有任何与代码或论文相关的问题，请联系Yujia（qyj20@mails.tsinghua.edu.cn）或提出issue。

工具学习资源

随着基础模型强大能力的发展，我们热切期待它们在操作各种工具方面的应用。WebCPM是一个典型的研究尝试。更多资源，请参考以下内容：

BMTools。[项目]
工具学习。[论文]
工具学习论文列表。[项目]

引用

如果你发现我们的WebCPM有用，请使用以下引用：

@inproceedings{qin2023webcpm,
    title = "WebCPM: Interactive Web Search for Chinese Long-form Question Answering",
    author={Yujia Qin and Zihan Cai and Dian Jin and Lan Yan and Shihao Liang and Kunlun Zhu and Yankai Lin and Xu Han and Ning Ding and Huadong Wang and Ruobing Xie and Fanchao Qi and Zhiyuan Liu and Maosong Sun and Jie Zhou},
    booktitle = "Proceedings of ACL 2023",
    year = "2023",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/2305.06849",
}