CDial-GPT入门学习资料汇总 - 大规模中文对话预训练模型

CDial-GPT入门学习资料汇总

CDial-GPT是清华大学人工智能研究院COAI实验室开发的一个大规模中文对话预训练模型项目。它提供了一个高质量的中文短文本对话数据集LCCC,以及在此数据集上预训练的中文GPT对话模型。本文将介绍CDial-GPT的相关学习资源,帮助读者快速上手使用这一优秀的中文对话模型。

项目简介

CDial-GPT项目主要包含两部分内容:

1. LCCC(Large-scale Cleaned Chinese Conversation)数据集:一个经过严格清洗的大规模中文对话数据集,包括LCCC-base和LCCC-large两个版本。

2. 中文对话预训练模型:基于LCCC数据集预训练的中文GPT对话模型,可用于各种对话生成任务。

项目地址:https://github.com/thu-coai/CDial-GPT

数据集资源

LCCC数据集分为base和large两个版本:

• LCCC-base:

  • 百度网盘: https://pan.baidu.com/s/1gKnFukU6OJl-wSdukK-wUw?pwd=9p23
  • Google Drive: https://drive.google.com/file/d/1oobhYW_S_vPPzP5bLAUTIm7TaRzryxgW/view?usp=sharing

• LCCC-large:

  • 百度网盘: https://pan.baidu.com/s/1Y_cFEWXrNapBRCV0OOlBGg?pwd=zdmn
  • Google Drive: https://drive.google.com/file/d/1hhxXqEqmXegf8Ca0MVQyVshlEi7hsjPi/view?usp=sharing

数据集的详细统计信息可以在项目README中查看。

🔍 LCCC数据集还可以通过Hugging Face的datasets库直接加载使用:

from datasets import load_dataset
dataset = load_dataset("lccc", "base")  # 或 "large"

预训练模型

CDial-GPT提供了多个版本的预训练模型:

1. CDial-GPT_LCCC-base: 在LCCC-base上训练的GPT模型 https://huggingface.co/thu-coai/CDial-GPT_LCCC-base

2. CDial-GPT2_LCCC-base: 在LCCC-base上训练的GPT2模型
   https://huggingface.co/thu-coai/CDial-GPT2_LCCC-base

3. CDial-GPT_LCCC-large: 在LCCC-large上训练的GPT模型 https://huggingface.co/thu-coai/CDial-GPT_LCCC-large

这些模型可以通过Hugging Face的transformers库直接加载使用。

使用教程

1. 安装

git clone https://github.com/thu-coai/CDial-GPT.git
cd CDial-GPT
pip install -r requirements.txt

2. 加载预训练模型

from transformers import BertTokenizer, OpenAIGPTLMHeadModel

tokenizer = BertTokenizer.from_pretrained("thu-coai/CDial-GPT_LCCC-base")
model = OpenAIGPTLMHeadModel.from_pretrained("thu-coai/CDial-GPT_LCCC-base")

3. 模型微调

准备数据集(如STC数据集),然后运行:

python train.py --pretrained --model_checkpoint thu-coai/CDial-GPT_LCCC-large --data_path data/STC.json --scheduler linear

4. 对话生成

python interact.py --model_checkpoint YOUR_MODEL_PATH

更多详细的使用说明可以参考项目README和源代码。

相关论文

如果CDial-GPT对您的研究有帮助,请引用以下论文:

@inproceedings{wang2020chinese,
  title={A Large-Scale Chinese Short-Text Conversation Dataset},
  author={Wang, Yida and Ke, Pei and Zheng, Yinhe and Huang, Kaili and Jiang, Yong and Zhu, Xiaoyan and Huang, Minlie},
  booktitle={NLPCC},
  year={2020},
  url={https://arxiv.org/abs/2008.03946}
}

论文地址:https://arxiv.org/abs/2008.03946

总结

CDial-GPT为中文对话系统研究提供了宝贵的数据和模型资源。通过本文介绍的各种学习资料,相信读者可以快速上手使用CDial-GPT,并将其应用到自己的研究工作中。如果在使用过程中遇到问题,也可以在项目的GitHub Issues中寻求帮助。

希望本文对您了解和使用CDial-GPT有所帮助!如果您对中文对话系统感兴趣,CDial-GPT绝对是一个值得深入研究的优秀项目。