ParlAI

ParlAI（发音为"par-lay"）是一个Python框架，用于共享、训练和测试对话模型，涵盖从开放域闲聊到任务导向对话，再到视觉问答等领域。

其目标是为研究人员提供：

100多个流行数据集集中在一处，使用相同的API，其中包括PersonaChat、DailyDialog、Wizard of Wikipedia、Empathetic Dialogues、SQuAD、MS MARCO、QuAC、HotpotQA、QACNN & QADailyMail、CBT、BookTest、bAbI Dialogue tasks、Ubuntu Dialogue、OpenSubtitles、Image Chat、VQA、VisDial和CLEVR。完整列表请查看这里。
广泛的参考模型 -- 从检索基线到Transformer模型。
大量可直接使用的预训练模型动物园
与亚马逊机械土耳其(Amazon Mechanical Turk)无缝集成，用于数据收集和人工评估
与Facebook Messenger集成，使智能体能够与人类在聊天界面中连接
大量辅助工具来创建您自己的智能体并通过多任务学习在多个任务上进行训练
多模态，一些任务使用文本和图像

ParlAI在以下论文中有详细描述： "ParlAI: A Dialog Research Software Platform", arXiv:1705.06476 或查看这些更新的幻灯片。

关注我们的Twitter并查看我们的发布说明以获取有关新功能和更新的最新信息，以及网站http://parl.ai以获取更多文档。有关更新的存档列表，请查看NEWS.md。

交互式教程

对于想立即开始使用ParlAI的人，您可以尝试我们的Colab教程。

安装ParlAI

操作系统

ParlAI应该在Linux或macOS下正常工作。我们目前不支持Windows，但许多用户报告在使用Python 3.8时在Windows上成功运行，而在Python 3.9上存在问题。我们欢迎改进Windows支持的补丁。

Python解释器

ParlAI目前需要Python3.8+。

要求

ParlAI支持Pytorch 1.6或更高版本。核心模块的所有要求都列在requirements.txt中。然而，一些包含的模型（在parlai/agents中）有额外的要求。

虚拟环境

我们强烈建议您使用venv或conda在虚拟环境中安装ParlAI。

最终用户安装

如果您想不做修改地使用ParlAI，可以使用以下命令安装：

cd /path/to/your/parlai-app
python3.8 -m venv venv
venv/bin/pip install --upgrade pip setuptools wheel
venv/bin/pip install parlai

开发者安装

许多用户可能希望修改ParlAI的某些部分。要设置开发环境，请运行以下命令来克隆存储库并安装ParlAI：

git clone https://github.com/facebookresearch/ParlAI.git ~/ParlAI
cd ~/ParlAI
python3.8 -m venv venv
venv/bin/pip install --upgrade pip setuptools wheel
venv/bin/python setup.py develop

注意有时由于依赖关系（特别是与PyTorch相关的包），从源代码安装可能会失败。在这种情况下，尝试建立一个新的conda环境并运行类似以下的命令： conda install pytorch==2.0.0 torchvision torchaudio torchtext pytorch-cuda=11.8 -c pytorch -c nvidia。请根据您的CUDA和操作系统版本检查torch设置文档。

所有需要的数据将被下载到~/ParlAI/data。如果您需要清理这些文件占用的空间，可以安全地删除这些目录，任何需要的文件将在需要时再次下载。

文档

示例

parlai/scripts中可以找到大量脚本。以下是其中的一些。注意：如果这些示例中的任何一个失败，请查看安装部分，看看是否遗漏了什么。

显示SQuAD任务中的10个随机示例

parlai display_data -t squad

在Personachat任务的验证集上评估IR基线模型：

parlai eval_model -m ir_baseline -t personachat -dt valid

在PersonaChat上训练单层transformer（需要pytorch和torchtext）。详细信息：嵌入大小300，4个注意力头，使用批量大小64训练2个epoch，词向量使用fasttext初始化，批次中的其他元素在训练时用作负样本。

parlai train_model -t personachat -m transformer/ranker -mf /tmp/model_tr6 --n-layers 1 --embedding-size 300 --ffn-size 600 --n-heads 4 --num-epochs 2 -veps 0.25 -bs 64 -lr 0.001 --dropout 0.1 --embedding-type fasttext_cc --candidates batch

代码组织

代码分为几个主要目录：

core：包含框架的主要代码
agents：包含可以与不同任务交互的代理（例如机器学习模型）
scripts：包含许多有用的脚本，如训练、评估、交互聊天等
tasks：包含ParlAI内部可用的不同任务的代码
mturk：包含设置Mechanical Turk的代码，以及样例MTurk任务
messenger：包含与Facebook Messenger接口的代码
utils：包含大量常用的实用方法
crowdsourcing：包含运行众包任务的代码，如在Amazon Mechanical Turk上
chat_service：包含与Facebook Messenger等服务接口的代码
zoo：包含直接下载和使用我们模型库中预训练模型的代码

支持

如果您有任何问题、错误报告或功能请求，请随时在我们的Github问题页面上发帖。您可能还对查看我们的FAQ和技巧和窍门感兴趣。

请记住遵守我们的行为准则。

贡献

我们欢迎社区提交PR！

您可以在我们的贡献文档中找到有关为ParlAI做出贡献的信息。

团队

ParlAI目前由Moya Chen、Emily Dinan、Dexter Ju、Mojtaba Komeili、Spencer Poff、Pratik Ringshia、Stephen Roller、Kurt Shuster、Eric Michael Smith、Megan Ung、Jack Urbanek、Jason Weston、Mary Williamson和Jing Xu维护。Kurt Shuster是当前的技术负责人。

以前的主要贡献者和维护者包括Alexander H. Miller、Margaret Li、Will Feng、Adam Fisch、Jiasen Lu、Antoine Bordes、Devi Parikh、Dhruv Batra、Filipe de Avila Belbute Peres、Chao Pan和Vedant Puri。

引用

如果您在工作中使用ParlAI，请引用arXiv论文：

@article{miller2017parlai,
  title={ParlAI: A Dialog Research Software Platform},
  author={{Miller}, A.~H. and {Feng}, W. and {Fisch}, A. and {Lu}, J. and {Batra}, D. and {Bordes}, A. and {Parikh}, D. and {Weston}, J.},
  journal={arXiv preprint arXiv:{1705.06476}},
  year={2017}
}