双线性注意力网络

⚠️ 很遗憾,由于材料丢失,我无法进行维护。我正将此仓库存档以供参考

这个仓库是双线性注意力网络的实现,用于视觉问答和Flickr30k Entities任务。

对于视觉问答任务,我们的单一模型在VQA 2.0测试标准集上达到了70.35的成绩,15个模型的集成达到了71.84的成绩。对于Flickr30k Entities任务,我们的单一模型在Recall@1、5和10上分别达到了69.88 / 84.39 / 86.40的成绩(略优于原始论文)。详情请参阅我们的技术报告。

这个仓库基于并受到了@hengyuan-hu的工作的启发。我们衷心感谢他们分享代码。

双线性注意力网络概览

更新

使用torch.einsum的双线性注意力网络,向后兼容。(2019年3月12日)
现在兼容PyTorch v1.0.1。(2019年3月12日)

先决条件

你可能需要一台配备4个GPU、64GB内存和适用于Python 3的PyTorch v1.0.1的机器。

安装带CUDA的PyTorch和Python 3.6。
安装h5py。

警告:不要使用PyTorch v1.0.0,因为一个bug会导致性能下降。

VQA

预处理

我们的实现使用了来自bottom-up-attention的预训练特征,每张图像自适应提取10-100个特征。此外还使用了GloVe向量。为了简化,下面的脚本可以帮助你避免麻烦。

所有数据都应下载到此仓库根目录下的data/目录中。

下载数据最简单的方法是从仓库根目录运行提供的脚本tools/download.sh。如果脚本不起作用,应该很容易检查脚本并根据你的需要修改其中概述的步骤。然后从仓库根目录运行tools/process.sh来将数据处理成正确的格式。

现在,你应该手动下载以下选项(用于我们最好的单一模型)。

我们使用部分Visual Genome数据集进行数据增强。需要将版本1.2的图像元数据和问答放在data/中。

我们使用MS COCO字幕来提取语义相关的词,用于扩展词嵌入,同时还使用VQA 2.0和Visual Genome的问题。你可以在这里下载。由于这些字幕的贡献较小,你可以通过删除这一行中target选项的cap元素来跳过MS COCO字幕的处理。

计数模块(Zhang et al., 2018)作为counting.py集成在此仓库中,方便使用。源仓库可以在@Cyanogenoid的vqa-counting中找到。

训练

$ python3 main.py --use_both True --use_vg True

开始训练(分别为训练/验证集分割和使用Visual Genome进行训练的选项)。每个epoch都会打印训练和验证分数,最佳模型将保存在"saved_models"目录下。默认超参数应该能给你单一模型的最佳结果,在测试开发集上约为70.04。

验证

如果你使用训练集训练了一个模型

$ python3 main.py

那么你可以使用适当的选项运行evaluate.py来评估它在验证集上的分数。

预训练模型

我们提供了论文中报告的最佳单一模型的预训练模型(测试开发集70.04,测试标准集70.35)。

请下载链接并移动到saved_models/ban/model_epoch12.pth(你可能会遇到确认页面重定向)。训练日志可以在这里找到。

$ python3 test.py --label mytest

结果json文件将在results/目录中找到。

不使用Visual Genome增强

不使用Visual Genome增强,我们在测试开发集上得到69.50(8个模型的平均值,标准差为0.096)。我们使用8glimpse模型,学习率从0.001开始(请查看这个变化以获得更好的结果),13个epoch,批量大小为256。

Flickr30k Entities

预处理

你必须手动下载注释和句子文件到data/flickr30k/Flickr30kEntities.tar.gz。然后从仓库根目录运行提供的脚本tools/download_flickr.sh和tools/process_flickr.sh,类似于VQA的情况。注意,Flickr30k的图像特征是使用bottom-up-attention预训练模型生成的。

训练

$ python3 main.py --task flickr --out saved_models/flickr

开始训练。不应用--gamma选项。默认超参数应该能让你在测试集上的Recall@1达到约69.6。

验证

请下载链接并移动到saved_models/flickr/model_epoch5.pth(你可能会遇到确认页面重定向)。

$ python3 evaluate.py --task flickr --input saved_models/flickr --epoch 5

评估测试集上的分数。

故障排除

请查看故障排除wiki和以前的问题历史。

引用

如果你在任何已发表的研究中使用了这份代码,我们将非常感谢你引用以下论文:

@inproceedings{Kim2018,
author = {Kim, Jin-Hwa and Jun, Jaehyun and Zhang, Byoung-Tak},
booktitle = {Advances in Neural Information Processing Systems 31},
title = {{Bilinear Attention Networks}},
pages = {1571--1581},
year = {2018}
}