CrossFormer:基于跨尺度注意力的多功能视觉Transformer

CrossFormer:基于跨尺度注意力的多功能视觉Transformer

CrossFormer是由浙江大学和腾讯AI实验室联合提出的一种创新的视觉Transformer模型,旨在解决现有视觉Transformer在处理不同尺度特征时的局限性。该模型通过巧妙的设计实现了跨尺度注意力机制,在多个计算机视觉任务中展现出优异的性能。

核心创新

CrossFormer的核心创新主要体现在以下几个方面:

1. 跨尺度嵌入层(CEL) CEL将每个输入嵌入与多个不同尺度的特征进行融合,为自注意力模块提供了跨尺度的特征信息。

2. 长短距离注意力(L/SDA) L/SDA将自注意力模块分为短距离注意力和长距离注意力两部分,既降低了计算复杂度,又保留了小尺度和大尺度的特征信息。

3. 动态位置偏置(DPB) DPB模块使相对位置偏置能够适应不同大小的图像输入,增强了模型的灵活性。

这些设计使CrossFormer能够有效地捕捉不同尺度对象/特征之间的关系,从而在多个视觉任务中取得优异表现。

模型架构

CrossFormer采用了金字塔结构,将整个模型分为四个阶段:

1. 每个阶段都包含一个跨尺度嵌入层(CEL)和多个CrossFormer块。
2. CEL接收上一阶段的输出(或原始图像)作为输入,生成跨尺度嵌入。
3. 除第一阶段外,每个阶段的CEL会将嵌入数量减少到四分之一,同时将维度翻倍,形成金字塔结构。
4. CrossFormer块包含长短距离注意力(L/SDA)模块和多层感知机(MLP)。
5. 最后一个阶段后跟一个特定任务的头部网络。

实验结果

CrossFormer在多个视觉任务中展现出优异的性能:

1. 图像分类 在ImageNet-1K数据集上,CrossFormer的各个变体(从小到大)都取得了优于同等规模基线模型的结果。例如,CrossFormer-S(30.7M参数)达到82.5%的Top-1准确率,明显优于ResNet-50(76.2%)和RegNetY-8G(81.7%)。

2. 目标检测和实例分割 在COCO 2017数据集上,以RetinaNet为检测头时,CrossFormer-S(40.8M参数)在box AP上达到44.4,显著优于ResNet-101(38.5)。使用Mask R-CNN时,CrossFormer-S在box AP和mask AP上分别达到45.4和41.4,同样大幅领先于ResNet-101。

3. 语义分割 在ADE20K数据集上,使用UPerNet作为分割头时,CrossFormer-S(62.3M参数)在mIoU上达到47.6%,远超ResNet-101(44.9%)。

这些结果充分证明了CrossFormer在处理跨尺度特征方面的优势,尤其在密集预测任务(如目标检测和分割)中表现更为突出。研究者认为,这是因为图像分类主要关注单个对象和大尺度特征,而密集预测任务更依赖于跨尺度的注意力机制。

总结与展望

CrossFormer通过创新的跨尺度注意力机制,成功解决了现有视觉Transformer在处理不同尺度特征时的局限性。它在多个视觉任务中的出色表现,展示了该模型的versatility和潜力。未来,CrossFormer有望在更多复杂的视觉任务中发挥作用,推动计算机视觉领域的进一步发展。

研究者们也在持续改进CrossFormer,如最新提出的CrossFormer++引入了渐进式组大小(PGS)策略和激活冷却层(ACL),进一步提升了模型的性能和计算效率。这些进展表明,基于跨尺度注意力的视觉Transformer仍有广阔的研究空间和应用前景。