可逆列网络

这个仓库是以下论文的官方实现：

可逆列网络

蔡宇轩、周亦庄、韩琦、孙建建、孔祥文、李俊、张祥雨
旷视科技
2023年国际学习表示会议（ICLR）
[arxiv]

RevColV2：探索遮蔽图像建模中的解耦表示

韩琦、蔡宇轩、张祥雨
旷视科技
[arxiv]

更新

2023年9月6日
RevColv2将很快发布！

2023年3月15日
用于分割任务的RevCol Huge检查点已发布！添加了可视化工具。

2023年3月9日
检测、分割代码和模型权重已发布。

2023年2月10日
RevCol模型权重已发布。

2023年1月21日
RevCol被ICLR 2023接收！

2022年12月23日
初始提交：ImageNet-1k和ImageNet-22k分类的代码已发布。

待办事项

• ImageNet-1K和22k训练代码
• ImageNet-1K和22k模型权重
• Cascade Mask R-CNN COCO目标检测代码和模型权重
• ADE20k语义分割代码和模型权重

简介

RevCol由多个子网络副本组成，分别称为列，它们之间采用多层可逆连接。RevCol可以作为计算机视觉中各种任务的基础模型骨干，包括分类、检测和分割。

<p align="center"> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/07a6dae6-a52c-45fa-8961-4b6d0bd170cd.png" width=100% height=100% class="center"> </p>

在ImageNet上使用预训练模型的主要结果

名称	预训练	分辨率	参数数量	FLOPs	acc@1	预训练模型	微调模型
RevCol-T	ImageNet-1K	224x224	30M	4.5G	82.2	百度网盘/github	-
RevCol-S	ImageNet-1K	224x224	60M	9.0G	83.5	百度网盘/github	-
RevCol-B	ImageNet-1K	224x224	138M	16.6G	84.1	百度网盘/github	-
RevCol-B<sup>*</sup>	ImageNet-22K	224x224	138M	16.6G	85.6	百度网盘/github	百度网盘/github
RevCol-B<sup>*</sup>	ImageNet-22K	384x384	138M	48.9G	86.7	百度网盘/github	百度网盘/github
RevCol-L<sup>*</sup>	ImageNet-22K	224x224	273M	39G	86.6	百度网盘/github	百度网盘/github
RevCol-L<sup>*</sup>	ImageNet-22K	384x384	273M	116G	87.6	百度网盘/github	百度网盘/github
RevCol-H<sup>*+</sup>	Megdata-168M	预训练 224 / 微调 640	2.1B	2537	90.0	huggingface	huggingface

快速开始

请参考 INSTRUCTIONS.md 获取设置、训练和评估的详细信息。

致谢

本仓库受到了多个开源项目的启发。我们感谢这些优秀的项目，并将它们列举如下：

• timm
• Swin Transformer
• ConvNeXt
• beit

许可证

RevCol 在 Apache 2.0 许可证下发布。

联系我们

如果您对这个仓库或原始论文有任何问题，请联系蔡宇轩，邮箱：caiyuxuan@megvii.com。

引用

@inproceedings{cai2022reversible,
  title={Reversible Column Networks},
  author={Cai, Yuxuan and Zhou, Yizhuang and Han, Qi and Sun, Jianjian and Kong, Xiangwen and Li, Jun and Zhang, Xiangyu},
  booktitle={International Conference on Learning Representations},
  year={2023},
  url={https://openreview.net/forum?id=Oc2vlWU0jFY}
}