mae_st

掩码自编码器作为时空学习器：PyTorch实现

<p align="center"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/8d817133-4cf0-452f-ac0c-2bd4ce137e05.png" width="560"> </p>

这是论文《掩码自编码器作为时空学习器》的PyTorch/GPU重新实现：

@Article{MaskedAutoencodersSpatiotemporal2022,
  author  = {Christoph Feichtenhofer and Haoqi Fan and Yanghao Li and Kaiming He},
  journal = {arXiv:2205.09113},
  title   = {Masked Autoencoders As Spatiotemporal Learners},
  year    = {2022},
}

支持AVA和SSv2下游评估的另一个实现可在PySlowFast中找到。

• 本仓库是对MAE仓库的修改。安装和准备步骤请参考INSTALL.md。

• 本仓库基于timm==0.3.2，需要应用修复以与PyTorch 1.8.1+兼容。

目录

• 可视化演示
• 预训练检查点 + 微调代码 + 测试代码
• 预训练代码

可视化演示

对同一视频使用95%（左）和98%（右）掩码率的MAE输出可视化。

<div align="center"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/3d301f07-af00-49e5-95f2-9d2af00a3b4b.gif" width="400px"/> <img src="https://yellow-cdn.veclightyear.com/835a84d5/b0475e5d-05cb-465a-9151-57f23eb5c503.gif" width="400px"/> </div> <div align="center"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/832e98ab-60d7-42fe-8817-2549feeae9a4.gif" width="400px"/> <img src="https://yellow-cdn.veclightyear.com/835a84d5/1558faa2-ab91-4687-9e16-7c76940c4e32.gif" width="400px"/> </div> <div align="center"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/114a725c-8ef5-4fc1-bef3-269a94d1a997.gif" width="400px"/> <img src="https://yellow-cdn.veclightyear.com/835a84d5/e594b1b7-ff80-4897-837f-8fda6b6f4af1.gif" width="400px"/> </div> <div align="center"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/9e82e2f5-f1d0-4fa2-b29d-236f1e71471c.gif" width="400px"/> <img src="https://yellow-cdn.veclightyear.com/835a84d5/cf08f75b-b50c-4d53-a157-0f8813c57980.gif" width="400px"/> </div> <div align="center"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/a04d995e-2aae-49d5-8d40-950cb0ded3f9.gif" width="400px"/> <img src="https://yellow-cdn.veclightyear.com/835a84d5/c4f3adad-5b84-48ce-b6d3-6cc3201ec52c.gif" width="400px"/> </div>

使用Colab笔记本运行我们的交互式可视化演示（无需GPU）：

<p align="center"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/1cf286c2-2f29-4976-960c-874458a9ff7e.png" width="600"> </p>

使用预训练检查点进行微调

下表提供了论文中使用的预训练检查点，使用90%掩码率和1600个有效轮次进行预训练，从PySlowFast代码库转换而来：

<table><tbody> <!-- START TABLE --> <!-- TABLE HEADER --> <th valign="bottom"></th> <th valign="bottom">ViT-Large</th> <th valign="bottom">ViT-Huge</th> <!-- TABLE BODY --> <tr><td align="left">Kinetics-400预训练检查点</td> <td align="center"><a href="https://dl.fbaipublicfiles.com/video-mae/pretrain/mae_pretrain_vit_large_k400.pth">下载</a></td> <td align="center"><a href="https://dl.fbaipublicfiles.com/video-mae/pretrain/mae_pretrain_vit_huge_k400.pth">下载</a></td> </tr> <tr><td align="left">md5</td> <td align="center"><tt>edf3a5</tt></td> <td align="center"><tt>3d7f64</tt></td> </tr> </tbody></table> <table><tbody> <!-- START TABLE --> <!-- TABLE HEADER --> <th valign="bottom"></th> <th valign="bottom">ViT-Large</th> <th valign="bottom">ViT-Huge</th> <tr><td align="left">Kinetics-600预训练检查点</td> <td align="center"><a href="https://dl.fbaipublicfiles.com/video-mae/pretrain/mae_pretrain_vit_large_k600.pth">下载</a></td> <td align="center"><a href="https://dl.fbaipublicfiles.com/video-mae/pretrain/mae_pretrain_vit_huge_k600.pth">下载</a></td> </tr> <tr><td align="left">md5</td> <td align="center"><tt>9a9645</tt></td> <td align="center"><tt>27495e</tt></td> </tr> </tbody></table> <table><tbody> <!-- START TABLE --> <!-- TABLE HEADER --> <th valign="bottom"></th> <th valign="bottom">ViT-Large</th> <th valign="bottom">ViT-Huge</th> <tr><td align="left">Kinetics-700预训练检查点</td> <td align="center"><a href="https://dl.fbaipublicfiles.com/video-mae/pretrain/mae_pretrain_vit_large_k700.pth">下载</a></td> <td align="center"><a href="https://dl.fbaipublicfiles.com/video-mae/pretrain/mae_pretrain_vit_huge_k700.pth">下载</a></td> </tr> <tr><td align="left">md5</td> <td align="center"><tt>cdbada</tt></td> <td align="center"><tt>4c4e3c</tt></td> </tr> </tbody></table>

微调说明请参见FINETUNE.md。

预训练

预训练说明请参见PRETRAIN.md。

许可证

本项目采用CC-BY-NC 4.0许可证。详情请参见LICENSE。