OpenTAD：开源时序动作检测工具箱

OpenTAD是一个基于PyTorch的开源时序动作检测(TAD)工具箱。

🥳 最新动态

该库的技术报告将很快提供。
[2024/07/25] 🔥 我们在EPIC-KITCHENS-100 2024挑战赛的动作识别、动作检测和基于音频的交互检测任务中排名第一，同时在Ego4D 2024挑战赛的时刻查询任务中获得第一名！代码已在CausalTAD (arxiv'24)中发布。
[2024/07/07] 🔥 我们支持了DyFADet (ECCV'24)。感谢作者们的努力！
[2024/06/14] 我们发布了v0.3版本，带来了许多新特性和改进。
[2024/04/17] 我们发布了AdaTAD (CVPR'24)，在ActivityNet上平均mAP达到42.90%，在THUMOS14上达到77.07%。

📖 主要特点

支持最先进的TAD方法，采用模块化设计。 我们将TAD流程分解为不同的组件，并以模块化方式实现它们。这种设计使得实现新方法和复现现有方法变得容易。
支持多个TAD数据集。 我们支持9个TAD数据集，包括ActivityNet-1.3、THUMOS-14、HACS、Ego4D-MQ、EPIC-Kitchens-100、FineAction、Multi-THUMOS、Charades和EPIC-Sounds Detection数据集。
支持基于特征的训练和端到端训练。 基于特征的训练可以轻松扩展到使用原始视频输入的端到端训练，视频骨干网络也可以轻松替换。
发布各种预提取特征。 我们发布了特征提取代码，以及每个数据集上的许多预提取特征。

🌟 模型库

<table align="center"> <tbody> <tr align="center" valign="bottom"> <td> <b>单阶段</b> </td> <td> <b>两阶段</b> </td> <td> <b>DETR</b> </td> <td> <b>端到端训练</b> </td> </tr> <tr valign="top"> <td> <ul> <li><a href="configs/actionformer">ActionFormer (ECCV'22)</a></li> <li><a href="configs/tridet">TriDet (CVPR'23)</a></li> <li><a href="configs/temporalmaxer">TemporalMaxer (arXiv'23)</a></li> <li><a href="configs/videomambasuite">VideoMambaSuite (arXiv'24)</a></li> <li><a href="configs/dyfadet">DyFADet (ECCV'24)</a></li> <li><a href="configs/causaltad">CausalTAD (arXiv'24)</a></li> </ul> </td> <td> <ul> <li><a href="configs/bmn">BMN (ICCV'19)</a></li> <li><a href="configs/gtad">GTAD (CVPR'20)</a></li> <li><a href="configs/tsi">TSI (ACCV'20)</a></li> <li><a href="configs/vsgn">VSGN (ICCV'21)</a></li> </ul> </td> <td> <ul> <li><a href="configs/tadtr">TadTR (TIP'22)</a></li> </ul> </td> <td> <ul> <li><a href="configs/afsd">AFSD (CVPR'21)</a></li> <li><a href="configs/tadtr">E2E-TAD (CVPR'22)</a></li> <li><a href="configs/etad">ETAD (CVPRW'23)</a></li> <li><a href="configs/re2tal">Re2TAL (CVPR'23)</a></li> <li><a href="configs/adatad">AdaTAD (CVPR'24)</a></li> </ul> </td> </tr> </td> </tr> </tbody> </table>

每种方法的详细配置、结果和预训练模型可以在上面的文件夹中找到。

🛠️ 安装

请参考install.md进行安装和数据准备。

🚀 使用

请参考usage.md了解训练和评估脚本的详细信息。

📄 更新

请参考changelog.md了解更新详情。

🤝 路线图

未来需要完成的所有事项都在roadmap.md中。

🖊️ 引用

[致谢] 本仓库受OpenMMLab项目的启发，我们对其贡献者表示感谢。

如果您认为这个仓库对您有帮助，请引用我们：

@misc{2024opentad,
    title={OpenTAD: An Open-Source Toolbox for Temporal Action Detection},
    author={Shuming Liu, Chen Zhao, Fatimah Zohra, Mattia Soldan, Carlos Hinojosa, Alejandro Pardo, Anthony Cioppa, Lama Alssum, Mengmeng Xu, Merey Ramazanova, Juan León Alcázar, Silvio Giancola, Bernard Ghanem},
    howpublished = {\url{https://github.com/sming256/opentad}},
    year={2024}
}

如果您有任何问题，请联系：shuming.liu@kaust.edu.sa。