mmaction2

项目介绍：MMAction2

MMAction2 是一个基于 PyTorch 的开源视频理解工具箱，是 OpenMMLab 项目的一部分，旨在为研究者和开发者提供一站式的视频分析平台。

主要特点

• 模块化设计：MMAction2 将视频理解框架分解为不同的组件，用户可以通过组合不同的模块来轻松构建个性化的视频理解系统。
• 支持五大视频理解任务：MMAction2 实现了多种算法，覆盖动作识别、动作定位、时空动作检测、基于骨架的动作识别及视频检索等任务。
• 良好的测试和文档：提供详细的文档和 API 参考，以及单元测试，帮助用户快速上手。

最新动态

最新的版本 v1.2.0 于 2023 年 10 月 12 日发布，新增以下功能：

• 支持 VindLU 多模态算法和 ActionClip 训练
• 支持轻量级模型 MobileOne TSN/TSM
• 支持视频检索数据集 MSVD
• 支持 SlowOnly K700 特征用于训练定位模型
• 支持视频和音频演示功能

安装指南

MMAction2 依赖于 PyTorch、MMCV、MMEngine、MMDetection（可选）和 MMPose（可选）。详细的安装说明可以参考安装指南。

简要安装步骤如下：

conda create --name openmmlab python=3.8 -y
conda activate openmmlab
conda install pytorch torchvision -c pytorch
pip install -U openmim
mim install mmengine
mim install mmcv
mim install mmdet  # 可选
mim install mmpose  # 可选
git clone https://github.com/open-mmlab/mmaction2.git
cd mmaction2
pip install -v -e .

模型库

在模型库中提供了丰富的模型和结果，涵盖了多种任务的不同算法，比如动作识别中的 C3D、TSN、SlowFast 等。

使用入门

我们提供了详细的用户指南帮助用户快速入门，包括：

• 从 MMAction2 0.X 迁移
• 学习配置文件
• 数据集准备
• 使用现有模型进行推理
• 模型训练和测试

贡献与致谢

我们欢迎所有的贡献，以帮助改进 MMAction2。关于贡献的详细指南，请参考贡献指南。

MMAction2 是一个开源项目，由来自各大高校和公司的研究人员和工程师们共同开发，感谢所有对方法实现、功能添加和反馈给予帮助的贡献者。希望这个工具箱能够服务于日益增长的研究社区，提供一个灵活的平台来重新实现现有方法和开发新的模型。