3D-ResNets-PyTorch

3D-ResNets-PyTorch 项目介绍

项目概述

3D-ResNets-PyTorch 是一个基于 PyTorch 实现的 3D ResNets 动作识别项目。该项目由日本国立先进工业科学技术研究所（AIST）的研究人员开发，旨在探索 3D 卷积神经网络在视频动作识别任务中的应用。项目提供了一系列预训练模型和训练脚本，支持多个主流动作识别数据集，如 Kinetics、Moments in Time 和 STAIR-Actions 等。

主要特性

1. 支持多种 3D ResNet 模型架构，包括 ResNet-18、ResNet-34、ResNet-50、ResNet-101、ResNet-152 和 ResNet-200。
2. 提供在大规模数据集上预训练的模型，如 Kinetics-700、Moments in Time 等。
3. 支持多个数据集的训练和测试，包括 Kinetics、Moments in Time、ActivityNet、UCF-101 和 HMDB-51。
4. 实现了分布式训练，提高了大规模数据集的训练效率。
5. 提供了详细的数据准备和模型训练、测试脚本。

环境要求

项目运行需要以下环境：

• PyTorch 0.4 及以上版本
• FFmpeg 和 FFprobe
• Python 3

数据准备

项目提供了多个数据集的准备脚本，包括：

1. ActivityNet
2. Kinetics
3. UCF-101
4. HMDB-51

这些脚本可以帮助用户将原始视频转换为 jpg 图像序列，并生成符合项目要求的 JSON 格式注释文件。

模型训练与测试

项目提供了灵活的命令行接口，用户可以通过不同的参数组合来进行模型训练、微调和测试。主要功能包括：

1. 从头开始训练模型
2. 从检查点继续训练
3. 使用预训练模型进行微调
4. 模型推理和评估

预训练模型

项目提供了多个在大规模数据集上预训练的模型，包括：

• 在 Kinetics-700 上训练的模型
• 在 Moments in Time 上训练的模型
• 在 STAIR-Actions 上训练的模型
• 在多个数据集组合上训练的模型

这些预训练模型可以直接用于推理或在其他数据集上进行微调。

项目贡献

该项目为动作识别研究提供了重要的工具和基准。通过探索大规模数据集对 3D CNN 性能的影响，项目为该领域的发展做出了重要贡献。研究人员和开发者可以基于此项目进行进一步的研究和应用开发。

开源许可

项目采用开源协议，鼓励研究人员在使用该代码或预训练模型时引用相关论文。这不仅有助于项目的推广，也促进了学术交流和技术进步。

总的来说，3D-ResNets-PyTorch 项目为视频动作识别任务提供了一个全面且易于使用的工具集，对于相关领域的研究者和实践者具有重要的参考价值。