OpenSTL

OpenSTL 项目简介

项目背景

OpenSTL 是一个用于时空预测学习的综合基准项目。它涵盖了从合成移动物体轨迹到实际场景，如人类运动、驾驶场景、交通流量和天气预报的广泛任务种类。OpenSTL 提供一个模块化且可扩展的框架，具备用户友好性、良好的组织性和全面性，其代码库被抽象分为核心层、算法层和用户接口层。OpenSTL 支持 PyTorch Lightning 实现的版本（推荐）以及简化版的 PyTorch 版本。

主要特点与计划

灵活的代码设计

OpenSTL 将时空预测学习（STL）算法分解为“方法”（训练和预测）、“模型”（网络架构）和“模块”，并提供统一的实验 API。这允许用户使用灵活的训练策略和网络，来开发他们自己的 STL 算法以应对不同的 STL 任务。

标准基准

OpenSTL 支持 STL 算法的标准基准，包括训练和评估流程。正如其他开源项目（如 MMDetection 和 USB）一样，它也在持续更新训练基准和同步结果。

发展计划

项目计划提供基于 SimVP 的各种 STL 方法和 MetaFormer 架构在多个 STL 应用任务（如视频预测、天气预测、交通预测等）上的基准评测，鼓励 STL 领域的研究人员参与 OpenSTL 的开发或提供宝贵的建议。

项目结构

• openstl/api：包含实验运行器。
• openstl/core：包含核心训练插件和评估指标。
• openstl/datasets：包含数据集和数据加载器。
• openstl/methods/：包含各种视频预测方法的训练方法。
• openstl/models/：包含各种视频预测方法的主要网络架构。
• openstl/modules/：包含网络模块和层。
• tools/：包含可执行的 Python 文件 tools/train.py 和 tools/test.py，用于训练、验证和测试流水线。

新闻与更新

• 2023年12月15日，OpenSTL-Lightning 发布了 OpenSTL v1.0.0。
• 2023年9月23日，OpenSTL 论文被 NeurIPS 2023 数据集和基准轨道接受。
• 2023年6月19日，OpenSTL v0.3.0 发布。

安装步骤

项目提供了一个 Conda 环境配置文件，用户可以通过以下命令轻松复现环境：

git clone https://github.com/chengtan9907/OpenSTL
cd OpenSTL
conda env create -f environment.yml
conda activate OpenSTL
python setup.py develop

练习与指南

OpenSTL 提供详细的使用指南，方便新手快速上手，包括如何训练、评估和在自定义数据上进行可视化的教程。

模型与数据集概述

OpenSTL 支持多种时空预测方法，并在多个 STL 数据集上提供基准测试。目前支持的方法包括 ConvLSTM、PredRNN 和 SimVP 等，支持的数据集包括移动 MNIST、KTH Action 和 WeatherBench 等。

可视化

项目展示了 ConvLSTM 方法的预测可视化示例，包括合成移动物体、真实视频及交通流和天气预测等可视化结果，帮助用户更直观地理解模型的预测能力。

许可与致谢

OpenSTL 项目在 Apache 2.0 许可证下发布，并得到 CAIRI AI Lab 的支持，欢迎社区贡献者加入我们进一步完善项目。

引用

如果对该项目或其相关论文感兴趣，请参考推荐的引用格式。