持续学习

这是一个基于PyTorch实现的持续学习实验，用于深度神经网络，详细描述在以下文章中：

三种增量学习类型 (2022, Nature Machine Intelligence)

此代码库主要支持学术持续学习设置中的实验，即将一个基于分类的问题分成多个不重叠的上下文 （或任务）并需要依次学习。同时也提供了一些支持，用于运行更灵活的，无任务边界的持续学习实验，随着上下文间的逐步过渡。

早期版本

早期版本的代码可以在此分支找到。该版本的代码用于上面文章中两篇预印本描述的持续学习实验：

持续学习的三种场景 (https://arxiv.org/abs/1904.07734)
利用反馈连接的生成回放作为一种通用的持续学习策略 (https://arxiv.org/abs/1809.10635)

安装及要求

当前版本的代码已在Fedora操作系统的Python 3.10.4上测试过，及以下版本的PyTorch和Torchvision：

pytorch 1.11.0
torchvision 0.12.0

进一步的Python包在requirements.txt中列出。假设Python和pip已配置好，可以使用以下命令安装这些包：

pip install -r requirements.txt

此代码库中的代码本身不需要安装，但需要将一些脚本设置为可执行：

chmod +x main*.py compare*.py all_results.sh

NeurIPS教程“终身学习机器”

此代码库用于 NeurIPS 2022教程“终身学习机器”。关于如何重新运行此教程中介绍的实验的详细信息及说明，请参见NeurIPS_tutorial.md文件。

演示

演示1：单个持续学习实验

./main.py --experiment=splitMNIST --scenario=task --si

这将运行一个单个的持续学习实验：使用学术持续学习设置在Split MNIST的任务增量学习场景中使用突触智能法。关于数据、网络、训练进展及生成的输出的信息将打印到屏幕上。在标准台式电脑上的预期运行时间约为6分钟，有GPU时约为3分钟。

演示2：持续学习方法的比较

./compare.py --experiment=splitMNIST --scenario=task

这将运行一系列持续学习实验，比较在Split MNIST的任务增量学习场景中各种方法的性能。关于不同实验的详细信息、进展及生成的输出（例如，一个摘要pdf）将打印到屏幕上。在标准台式电脑上的预期运行时间约为100分钟，有GPU时约为45分钟。

重新运行文章中的比较实验

all_results.sh脚本提供了逐步说明，帮助重新运行实验及重新创建文章“三种增量学习类型”中报告的表格和图形。

尽管可以直接运行此脚本，但这将耗费很长时间，可能需要将实验并行化。

运行自定义实验

学术持续学习设置

在学术持续学习设置中运行自定义的单个实验可以使用main.py。此脚本的主要选项有：

--experiment: 如何构建上下文集？(splitMNIST|permMNIST|CIFAR10|CIFAR100)
--contexts: 有多少上下文？
--scenario: 根据哪种场景？(task|domain|class)

运行特定方法可使用如下命令：

独立网络：./main.py --separate-networks
上下文依赖门控 (XdG)：./main.py --xdg
弹性权重合并 (EWC)：./main.py --ewc
突触智能 (SI)：./main.py --si
无遗忘学习 (LwF)：./main.py --lwf
功能性记忆回顾正则化 (FROMP)：./main.py --fromp
深度生成回放 (DGR)：./main.py --replay=generative
脑启发回放 (BI-R)：./main.py --brain-inspired
经验回放 (ER)：./main.py --replay=buffer
平均梯度记忆 (A-GEM)：./main.py --agem
生成分类器：./main.py --gen-classifier
增量分类与表示学习 (iCaRL)：./main.py --icarl

运行基线模型（参见文章详情）：

无 ("下目标")：./main.py
联合 ("上目标")：./main.py --joint

更多选项的信息：./main.py -h。代码支持多种上述方法的组合。同样也可以通过混合不同方法的组件创建自定义方法，尽管并非所有可能的组合都已测试。

更灵活的、无任务边界的持续学习实验

在更灵活的无任务边界的持续学习设置中运行自定义的单个实验可以使用 main_task_free.py。此脚本的主要选项有：

--experiment: 如何构建上下文集？(splitMNIST|permMNIST|CIFAR10|CIFAR100)
--contexts: 有多少上下文？
--stream: 如何在上下文之间过渡？(fuzzy-boundaries|academic-setting|random)
--scenario: 根据哪种场景？(task|domain|class)

更多选项的信息：./main_task_free.py -h。此脚本支持多种上述的持续学习方法，但目前并非全部支持。一些方法已略作修改以适应无已知上下文边界的情况。特别是，通常在上下文边界处执行某种合并操作的方法，现在则每X次迭代执行一次这种操作，X通过--update-every选项设置。

训练过程中的动态图表

通过此代码可以在训练过程中实时跟踪进度。此功能需要visdom，可按如下方式安装：

pip install visdom

在运行实验之前，应从命令行启动visdom服务器：

python -m visdom.server

visdom服务器现已启动，可以在你的浏览器中通过http://localhost:8097访问（图表将显示在那里）。调用./main.py或./main_task_free.py时应添加标志 --visdom以启用实时图表。

关于visdom的更多信息请参见 https://github.com/facebookresearch/visdom。

引用

如果你在研究中使用了此代码，请考虑引用主文章：

@article{vandeven2022three,
  title={Three types of incremental learning},
  author={van de Ven, Gido M and Tuytelaars, Tinne and Tolias, Andreas S},
  journal={Nature Machine Intelligence},
  volume={4},
  pages={1185--1197},
  year={2022}
}

本文代码仓库也用于生成的两篇预印本的BibTeX引用如下。一般来说，建议引用官方发表版本的文章，但对于未载入已发表文章中的内容，可以引用这两篇预印本。

@article{vandeven2019three,
  title={Three scenarios for continual learning},
  author={van de Ven, Gido M and Tolias, Andreas S},
  journal={arXiv preprint arXiv:1904.07734},
  year={2019}
}

@article{vandeven2018generative,
  title={Generative replay with feedback connections as a general strategy for continual learning},
  author={van de Ven, Gido M and Tolias, Andreas S},
  journal={arXiv preprint arXiv:1809.10635},
  year={2018}
}

致谢

此代码最初源于一个研究项目，该项目得到IBRO-ISN研究奖学金的支持，由ERC资助的KeepOnLearning项目（参考编号101021347）资助，由国家卫生研究院（NIH）资助（奖项编号R01MH109556（NIH/NIMH）和P30EY002520（NIH/NEI）），由国防高级研究项目局（DARPA）终身学习机器（L2M）项目经过合同编号HR0011-18-2-0025资助以及由情报高级研究项目活动（IARPA）通过内政部/ 内政商业中心（DoI/IBC）合同编号D16PC00003资助。免责声明：本文所含观点和结论为作者个人意见，不应解释为代表NIH、DARPA、IARPA、DoI/IBC或美国政府的官方政策或背书，无论明示还是暗示。