持续学习基线

</div> <p align="center"> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/f91dbf45-ea92-43cd-a652-1cfefe01b48f.png?raw=1"/> </p>

本项目提供了一系列流行持续学习策略和基线的示例。您可以轻松运行实验来重现原始论文的结果，或调整超参数以获得自己的结果。天空才是极限！

为保证公平实现，我们依赖由 ContinualAI 开发和维护的 Avalanche 库。欢迎查看并支持该项目！

实验

下表描述了当前在 experiments 文件夹中实现的所有实验及其结果。这些表格并非用于比较不同方法，而是作为它们性能的参考。不同方法可能使用略微不同的设置（例如，从预训练模型开始或从头开始），因此并不总是有意义进行比较。

如果一个实验在 性能 方面完全重现了论文的结果（即使使用不同的超参数），则在 已重现 列中标记为 ✅。否则，标记为 ❌。 Avalanche 表示我们无法找到任何特定的参考论文，我们使用的是该策略首次添加到 Avalanche 库时获得的性能。如果 性能 远低于预期，则在 已重现 列中使用 bug 标签。最后，参考 列报告了预期性能，以及相关论文的链接（如果有）。请注意，链接并不总是指向引入该策略的论文，因为它有时与我们用来获取目标性能的论文不同。

ACC 表示在最后一个经验上训练后，所有经验的平均准确率。

首先，我们报告非在线持续学习情况（也称为批量持续学习）的结果。然后，我们报告在线持续学习情况的结果。

批量持续学习（非在线）

基准测试	策略	场景	性能	参考	已重现
置换 MNIST	Less-Forgetful Learning (LFL)	域增量	ACC=0.88	ACC=0.88	✅ `Avalanche`
置换 MNIST	Elastic Weight Consolidation (EWC)	域增量	ACC=0.83	ACC=0.94	❌
置换 MNIST	Synaptic Intelligence (SI)	域增量	ACC=0.83	ACC=0.95	❌
拆分 CIFAR-100	LaMAML	任务增量	ACC=0.70	ACC=0.70	✅
拆分 CIFAR-100	iCaRL	类别增量	ACC=0.48	ACC=0.50	✅
拆分 CIFAR-100	重放	类别增量	ACC=0.32	ACC=0.32	✅ `Avalanche`
拆分 MNIST	RWalk	任务增量	ACC=0.99	ACC=0.99	✅
拆分 MNIST	Synaptic Intelligence (SI)	任务增量	ACC=0.97	ACC=0.97	✅
拆分 MNIST	GDumb	类别增量	ACC=0.97	ACC=0.97	✅
拆分 MNIST	GSS_greedy	类别增量	ACC=0.82	ACC=0.78	❌
拆分 MNIST	Generative Replay (GR)	类别增量	ACC=0.75	ACC=0.75	✅
拆分 MNIST	Learning without Forgetting (LwF)	类别增量	ACC=0.23	ACC=0.23	✅
拆分 Tiny ImageNet	LaMAML	任务增量	ACC=0.54	ACC=0.66	❌
拆分 Tiny ImageNet	Learning without Forgetting (LwF)	任务增量	ACC=0.44	ACC=0.44	✅
拆分 Tiny ImageNet	Memory Aware Synapses (MAS)	任务增量	ACC=0.40	ACC=0.40	✅
拆分 Tiny ImageNet	PackNet	任务增量	ACC=0.46	ACC=0.47 (表 4 `SMALL`)	✅

在线持续学习

基准测试	策略	场景	性能指标	参考文献	是否复现
CORe50	深度流式LDA (DSLDA)	类别增量	ACC=0.79	ACC=0.79	✅
置换MNIST	GEM	域增量	ACC=0.80	ACC=0.83	✅
分割CIFAR-10	在线重放	类别增量	ACC=0.50	ACC=0.50	✅ `Avalanche`
分割CIFAR-10	ER-AML	类别增量	ACC=0.47	ACC=0.47	✅
分割CIFAR-10	ER-ACE	类别增量	ACC=0.45	ACC=0.52	✅
分割CIFAR-10	监督对比重放 (SCR)	类别增量	ACC=0.36	ACC=0.48	✅ `Avalanche`
置换MNIST	平均GEM (AGEM)	域增量	ACC=0.81	ACC=0.81	✅
分割CIFAR-100	GEM	任务增量	ACC=0.63	ACC=0.63	✅
分割CIFAR-100	平均GEM (AGEM)	任务增量	ACC=0.62	ACC=0.62	✅
分割CIFAR-100	ER-ACE	类别增量	ACC=0.24	ACC=0.25	✅
分割CIFAR-100	ER-AML	类别增量	ACC=0.24	ACC=0.24	✅
分割CIFAR-100	在线重放	类别增量	ACC=0.21	ACC=0.21	✅ `Avalanche`
分割MNIST	CoPE	类别增量	ACC=0.93	ACC=0.93	✅
分割MNIST	在线重放	类别增量	ACC=0.92	ACC=0.92	✅ `Avalanche`

实验所需的Python依赖

除了Python标准库外，运行实验所需的主要软件包是PyTorch、Avalanche和Pandas。

Avalanche：此仓库的最新版本需要最新的Avalanche版本（来自主分支）：pip install git+https://github.com/ContinualAI/avalanche.git。CL基准仓库标记了支持的Avalanche版本（您可以浏览标签查看所有版本）。您可以使用pip install avalanche-lib==[版本号]安装相应的Avalanche版本，其中[版本号]的格式为0.1.0。对于某些策略（如LaMAML），您可能需要安装带有额外软件包的Avalanche，例如pip install avalanche-lib[extra]。有关如何安装Avalanche的更多详细信息，请查看此处的完整指南。
PyTorch：我们建议遵循官方指南。
Pandas：pip install pandas。官方指南。

使用Python运行实验

请将您的工作目录设置为项目根文件夹。

可以通过简单地从experiments文件夹导入函数并执行它来运行实验。默认情况下，实验将在可用时在GPU上运行。

每个实验的输入参数是一个可选的参数字典，用于实验中。如果为None，将使用默认参数（取自原始论文）。

from experiments.split_mnist import synaptic_intelligence_smnist  # 选择实验

 # 可以为None以使用默认参数
custom_hyperparameters = {'si_lambda': 0.01, 'cuda': -1, 'seed': 3}

# 运行实验
result = synaptic_intelligence_smnist(custom_hyperparameters)

# Avalanche指标字典
print(result)

命令行实验

请将您的工作目录设置为项目根文件夹。您应该将项目根文件夹添加到您的PYTHONPATH中。

例如，在Linux上，您可以全局设置：

export PYTHONPATH=${PYTHONPATH}:/path/to/continual-learning-baselines

或仅为当前命令设置：

PYTHONPATH=${PYTHONPATH}:/path/to/continual-learning-baselines command to be executed

您可以直接通过控制台使用默认参数运行实验。打开控制台并通过指定其路径运行所需的Python文件。

例如，要在分割MNIST上运行突触智能：

python experiments/split_mnist/synaptic_intelligence.py

要使用自定义参数执行实验，请参考上一节。

运行测试

请将您的工作目录设置为项目根文件夹。

您可以运行所有测试：

python -m unittest

或者您可以通过提供格式为tests.strategy_class_name.test_benchmarkname的测试名称来指定测试。

例如，要在分割MNIST上运行突触智能，您可以运行：

python -m unittest tests.SynapticIntelligence.test_smnist

引用

如果您使用了这个仓库，就意味着您使用了Avalanche，请记得引用我们在CLVision @ CVPR2021工作坊上发表的参考论文："Avalanche: 一个端到端的持续学习库"。这将帮助我们在机器学习社区中提高Avalanche的知名度，最终使其成为一个更好的工具：

@InProceedings{lomonaco2021avalanche,
    title={Avalanche: an End-to-End Library for Continual Learning},
    author={Vincenzo Lomonaco and Lorenzo Pellegrini and Andrea Cossu and Antonio Carta and Gabriele Graffieti and Tyler L. Hayes and Matthias De Lange and Marc Masana and Jary Pomponi and Gido van de Ven and Martin Mundt and Qi She and Keiland Cooper and Jeremy Forest and Eden Belouadah and Simone Calderara and German I. Parisi and Fabio Cuzzolin and Andreas Tolias and Simone Scardapane and Luca Antiga and Subutai Amhad and Adrian Popescu and Christopher Kanan and Joost van de Weijer and Tinne Tuytelaars and Davide Bacciu and Davide Maltoni},
    booktitle={Proceedings of IEEE Conference on Computer Vision and Pattern Recognition},
    series={2nd Continual Learning in Computer Vision Workshop},
    year={2021}
}

为项目做贡献

我们一直在寻找愿意帮助我们完成为社区提供稳健实验这一具有挑战性任务的新贡献者。您想加入我们吗？步骤很简单！

查看已开放的问题并找到适合您的
Fork这个仓库并编写一个实验（参见下一节）
提交PR并获得维护者的支持
合并PR，您的贡献现在已包含在项目中！

编写实验

在experiments/benchmark_folder中创建适当的脚本。如果基准测试不存在，您可以添加一个。
按照其他实验的风格，在experiment.py文件中填写您的代码。脚本应返回相关测试使用的指标。
在tests/target_results.csv中为您的实验添加预期结果。您可以添加一个数字或一个数字列表。
在tests/strategy_folder/experiment.py中编写单元测试。遵循现有测试的简单结构。
更新README.md中的表格。

找出导致回归的avalanche提交

进入avalanche文件夹，确保您在Python环境中使用的是该仓库的avalanche版本（通常只需将/path/to/avalanche添加到您的PYTHONPATH中即可）。
结合git bisect使用本仓库提供的gitbisect_test.sh来检索引入回归的avalanche提交。 git bisect start HEAD v0.1.0 -- # HEAD（当前版本）是坏的，v0.1.0是好的 git bisect run /path/to/gitbisect_test.sh /path/to/continual-learning-baselines optional_test_name git bisect reset
gitbisect_test.sh脚本需要一个指向continual-learning-baselines目录的必填参数，以及一个指定特定单元测试路径的可选参数（例如，tests.EWC.test_pmnist）。如果未提供第二个参数，将运行所有单元测试。
终端输出将告诉您哪个提交引入了错误
您可以将HEAD和v0.1.0引用更改为任何avalanche提交。