reptile-pytorch

项目介绍

Reptile-PyTorch 是一个基于 OpenAI 的 Reptile 算法的 PyTorch 实现，旨在解决监督学习问题。这个项目目前可以运行在 Omniglot 数据集上，但尚未在 MiniImagenet 数据集上实现。由于代码还没有经过广泛测试，该项目欢迎各类贡献和反馈。

Omniglot 元学习数据集

尽管 torchvision 中已有一个 Omniglot 数据集类，但它似乎更适合用于监督学习，而不是少样本学习。项目中的 omniglot.py 提供了一种从 Omniglot 数据集中采样 K-shot N-way 基础任务的方法，并包含各种实用工具来划分元训练集和基础任务。

项目特性

使用 TensorboardX 监控训练过程。
可以中断和恢复训练。
能在 Omniglot 数据集上进行训练和评估。

待实现特性：

设置元批次大小 > 1。
在 Mini-Imagenet 上进行训练和评估。
区分传导性与非传导性环境。
在 README 中添加训练曲线。
复现 OpenAI 原始代码中的所有设置。
提供下载数据集的 shell 脚本。

如何在 Omniglot 上进行训练

要在 Omniglot 数据集上进行训练，需要首先下载两个数据集部分。然后，在项目的根目录下创建一个 omniglot/ 文件夹，并解压合并下载的文件，以得到以下目录结构：

./train_omniglot.py
...
./omniglot/Alphabet_of_the_Magi/
./omniglot/Angelic/
./omniglot/Anglo-Saxon_Futhorc/
...
./omniglot/ULOG/

接下来，可以使用以下命令开始训练：

python train_omniglot.py log --cuda 0 $HYPERPARAMETERS  # 使用 CPU
python train_omniglot.py log $HYPERPARAMETERS  # 使用 CUDA

在这里，$HYPERPARAMETERS 代表根据具体任务和超参数配置的参数。

训练行为如下：

如果在 log/ 文件夹中未找到检查点，将创建一个 log/ 文件夹用以存储 tensorboard 信息和检查点。
如果找到了检查点，将从最后一个检查点继续训练。
训练可以随时通过 ^C 中断，并通过重新运行相同命令从最后检查点恢复。

Omniglot 超参数配置

项目提供了一套适用于 meta-batch=1 的超参数，这些参数稍微调整自 OpenAI 的实现。在图表中展示了不同配置下的训练表现。

对于 5-way 5-shot 红色曲线：

python train_omniglot.py log/o55 --classes 5 --shots 5 --train-shots 10 --meta-iterations 100000 --iterations 5 --test-iterations 50 --batch 10 --meta-lr 0.2 --lr 0.001

对于 5-way 1-shot 蓝色曲线：

python train_omniglot.py log/o51 --classes 5 --shots 1 --train-shots 12 --meta-iterations 200000 --iterations 12 --test-iterations 86 --batch 10 --meta-lr 0.33 --lr 0.00044