迁移学习库

介绍
更新
支持的方法
安装
文档
联系
引用

更新 (2024-03-15)

我们在这里上传了文档的离线版本。您可以下载并解压以查看文档。

注意 (2023-08-09)

关于损坏数据集链接的说明可以在这里找到：DATASETS.md。

介绍

TLlib 是一个开源且具有良好文档记录的迁移学习库。它基于纯 PyTorch，具有高性能和友好的 API。我们的代码符合 Python 风格，设计上与 torchvision 一致。您可以轻松开发新的算法，或者直接应用现有的算法。

我们的 API 由方法划分，包括：

域对齐方法 (tllib.aligment)
域翻译方法 (tllib.translation)
自主训练方法 (tllib.self_training)
正则化方法 (tllib.regularization)
数据重加权/重采样方法 (tllib.reweight)
模型排名/选择方法 (tllib.ranking)
基于归一化的方法 (tllib.normalization)

我们在 examples 目录中提供了许多示例代码，按学习设置划分。目前支持的学习设置包括：

DA（领域适应）
TA（任务适应，也称为微调）
OOD（分布外泛化，也称为 DG / 域泛化）
SSL（半监督学习）
模型选择

我们支持的任务包括：分类、回归、目标检测、分割、关键点检测等。

更新

2022.9

我们支持通过 pip 安装 TLlib，目前这是实验性的。

pip install -i https://test.pypi.org/simple/ tllib==0.4

2022.8

我们发布了 TLlib 的 v0.4 版。之前版本的 TLlib 可以在这里找到。在 v0.4 中，我们添加了以下方法的实现：

对象检测的领域适应 [代码] [API]
预训练模型选择 [代码] [API]
分类的半监督学习 [代码] [API]

此外，我们在另一个仓库 A Roadmap for Transfer Learning 中维护了一系列迁移学习的优秀论文。

2022.2

我们根据我们的调查 Transferablity in Deep Learning 调整了我们的 API。

支持的方法

目前支持的算法包括：

分类的领域适应 [代码]

DANN - 通过反向传播进行无监督领域适应 [ICML 2015] [代码]
DAN - 深度适应网络的可迁移特征学习 [ICML 2015] [代码]
JAN - 联合适应网络的深度迁移学习 [ICML 2017] [代码]
ADDA - 对抗性判别领域适应 [CVPR 2017] [代码]
CDAN - 条件对抗性领域适应 [NIPS 2018] [代码]
MCD - 无监督领域适应的最大分类器差异 [CVPR 2018] [代码]
MDD - 桥接领域适应的理论与算法 [ICML 2019] [代码]
BSP - 迁移性与可辨别性：对抗性领域适应的批谱惩罚 [ICML 2019] [代码]
MCC - 多功能领域适应的最小分类混淆 [ECCV 2020] [代码]

对象检测的领域适应 [代码]

CycleGAN - 使用循环一致对抗网络的无对图像到图像翻译 [ICCV 2017] [代码]
D-adapt - 跨域对象检测的解耦适应 [ICLR 2022] [代码]

语义分割的领域适应 [代码]

CycleGAN - 使用循环一致对抗网络的无对图像到图像翻译 [ICCV 2017] [代码]
CyCADA - 循环一致对抗领域适应 [ICML 2018] [代码]
ADVENT - 语义分割的对抗性熵最小化领域适应 [CVPR 2019] [代码]
FDA - 用于语义分割的傅里叶领域适应 [CVPR 2020] [代码]

关键点检测的领域适应 [代码]

RegDA - 无监督关键点检测的回归域适应 [CVPR 2021] [代码]

个人再识别的领域适应 [代码]

IBN-Net - 一次学习两件事：通过 IBN-Net 增强学习和泛化能力 [ECCV 2018]
MMT - 互均值教学：个人再识别无监督领域适应的伪标签精炼 [ICLR 2020] [代码]
SPGAN - 相似保持生成对抗网络 [CVPR 2018] [代码]

部分领域适应 [代码]

IWAN - 用于部分领域适应的加权重要性对抗网络[CVPR 2018] [代码]
AFN - 更大的特征规范更具迁移性：用于无监督领域适应的自适应特征规范方法 [ICCV 2019] [代码]

开放集领域适应 [代码]

OSBP - 通过反向传播进行开放集领域适应 [ECCV 2018] [代码]

分类的领域泛化 [代码]

IBN-Net - 一次学习两件事：通过 IBN-Net 增强学习和泛化能力 [ECCV 2018]
MixStyle - 使用 MixStyle 进行领域泛化 [ICLR 2021] [代码]
MLDG - 学习泛化：用于领域泛化的元学习 [AAAI 2018] [代码]
IRM - 不变风险最小化 [ArXiv] [代码]
VREx - 通过风险外推进行分布外泛化 [ICML 2021] [代码]
GroupDRO - 针对组偏移的分布鲁棒神经网络：论正则化对最坏情况泛化的重要性 [ArXiv] [代码]
Deep CORAL - 用于深度领域适应的相关对齐 [ECCV 2016] [代码]

个人再识别的领域泛化 [代码]

IBN-Net - 一次学习两件事：通过 IBN-Net 增强学习和泛化能力 [ECCV 2018]
MixStyle - 使用 MixStyle 进行领域泛化 [ICLR 2021] [代码]

图像分类的任务适应（微调）[代码]

L2-SP - 为卷积网络的迁移学习显示归纳偏置[ICML 2018] [代码]
BSS - 灾难性遗忘与负迁移相遇：安全迁移学习的批谱压缩 [NIPS 2019] [代码]
DELTA - 使用带注意力的特征图进行深度学习迁移 [ICLR 2019] [代码]
Co-Tuning - 迁移学习的协同调优 [NIPS 2020] [代码]
StochNorm - 随机归一化 [NIPS 2020] [代码]
LWF - 无遗忘学习 [ECCV 2016] [代码]
Bi-Tuning - 预训练表示的双调优 [ArXiv] [代码]

预训练模型选择 [代码]

** H-Score ** - 基于信息论的方法在任务迁移学习中的可迁移性 [ICIP 2019] [代码]
** NCE ** - 在监督分类任务的可迁移性和困难度中的负条件熵 [ICCV 2019] [代码]
** LEEP ** - LEEP：评估学习表示可迁移性的一个新度量 [ICML 2020] [代码]
** LogME ** - LogME：预训练模型可迁移性的实用评估中的对数最大证据 [ICML 2021] [代码]

分类的半监督学习 [代码]

** Pseudo Label ** - Pseudo-Label：深度神经网络的简单高效的半监督学习方法 [ICML 2013] [代码]
** Pi Model ** - 半监督学习中的时间集成法 [ICLR 2017] [代码]
** Mean Teacher ** - 更好的角色模型：权重平均一致性目标改进了半监督深度学习结果 [NIPS 2017] [代码]
** Noisy Student ** - 带有噪声学生的自训练改进了ImageNet分类 [CVPR 2020] [代码]
** UDA ** - 一致性训练中的无监督数据增强 [NIPS 2020] [代码]
** FixMatch ** - 通过一致性和置信度简化半监督学习 [NIPS 2020] [代码]
** Self-Tuning ** - 数据高效深度学习的自调谐 [ICML 2021] [代码]
** FlexMatch ** - 通过课程伪标签提升半监督学习 [NIPS 2021] [代码]
** DebiasMatch ** - 在自然不平衡伪标签中去偏学习 [CVPR 2022] [代码]
** DST ** - 半监督学习中的去偏自训练 [NIPS 2022 口头报告] [代码]

安装

从源码安装

请先克隆库。然后运行以下命令安装 tllib 及所有依赖。

python setup.py install
pip install -r requirements.txt

通过 `pip` 安装

通过 pip 安装目前是实验性的。

pip install -i https://test.pypi.org/simple/ tllib==0.4

文档

你可以在网站上找到API文档：文档.

使用

你可以在目录 examples 中找到示例。一个典型的使用方式是

# 使用ResNet 50在 Office-31 Amazon -> Webcam 任务上训练DANN。
# 假设你已将数据集放置在路径 `data/office-31` 下，
# 或者你可以从互联网自动下载数据集到此路径
python dann.py data/office31 -d Office31 -s A -t W -a resnet50  --epochs 20

贡献

我们欢迎所有的贡献。如果你打算回馈bug修复，请直接贡献，不需要任何进一步讨论。如果你打算贡献新功能、实用函数或扩展，请先开一个issue并与我们讨论该功能。

关于数据集的免责声明

这是一个下载和准备公共数据集的实用库。我们不托管或分发这些数据集，不保证其质量或公正性，也不保证你有使用数据集的许可证。你有责任确定是否有许可证使用数据集根据数据集的许可证。

如果你是数据集的拥有者并希望更新其中的任何部分（描述、引用等），或者不希望你的数据集包含在此库中，请通过GitHub issue与我们联系。感谢你对ML社区的贡献！

联系

如果你有任何代码问题或有建议，包括未来的功能，欢迎联系

或者在问题中描述。

对于中文Q&A，你可以选择在邮件之前在这里提问。迁移学习算法库答疑专区

引用

如果你在研究中使用了这个工具库或基准，请引用这个项目。

@misc{jiang2022transferability,
      title={Transferability in Deep Learning: A Survey}, 
      author={Junguang Jiang and Yang Shu and Jianmin Wang and Mingsheng Long},
      year={2022},
      eprint={2201.05867},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}

@misc{tllib,
    author = {Junguang Jiang, Baixu Chen, Bo Fu, Mingsheng Long},
    title = {Transfer-Learning-library},
    year = {2020},
    publisher = {GitHub},
    journal = {GitHub repository},
    howpublished = {\url{https://github.com/thuml/Transfer-Learning-Library}},
}