powerful-benchmarker

项目简介：powerful-benchmarker

项目概述

powerful-benchmarker 是一个强大的工具，用于机器学习中的领域自适应性验证和度量学习。这一项目的开发目的是为了提供一个完整的框架，帮助研究人员和开发者进行不同验证器的测试和大规模基准测试排名。它主要分为两个分支：domain-adaptation 用于无监督领域自适应的验证器研究，而 metric-learning 侧重于度量学习的实际验证。

项目分支

-domain-adaptation 分支：这个分支中包含的代码支持针对无监督领域适应的三种新验证器和大规模基准排名的使用。作者在论文中进行了详细的描述，为用户提供了技术支持。

metric-learning 分支：该分支包含用于度量学习的实际检查代码，通过一篇论文对其进行了全面的验证和探讨。

安装指南

要使用 powerful-benchmarker，首先需要克隆项目库到本地，然后安装相关依赖包：

git clone https://github.com/KevinMusgrave/powerful-benchmarker.git
cd powerful-benchmarker
pip install -r requirements.txt

配置路径

在 constants.yaml 文件中设置一些路径以便实验的顺利进行：

exp_folder: 实验结果将会保存在这个文件夹下的子文件夹中。
dataset_folder: 数据集将下载至此，例如 <dataset_folder>/mnistm。
conda_env: （可选）用于 slurm 作业的 conda 环境。
slurm_folder: slurm 日志文件将会被保存在 <exp_folder>/.../<slurm_folder> 中。
gdrive_folder: （可选）可将日志上传至指定的 Google Drive 文件夹。

文件夹组织

访问每个文件夹以查看其 readme 文件，了解详细内容。

latex: 包含从实验数据创建 LaTeX 表格的代码。
notebooks: 包含 Jupyter 笔记本。
powerful_benchmarker: 包含用于对模型进行超参数搜索的代码。
scripts: 包含各种 bash 脚本，例如用于将日志上传到 Google Drive。
unit_tests: 用于检查是否存在代码错误的测试。
validator_tests: 验证验证方法的代码。

实用脚本

delete_slurm_logs.py: 删除指定实验组的 slurm 日志。
kill_all.py: 停止所有模型训练或验证器测试作业。
print_progress.py: 打印超参数试验进度或保存为文件。
simple_slurm.py: 使用 slurm 简单运行程序。
upload_logs.py: 定期上传 slurm 日志和实验进度至 Google Drive。

项目徽标

感谢 Jeff Musgrave 为 powerful-benchmarker 项目设计了精美的徽标。

论文引用

用户如果需要引用此项目的相关论文，文中提供了 BibTeX 格式的引用方式：

@article{Musgrave2022ThreeNew,
  title={Three New Validators and a Large-Scale Benchmark Ranking for Unsupervised Domain Adaptation},
  author={Kevin Musgrave and Serge J. Belongie and Ser Nam Lim},
  journal={ArXiv},
  year={2022},
  volume={abs/2208.07360}
}