Scenic

Scenic是一个专注于计算机视觉注意力模型研究的代码库。Scenic已成功用于开发多种模态的分类、分割和检测模型，包括图像、视频、音频以及它们的多模态组合。

更具体地说，Scenic是(i)一套用于解决训练大规模（即多设备、多主机）视觉模型时常见任务的轻量级共享库集合；以及(ii)几个使用这些库的完整项目，包含特定问题的训练和评估循环。

Scenic是用JAX开发的，并使用Flax。

内容

我们提供的功能
Scenic中的SOTA模型和基线
理念
入门
Scenic组件设计
引用Scenic

我们提供的功能

除其他外，Scenic提供：

用于启动实验、写入摘要、日志记录、性能分析等的样板代码；
优化的训练和评估循环、损失函数、指标、二分图匹配器等；
流行视觉数据集的输入管道；
基线模型，包括强大的非注意力基线。

Scenic中的SOTA模型和基线

Scenic中有一些SOTA模型和基线，它们要么是使用Scenic开发的，要么已在Scenic中重新实现：

使用Scenic开发或用于实验的项目：

更多信息可以在项目中找到。

在Scenic中重现的基线：

更多信息可以在基线模型中找到。

理念

Scenic旨在促进大规模视觉模型的快速原型开发。为了保持代码简单易懂和易于扩展，我们更倾向于分叉和复制粘贴，而不是增加复杂性或提高抽象度。只有当功能被证明在许多模型和任务中广泛有用时，它才可能被上传到Scenic的共享库中。

入门

查看projects/baselines/README.md以了解基线模型的演练和如何运行代码的说明。
如果您想为Scenic做出贡献，请查看理念、代码结构和贡献部分。如果您的贡献应该成为共享库的一部分，请向我们发送拉取请求！

快速入门

你需要 Python 3.9 或更高版本。从 GitHub 下载代码

$ git clone https://github.com/google-research/scenic.git
$ cd scenic
$ pip install .

然后在 ImageNet 上运行 ViT 训练:

$ python scenic/main.py -- \
  --config=scenic/projects/baselines/configs/imagenet/imagenet_vit_config.py \
  --workdir=./

请注意，对于特定项目和基线，你可能需要安装其 README.md 或 requirements.txt 文件中提到的额外包。

这里还有一个最小化的 colab，用于使用 Scenic 训练简单的前馈模型。

Scenic 组件设计

Scenic 旨在提供不同层次的抽象，以支持仅需通过定义配置文件来更改超参数的项目，到需要自定义输入流水线、模型架构、损失和指标以及训练循环的项目。为实现这一目标，Scenic 中的代码被组织为_项目级_代码（指特定项目或基线的自定义代码）或_库级_代码（指大多数项目采用的通用功能和一般模式）。项目级代码位于 projects 目录中。

库级代码

目标是保持库级代码简洁且经过充分测试，避免为支持次要用例引入额外抽象。Scenic 提供的共享库分为：

dataset_lib：实现用于加载和预处理常见计算机视觉任务和基准数据的 IO 流水线（参见"任务和数据集"部分）。所有流水线都设计为可扩展，支持多主机和多设备设置，处理多主机间的数据划分、不完整批次、缓存、预取等。
model_lib：提供
- 几个抽象模型接口（例如 model_lib.base_models 中的 ClassificationModel 或 SegmentationModel），带有特定任务的损失和指标；
- model_lib.layers 中的神经网络层，专注于注意力和 transformer 层的高效实现；
- model_lib.matchers 中加速器友好的二分匹配算法实现。
train_lib：提供构建训练循环的工具，并实现了几个优化的训练器（分类训练器和分割训练器），可以进行自定义分叉。
common_lib：通用工具，如日志记录和调试模块、处理原始数据的功能等。

项目级代码

Scenic 通过"项目"概念支持为自定义任务和数据开发定制解决方案。对于一个项目应该重用多少代码，没有一刀切的方案。项目可以仅由配置组成，使用库级代码中的通用模型、训练器、任务/数据，也可以简单地分叉任何上述功能，重新定义层、损失、指标、日志记录方法、任务、架构以及训练和评估循环。库级代码的模块化使项目能够灵活地在"按原样运行"到"完全自定义"的范围内找到适合的位置。

ResNet 和 Vision Transformer (ViT) 等常见基线在 projects/baselines 项目中实现。分叉该目录中的模型是新项目的良好起点。

引用 Scenic

如果你使用 Scenic，可以引用我们的白皮书。以下是一个 BibTeX 条目示例：

@InProceedings{dehghani2021scenic,
    author    = {Dehghani, Mostafa and Gritsenko, Alexey and Arnab, Anurag and Minderer, Matthias and Tay, Yi},
    title     = {Scenic: A JAX Library for Computer Vision Research and Beyond},
    booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
    year      = {2022},
    pages     = {21393-21398}
}

免责声明：这不是 Google 的官方产品。