CoreNet: 用于训练深度神经网络的库

CoreNet是一个深度神经网络工具包,允许研究人员和工程师训练各种任务的标准和新型小型及大规模模型,包括基础模型(如CLIP和LLM)、目标分类、目标检测和语义分割。

新特性

2024年4月: CoreNet库0.1.0版本包括
- OpenELM
- CatLIP
- MLX示例

Apple使用CoreNet的研究成果

以下是使用CoreNet的Apple发表的论文列表。此外,训练和评估方法以及预训练模型的链接可以在projects文件夹中找到。有关更多详细信息,请参阅该文件夹。

安装

您需要Git LFS(说明如下)来运行测试和Jupyter笔记本(安装说明见此处),并为此存储库做贡献,因此我们建议您首先安装并激活它。

在Linux上,我们建议使用Python 3.10+和PyTorch(版本 >= v2.1.0),在macOS系统上Python 3.9+应该足够。

请注意,如果您想做出贡献和/或运行测试,下面列出的可选依赖项是必需的。

对于Linux(将apt替换为您的包管理器):

sudo apt install git-lfs

git clone git@github.com:apple/corenet.git
cd corenet
git lfs install
git lfs pull
# 以下venv命令是可选的,但建议使用。或者,您可以创建并激活conda环境。
python3 -m venv venv && source venv/bin/activate
python3 -m pip install --editable .

安装音频和视频处理的可选依赖项:

sudo apt install libsox-dev ffmpeg

对于macOS,假设您使用Homebrew:

brew install git-lfs

git clone git@github.com:apple/corenet.git
cd corenet
cd \$(pwd -P)  # 见下面的注释
git lfs install
git lfs pull
# 以下venv命令是可选的,但建议使用。或者,您可以创建并激活conda环境。
python3 -m venv venv && source venv/bin/activate
python3 -m pip install --editable .

安装音频和视频处理的可选依赖项:

brew install sox ffmpeg

请注意,在macOS上文件系统是不区分大小写的,大小写敏感性可能会导致Git问题。您应该像访问大小写敏感的路径一样访问磁盘上的存储库,即使用与列出目录时看到的相同的大小写ls。您可以使用cd $(pwd -P)命令切换到这样的路径。

目录结构

本节提供对重要CoreNet目录的快速访问和简要描述。

<table> <thead> <tr> <th> 描述 </th> <th> 快速访问 </th> </tr> </thead> <tbody> <tr> <td> <h3> 入门 </h3> 使用示例是开始使用CoreNet的简单方法。 </td> <td> <pre> └── tutorials ├── <a href="tutorials/train_a_new_model_on_a_new_dataset_from_scratch.ipynb">train_a_new_model_on_a_new_dataset_from_scratch.ipynb</a> ├── <a href="tutorials/guide_slurm_and_multi_node_training.md">guide_slurm_and_multi_node_training.md</a> ├── <a href="tutorials/clip.ipynb">clip.ipynb</a> ├── <a href="tutorials/semantic_segmentation.ipynb">semantic_segmentation.ipynb</a> └── <a href="tutorials/object_detection.ipynb">object_detection.ipynb</a> </pre> </td> </tr> <tr> <td> <h3> 训练方法 </h3> 除了`projects/`目录中列出的出版物的预训练模型权重和检查点外,CoreNet还提供可重现的训练方法。

出版物项目目录通常包含以下内容:

README.md 提供文档、预训练权重的链接和引用。
<task_name>/<model_name>.yaml 提供用于重现训练和评估的配置。

</td> <td> <pre> └── projects ├── <a href="projects/byteformer">byteformer</a> ├── <a href="projects/catlip">catlip</a> (*) ├── <a href="projects/clip">clip</a> ├── <a href="projects/fastvit">fastvit</a> ├── <a href="projects/mobilenet_v1">mobilenet_v1</a> ├── <a href="projects/mobilenet_v2">mobilenet_v2</a> ├── <a href="projects/mobilenet_v3">mobilenet_v3</a> ├── <a href="projects/mobileone">mobileone</a> ├── <a href="projects/mobilevit">mobilevit</a> ├── <a href="projects/mobilevit_v2">mobilevit_v2</a> ├── <a href="projects/openelm">openelm</a> (*) ├── <a href="projects/range_augment">range_augment</a> ├── <a href="projects/resnet">resnet</a> └── <a href="projects/vit">vit</a> <br> (*) 新发布。 </pre> </td> </tr> <tr> <td> <h3> MLX示例 </h3> MLX示例演示了如何在Apple Silicon上高效运行CoreNet模型。请在相应示例目录中的`README.md`文件中查找更多信息。 </td> <td> <pre> └──mlx_example ├── <a href="mlx_examples/clip">clip</a> └── <a href="mlx_examples/open_elm">open_elm</a> </pre> </td> </tr> <tr> <td> <h3> 模型实现 </h3> 模型按任务组织(例如"分类")。您可以在相应的任务文件夹中找到每个任务的所有模型实现。

每个模型类都用@MODEL_REGISTRY.register(name="<model_name>", type="<task_name>")装饰器修饰。要在CoreNet训练或评估中使用模型类, 在YAML配置中分配models.<task_name>.name = <model_name>。

</td> <td> <pre> └── corenet └── modeling └── <a href="corenet/modeling/models">模型</a> ├── <a href="corenet/modeling/models/audio_classification">音频分类</a> ├── <a href="corenet/modeling/models/classification">分类</a> ├── <a href="corenet/modeling/models/detection">检测</a> ├── <a href="corenet/modeling/models/language_modeling">语言建模</a> ├── <a href="corenet/modeling/models/multi_modal_img_text">多模态图像文本</a> └── <a href="corenet/modeling/models/segmentation">分割</a> </pre> </td> </tr> <tr> <td> <h3> 数据集 </h3> 与模型类似，数据集也按任务进行分类。 </td> <td> <pre> └── corenet └── data └── <a href="corenet/data/datasets">数据集</a> ├── <a href="corenet/data/datasets/audio_classification">音频分类</a> ├── <a href="corenet/data/datasets/classification">分类</a> ├── <a href="corenet/data/datasets/detection">检测</a> ├── <a href="corenet/data/datasets/language_modeling">语言建模</a> ├── <a href="corenet/data/datasets/multi_modal_img_text">多模态图像文本</a> └── <a href="corenet/data/datasets/segmentation">分割</a> </pre> </td> </tr> <tr> <td> <h3> 其他关键目录 </h3> 在本节中，我们重点介绍了其余关键目录，这些目录实现了与YAML配置中引用的名称相对应的类。 </td> <td> <pre> └── corenet ├── <a href="corenet/loss_fn">损失函数</a> ├── <a href="corenet/metrics">指标</a> ├── <a href="corenet/optims">优化器</a> │ └── <a href="corenet/optims/scheduler">调度器</a> ├── <a href="corenet/train_eval_pipelines">训练评估流程</a> ├── <a href="corenet/data">数据</a> │ ├── <a href="corenet/data/collate_fns">整理函数</a> │ ├── <a href="corenet/data/sampler">采样器</a> │ ├── <a href="corenet/data/text_tokenizer">文本分词器</a> │ ├── <a href="corenet/data/transforms">转换</a> │ └── <a href="corenet/data/video_reader">视频读取器</a> └── <a href="corenet/modeling">建模</a> ├── <a href="corenet/modeling/layers">层</a> ├── <a href="corenet/modeling/modules">模块</a> ├── <a href="corenet/modeling/neural_augmentor">神经增强器</a> └── <a href="corenet/modeling/text_encoders">文本编码器</a> </pre> </td> </tr> </tbody> </table>

维护者

该代码由<a href="https://sacmehta.github.io" target="_blank">Sachin</a>开发，现由Sachin、<a href="https://mchorton.com" target="_blank">Maxwell Horton</a>、<a href="https://www.mohammad.pro" target="_blank">Mohammad Sekhavat</a>和Yanzi Jin维护。

前任维护者

<a href="https://farzadab.github.io" target="_blank">Farzad</a>

为CoreNet做贡献

我们欢迎社区提交PR！你可以在我们的贡献文档中找到有关为CoreNet做贡献的信息。

请记住遵守我们的行为准则。

许可证

有关许可证详细信息，请参阅LICENSE。

与CVNets的关系

CoreNet从CVNets演变而来，以涵盖计算机视觉之外更广泛的应用范围。它的扩展促进了基础模型的训练，包括大型语言模型。

引用

如果您发现我们的工作有用，请引用以下论文：

@inproceedings{mehta2022cvnets, 
     author = {Mehta, Sachin and Abdolhosseini, Farzad and Rastegari, Mohammad}, 
     title = {CVNets: High Performance Library for Computer Vision}, 
     year = {2022}, 
     booktitle = {Proceedings of the 30th ACM International Conference on Multimedia}, 
     series = {MM '22} 
}