tutel

项目介绍：Tutel

Tutel是一个优化的专家混合（MoE）实现，专门为具备动态行为的现代训练和推理设计。它首创了并行解决方案，提出了"无惩罚并行/稀疏/容量切换"的创新概念。这种方式极大地提高了模型的训练和推理效率。

支持与兼容性

• 支持的框架：推荐使用Pytorch 1.10及以上版本
• 支持的GPU：CUDA（fp64/fp32/fp16/bfp16）和ROCm（fp64/fp32/fp16）
• 支持的CPU：fp64/fp32

最新更新

Tutel v0.3.3

新增了all-to-all基准测试，帮助用户更好地进行性能分析。

Tutel v0.3.2

新增tensorcore选项以进行额外的基准测试，并扩展了自定义专家的示例，支持NCCL超时设置。

Tutel v0.3.1

增加了NCCL all_to_all_v和all_gather_v功能，用于任意长度消息的传输。

Tutel v0.3

引入了Megablocks方案，提升了在单GPU上的解码推理能力。

Tutel v0.2

允许大多数配置进行动态切换且无需额外开销，极大地增强了配置的灵活性。

Tutel v0.1

优化了数据分发编码和解码的Einsum复杂性，并引入2DH选项以便在大规模应用时处理all-to-all。

安装与快速使用

安装Pytorch与Tutel

为不同平台与设备推荐的Pytorch版本安装方法，并提供了Tutel的在线安装步骤或从源码构建的方法。

单GPU快速测试

提供了多个测试方法，包括Tutel优化的专家混合（MoE）在不同情况下的应用以及不同数据集的端到端测试。

多节点多GPU分布式使用

介绍了两种在多节点多GPU环境下运行Tutel的方法。

检查点文件转换

提供了关于如何转换适应不同分布式世界尺寸的检查点文件的文档。

Pytorch中的Tutel-优化MoE使用

包含如何在Pytorch中导入并使用Tutel优化的MoE的示例代码。

MoE层的使用

详细描述了MOELayer和专家配置的参数使用方法。这些配置可以帮助用户根据自己的需求定制模型。

参考文献与贡献

提供了参考文献及如何进行贡献的相关信息。Tutel项目欢迎社区贡献，并详细说明了贡献者需同意的许可协议。

商标声明

关于该项目可能包含的商标或标志的声明，使用需遵循相应的品牌指导方针。

Tutel项目通过对专家混合的优化与创新，提供了一种高效且灵活的方法来应对复杂多变的训练和推理任务，助力研究人员和工程师降低高性能计算的复杂性。