懂AI

Jax AI工具大全：热门网站、应用及开源项目推荐

相关项目相关文章
MaxText入门指南 - 高性能可扩展的JAX LLM框架

MaxText入门指南 - 高性能可扩展的JAX LLM框架

MaxText是Google开源的高性能、高度可扩展的大语言模型(LLM)框架,基于JAX构建,支持TPU和GPU训练推理。本文介绍MaxText的主要特性、使用方法和学习资源。

MaxTextTPUGPUJaxLLMGithub开源项目
PureJaxRL：高效的纯JAX强化学习实现

PureJaxRL：高效的纯JAX强化学习实现

PureJaxRL是一个高性能的端到端JAX强化学习实现，通过在GPU上并行运行多个智能体，实现了比标准PyTorch RL实现快1000多倍的速度。它将整个训练流程都在JAX中实现，包括环境模拟，从而获得显著的加速效果。

PureJaxRL强化学习Jax性能优化并行训练Github开源项目
Ring Attention: 突破Transformer模型的上下文长度限制

Ring Attention: 突破Transformer模型的上下文长度限制

Ring Attention是一种新型的注意力机制,通过环形数据传输和并行计算,可以大幅提升Transformer模型处理的上下文长度,为处理超长序列数据带来新的可能。

Ring AttentionBlockwise TransformersGPUTPUJaxGithub开源项目
Big Vision:谷歌研究院的大规模视觉模型训练框架

Big Vision:谷歌研究院的大规模视觉模型训练框架

Big Vision是谷歌研究院开源的用于训练大规模视觉模型的代码库,支持Vision Transformer、MLP-Mixer等多种模型架构,可在云TPU上高效训练和评估。

big vision深度学习计算机视觉模型训练JaxGithub开源项目
NanoDL: 基于Jax的轻量级深度学习库

NanoDL: 基于Jax的轻量级深度学习库

NanoDL是一个基于Jax的轻量级深度学习库,旨在简化从头设计和训练Transformer模型的过程。它提供了丰富的模块和工具,支持分布式训练,并包含多种流行模型的实现。

NanoDLJaxtransformer模型分布式训练深度学习Github开源项目
MaxText: Google的高性能可扩展大语言模型框架

MaxText: Google的高性能可扩展大语言模型框架

MaxText是Google开发的一个高性能、高度可扩展的开源大语言模型框架,使用纯Python/JAX编写,专门针对Google Cloud TPU和GPU进行训练和推理优化。它实现了高模型浮点运算利用率(MFU),可以从单机扩展到超大规模集群,同时保持简单和"无需优化"的特性。

MaxTextTPUGPUJaxLLMGithub开源项目