GPU加速AI工具合集:优化性能与效率

torch2trt

torch2trt

torch2trtTensorRT

PyTorch模型转TensorRT加速工具

Py-Boost

Py-Boost

梯度提升GPU加速

Python实现的GPU加速梯度提升决策树库

SubtitleDog

SubtitleDog

AI工具字幕生成器

多语言视频字幕生成与翻译的AI解决方案

Cirrascale Cloud Services

Cirrascale Cloud Services

AI工具AI创新云

领先的多样化AI加速器云服务

notebooks-contrib

notebooks-contrib

RAPIDSGPU加速

RAPIDS社区贡献的GPU加速数据科学笔记本库

HVM

HVM

HVM2并行计算

实现高级语言大规模并行计算的开源工具

Warp

Warp

Warp终端

Rust开发的GPU加速终端 提高开发效率的现代化工具

flash-attention

flash-attention

FlashAttentionCUDA

高效注意力机制加速深度学习模型训练

vs-mlrt

vs-mlrt

VapourSynthAI推理运行时

多平台VapourSynth机器学习滤镜运行时集合

koboldcpp

koboldcpp

KoboldCppAI文本生成

多功能AI文本生成软件 支持GGML和GGUF模型

WhisperFusion

WhisperFusion

WhisperFusion实时语音转文字

WhisperFusion 低延迟高性能的实时AI语音交互系统

wezterm

wezterm

终端模拟器跨平台

高性能跨平台终端模拟器与多路复用工具

exllama

exllama

ExLlamaAI模型

为现代GPU优化的快速内存高效Llama实现

TensorRT-LLM

TensorRT-LLM

TensorRT-LLM大语言模型

NVIDIA开发的大型语言模型推理优化工具

ktransformers

ktransformers

KTransformersLLM推理优化

体验前沿LLM推理优化的灵活框架

tensorrtx

tensorrtx

TensorRT深度学习网络

TensorRT深度学习网络实现库

jax-triton

jax-triton

JAXTriton

JAX与Triton集成实现GPU计算加速

distrifuser

distrifuser

DistriFusiondiffusion模型

高效分布式并行推理助力高分辨率图像生成

torchmd-net

torchmd-net

TorchMD-NET神经网络势能

神经网络势能模型的高效训练与实现框架

marker

marker

PDF转换Markdown

高效准确的PDF转Markdown转换器 支持多语言和多类文档