GPU加速AI工具合集:优化性能与效率

faiss

faiss

Faiss向量相似度搜索

快速向量搜索与聚类库

fastllm

fastllm

fastllm大模型推理

纯C++实现的跨平台大语言模型推理库

NVTabular

NVTabular

NVTabularGPU加速

GPU加速的大规模表格数据特征工程库

HugeCTR

HugeCTR

HugeCTRGPU加速

GPU加速的大规模深度学习推荐系统框架

Merlin

Merlin

NVIDIA Merlin推荐系统

GPU加速推荐系统解决方案 助力大规模数据处理与模型训练

taichi

taichi

Taichi Lang并行编程

Python嵌入式高性能并行编程语言

react-native-filament

react-native-filament

React Native3D渲染

React Native原生3D渲染引擎 提供高性能图形体验

brain.js

brain.js

brain.js神经网络

JavaScript神经网络库的GPU加速解决方案

jax

jax

JAX自动微分

高性能科学计算和机器学习的Python加速库

AMGX

AMGX

AmgXGPU加速

高性能代数多重网格GPU加速求解器库

ppl.llm.kernel.cuda

ppl.llm.kernel.cuda

PPL LLMCUDA

优化大语言模型计算的CUDA内核库

Starling-Framework

Starling-Framework

游戏引擎跨平台

跨平台游戏引擎 创建硬件加速2D游戏和图形应用

lightning-thunder

lightning-thunder

PyTorch性能优化

PyTorch模型优化编译器 显著提升训练速度

VideoProcessingFramework

VideoProcessingFramework

VideoProcessingFrameworkGPU加速

GPU加速视频处理框架 提供编解码和格式转换功能

TensorRT_Tutorial

TensorRT_Tutorial

TensorRT深度学习

深度学习推理加速实践指南

encodec.cpp

encodec.cpp

Encodec音频编解码

Meta's Encodec音频编解码器的C/C++高性能实现

ggml

ggml

ggml机器学习

C语言开发的机器学习张量库 支持多种AI模型推理

DirectML

DirectML

DirectMLGPU加速

跨平台硬件加速机器学习库,支持多种GPU

taskflow

taskflow

Taskflow并行编程

现代C++并行和异构任务编程库Taskflow

dfdx

dfdx

dfdx深度学习

Rust中的深度学习库,提供GPU加速和编译时类型检查