最佳量化AI工具和应用推荐 - 提升数据分析效率

exploring-AI-optimization

exploring-AI-optimization

AI优化量化

人工智能模型优化技术的精选学习资源

flute

flute

FLUTE量化

专为LUT量化大语言模型开发的灵活查找表引擎

llama2.rs

llama2.rs

Llama2Rust

Rust开发的高效Llama2 CPU推理库

GPU-Benchmarks-on-LLM-Inference

GPU-Benchmarks-on-LLM-Inference

LLaMAGPU

GPU和Apple芯片在LLaMA 3推理性能基准对比

huggingface-llama-recipes

huggingface-llama-recipes

Llama 3.1Hugging Face

Llama 3.1模型快速入门与应用指南

llm-compressor

llm-compressor

LLM Compressor量化

开源大型语言模型压缩优化库

VILA

VILA

VILA视觉语言模型

创新的视觉语言模型预训练方法

Awesome-Deep-Neural-Network-Compression

Awesome-Deep-Neural-Network-Compression

深度神经网络压缩量化

深度神经网络压缩技术资源库

Efficient-LLMs-Survey

Efficient-LLMs-Survey

大语言模型模型压缩

大语言模型效率优化技术综述

bitsandbytes

bitsandbytes

bitsandbytesCUDA

高效CUDA优化库 支持多位量化和矩阵运算

low-bit-optimizers

low-bit-optimizers

4位优化器内存效率

4位优化器技术减少内存占用 提升大规模模型训练能力

ggml

ggml

ggml机器学习

C语言开发的机器学习张量库 支持多种AI模型推理

fsdp_qlora

fsdp_qlora

FSDPQLoRA

量化技术实现大型语言模型的高效训练

neural-compressor

neural-compressor

模型压缩量化

开源深度学习模型压缩工具库

qkeras

qkeras

QKerasKeras

Keras 的量化扩展工具,通过替换部分 Keras 层,能够快速创建量化版深度学习模型

model-optimization

model-optimization

TensorFlow Model Optimization Toolkit机器学习模型

TensorFlow 模型优化工具包, 支持量化和稀疏化

PINTO_model_zoo

PINTO_model_zoo

PINTO_model_zoo量化

提供多框架神经网络模型转换与量化的开源工具

PaddleSlim

PaddleSlim

PaddleSlim模型压缩

深度学习模型压缩工具库PaddleSlim:低比特量化、知识蒸馏、稀疏化和结构搜索

gguf-tools

gguf-tools

GGUF机器学习

处理和解析GGUF文件的实用工具库

llama.onnx

llama.onnx

LLaMaRWKV

LLaMa和RWKV模型的ONNX实现及独立演示,支持多设备部署