最佳量化AI工具和应用推荐 - 提升数据分析效率
gemma-2-2b-it-GGUF
语言模型Huggingface
Google Gemma模型的GGUF量化版本支持多种位宽
Mistral-Nemo-Instruct-2407-GGUF
模型量化
Mistral指令模型的GGUF格式文件 支持多位宽量化
Llama-3-Smaug-8B-GGUF
文本生成Huggingface
Llama-3-Smaug-8B模型的GGUF格式文件 支持多级量化
Meta-Llama-3.1-70B-Instruct-GGUF
模型量化
多语言支持的70B参数GGUF量化指令模型
Llama-3.2-1B-Instruct-GGUF
文本生成Huggingface
高效量化的指令微调语言模型GGUF版本
Meta-Llama-3.1-8B-Instruct-GGUF
Llama 3模型
多语言大型语言模型的量化GGUF版本
SmolLM-1.7B-Instruct-v0.2-GGUF
模型量化
多位宽GGUF格式量化指令模型SmolLM-1.7B
inferflow
Inferflow大语言模型
为大语言模型提供高效灵活的推理解决方案
BEVFormer_tensorrt
BEV 3D DetectionTensorRT
BEVFormer和BEVDet的TensorRT高效部署方案
optimum-quanto
Optimum Quanto量化
PyTorch模型量化框架 提升性能和效率
llmc
LLM压缩量化
开源工具压缩大型语言模型提升效率
mllm
multimodal LLM移动设备
轻量级移动设备多模态大语言模型推理引擎
model_optimization
Model Compression ToolkitMCT
开源神经网络模型压缩与优化工具集
q-diffusion
Q-Diffusion量化
扩散模型的创新量化方法
AutoAWQ
AutoAWQ量化
面向大型语言模型的高效4位量化框架
awesome-efficient-aigc
AIGCLLM
AIGC效率优化技术与资源汇总
FasterTransformer4CodeFuse
FasterTransformerCodeFuse
优化的CodeFuse模型推理引擎 高性能支持
LoftQ
LoftQ量化
大型语言模型低资源量化微调新方法
AQLM
AQLM大语言模型
加性量化技术实现大型语言模型高效压缩
GPTFast
GPTFast推理加速
Hugging Face Transformers模型推理加速工具
推荐工具精选
AI云服务特惠
懂AI专属折扣关注微信公众号
最新AI工具、AI资讯
独家AI资源、AI项目落地
微信扫一扫关注公众号