最佳量化AI工具和应用推荐 - 提升数据分析效率

faster-distil-whisper-large-v2

faster-distil-whisper-large-v2

CTranslate2量化

通过CTranslate2实现的高效音频转录转换方案

Swallow-7B-Instruct-GGUF

Swallow-7B-Instruct-GGUF

GGUF格式Swallow 7B Instruct

适用于多平台的高效量化模型

Llama-3-Hercules-5.1-8B-GGUF

Llama-3-Hercules-5.1-8B-GGUF

Github量化

量化文本生成模型的高效选择指南

meditron-7B-AWQ

meditron-7B-AWQ

医疗Github

通过低比特量化方法优化变换器模型性能

Hermes-2-Theta-Llama-3-8B-GGUF

Hermes-2-Theta-Llama-3-8B-GGUF

I-quantsHuggingface

Hermes-2-Theta量化文件的选择与使用指南

stable-diffusion-3.5-large-turbo-gguf

stable-diffusion-3.5-large-turbo-gguf

StabilityAIAI社区

直接量化的图像生成模型

Qwen2-1.5B-Instruct-IMat-GGUF

Qwen2-1.5B-Instruct-IMat-GGUF

IMatrixHuggingface

运用量化技术优化Qwen2-1.5B-Instruct模型的文本生成能力

Phi-3.1-mini-128k-instruct-GGUF

Phi-3.1-mini-128k-instruct-GGUF

Phi-3-mini-128k-instruct模型选择

量化指导优化内存资源使用

Mythalion-13B-AWQ

Mythalion-13B-AWQ

Huggingface文本生成

利用高效的低比特量化提升Transformer推理速度

Replete-LLM-V2.5-Qwen-32b-GGUF

Replete-LLM-V2.5-Qwen-32b-GGUF

Github量化

量化模型文件下载指南,通过选择适合的文件优化性能

deepseek-coder-6.7B-instruct-GGUF

deepseek-coder-6.7B-instruct-GGUF

Huggingface量化

Deepseek全新GGUF格式 高效代码智能助手专注计算机科学

bge-large-en-v1.5-quant

bge-large-en-v1.5-quant

推理Github

量化ONNX模型增强句子编码效率和性能

llama2_70b_chat_uncensored-GGUF

llama2_70b_chat_uncensored-GGUF

开源项目GGUF

Llama2 70B Chat Uncensored推出全新GGUF格式

Codestral-22B-v0.1-GGUF

Codestral-22B-v0.1-GGUF

Huggingface文本生成

Codestral-22B量化实现代码生成的多样化选择

Qwen2.5-7B-Instruct-Uncensored-GGUF

Qwen2.5-7B-Instruct-Uncensored-GGUF

数据集Github

中英文无删减指令模型的最新静态量化版本,适合多语言支持

Xwin-LM-70B-V0.1-GGUF

Xwin-LM-70B-V0.1-GGUF

Huggingface模型文件

提升AI模型兼容性的最新GGUF格式

Phi-3-medium-128k-instruct-quantized.w4a16

Phi-3-medium-128k-instruct-quantized.w4a16

神经魔法OpenLLM

Phi-3量化优化文本生成模型,支持多场景应用

MohamedRashad-Arabic-Orpo-Llama-3-8B-Instruct-GGUF

MohamedRashad-Arabic-Orpo-Llama-3-8B-Instruct-GGUF

Huggingface文本生成

阿拉伯语Llama模型优化量化文件提升性能

bge-small-en-v1.5-quant

bge-small-en-v1.5-quant

稀疏性量化

高效量化嵌入模型提升自然语言处理性能

rocket-3B-llamafile

rocket-3B-llamafile

开源项目DPO

提供多操作系统兼容的高效量化模型文件格式