最佳量化AI工具和应用推荐 - 提升数据分析效率

Meta-Llama-3.1-8B-Instruct-awq-4bit

Meta-Llama-3.1-8B-Instruct-awq-4bit

模型量化

高效4位量化的大型指令模型 适用GPU推理

deepseek-coder-33B-instruct-GGUF

deepseek-coder-33B-instruct-GGUF

AI编程助手Huggingface

DeepSeek Coder 33B Instruct模型GGUF量化版本

Mixtral-8x7B-Instruct-v0.1-GPTQ

Mixtral-8x7B-Instruct-v0.1-GPTQ

模型量化

Mixtral-8x7B多语言推理模型的GPTQ量化版本

Ministral-8B-Instruct-2410-HF-GGUF-TEST

Ministral-8B-Instruct-2410-HF-GGUF-TEST

模型Ministral-8B-Instruct-2410-HF

Ministral-8B多种量化版本支持本地AI部署

mixtral-instruct-awq

mixtral-instruct-awq

AWQHuggingface

AWQ量化的Mixtral Instruct模型替代方案

Mistral-7B-Instruct-v0.3-GGUF

Mistral-7B-Instruct-v0.3-GGUF

Huggingface模型性能

Mistral-7B-Instruct模型的多种量化版本优化性能与文件大小

Mistral-7B-Instruct-v0.2-GGUF

Mistral-7B-Instruct-v0.2-GGUF

AI模型Huggingface

Mistral 7B指令模型的GGUF量化版本

Llama-3.2-1B-Instruct-GGUF

Llama-3.2-1B-Instruct-GGUF

语言模型模型

Llama 3.2模型的多精度量化版本

Mistral-7B-Instruct-v0.3-GGUF

Mistral-7B-Instruct-v0.3-GGUF

提示模板模型

高性能量化版指令微调大语言模型

Meta-Llama-3.1-70B-Instruct-AWQ-INT4

Meta-Llama-3.1-70B-Instruct-AWQ-INT4

AutoAWQHuggingface

Llama 3.1 70B指令模型INT4量化版 多语言对话优化

Llama-3.1-Nemotron-70B-Instruct-HF-GGUF

Llama-3.1-Nemotron-70B-Instruct-HF-GGUF

语言模型模型

Llama-3.1-Nemotron-70B多级量化模型适配不同硬件

Meta-Llama-3.1-8B-Instruct-AWQ-INT4

Meta-Llama-3.1-8B-Instruct-AWQ-INT4

Meta-Llama-3.1AutoAWQ

高性能4比特量化优化版本

gemma-2-9b-it-GGUF

gemma-2-9b-it-GGUF

语言模型文本生成

Gemma轻量级语言模型提供多种文本生成功能

Llama-3-8B-Instruct-DPO-v0.2-GGUF

Llama-3-8B-Instruct-DPO-v0.2-GGUF

模型大型语言模型

Llama-3-8B的GGUF格式量化模型

Llama-2-7B-Chat-GGUF

Llama-2-7B-Chat-GGUF

模型量化

Llama 2对话模型的量化版本 支持多种推理环境

Llama-3.2-3B-Instruct-GGUF

Llama-3.2-3B-Instruct-GGUF

模型量化

Llama-3.2-3B-Instruct模型的多种量化优化版本

Mistral-7B-Instruct-v0.1-GGUF

Mistral-7B-Instruct-v0.1-GGUF

模型量化

Mistral 7B Instruct模型的GGUF量化版本

WizardLM-2-7B-GGUF

WizardLM-2-7B-GGUF

模型量化

基于Mistral-7B的多语言对话模型 支持复杂任务和推理

CodeLlama-34B-GGUF

CodeLlama-34B-GGUF

模型量化

340亿参数的代码生成与理解模型

Meta-Llama-3.1-8B-Instruct-GPTQ-INT4

Meta-Llama-3.1-8B-Instruct-GPTQ-INT4

模型量化

Meta-Llama-3.1-8B-Instruct模型的INT4量化版本