Qwen2.5-3B-Instruct-GGUF

项目介绍：Qwen2.5-3B-Instruct-GGUF

Qwen2.5-3B-Instruct-GGUF项目以Qwen/Qwen2.5-3B-Instruct作为基础模型，专注于文本生成任务，为聊天场景提供支持。该项目通过使用llama.cpp的b3772版本进行量化，优化了模型的运行效率，并且提供多种类型的量化文件以供用户选择。

模型的基本信息

• 基础模型: Qwen/Qwen2.5-3B-Instruct
• 语言: 英语
• 许可证名称: qwen-research
• 许可证链接: LICENSE
• 功能标签: 文本生成，聊天

用于量化的工具

该项目使用了llama.cpp项目中的b3772版本进行模型量化。原始模型可以在这里找到。所有量化文件都使用了imatrix选项，通过指定的数据集进行处理，并推荐在LM Studio中运行。

模型更新内容

新版本中更新了tokenizer，提升了模型的文本处理能力。

可下载的量化文件

Qwen2.5-3B-Instruct-GGUF项目提供了众多量化文件，每个文件根据尺寸和量化类型的不同，性能和适用场景也不同。以下是一些可供下载的文件：

• F16 全量权重文件（6.18GB）：适合需要完整F16精度的场景。
• Q8_0 高精度量化文件（3.29GB）：提供极高质量，通常不需要除非对精度有极限要求。
• Q6_K_L & Q6_K 文件（约2.6GB）：推荐使用，提供近乎完美的高质量输出，用于嵌入和输出权重的Q8_0量化。
• Q4_0_ARM 优化量化文件（1.82GB）：专为ARM芯片优化，需相应硬件支持。

如何选择合适的文件

选择合适的量化文件时，需考虑设备的RAM和VRAM大小，以确保能够高效运行。另外，还需根据质量和性能需求选择K-quant或I-quant文件：

• K-quant格式如Q5_K_M，适合一般需求。
• I-quant格式如IQ3_M，用于追求更高效率的应用环境。

贡献者与感谢

项目感谢kalomaze和Dampf在创建imatrix校准数据集中的协助，以及ZeroWw在嵌入和输出实验中的启发。欲了解更多合作或支持信息，可访问Ko-fi页面支持项目工作。