Midnight-Miqu-70B-v1.5-i1-GGUF

Midnight-Miqu-70B-v1.5-i1-GGUF项目介绍

项目概况

Midnight-Miqu-70B-v1.5-i1-GGUF是一个基于sophosympatheia/Midnight-Miqu-70B-v1.5模型进行量化的项目。该项目由mradermacher负责量化处理。项目使用的基础库是transformers，主要工作是通过mergekit工具进行合并和量化，从而提高模型的使用灵活性和效率。

使用指南

量化后的GGUF文件提供了不同大小和类型的选项，以适应各种需求。如果用户不确定如何使用GGUF文件，建议参考TheBloke的README以获取更多使用细节，尤其是如何连接多部分文件的说明。

提供的量化文件

项目提供了一系列按照大小排序的量化文件，表格如下：

类型	文件链接	大小/GB	备注
i1-IQ1_S	链接	15.0	适用于紧急情况
i1-IQ1_M	链接	16.0	大多用于紧急情况
i1-IQ2_XXS	链接	18.7
i1-IQ2_XS	链接	20.8
i1-IQ2_S	链接	21.8
i1-IQ2_M	链接	23.7
i1-Q2_K	链接	25.9	IQ3_XXS可能更好
i1-IQ3_XXS	链接	27.0	质量较低
i1-IQ3_XS	链接	28.6
i1-IQ3_S	链接	30.3	优于Q3_K*
i1-Q3_K_S	链接	30.3	IQ3_XS可能更好
i1-IQ3_M	链接	31.4
i1-Q3_K_M	链接	33.7 / IQ3_S可能更好
i1-Q3_K_L	链接	36.6 / IQ3_M可能更好
i1-IQ4_XS	链接	37.2
i1-Q4_0	链接	39.1	快速，低质量
i1-Q4_K_S	链接	39.7	最佳尺寸/速度/质量
i1-Q4_K_M	链接	41.8	快速，推荐
i1-Q5_K_S	链接	47.9
i1-Q5_K_M	链接	49.2
i1-Q6_K (分为两部分)	PART 1 PART 2	57.0	实际上类似静态Q6_K