DarkIdol-Llama-3.1-8B-Instruct-1.2-Uncensored-GGUF

项目简介

DarkIdol-Llama-3.1-8B-Instruct-1.2-Uncensored-GGUF是一个经过精细量化处理的文本生成模型项目。此项目基于aifeifei798开发的DarkIdol-Llama-3.1-8B-Instruct-1.2-Uncensored模型，并进行了多语言支持，包括英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语、泰语、中文、韩语和日语。整个项目以角色扮演、文本生成为主，适用于各种需要自定义对话的场景。

模型量化

模型的量化使用了llama.cpp中的工具，其版本为b3496。所有量化过程采用了imatrix选项，确保在文本生成过程中拥有高效的性能表现和紧凑的模型大小。各种量化版本可在LM Studio上运行，方便用户进行实验与应用。

提示格式

模型提示格式定义了如何输入和处理对话信息：

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

{system_prompt}<|eot_id|><|start_header_id|>user<|end_header_id|>

{prompt}<|eot_id|><|start_header_id|>assistant<|end_header_id|>

<|eot_id|>

文件下载

项目提供了多种量化类型的文件，用户可以根据硬件资源与应用需求选择合适的文件版本。下表列出了一些可下载的模型文件及其对应的特性：

嵌入/输出权重

某些量化方法（如Q3_K_XL, Q4_K_L等）使用了Q8_0进行嵌入和输出权重的量化，理论上提高了生成文本的质量。用户在使用这些文件时，可以将自己的体验反馈给开发者，以帮助进一步优化模型。

使用建议

选择哪个量化文件需要根据设备的RAM和VRAM容量来决定。较小文件适用于RAM有限的GPU，而追求最高质量则需要超大容量的VRAM与RAM支持。

I-quant和K-quant是两种不同的量化方法，常用的K-quant具有普遍较好的性能；而I-quant适用于更低的大小，特别是在Nvidia的cuBLAS和AMD的rocBLAS环境下。

感谢

项目的成功离不开很多人的贡献，特别鸣谢kalomaze和Dampf在创建imatrix校准数据集时的支持，以及ZeroWw在嵌入/输出实验中的灵感。

以上是对DarkIdol-Llama-3.1-8B-Instruct-1.2-Uncensored-GGUF项目的简要说明，用户可以通过访问kofi页面支持开发者的后续工作。