DarkIdol-Llama-3.1-8B-Instruct-1.2-Uncensored-GGUF

项目简介

DarkIdol-Llama-3.1-8B-Instruct-1.2-Uncensored-GGUF是一个经过精细量化处理的文本生成模型项目。此项目基于aifeifei798开发的DarkIdol-Llama-3.1-8B-Instruct-1.2-Uncensored模型，并进行了多语言支持，包括英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语、泰语、中文、韩语和日语。整个项目以角色扮演、文本生成为主，适用于各种需要自定义对话的场景。

模型量化

模型的量化使用了llama.cpp中的工具，其版本为b3496。所有量化过程采用了imatrix选项，确保在文本生成过程中拥有高效的性能表现和紧凑的模型大小。各种量化版本可在LM Studio上运行，方便用户进行实验与应用。

提示格式

模型提示格式定义了如何输入和处理对话信息：

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

{system_prompt}<|eot_id|><|start_header_id|>user<|end_header_id|>

{prompt}<|eot_id|><|start_header_id|>assistant<|end_header_id|>

<|eot_id|>

文件下载

项目提供了多种量化类型的文件，用户可以根据硬件资源与应用需求选择合适的文件版本。下表列出了一些可下载的模型文件及其对应的特性：

文件名	量化类型	文件大小	说明
DarkIdol-Llama-3.1-8B-Instruct-1.2-Uncensored-f32.gguf	f32	32.13GB	完整F32权重
DarkIdol-Llama-3.1-8B-Instruct-1.2-Uncensored-Q8_0.gguf	Q8_0	8.54GB	极高质量，适用特殊场景
DarkIdol-Llama-3.1-8B-Instruct-1.2-Uncensored-Q6_K_L.gguf	Q6_K_L	6.85GB	高质量，近乎完美，推荐使用
其他 ...	...	...	...