Llama-3-Lumimaid-8B-v0.1-OAS-GGUF-IQ-Imatrix

项目介绍：Llama-3-Lumimaid-8B-v0.1-OAS-GGUF-IQ-Imatrix

项目背景

Llama-3-Lumimaid-8B-v0.1-OAS-GGUF-IQ-Imatrix 是一个基于 Llama3 架构的深度学习模型，由 NeverSleep 团队开发。它使用了一种名为正交激活引导（Orthogonal Activation Steering）的技术，旨在尽量减少模型拒绝请求的情况。此模型主要用于角色扮演（RP）和其它互动及生成任务。

最新更新

开发者更新了版本 v2，该版本包含从 FP16 和 BF16 直接转换的 imatrix 数据。然而，这种操作需要更多的磁盘空间和计算能力。开发者希望在 llama.cpp 中能够获得对 BF16 模型的 GPU 推理支持，以避免模型转换中可能出现的损失。

使用与兼容性

模型的量化在 llama.cpp/pull/6920 修正之后进行，建议使用 KoboldCpp 1.64 或更高版本来确保兼容性。在 8GB VRAM 的 GPU 上，建议使用 Q4_K_M-imat 量化格式，支持的上下文规模达到 12288。

特性与目标

• 数据集：模型的训练数据包括多种数据集，例如 Aesir、NoRobots、LimaRP 等。这些数据集共同构成模型的核心训练素材，其中包含 40% 非角色扮演和 60% 角色扮演数据。
• 目标：Llama-3-Lumimaid 通过结合角色扮演与非角色扮演内容，努力在互动性和智能化表现之间找到平衡。
• 社区反馈：开发者鼓励用户在 Huggingface 的社区论坛或 Discord 服务器 上提供试用反馈。

模型信息与挑战

该项目在 Luminae 数据集的基础上开发，并结合了多个初始模型，如 Unholy 和 LewdPlay 8B 模型。目标是通过集成多种训练策略和数据集，提升模型在多样化场景中的表现。

支持和贡献

开发者感谢任何形式的支持和贡献，用户可以通过 Ko-fi 支持项目，或访问开发者的 官网 获取更多信息。

模型使用模板

模型使用 Llama3 提供的标准提示模板，具体格式如下：

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

{system_prompt}<|eot_id|><|start_header_id|>user<|end_header_id|>

{input}<|eot_id|><|start_header_id|>assistant<|end_header_id|>

{output}<|eot_id|>

这种格式有助于统一模型与用户之间的交互流程，提升整体用户体验。

结语

Llama-3-Lumimaid 项目的开发凝聚了多个研究团队的智慧和创新，期望通过持续改进和开放社区的支持，不断推进人工智能的实际应用和性能提升。