SwallowMaid-8B-L3-SPPO-abliterated

项目介绍：SwallowMaid-8B-L3-SPPO-abliterated

SwallowMaid-8B-L3-SPPO-abliterated是一个经过深度合并和优化的语言模型项目。该项目融合了多个预训练模型，通过高级的合并技术，增强了模型的角色扮演能力和故事写作能力，同时努力保持Meta公司Llama-3-Instruct的优质特性。

项目的背景

SwallowMaid-8B的开发旨在提供一个强大的工具，用于一般指令操作、角色扮演（RP）、问答（Q&A）和故事写作。通过为模型引入35%角色扮演混合向量方向，它能够在保持Llama-3-Instruct模型已有特征的同时，提升角色扮演和散文写作能力。

合并技术

这个项目使用多步合并方法，整合了来自多个优秀模型的信息：

• UCLA-AGI/Llama-3-Instruct-8B-SPPO-Iter3
• grimjim/Llama-3-Instruct-abliteration-LoRA-8B
• NeverSleep/Llama-3-Lumimaid-8B-v0.1-OAS
• maldv/llama-3-fantasy-writer-8b
• tokyotech-llm/Llama-3-Swallow-8B-v0.1
• Nitral-AI/Hathor_Respawn-L3-8B-v0.8

合并方法

1. **第一步：**线性合并几种预训练模型，通过设置不同的模型权重，创造出rpmix（角色扮演混合）的一部分。
2. **第二步：**在SPPO-Iter3模型中注入35%的swallow+rpmix混合。
3. **第三步：**将SwallowMaid-8B应用到Llama-3-Instruct-abliteration-LoRA-8B上完成合并。

技术配置

在该项目中，使用了一种复杂的合并配置来确保模型的准确性和性能：

• 合并方法：任务算数和线性方法相结合
• 数据类型：使用float32进行合并，以确保计算的精度

该项目对模型合并全过程进行了细致的配置，保证每个阶段的合并都最大限度地发挥各个模型的优势。

使用指南

项目中提供的Prompt模板示例如下：

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

{system_prompt}<|eot_id|><|start_header_id|>user<|end_header_id|>

{input}<|eot_id|><|start_header_id|>assistant<|end_header_id|>

{output}<|eot_id|>

项目数据资源

项目的技术感谢提及quants提供的支持资源，让用户可以访问不同的数据格式和文件：

• GGUF
• GGUF imatrix和Q8_0

通过这种多步骤的合并方法，SwallowMaid-8B-L3-SPPO-abliterated确保了一流的性能和灵活性，适合各种应用场景，包括角色扮演和高质量内容生成。