SciPhi-Mistral-7B-32k

项目介绍：SciPhi-Mistral-7B-32k

SciPhi-Mistral-7B-32k是一个大型语言模型（LLM），经过从Mistral-7B-v0.1的微调而来。该模型通过四个周期的训练，使用超过10亿的标记数据完成微调，这些数据包括常规指令调整数据和合成教材。其核心目标是提高模型的科学推理和教育能力。为了获得最佳效果，建议遵循Alpaca提示指南。

SciPhi-AI通过免费的托管API提供，虽然所公开的模型可能有所不同。目前，SciPhi-Self-RAG-Mistral-7B-32k已经开放使用。详细信息可以通过文档获取。

模型架构

基本模型：Mistral-7B-v0.1

架构特点：

• 基于Transformer的模型
• 分组查询注意力机制（Grouped-Query Attention）
• 滑动窗口注意力机制（Sliding-Window Attention）
• 字节回退的BPE分词器

推荐的聊天格式

建议的映射结构如下：

messages = [
    {
        "role": "system",
        "content": "You are a friendly chatbot who always responds in the style of a pirate",
    },
    {"role": "user", "content": "How many helicopters can a human eat in one sitting?"},
]

对应的格式应为：

### System:
You are a friendly chatbot who always responds in the style of a pirate

### Instruction:
How many helicopters can a human eat in one sitting?

### Response:
...

参考文献

1. Lian, W.等人（2023）。MistralOrca: 在Filtered OpenOrcaV1 GPT-4数据集上进行指令调优的Mistral-7B模型。HuggingFace repository。链接
2. Mukherjee, S.等人（2023）。Orca: 从GPT-4复杂解释迹线逐步学习。arXiv preprint arXiv:2306.02707。
3. Longpre, S.等人（2023）。Flan Collection: 设计有效指令调优的数据和方法。arXiv preprint arXiv:2301.13688。
4. Mistral AI.（2023）。Mistral-7B-v0.1模型说明卡。Mistral-7B-v0.1大型语言模型（LLM）是一个拥有70亿参数的预训练生成文本模型，其在所有测试基准上均优于Llama 2 13B。有关详细信息，请参阅论文和发布博客。模型架构：拥有分组查询注意力、滑动窗口注意力和字节回退BPE分词器的Transformer架构。链接

鸣谢

感谢AI Alignment Lab, vikp, jph00和其他为此项工作做出贡献的人士。