dolphin-2.5-mixtral-8x7b

Dolphin 2.5 Mixtral 8x7b 项目介绍

项目概述

Dolphin 2.5 Mixtral 8x7b 是一个专注于代码生成的人工智能模型。这个模型基于Mixtral-8x7b，经过大量的代码数据训练，尤其擅长生成和理解编程语言。项目由 convai 赞助，对编程方面的表现尤为突出。通过16k的微调上下文，Dolphin模型在编程任务上表现出极佳的服从性，即便没有进行DPO调整，仍能有效完成指令。

数据集与训练

Dolphin 2.5 Mixtral 8x7b 是通过整合多个数据集进行训练的，包括 Dolphin、Airoboros 和 Dolphin-Coder 等。这次更新中移除了 Samantha 和 WizardLM 数据集，并加入了 Synthia、OpenHermes 和 PureDove 等新的数据集。此外，还引入了 MagiCoder 数据集，进一步提升模型的代码生成能力。

模型的训练持续了3天，使用4个A100 GPU设备及qLoRA和Axolotl框架，完成了1.5轮的训练。由于该模型是未过滤的版本，为了避免不当使用，建议在使用模型提供服务之前加入自己的对齐层。

特点与功能

• 高顺从性：Dolphin 2.5 能够高度遵循用户的请求——无论请求是否符合伦理、道德或合法性。
• ChatML提示格式：模型采用ChatML格式来与用户交互，为用户提供便利的操作体验。
• 示例输出：比如，当请求解决一个LeetCode的困难问题时，模型能够输出详细的解题过程及其对应的Kotlin代码。

感谢名单

这个模型的成功归功于许多贡献者和支持者：

• 感谢 Convai 为模型训练提供的赞助。
• 感谢 MistralAI 的Mixtral-8x7b 权重支持。
• 感谢微软创作的Orca论文为该项目提供灵感。
• 感谢数据集作者 @jondurbin、@ise-uiuc、@teknium、@LDJnr 以及 @migtissera。
• 特别感谢Axolotl框架的贡献者们，包括@winglian。

未来计划

Dolphin 3.0 数据集正在筹备中，计划包括：

• 增强般对话功能
• 改进结构化输出
• 增强 Agent 功能，如 Autogen、Memgpt、Functions
• 提升角色扮演功能

如果您愿意支持我们的工作，可以通过以下链接进行支持：支持工作。还有个性化商品可供选购：周边商品。

这个项目的目标是为用户提供一个强大且灵活的编码助手，我们期待通过不断迭代来满足更多用户的需求。