dolphin-2.1-mistral-7b

项目介绍：dolphin-2.1-mistral-7b

dolphin-2.1-mistral-7b 是一个由mistralAI提供支持的高级人工智能模型，具有多样化的应用潜力。该模型在Apache-2.0许可证下发布，意味着用户可以在商业和非商业的背景下自由使用。

项目背景

这个模型是通过使用开源的Dolphin数据集进行训练而来，Dolphin数据集是对微软的Orca项目的开源实现。此外，为增强模型的创造性，项目还融合了Jon Durbin的优质Airoboros数据集。在训练过程中，对数据集进行了深度过滤，以确保内容的质量和合规性。

模型培训

dolphin-2.1-mistral-7b的培训耗费了48小时，使用了四台A100显卡，经历了四次训练周期（epoch）。在训练过程中，采用了ChatML的提示格式，该格式已经被应用于所有未来的模型发布中。

数据集详细信息

数据集基于来自Dolphin和Airoboros的数据，其中Dolphin项目是微软Orca项目的一个实现。为了提升模型的表现，数据经过了去重、清理和质量提升的步骤。同时，该模型是完全不加限制的，出于安全理由，建议用户在将此模型用于公开服务前，实现适当的对齐层，以确保输出内容的合规性。

使用示例

通过ChatML的提示格式，可以以自然语言的形式与dolphin-2.1-mistral-7b进行交互。例如：用户可以以专家的问题形式与这个模型进行交流，并能得到详细和直接的回答。这种能力使得模型能够以非常有趣且实用的方式呈现信息和建议。

例如，一个用户可能会询问如何提升车辆的性能，模型可以逐步给出操作建议，涵盖空气摄入优化、排气系统升级、芯片性能调校等多个方面。

感谢与支持

该项目感谢a16z的慷慨赞助，并对Microsoft的Orca论文表示感谢，其激发了这一工作的灵感。此外，特别感谢Wing Lian以及Axolotl社区对培训框架的贡献。

评价指标

在Open LLM排行榜中，dolphin-2.1-mistral-7b取得了如下的评价结果：

• 平均得分：53.47
• ARC（25次试验）：64.42
• HellaSwag（10次试验）：84.92
• MMLU（5次试验）：63.32
• TruthfulQA（0次试验）：55.56
• Winogrande（5次试验）：77.74
• GSM8K（5次试验）：20.77
• DROP（3次试验）：7.56

这些指标表明dolphin-2.1-mistral-7b具有较强的能力和潜力，可以在多种场景中提供帮助和支持。

结语

总而言之，dolphin-2.1-mistral-7b是一个功能强大且用途多样的AI模型，它的开放许可和精心处理的数据集使其成为研究者和开发者手中的一大利器。然而，由于其不设限制的特性，用户在使用时仍需承担相应的责任，并确保模型应用的安全性与道德性。