OpenHermes-2.5-Mistral-7B

OpenHermes-2.5-Mistral-7B项目介绍

OpenHermes-2.5-Mistral-7B是一个基于Mistral-7B模型进行微调的先进大型语言模型(LLM)。该项目是OpenHermes 2模型的延续和升级版本,在原有基础上增加了代码相关的训练数据集。

项目背景

OpenHermes项目的命名灵感来自希腊神话中的赫尔墨斯(Hermes),他是众神的信使,擅长沟通和传递信息。这个项目旨在打造一个能够像赫尔墨斯一样灵活处理复杂人类对话的AI系统。

主要特点

1. 基于Mistral-7B模型进行微调
2. 使用了100万条主要由GPT-4生成的高质量训练数据
3. 增加了代码相关的训练数据,提升了模型的编程能力
4. 采用ChatML格式作为对话模板,支持多轮对话
5. 支持系统提示(System Prompt),可以更好地控制模型行为

性能提升

相比于OpenHermes 2,新版本在多个基准测试中都有显著提升:

• GPT4All基准测试得分从72.68提高到73.12
• AGIEval基准测试得分从39.77提高到43.07
• TruthfulQA基准测试得分从50.92提高到53.04
• HumanEval编程测试得分从43%提高到50.7%

应用场景

OpenHermes-2.5-Mistral-7B在多个领域都表现出色:

1. 编程辅助:可以进行代码讨论、解释和生成
2. 知识问答:能够回答各种领域的问题
3. 创意写作:可以生成食谱、故事等创意内容
4. 角色扮演:能够模拟特定角色进行对话

使用方法

该模型支持ChatML格式的提示,用户可以通过以下方式使用:

1. 使用Hugging Face的transformers库
2. 通过LM Studio等支持ChatML的GUI应用程序
3. 使用各种量化版本,如GGUF、GPTQ、AWQ等

开源协议

OpenHermes-2.5-Mistral-7B采用Apache 2.0许可证开源,允许商业使用。

总结

OpenHermes-2.5-Mistral-7B是一个强大而灵活的大型语言模型,它在保持通用能力的同时,特别增强了代码相关的能力。无论是日常对话、知识问答还是编程辅助,它都能提供优秀的表现。这个项目为AI领域带来了新的可能性,值得研究者和开发者深入探索。