Hermes-2-Pro-Mistral-7B

Hermes-2-Pro-Mistral-7B项目介绍

Hermes-2-Pro-Mistral-7B是一个基于Mistral 7B的最新旗舰级7B参数大语言模型。该项目是Nous Hermes 2的升级和重新训练版本,包含了更新和清理后的OpenHermes 2.5数据集,以及新引入的内部开发的函数调用和JSON模式数据集。

主要特点

• 保持了优秀的通用任务和对话能力
• 在函数调用、JSON结构化输出等方面表现出色
• 在与Fireworks.AI合作开发的函数调用评估中得分90%
• 在结构化JSON输出评估中得分84%
• 利用特殊的系统提示和多轮函数调用结构,使函数调用更可靠和易于解析

模型架构

• 基础模型:mistralai/Mistral-7B-v0.1
• 参数规模:7B
• 训练数据:OpenHermes 2.5数据集、函数调用和JSON模式数据集
• 提示格式:ChatML格式

主要功能

1. 通用对话:保持了优秀的通用任务和对话能力

2. 函数调用:

   • 支持多轮函数调用
   • 使用特殊系统提示和结构实现可靠函数调用
   • 在函数调用评估中得分90%

3. JSON结构化输出:

   • 支持JSON模式输出
   • 在JSON输出评估中得分84%

4. 系统提示:支持使用系统提示来引导模型的行为和风格

使用方法

1. 对话使用:

   • 采用ChatML格式作为提示格式
   • 可以使用系统提示来引导模型行为

2. 函数调用:

   • 使用特定的系统提示和结构
   • 需要解析模型生成的工具调用,并将函数返回值作为新的输入

3. JSON结构化输出:

   • 使用特定的系统提示
   • 提供JSON schema,模型会按照schema格式输出

性能评测

1. GPT4All基准测试:平均得分71.19
2. AGIEval基准测试:平均得分44.52
3. BigBench基准测试:平均得分41.65
4. TruthfulQA基准测试:MC1得分0.41,MC2得分0.5911
5. 函数调用准确率:91%
6. JSON模式准确率:84%

推理代码

项目提供了使用Hugging Face Transformers进行推理的示例代码,支持4bit量化推理,只需约5GB显存。同时还提供了函数调用的专门推理代码。

总结

Hermes-2-Pro-Mistral-7B是一个功能全面、性能优秀的开源大语言模型,在保持通用对话能力的同时,在函数调用和结构化输出等方面都有出色表现。它为开发者和研究人员提供了一个强大的工具,可用于各种自然语言处理任务和应用开发。