Nous-Hermes-llama-2-7b

Nous-Hermes-llama-2-7b项目介绍

项目背景与概述

Nous-Hermes-llama-2-7b是一个先进的语言模型，由Nous Research团队进行细致微调，并在超过30万条指令的基础上进行了优化。微调过程由Teknium负责领导，包括数据集的策划，而计算资源则由Redmond AI赞助支持。此模型是基于与Hermes on Llama-1相同的数据集开发，以确保新旧版本的一致性，从而满足需要更强大功能同时保持传统特性用户的需求。

模型特点

Nous-Hermes-llama-2-7b以生成较长的回答、较低的幻觉率以及不含OpenAI的审查机制而著称。微调过程是在8x A100 80GB DGX机器上进行的，序列长度达到了4096字符。

模型训练

该模型几乎完全基于GPT-4的合成输出进行训练。高质量的GPT-4数据集为确保模型在知识性、任务完成度和风格上的卓越表现提供了支持。数据来源包括GPTeacher、角色扮演v1&2、代码指令数据集、Nous Instruct & PDACTL（未发表）等等。

合作伙伴

在整个微调和数据集策划过程中，众多团队和个人贡献了力量和资源，包括Teknium、Karan4D、Emozilla、Huemin Art以及Redmond AI。同时，特别感谢@winglian在一些培训问题上的支持。

以下是部分数据集贡献者：

GPTeacher由Teknium提供
Wizard LM是由nlpxucan提供
Nous Research Instruct数据集由Karan4D和HueminArt提供
GPT4-LLM和不自然指令集数据由微软公司提供
Airoboros数据集由jondurbin提供
Camel-AI领域专家数据集来自Camel-AI
代码Alpaca数据集由Sahil 2801提供

提示格式

该模型使用Alpaca的提示格式：

### Instruction:
<prompt>

### Response:
<leave a newline blank for model to respond>

或

### Instruction:
<prompt>

### Input:
<additional context>

### Response:
<leave a newline blank for model to respond>

基准测试结果

Nous-Hermes-llama-2-7b在多个基准测试中显示出色表现。以下是一些测试中的平均得分：

GPT4All：平均得分为0.686
BigBench：平均得分为0.3525
AGIEval：平均得分为0.2975

应用示例与资源

使用huggingface transformers与Discord构建聊天机器人可参考以下链接：

LM Studio是一个良好的聊天界面选择，支持即将到来的GGML版本。

未来计划

Nous Research团队计划继续优化数据质量和引入新的数据过滤技术，以进一步提升模型性能。

模型使用

用户可以在Hugging Face上免费下载该模型。它适用于从创意文本生成到理解和遵循复杂指令的广泛语言任务。