openchat_3.5

OpenChat 3.5项目介绍

项目背景

OpenChat是一个开源的语言模型库，通过一种灵感来自离线强化学习的策略，即C-RLFT，进行微调。这个项目的目标是使用混合质量的数据进行训练，以实现高质量的自然语言处理能力，与ChatGPT相媲美。特别地，即使使用较小的7B（70亿参数）模型，OpenChat仍然在多个评测基准上表现出色。

使用方法

使用OpenChat模型时，建议先按照安装指南安装OpenChat包，并运行兼容OpenAI的API服务器，以便高效地进行文本生成任务。服务器可以在普通配置的GPU（24GB内存）上运行，并支持张量并行。对于想要部署在线服务的用户，可以启用API密钥和日志记录功能以确保安全。

具体使用时，用户可以通过如下命令进行接口调用：

curl http://localhost:18888/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "openchat_3.5",
    "messages": [{"role": "user", "content": "Create some content here"}]
  }'

模型对比

OpenChat 3.5在许多评测中都展现出了卓越的能力。例如，在MT-bench测试中，OpenChat 3.5以7.81的成绩领先，即便面对更大的70B模型，也毫不逊色。该模型还在多个领域如人类评估（HumanEval）、数学等任务中取得了优异的成绩。

模型	参数量	平均得分	MT-Bench	MMLU	HumanEval	数学(MATH)	GSM8K
OpenChat 3.5	7B	61.6	7.81	64.3	55.5	28.6	77.3
ChatGPT (March)*	不明	61.5	7.94	67.3	48.1	不适用	74.9

数据集

OpenChat 3.5在多种优质公开数据集上进行了训练，其中包括：

这些数据集涵盖了广泛且多样的指令数据，为模型的训练提供了丰富的语料支持。

工程限制与安全

尽管OpenChat功能强大，但其基础模型仍然存在某些局限性。复杂推理、数学和编程任务仍然是其薄弱点。同时，该模型可能会出现“幻觉”，即生成不准确的信息。用户需在使用时提高警惕，特别是在获取至关重要的信息时。此外，出于安全考虑，建议在需要安全响应的场合自主实施更多的安全措施，以防止输出有害或偏见的内容。