openchat-3.5-0106-gemma

项目简介：openchat-3.5-0106-gemma项目

项目背景

openchat-3.5-0106-gemma是一个基于Gemma模型的开源语言模型项目。该项目由OpenChat使用其专有的C-RLFT技术进行训练，数据来源于openchat-3.5-0106。该模型在性能上与基于Mistral的openchat相当，比Gemma-7b和Gemma-7b-it有显著提升。

关键特性

• 高性能：openchat-3.5-0106-gemma是目前性能最优的Gemma模型，参数规模为7B。
• 训练技术：使用6T预训练tokens，初始标准差0.003的策略，再加上C-RLFT技术，显著提高了模型性能。

性能基准

在多项性能评估中，openchat-3.5-0106-gemma模型的表现尤为突出：

• 总体表现：平均得分64.4，在多项任务如HumanEval和GSM8K中达到了很高的分数。
• 比较：与其他类似规模的模型相比，如OpenChat-3.5-0106 Mistral和ChatGPT，该模型在特定任务上（例如BBH MC及GSM8K）表现更佳。

使用指南

要使用openchat-3.5-0106-gemma模型，推荐安装OpenChat包，并依据安装指南在本地运行兼容OpenAI API的服务器。该服务器经过vLLM优化，即便在消费级24GB显卡上也能良好运作。

服务器启动后，会在localhost:18888端口侦听请求，兼容OpenAI ChatCompletion API的规范。此外，OpenChat还提供Web UI，方便用户更直观地进行交互。

会话模板

与Mistral版本不同的是，在openchat-3.5-0106-gemma中，回合结束的标记为<end_of_turn>，用户需注意在生成时设置该标记。

注意事项

• 信息认知：OpenChat有时可能生成不存在的信息或错误内容，使用时应对重要信息进行验证。
• 安全问题：模型可能生成有害、偏见或不安全的回答。若在敏感场景中使用，需采取额外的安全措施。

许可证

openchat-3.5-0106-gemma的代码和模型在Apache License 2.0下发布，具体使用条款可参考gemma-terms-of-use。

联系方式

项目负责人：

• Guan Wang, imonenext@gmail.com
• Alpay Ariyak, aariyak@wpi.edu

openchat-3.5-0106-gemma项目通过结合先进的训练技术和开源共享精神，期待为研究者和开发者提供一个强大的工具来推进自然语言处理的边界。用户可以通过该项目的开源主页查看更多详细信息和资源。