cerbero-7b

cerbero-7b 项目介绍

概述

cerbero-7b 是一个100%免费和开源的意大利大型语言模型（LLM），可用于研究或商业应用。该模型基于先进的 openchat3.5 进行开发，性能与 ChatGPT 3.5 相当甚至更优越。它专为填补意大利人工智能领域的空白而设计。

模型架构

cerbero-7b 构建于 mistral-7b 的基础之上，它在所有基准测试中表现优于 Llama2 13B，并在多项指标上超越 Llama1 34B。模型命名灵感来源于希腊神话中的三头狗“Cerbero”，象征着模型基于三个坚实的支柱：mistral-7b 作为基础模型、专用的数据集以及 Apache 2.0 许可证的开放性。

数据集与训练

Cerbero 数据集是专为增强模型理解和生成意大利文本的能力而创建的。这一创新的数据集通过动态自对话机制结合大型语言模型技术生成。模型的训练使用了 NVIDIA DGX H100 硬件平台，每个 GPU 拥有80 GB显存，并利用 DeepSpeed Zero 阶段1的并行性。

性能评估

在多项基准测试中，cerbero-7b 展示了其出色的意大利文本理解和生成能力：

**SQuAD-it评估：**在意大利的斯坦福阅读理解数据集上，cerbero-7b 的F1得分为72.55%，而精确匹配（EM）得分为55.6%。
**EVALITA基准测试：**在毒性检测、讽刺检测和情感分析等任务中，cerbero-7b 的表现均优于其对比模型。具体而言，其毒性检测的F1得分为63.04%，讽刺检测为48.51%，情感分析为61.80%。