SeaLLMs-v3-7B-Chat

SeaLLMs-v3-7B-Chat项目介绍

SeaLLMs-v3-7B-Chat是SeaLLMs系列的最新版本，它是由DAMO-NLP团队开发的大型语言模型，专注于东南亚地区多种语言的处理。该模型在世界知识、数学推理、翻译和指令执行等多种任务上表现突出，特别是在处理和理解东南亚文化相关内容时，能够提供更为准确和安全的响应。

项目亮点

• 性能卓越：SeaLLMs-v3-7B-Chat在处理类人考试问题、指令执行、数学运算和翻译等任务方面，表现优于同类尺寸的开源模型。
• 指令跟随能力增强：在多轮对话设置中，指令跟随能力显著提升。
• 安全性保证：模型具有较低的幻觉现象，并能根据当地情境提供更为安全的响应。

使用场景

SeaLLMs-v3-7B-Chat专为处理东南亚地区多种语言而设计，包括英语、中文、印尼语、越南语、泰语、他加禄语、马来语、缅甸语、柬埔寨语、老挝语、泰米尔语及爪哇语。该模型经过专门优化，能高效执行人类指令，适用于多种应用场景。对于资源有限的用户，也可以选择参数较小的SeaLLMs-v3-1.5B-Chat模型在本地环境中运行。

如何快速开始

使用Transformers库可以快速进行模型推理。确保安装最新版本的transformers（版本高于4.40）。示例代码展示了如何使用transformers进行推理以及怎样通过vllm进行推理，vllm是一个用于语言模型推理和服务的快速易用的库。

偏见、风险和限制

使用SeaLLMs模型时，需要遵循其用户协议和许可证条款。尽管模型经过审查和安全微调，但仍可能存在不精确或误导性信息的生成风险。开发者和利益相关者在部署之前应做好风险评估并提供相应的安全措施。

评价

模型的评价分为两部分：模型能力和模型可靠性。

• 模型能力：在多语言知识、指令跟随能力、数学能力和翻译能力等方面进行评估。SeaLLMs-v3-7B-Chat在这些关键能力上展示了其多语言的强大性能。
• 模型可靠性：评估模型在东南亚的使用背景下的安全性及其产生幻觉的倾向。

模型能力

1. 多语言知识

SeaLLMs-v3-7B-Chat通过M3Exam进行测试，显示了其在处理本地考试问题，反映世界知识和推理能力方面的优秀表现。

2. 多语言指令跟随能力

通过SeaBench多轮对话评估指令跟随能力，SeaLLMs-v3-7B-Chat表现出色，证明其在复杂任务类型中的杰出性能。

3. 多语言数学能力

使用MGSM数据集进行多语言数学能力评估，SeaLLMs-v3-7B-Chat在SEA语言中的数学能力展现了令人印象深刻的准确性。

4. 翻译能力

通过Flores-200测试集进行评估，SeaLLMs-v3-7B-Chat在多种语言间的翻译能力方面表现突出。

模型可靠性

幻觉

评估模型能否拒绝关于不存在实体的问题，SeaLLMs-v3-7B-Chat的F1分数在处理SEA语言的幻觉拒绝方面表现优异。

安全性

使用Multijaildataset进行评估，SeaLLMs-v3-7B-Chat在面对SEA语言有害提示时的反应显示出高安全率。

特别鸣谢

特别感谢参与构建、评估和事实检查的专业和本土语言学家，包括Tantong Champaiboon、Nguyen Ngoc Yen Nhi和Tara Devina Putri，他们在不同方面尤其是安全方面对模型的评估做出了重大贡献。