Skywork:开源的高性能双语基础大模型

Skywork:开源的高性能双语基础大模型

Skywork是由昆仑万维集团·天工团队开发的一系列开源大语言模型,近期发布了多个13B参数规模的模型,包括Skywork-13B-Base、Skywork-13B-Chat、Skywork-13B-Math和Skywork-13B-MM等。这些模型在多项评测中展现出了同等规模模型中的最佳性能,为开源AI社区带来了强大的基础模型选择。

模型特点

Skywork-13B-Base是Skywork系列的基础模型,具有以下主要特点:

1. 训练数据丰富多样:在3.2万亿个多语言(主要是中文和英文)和代码数据上进行预训练,其中英文占52.2%,中文占39.6%,代码占8%。

2. 模型结构优化:采用52层的"瘦长"网络结构,相比Llama-2-13B的40层结构,在大batch size训练下可获得更好的泛化效果。

3. 词表扩充:使用65,536大小的词表,包含32,000个拉丁字符和子词、8,000个汉字和Unicode符号、25,519个汉语词语。

4. 两阶段训练:第一阶段使用通用语料进行基础训练,第二阶段加入STEM相关数据进一步增强模型的推理和问题解决能力。

5. 开放评估:公开了详细的评估方法和数据,包括领域数据困惑度评估和多个权威benchmark测试。

模型评估结果

在领域数据困惑度评估中,Skywork-13B-Base在技术文章、电影评论、政务报告、游戏、金融和通用领域等6个领域的平均困惑度为9.42,优于其他同等规模的开源中文模型。

在权威benchmark评估中,Skywork-13B-Base的表现如下:

• C-Eval: 60.6
• CMMLU: 61.8
• MMLU: 62.1
• GSM8K: 55.8

这些结果显示Skywork-13B-Base在中文开源模型中处于前列,在13B参数规模下达到了最优水平。

开源贡献

除了模型本身,Skywork项目还开源了以下重要资源:

1. Skypile-150B数据集:包含约150B token的高质量中文预训练数据,是目前最大的开源中文数据集。

2. 评估数据和方法:公开了领域数据困惑度评估的数据和脚本,以及多个benchmark的评估结果。

3. 模型中间存档:开源了模型在500B、1T、1.5T等多个训练阶段的中间存档,有助于研究大模型能力的演化过程。

4. 训练细节:分享了数据处理、模型结构设计、训练方法等详细信息。

使用和部署

Skywork系列模型支持通过Hugging Face、ModelScope等平台下载使用。项目提供了详细的快速开始指南,包括依赖安装、模型加载、推理示例等。此外,还提供了8bit量化版本,方便在消费级显卡上部署。

对于想要进一步优化模型的用户,项目还提供了全量微调和LoRA微调的示例脚本。

开源协议

Skywork模型采用开放的社区许可协议,支持商业用途,但要求使用者遵守相关条款,不得用于危害国家社会安全或违法的活动。

结语

Skywork项目为开源AI社区带来了高性能的双语基础模型,以及丰富的训练数据和评估资源。其开放透明的态度和全面的技术分享,将有力推动大语言模型技术的发展和应用。随着项目的持续更新和社区的广泛参与,我们可以期待Skywork在未来带来更多突破性的进展。