Skywork入门学习资料汇总 - 开源大语言模型

Skywork开源大语言模型入门指南

Skywork是由昆仑万维集团·天工团队开发的一系列开源大语言模型,包括Base、Chat、Math等版本。本文汇总了Skywork的相关学习资料,帮助读者快速了解和使用该模型。

1. 模型概述

Skywork目前开源了以下几个版本的模型:

• Skywork-13B-Base:基础模型,在3.2T多语言和代码数据上预训练
• Skywork-13B-Chat:对话模型,在文创领域进行了增强
• Skywork-13B-Math:数学能力增强版本
• Skywork-13B-MM:多模态模型,支持图像输入

此外还开源了各模型的量化版本,支持在消费级显卡上部署。

2. 模型下载

可以从以下平台下载Skywork模型:

• 🤗 Hugging Face
• 🤖 ModelScope
• 👾 Wisemodel
• 🧰 OpenXLab

3. 快速使用

可以使用以下代码快速加载和使用Skywork模型:

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("Skywork/Skywork-13B-Base", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("Skywork/Skywork-13B-Base", trust_remote_code=True)

input_text = "Hello, I am Skywork."
input_ids = tokenizer(input_text, return_tensors="pt").input_ids
outputs = model.generate(input_ids, max_new_tokens=50)
print(tokenizer.decode(outputs[0]))

4. 技术报告

Skywork团队发布了详细的技术报告,介绍了模型的训练方法、评估结果等:

• Skywork: A More Open Bilingual Foundation Model
• Skymath论文
• SkyworkMM论文

5. 评估数据集

Skywork开源了以下评估数据集:

• ChineseDomainModelingEval
• mock_gsm8k_test

6. 社区交流

欢迎加入Skywork微信社区,与开发者和用户交流:

7. 更多资源

• Skywork GitHub仓库:包含详细的模型介绍、使用说明等
• Skywork官方网站:了解更多Skywork公司和产品信息

Skywork作为一个开源的大语言模型项目,为NLP研究和应用提供了优秀的基础设施。欢迎大家利用这些资源深入了解和使用Skywork,共同推动大语言模型技术的发展。