YAYI大模型学习资源汇总 - 基于LlaMA 2的中文多领域大语言模型

YAYI大模型学习资源汇总

YAYI是一个基于LlaMA 2的中文多领域大语言模型,由中科闻歌研发团队开源。本文汇总了YAYI的相关学习资源,帮助读者快速了解和使用这个模型。

项目简介

YAYI是一个在百万级高质量中文领域数据上微调的大语言模型,覆盖了媒体宣传、舆情分析、公共安全、金融风控、城市治理等多个领域。模型具有以下特点:

• 基于LLaMA 2和BLOOM系列模型训练
• 增强了中文基础能力和领域分析能力
• 支持多轮对话和部分插件能力
• 经过大量用户测试,提升了性能和安全性

模型下载

YAYI提供了以下几个版本的模型权重:

• YAYI-7B
• YAYI-7B-Llama2
• YAYI-13B-Llama2

可以直接从Hugging Face下载使用。

快速使用

以下是使用YAYI-7B模型进行推理的示例代码:

from transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig
import torch

yayi_7b_path = "wenge-research/yayi-7b"
tokenizer = AutoTokenizer.from_pretrained(yayi_7b_path)
model = AutoModelForCausalLM.from_pretrained(yayi_7b_path, device_map="auto", torch_dtype=torch.bfloat16)

prompt = "你好"
formatted_prompt = f"<|System|>:\nA chat between a human and an AI assistant named YaYi.\nYaYi is a helpful and harmless language model developed by Beijing Wenge Technology Co.,Ltd.\n\n<|Human|>:\n{prompt}\n\n<|YaYi|>:"
inputs = tokenizer(formatted_prompt, return_tensors="pt").to(model.device)

eos_token_id = tokenizer("<|End|>").input_ids[0]
generation_config = GenerationConfig(
    eos_token_id=eos_token_id,
    pad_token_id=eos_token_id,
    do_sample=True, 
    max_new_tokens=100,
    temperature=0.3,
    repetition_penalty=1.1,
    no_repeat_ngram_size=0
)
response = model.generate(**inputs, generation_config=generation_config)
print(tokenizer.decode(response[0]))

模型微调

YAYI项目提供了完整的微调代码,支持以下几种微调方式:

1. 指令数据全参数微调
2. 指令数据LoRA微调
3. 多轮对话数据全参数微调
4. 多轮对话数据LoRA微调

微调数据格式和运行命令可参考GitHub仓库。

训练数据

YAYI基于中科闻歌百万级高质量领域指令数据集训练而来,开源了5万条训练数据,可在Hugging Face数据仓库下载。数据集涵盖金融、安全、舆情、媒体等领域。

更多资源

• YAYI项目GitHub仓库
• YAYI模型在线体验
• 技术报告论文

通过以上资源,相信读者可以快速上手YAYI大模型,并将其应用到实际项目中。YAYI作为一个开源的中文大语言模型,未来还会持续更新,欢迎大家关注和使用!