llm-jp-3-13b-instruct

项目介绍：llm-jp-3-13b-instruct

项目背景

llm-jp-3-13b-instruct项目是由大规模语言模型研发中心（NII Research and Development Center for Large Language Models）在国立信息学研究所（National Institute of Informatics）的支持下开发的。此项目得到GENIAC的部分支持，目标是实现强大的自然语言处理模型，服务于多语言应用需求。

模型变体

本项目提供的模型变体包括：

llm-jp-3-1.8b
llm-jp-3-1.8b-instruct
llm-jp-3-3.7b
llm-jp-3-3.7b-instruct
llm-jp-3-13b
llm-jp-3-13b-instruct
llm-jp-3-172b-beta1
llm-jp-3-172b-beta1-instruct

技术信息

这些模型采用基于Transformer的架构，使用Hugging Face 的Transformers库。llm-jp-3-13b-instruct模型尤其以其13B参数为特点，适用于文本生成任务。模型的训练使用丰富的语料库，包括来自Wikipedia、Common Crawl等的英文和日文文本。

所需库及版本

torch>=2.3.0
transformers>=4.40.1
tokenizers>=0.19.1
accelerate>=0.29.3
flash-attn>=2.5.8

使用方法

以下是模型的基本使用示例：

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("llm-jp/llm-jp-3-13b-instruct")
model = AutoModelForCausalLM.from_pretrained("llm-jp/llm-jp-3-13b-instruct", device_map="auto", torch_dtype=torch.bfloat16)

chat = [
    {"role": "system", "content": "以下是，タスクの説明に関する指示です。要求を満たす応答を生成してください。"},
    {"role": "user", "content": "自然言語处理是什么？"},
]

tokenized_input = tokenizer.apply_chat_template(chat, add_generation_prompt=True, tokenize=True, return_tensors="pt").to(model.device)

with torch.no_grad():
    output = model.generate(
        tokenized_input,
        max_new_tokens=100,
        do_sample=True,
        top_p=0.95,
        temperature=0.7,
        repetition_penalty=1.05,
    )[0]

print(tokenizer.decode(output))