llm-jp-3-1.8b-instruct

项目介绍：llm-jp-3-1.8b-instruct

llm-jp-3-1.8b-instruct 是由日本国立信息学研究所的大型语言模型研发中心开发的大型语言模型。这一模型旨在为文本生成任务提供卓越的性能，适用于多种编程语言及自然语言处理任务。以下是对该项目的详细介绍。

模型概述

llm-jp-3-1.8b-instruct 是基于 Transformer 架构的语言模型，模型具有三种语言变体：英语、日语。其重量级字符包括1.8b、3.7b、13b等多个版本，可满足不同规模的应用需求。模型使用 Hugging Face Transformers 库进行格式化并且模型的所有检查点都存储在 Hugging Face 上。

必备库和版本要求

要使用该模型，确保安装以下库及其版本：

Torch 版本大于等于 2.3.0
Transformers 版本大于等于 4.40.1
Tokenizers 版本大于等于 0.19.1
Accelerate 版本大于等于 0.29.3
Flash-Attn 版本大于等于 2.5.8

使用示例

以下是一个简单的代码示例，用于展示如何利用该模型进行自然语言处理任务：

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("llm-jp/llm-jp-3-1.8b-instruct")
model = AutoModelForCausalLM.from_pretrained("llm-jp/llm-jp-3-1.8b-instruct", device_map="auto", torch_dtype=torch.bfloat16)

chat = [
    {"role": "system", "content": "以下是、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。"},
    {"role": "user", "content": "自然言语处理とは何か"},
]

tokenized_input = tokenizer.apply_chat_template(chat, add_generation_prompt=True, tokenize=True, return_tensors="pt").to(model.device)

with torch.no_grad():
    output = model.generate(
        tokenized_input,
        max_new_tokens=100,
        do_sample=True,
        top_p=0.95,
        temperature=0.7,
        repetition_penalty=1.05,
    )[0]

print(tokenizer.decode(output))