Llama-3-KoEn-8B-Instruct-preview

Llama-3-KoEn-8B-Instruct-preview 项目介绍

背景介绍

Llama-3-KoEn-8B-Instruct-preview 是由 Llama-3-8B 模型继续预训练而来的语言模型，它于 2024 年 5 月 1 日首次发布。这个模型是在 Google 的 TRC 计划支持下，使用 TPUv4-256 进行训练的。这个项目的发布为创建新的聊天/指令模型提供了一个优秀的起始点，但尚未进行任何韩语指令集的微调，因此标记为“预览版”。

模型详细信息

模型名称: Llama-3-KoEn-8B-Instruct-preview
基本特点: 基于 Llama-3-8B 预训练的语言生成模型，支持文本生成。
适用语言: 英语和韩语。
扩展创新: 应用 Chat Vector 论文中的理念。
许可协议: cc-by-nc-sa-4.0

示例使用

下面的Python代码展示了如何使用该模型进行简易的对话生成：

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model_id = "beomi/Llama-3-KoEn-8B-Instruct-preview"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype="auto",
    device_map="auto",
)

messages = [
    {"role": "system", "content": "친절한 챗봇으로서 상대방의 요청에 최대한 자세하고 친절하게 답하자. 모든 대답은 한국어(Korean)으로 대답해줘."},
    {"role": "user", "content": "피보나치 수열이 뭐야? 그리고 피보나치 수열에 대해 파이썬 코드를 짜줘볼래?"},
]

input_ids = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    return_tensors="pt"
).to(model.device)

terminators = [
    tokenizer.eos_token_id,
    tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = model.generate(
    input_ids,
    max_new_tokens=512,
    eos_token_id=terminators,
    do_sample=True,
    temperature=1,
    top_p=0.9,
)
response = outputs[0][input_ids.shape[-1]:]
print(tokenizer.decode(response, skip_special_tokens=True))

示例输出

运行上述代码会生成以下输出：

피보나치 수열은 이탈리아 수학자 레오나르도 피보나치의 이름을 따서 유래된 수열입니다. 피보나치 수열은 특정 조건에 따라 얻어지는 등차수열로, 다음 수를 구하는 단순한 규칙에 의해 생성되는 수열입니다.

1, 1, 2, 3, 5, 8, 13, 21,... (등차 수열)

이러한 수열은 자연 세계에도 많이 발견됩니다...