komt-mistral-7b-v1

项目介绍：komt-mistral-7b-v1

komt-mistral-7b-v1是一个面向多任务指导的韩语语言模型，它通过结合多个任务的监督数据集来改进大语言模型在韩语方面的表现。随着ChatGPT的成功，许多大语言模型相继问世，而这些模型在韩语上的表现仍有待提高。komt-mistral-7b-v1通过引入多任务指导技术，旨在解决此种挑战。

模型详情

• 模型开发者： davidkim（Changyeon Kim）
• 代码仓库： GitHub链接
• 模型架构： komt-mistral-7b-v1是从Mistral-7B-Instruct-v0.1模型微调而来的。

数据集

该模型使用韩语多任务指导数据集进行训练。

硬件和软件

• Nvidia驱动版本：535.54.03
• CUDA版本：12.2

训练方法

相关训练步骤和详细信息可以在GitHub链接中找到。

提示模板

提示模板采用如下格式：

<s>[INST] {prompt} [/INST]</s>

使用方法

使用transformers库来加载并运行模型，以下是一个简单的代码示例：

from transformers import AutoTokenizer, AutoModelForCausalLM
from transformers import TextStreamer, GenerationConfig

model_name='davidkim205/komt-mistral-7b-v1'
model = AutoModelForCausalLM.from_pretrained(model_name, device_map="auto")
tokenizer = AutoTokenizer.from_pretrained(model_name)
streamer = TextStreamer(tokenizer)

def gen(x):
    generation_config = GenerationConfig(
        temperature=0.8,
        top_p=0.8,
        top_k=100,
        max_new_tokens=1024,
        early_stopping=True,
        do_sample=True,
    )
    q = f"[INST]{x} [/INST]"
    gened = model.generate(
        **tokenizer(
            q,
            return_tensors='pt',
            return_token_type_ids=False
        ).to('cuda'),
        generation_config=generation_config,
        pad_token_id=tokenizer.eos_token_id,
        eos_token_id=tokenizer.eos_token_id,
        streamer=streamer,
    )
    result_str = tokenizer.decode(gened[0])

    start_tag = f"\n\n### Response: "
    start_index = result_str.find(start_tag)

    if start_index != -1:
        result_str = result_str[start_index + len(start_tag):].strip()
    return result_str

print(gen('제주도를 1박2일로 혼자 여행하려고 하는데 여행 코스를 만들어줘'))

性能评估

为了对模型进行客观的评估，团队使用了EleutherAI的lm-evaluation-harness。尽管最初的结果不太理想，但通过与ChatGPT等已被广泛使用的模型进行评估比较，得出如下结果：

komt-mistral-7b-v1在多任务指导背景下，通过有针对性的微调，展现出较为优异的韩语文本生成和理解能力，为韩语人工智能应用领域提供了新的解决方案。