llama-3.2-Korean-Bllossom-3B-GGUF

项目介绍: llama-3.2-Korean-Bllossom-3B-GGUF

项目概述

llama-3.2-Korean-Bllossom-3B-GGUF项目是Bllossom/llama-3.2-Korean-Bllossom-3B的量化版本，使用llama.cpp工具进行创建。该项目旨在为支持韩语的用户增强语言模型的体验，是在原始3B模型基础上扩展韩语和英语能力的一个重要工具。

项目背景

Bllossom团队注意到Meta-Llama-3.2-3B基础模型中没有包含韩语支持，因此特别推出了Bllossom-3B模型。该模型通过对150GB精简韩语进行额外的预训练，并保持了模型的双语能力，而不破坏其对英语的支持。

模型特点

• 全面调优和大规模训练: 使用150GB的精制韩语文本进行了全面调优。
• 精确的指令调优: 经过严格的指令调整以提升模型精度。
• 高效能的双语模型: 即使增加了韩语支持，仍保持了英语性能。
• 顶级性能: 在LogicKor基准测试中取得了5B以下的最高分，并在6分初期取得了优异成绩。
• 灵活的商业应用: 模型允许商业使用，支持广泛的应用场景。

支持与引用

该项目得到了AICA的支持。用户可以在AAAI2024, NAACL2024和LREC-COLING2024等会议上了解更多关于该项目的研究成果。

技术细节

使用者可以通过Huggingface的transformers库加载该模型，利用示例代码进行模型调用，以其提供的标准输入输出格式来处理自然语言指令。

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = 'Bllossom/llama-3.2-Korean-Bllossom-3B'

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.bfloat16, device_map="auto")

联系方式与贡献者

项目的贡献者名单详细介绍了参与该项目的研究人员，用户可以通过邮箱联系项目负责人和团队成员以获得更多信息或进行合作。

希望llama-3.2-Korean-Bllossom-3B-GGUF项目能够为需要韩语支持的用户带来更佳的体验，并为多语言语言模型的开发提供有益的探索。