koOpenChat-sft

项目介绍：koOpenChat-sft

项目背景

koOpenChat-sft 是一个名为시나트라的个人项目，由一位开发者独立进行开发。这个项目的目的在于提供一个基于人工智能的聊天模型，帮助用户进行自然语言的交流与对话。

模型详情

基础模型
koOpenChat-sft 项目以OpenChat3.5为基础模型。这意味着该项目的开发者在OpenChat3.5模型的基础上进行了二次开发和细化，以便适应更多元化的应用场景。

训练设备
模型的训练是在NVIDIA A100 80GB的单一GPU上完成的。这种高性能的设备，使得模型的训练效率得到了有效的提升，确保了更迅速的计算能力和更大的处理数据量。

指令格式
该模型遵循了ChatML 格式和Alpaca（无输入）格式。这意味着它支持多种不同的对话格式，可以根据上下文进行调整以提高对话的准确性。

实现细节

为了便于开发者使用，项目提供了一段简单的Python代码示例，通过该代码，用户可以快速加载并应用koOpenChat-sft模型进行文本生成。以下是主要的实现代码片段：

from transformers import AutoModelForCausalLM, AutoTokenizer

device = "cuda" # 将模型加载到此设备

model = AutoModelForCausalLM.from_pretrained("maywell/koOpenChat-sft")
tokenizer = AutoTokenizer.from_pretrained("maywell/koOpenChat-sft")

messages = [
    {"role": "user", "content": "바나나는 원래 하얀색이야?"},
]

encodeds = tokenizer.apply_chat_template(messages, return_tensors="pt")

model_inputs = encodeds.to(device)
model.to(device)

generated_ids = model.generate(model_inputs, max_new_tokens=1000, do_sample=True)
decoded = tokenizer.batch_decode(generated_ids)
print(decoded[0])

模型评测

根据Open LLM排行榜评估结果，koOpenChat-sft在不同基准测试中的得分如下：

• 平均得分：51.36
• ARC（25次询问）：59.81
• HellaSwag（10次询问）：78.73
• MMLU（5次提问）：61.32
• TruthfulQA（零次提问）：51.24
• Winogrande（5次提问）：76.4
• GSM8K（5次提问）：24.18
• DROP（3次提问）：7.82

这些数据表明，koOpenChat-sft在一些常见的自然语言处理评测基准上表现良好。

结束语

koOpenChat-sft项目展示了在有限资源下，开发者通过创新和努力取得了显著成绩。如您对这个项目产生兴趣或者想要支持其进一步研究，可以通过相关渠道进行赞助和支持。