EEVE-Korean-Instruct-10.8B-v1.0

EEVE-Korean-Instruct-10.8B-v1.0项目介绍

EEVE-Korean-Instruct-10.8B-v1.0是一个基于yanolja/EEVE-Korean-10.8B-v1.0模型进行微调的韩语大语言模型。这个项目旨在提供一个高性能的韩语指令跟随模型，能够理解和执行用户的各种指令。

模型背景

该模型是在yanolja/EEVE-Korean-10.8B-v1.0的基础上进行了进一步的优化。而yanolja/EEVE-Korean-10.8B-v1.0本身是upstage/SOLAR-10.7B-v1.0模型的韩语词汇扩展版本。项目团队使用了直接偏好优化（Direct Preference Optimization，简称DPO）技术，通过Axolotl工具进行了模型的微调。

技术特点

1. 词汇扩展：针对韩语进行了专门的词汇扩展，提高了模型对韩语的理解和生成能力。
2. 指令跟随：通过DPO技术的应用，增强了模型执行特定指令的能力。
3. 大规模参数：模型包含10.8B参数，具有强大的语言理解和生成能力。

训练数据

模型的训练数据主要包括：

• Korean-translated版本的Open-Orca/SlimOrca-Dedup数据集
• Korean-translated版本的argilla/ultrafeedback-binarized-preferences-cleaned数据集

值得注意的是，项目团队没有使用其他额外的数据集，保证了训练数据的纯净性和专注性。

使用方法

EEVE-Korean-Instruct-10.8B-v1.0模型可以通过Hugging Face的transformers库轻松调用。用户需要使用特定的提示模板来获得最佳效果：

prompt_template = "A chat between a curious user and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the user's questions.\nHuman: {prompt}\nAssistant:\n"

模型评估

在Open LLM Leaderboard上，EEVE-Korean-Instruct-10.8B-v1.0模型展现了优秀的性能：

• 平均得分：66.48
• AI2推理挑战（25-Shot）：64.85
• HellaSwag（10-Shot）：83.04
• MMLU（5-Shot）：64.23
• TruthfulQA（0-shot）：54.09
• Winogrande（5-shot）：81.93
• GSM8k（5-shot）：50.72

这些评分表明，该模型在多个任务上都表现出色，特别是在常识推理和语言理解方面。

社区参与

项目团队鼓励用户加入他们的Discord社区，以便交流大语言模型相关的知识和见解。虽然社区主要使用韩语交流，但这为韩语NLP研究者提供了一个宝贵的交流平台。

总结

EEVE-Korean-Instruct-10.8B-v1.0项目为韩语自然语言处理领域带来了一个强大的工具。通过词汇扩展和指令优化，该模型在保持通用语言理解能力的同时，更好地适应了韩语环境。无论是学术研究还是实际应用，这个模型都为韩语NLP的发展提供了新的可能性。