mdeberta-v3-base-kor-further

项目概述

mdeberta-v3-base-kor-further 是一个基于 Microsoft mDeBERTa-v3-base 模型进一步预训练的韩语语言模型。该项目由 KPMG Lighthouse Korea 开发，旨在通过增强韩语处理能力来解决金融领域的各种问题。

技术特点

该模型基于 DeBERTa (Disentangled BERT) 架构，具有以下创新特点：

• 采用解耦注意力机制(Disentangled Attention)和增强型掩码解码器(Enhanced Mask Decoder)
• 相比传统 BERT 使用的绝对位置编码，该模型能更好地学习词语的相对位置信息
• 继承了 DeBERTa-v3 的改进，包括 ELECTRA 式的预训练方法和梯度解耦嵌入共享

预训练细节

模型在约 40GB 的韩语数据集上进行了进一步预训练：

• 训练数据包括公共语料库、韩语维基百科、国民请愿等内容
• 训练集包含 1000 万行文本，50 亿个标记
• 验证集包含 200 万行文本，10 亿个标记
• 采用 MLM (Masked Language Model) 任务进行训练
• 使用 512 的最大序列长度，2e-5 的学习率，批量大小为 8

模型性能

在多个韩语自然语言理解任务上的评测显示，该模型相比原始的 mDeBERTa-base 和 XLM-Roberta-Base 都取得了更好的表现：

• 情感分析(NSMC)准确率达到 90.52%
• 命名实体识别(NER) F1 分数达到 87.87%
• 问答任务(KorQuaD)的 EM/F1 分数达到 66.07/90.35

使用方法

模型可以通过 Hugging Face 转换器库轻松调用：

• 支持通过 AutoModel 和 AutoTokenizer 加载
• 需要安装 transformers 和 sentencepiece 库
• 模型大小为 534M，词表大小为 25 万

这个改进版本的 DeBERTa 模型为韩语自然语言处理任务提供了强大的基础支持，特别适合金融领域的应用场景。