langdetect

项目介绍：langdetect 语言检测模型

langdetect 是一个基于 XLM-RoBERTa 训练完成的语言检测模型，旨在识别多种现代及中古语言，其背景是出自欧洲研究理事会（European Research Council）资助的“从数字到遥远外交（DiDip）”项目。下面是对此项目的详细介绍。

模型描述

langdetect 模型基于 XLM-RoBERTa（base 版本）进行微调，该模型在 Transformers 框架下使用，专用于文本分类任务。XLM-RoBERTa 是一个强大的多语言模型，在跨语言表示学习方面表现突出。更多关于 XLM-RoBERTa 的信息可以参考 Hugging Face 的模型卡 或 Conneau 等人的论文《大规模无监督跨语言表示学习》。

适用范围与限制

该模型主要用于语言检测任务，即文本序列分类。目前，其支持 41 种语言，这些语言分为现代和中古两类：

• 现代语言包括：保加利亚语、克罗地亚语、捷克语、丹麦语、荷兰语、英语、爱沙尼亚语、芬兰语、法语、德语、希腊语、匈牙利语、爱尔兰语、意大利语、拉脱维亚语、立陶宛语、马耳他语、波兰语、葡萄牙语、罗马尼亚语、斯洛伐克语、斯洛文尼亚语、西班牙语、瑞典语、俄语、土耳其语、巴斯克语、加泰罗尼亚语、阿尔巴尼亚语、塞尔维亚语、乌克兰语、挪威语、阿拉伯语、中文、希伯来语。
• 中古语言包括：中古高地德语、拉丁语、中古低地德语、古法语、古教会斯拉夫语、早期现代高地德语、古希腊和中古希腊。

训练与评估

langdetect 模型使用 Monasterium 和 Wikipedia 数据集进行微调，这些数据包括 41 种语言的文本序列。训练集包含 80,000 个样本，验证集和测试集则各包含 16,000 个样本。测试集的平均准确率为 99.59%，这与平均宏观/加权 F1 分数一致，表明测试集实现了完美的平衡。

训练过程

在训练过程中，该模型使用了 Trainer API 和 WeightedLossTrainer 进行微调。以下是训练时使用的超参数：

• 学习率：2e-05
• 训练批量大小：20
• 验证批量大小：20
• 随机种子：42
• 优化器：Adam，参数 betas=(0.9,0.999) 和 epsilon=1e-08
• 学习率调度器类型：线性
• 训练代数：3
• 混合精度训练：Native AMP

训练结果

训练结果表现优异，以下为三个训练阶段的损失和 F1 分数摘要：

使用示例

为了在项目中集成此模型，以下是一个简单的 Python 代码使用示例：

# 安装必要包
!pip install transformers --quiet

# 导入库
import torch
from transformers import pipeline

# 定义分类管道
classificator = pipeline("text-classification", model="ERCDiDip/langdetect")

# 使用分类管道
result = classificator("示例文本")
print(result)

更新信息

模型最近的一次更新是在 2022 年 11 月 25 日，增加了对古希腊和中古希腊（grc）的支持。

框架版本

• Transformers 版本：4.24.0
• Pytorch 版本：1.13.0
• 数据集版本：2.6.1
• 分词器版本：0.13.3

在使用该模型时，请引用以下文献以表示对原作者的尊重和致谢。模型的详细信息和下载地址可在 Hugging Face 的 langdetect 页面 找到。