wav2vec2-large-xlsr-53-th

wav2vec2-large-xlsr-53-th项目介绍

项目概述

wav2vec2-large-xlsr-53-th是一个针对泰语自动语音识别(ASR)的项目。该项目基于Facebook的wav2vec2-large-xlsr-53模型,使用Common Voice 7.0数据集中的泰语样本进行了微调。这个项目旨在提高泰语语音识别的准确性和效果。

技术细节

该项目使用了以下主要技术和资源:

1. 预训练模型: Facebook的wav2vec2-large-xlsr-53
2. 训练数据: Common Voice 7.0数据集中的泰语部分
3. 分词工具: PyThaiNLP和deepcut
4. 评估指标: 词错误率(WER)、句错误率(SER)和字符错误率(CER)

数据处理

项目团队对Common Voice 7.0数据集进行了详细的预处理:

1. 使用PyThaiNLP进行预分词
2. 应用清洗规则去除噪声数据
3. 去重并按特定方式划分数据集,以避免数据泄露并保留大部分数据用于训练

经过处理后,最终得到的数据集包含:

• 训练集: 86,586条样本
• 验证集: 3,027条样本
• 测试集: 2,502条样本

模型训练

模型训练在单个V100 GPU上进行,使用了以下主要配置:

• 学习率: 1e-4
• 训练轮数: 100
• 批次大小: 32
• 梯度累积步数: 1
• 评估步数: 每1000步
• 使用FP16加速训练

评估结果

在测试集上,该模型取得了优秀的表现:

• WER(使用PyThaiNLP分词): 13.63%
• WER(使用deepcut分词): 8.15%
• CER: 2.81%

这些结果优于多个商业API的表现,展示了该模型的强大性能。

使用方法

项目提供了简单的Python代码示例,展示了如何加载预训练的处理器和模型,并进行推理。用户可以轻松地将这个模型集成到自己的泰语语音识别应用中。

总结

wav2vec2-large-xlsr-53-th项目为泰语自动语音识别提供了一个高性能的开源解决方案。通过精心的数据处理、模型训练和评估,该项目在多个指标上都取得了优秀的结果。这个项目不仅推动了泰语语音识别技术的发展,也为其他语言的类似研究提供了宝贵的经验和参考。