wav2vec2-xls-r-300m-hebrew

wav2vec2-xls-r-300m-hebrew项目介绍

wav2vec2-xls-r-300m-hebrew是一个基于facebook/wav2vec2-xls-r-300m模型在希伯来语数据集上进行微调的自动语音识别模型。该项目通过两个阶段的训练，成功地将原始模型适应于希伯来语语音识别任务。

训练数据

这个项目使用了两个非公开数据集进行训练：

1. 小数据集:

   • 训练集：4.19GB，20,306个样本，28小时音频
   • 验证集：1.05GB，5,076个样本，7小时音频

2. 大数据集:

   • 训练集：12.3GB，90,777个样本，69小时音频
   • 验证集：2.39GB，20,246个样本，14小时音频（不包含弱标注数据）

训练过程

训练分为两个阶段：

1. 第一阶段：在小数据集上进行微调

   • 训练100个epoch
   • 学习率为0.0003
   • 使用Adam优化器
   • 使用线性学习率调度器，预热步数为1000
   • 混合精度训练

2. 第二阶段：在大数据集上进行进一步微调

   • 训练60个epoch
   • 其他超参数与第一阶段相同

模型性能

经过两阶段训练后，该模型在不同数据集上的表现如下：

• 小数据集：

  • WER (词错误率): 16.97%

• 大数据集：

  • Loss: 0.4502
  • WER: 23.18%

模型用途与局限性

这个模型主要用于希伯来语的自动语音识别任务。它可以将希伯来语语音转换为文本，适用于各种语音识别应用场景。然而，由于训练数据的限制，模型在某些特定领域或口音的识别效果可能会有所不同。

潜在应用

1. 语音转文字服务
2. 字幕生成
3. 语音助手
4. 会议记录自动生成
5. 语音搜索

未来改进方向

1. 扩大训练数据集，包括更多样化的语音样本
2. 优化模型结构，提高识别准确率
3. 进行领域适应，使模型更好地适应特定场景
4. 探索多语言模型，支持希伯来语与其他语言的混合识别

wav2vec2-xls-r-300m-hebrew项目展示了如何通过微调大规模预训练模型来创建特定语言的语音识别系统。这种方法不仅提高了模型性能，还大大减少了训练所需的时间和资源。