whisper-small-fa

whisper-small-fa 项目介绍

项目概述

whisper-small-fa 是在 OpenAI 的 whisper-small 模型基础上进行微调后的版本，该微调模型训练使用了 Common Voice 第17版数据集中的波斯语数据 (fa 配置)。在模型的评估测试集中，whisper-small-fa 模型取得了 35.4973 的词错误率 (WER)。该模型适用于自动语音识别任务，能够从音频中转换和识别语音内容。

数据集和评估指标

数据集

whisper-small-fa 所采用的数据集为 Common Voice Version 17.0，语言为波斯语，数据集类型为 common_voice_17_0。模型的性能通过在测试集上的表现进行评估。

评估指标

该项目使用词错误率(WER)作为主要的评估指标。WER 值为 35.4973，这意味着模型在识别测试集中词的错误率为约35.5%。

模型训练

训练超参数

在训练模型的过程中，使用了一下超参数：

• 学习率 (learning_rate): 1e-05
• 训练批次大小 (train_batch_size): 16
• 验证批次大小 (eval_batch_size): 16
• 随机种子 (seed): 42
• 优化器 (optimizer): Adam，参数为 betas=(0.9,0.999)，epsilon=1e-08
• 学习率调度器类型 (lr_scheduler_type): 线性
• 学习率预热步数 (lr_scheduler_warmup_steps): 500
• 训练步骤 (training_steps): 100000
• 混合精度训练 (mixed_precision_training): Native AMP

训练结果

训练过程中，模型在不同训练步数下的损失和词错误率 (WER) 变化情况如下表所示：

使用框架版本

• Transformers 版本：4.45.1
• Pytorch 版本：2.4.1+cu121
• Datasets 版本：3.0.1
• Tokenizers 版本：0.20.0

该项目虽然取得了一定的效果，但由于打分偏高，后续可能需要更多的优化和改进工作。此外，相较于实际应用场景，模型性能需要进一步提升。在使用模型时，请对其局限性保持清醒的认识。