hubert-large-speech-emotion-recognition-russian-dusha-finetuned

hubert-large-speech-emotion-recognition-russian-dusha-finetuned 项目介绍

项目概述

这是一个基于 HuBERT 模型在俄语语音情感识别任务上进行微调的项目。该项目使用了 DUSHA 数据集，旨在提高俄语语音情感识别的准确性。这个模型是在 Facebook 的 hubert-large-ls960-ft 预训练模型基础上进行微调的，能够识别多种情感类别，包括中性、愤怒、积极、悲伤和其他。

模型训练

研究人员使用了 Google Colab 的 Pro 账户，配备 A100 GPU 进行模型训练。他们采用了部分冻结策略，只对投影层、分类器和 24 个 HubertEncoderLayerStableLayerNorm 层进行了微调，而保持其他层的参数不变。为了平衡效率和效果，他们仅使用了一半的训练数据集。

训练参数设置如下：

• 训练轮次：2 个 epoch
• 训练批次大小：8
• 评估批次大小：8
• 梯度累积步数：4
• 学习率：5e-5（无预热和衰减）

模型性能

经过微调后，该模型在测试集上取得了显著的性能提升：

• 准确率达到 86%
• 平衡准确率为 76%
• 宏平均 F1 分数为 81%

这些指标相比于数据集基准有了明显的改善，特别是在准确率和 F1 分数方面。

使用方法

研究人员提供了一段简洁的 Python 代码，展示了如何使用这个模型进行语音情感识别。用户只需要提供音频文件路径，模型就能自动加载音频，进行必要的预处理（如重采样），然后输出预测的情感类别。

代码中定义了一个情感映射字典，将模型输出的数字标签转换为对应的情感标签，使结果更易理解。支持的情感类别包括：中性、愤怒、积极、悲伤和其他。

项目意义

这个项目对于俄语语音情感识别领域具有重要意义。它不仅提供了一个高性能的预训练模型，还为研究人员和开发者提供了一个可靠的基础，可以在此基础上进行进一步的研究和应用开发。这个模型可能在多个领域发挥作用，如客户服务、心理健康监测、人机交互等，有助于提升相关应用的情感智能水平。

hubert-large-speech-emotion-recognition-russian-dusha-finetuned项目介绍

这是一个基于HuBERT模型的俄语语音情感识别项目。该项目使用DUSHA数据集对facebook/hubert-large-ls960-ft预训练模型进行了微调,以提高俄语语音情感识别的准确性。

模型训练

研究人员使用Google Colab Pro账户和A100 GPU进行模型训练。他们采用了部分冻结策略,只对投影层、分类器和24个HubertEncoderLayerStableLayerNorm层进行了微调,保持其他层的参数不变。为了平衡效率和效果,他们仅使用了一半的训练数据集。

训练参数设置如下:

• 训练轮次:2个epoch
• 训练批次大小:8
• 评估批次大小:8
• 梯度累积步数:4
• 学习率:5e-5(无预热和衰减)

模型性能

经过微调后,该模型在测试集上取得了显著的性能提升:

• 准确率达到86%
• 平衡准确率为76%
• 宏平均F1分数为81%

这些指标相比于数据集基准有了明显的改善,特别是在准确率和F1分数方面。

使用方法

研究人员提供了一段简洁的Python代码,展示了如何使用这个模型进行语音情感识别。用户只需要提供音频文件路径,模型就能自动加载音频,进行必要的预处理(如重采样),然后输出预测的情感类别。

代码中定义了一个情感映射字典,将模型输出的数字标签转换为对应的情感标签,使结果更易理解。支持的情感类别包括:中性、愤怒、积极、悲伤和其他。

项目意义

这个项目对于俄语语音情感识别领域具有重要意义。它不仅提供了一个高性能的预训练模型,还为研究人员和开发者提供了一个可靠的基础,可以在此基础上进行进一步的研究和应用开发。这个模型可能在多个领域发挥作用,如客户服务、心理健康监测、人机交互等,有助于提升相关应用的情感智能水平。

通过这个项目,研究人员展示了如何有效地利用预训练模型和特定领域数据集来解决实际问题。这种方法不仅节省了大量的训练时间和计算资源,还能够在有限的数据条件下取得良好的效果,为类似的自然语言处理任务提供了valuable思路。