wav2vec-english-speech-emotion-recognition

项目概述

这是一个基于Wav2Vec 2.0模型进行微调的英语语音情感识别项目。该项目通过对预训练的Wav2Vec 2.0模型进行微调，实现了对语音中情感的精确识别。最终模型在评估集上取得了97.463%的高准确率，展现了出色的性能。

数据集介绍

研究者们使用了三个著名的语音情感数据集来训练模型：

1. SAVEE (Surrey Audio-Visual Expressed Emotion)：包含480个来自4位男性演员的音频文件。
2. RAVDESS (Ryerson Audio-Visual Database of Emotional Speech and Song)：包含1440个来自24位专业演员(12位女性，12位男性)的音频文件。
3. TESS (Toronto emotional speech set)：包含2800个来自2位女性演员的音频文件。

这些数据集涵盖了不同性别、年龄和口音的说话者，为模型提供了丰富多样的训练样本。

情感标签

模型能够识别7种不同的情感标签：

• 愤怒 (angry)
• 厌恶 (disgust)
• 恐惧 (fear)
• 快乐 (happy)
• 中性 (neutral)
• 悲伤 (sad)
• 惊讶 (surprise)

这些标签涵盖了人类基本的情感表达，使得模型能够适应各种语音情感识别场景。

模型训练

研究者们使用了以下超参数进行模型训练：

• 学习率：0.0001
• 训练批次大小：4
• 评估批次大小：4
• 评估步数：每500步
• 随机种子：42
• 梯度累积步数：2
• 优化器：Adam (betas=(0.9,0.999), epsilon=1e-08)
• 训练轮数：4
• 最大步数：7500
• 保存检查点：每1500步

训练过程中，模型的性能逐步提升。在训练初期，准确率仅为48.6%，但随着训练的进行，准确率稳步上升。在第7500步时，模型达到了97.463%的最终准确率。

应用前景

这个语音情感识别模型具有广泛的应用前景，例如：

1. 客户服务质量监控：分析客服电话中客户的情绪变化。
2. 心理健康监测：通过语音分析辅助心理健康评估。
3. 智能家居：根据用户语音情绪调整家居环境。
4. 娱乐产业：为虚拟角色配音提供更真实的情感表达。
5. 教育领域：协助教师了解学生的情绪状态，优化教学方法。

局限性

尽管该模型表现出色，但仍存在一些潜在的局限性：

1. 数据集局限：训练数据主要来自演员表演，可能与真实场景有差异。
2. 语言限制：目前仅支持英语，其他语言的效果有待验证。
3. 复杂情感：对于混合或微妙的情感可能识别效果不佳。
4. 背景噪音：在嘈杂环境中的识别准确率可能下降。

未来的研究可以针对这些局限性进行改进，以进一步提高模型的实用性和泛化能力。