懂AI
emotion2vec

emotion2vec

通用语音情感表示模型开源实现

emotion2vec是一个开源的语音情感表示模型,采用自监督预训练方法提取跨任务、跨语言和跨场景的通用情感特征。该模型在IEMOCAP等数据集上取得了领先性能,并在多语言和多任务上展现出优异表现。项目开源了预训练模型、特征提取工具和下游任务训练脚本,为语音情感分析研究提供了有力支持。

emotion2vec语音情感识别自监督预训练特征提取情感表征Github开源项目
GitHubHugging Face论文文档
<div align="center"> <h1> EMOTION2VEC </h1> <p> 用于提取特征和训练下游模型的官方 PyTorch 代码 <br> <b><em>emotion2vec: 语音情感表征的自监督预训练</em></b> </p> <p> <img src="https://yellow-cdn.veclightyear.com/ab5030c0/3f960606-e985-4e47-92b8-c7d058176997.png" alt="emotion2vec 标志" style="width: 200px; height: 200px;"> </p> <p> </p> <a href="https://github.com/ddlBoJack/emotion2vec"><img src="https://img.shields.io/badge/平台-linux-lightgrey" alt="版本"></a> <a href="https://github.com/ddlBoJack/emotion2vec"><img src="https://img.shields.io/badge/Python-3.8+-orange" alt="版本"></a> <a href="https://github.com/ddlBoJack/emotion2vec"><img src="https://img.shields.io/badge/PyTorch-1.13+-brightgreen" alt="python"></a> <a href="https://github.com/ddlBoJack/emotion2vec"><img src="https://yellow-cdn.veclightyear.com/ab5030c0/ce3c24dd-2e35-4672-a1fd-6ab156adb301.svg" alt="mit"></a> </div>

新闻

  • [2024年6月] 🔧 我们修复了 emotion2vec+ 中的一个错误。请重新拉取最新代码。
  • [2024年5月] 🔥 语音情感识别基础模型：emotion2vec+，支持9类情感，已在 Model Scope 和 Hugging Face 上发布。查看一系列用于高性能语音情感识别的 emotion2vec+ (seed, base, large) 模型**（我们推荐使用此版本，而非2024年1月发布的版本）**。
  • [2024年1月] 基于 emotion2vec 迭代微调的9类情感识别模型已在 modelscope 和 FunASR 上发布。
  • [2024年1月] emotion2vec 已集成到 modelscope 和 FunASR。
  • [2023年12月] 我们发布了 论文，并创建了一个 微信群 用于 emotion2vec。
  • [2023年11月] 我们发布了 emotion2vec 的代码、检查点和提取的特征。

模型卡片

GitHub 仓库：emotion2vec

模型⭐Model Scope🤗Hugging Face微调数据（小时）
emotion2vec链接链接/
emotion2vec+ seed链接链接201
emotion2vec+ base链接链接4788
emotion2vec+ large链接链接42526

概述

emotion2vec+：语音情感识别基础模型

指南

emotion2vec+ 是一系列语音情感识别（SER）基础模型。我们旨在训练一个语音情感识别领域的"whisper"，通过数据驱动的方法克服语言和录音环境的影响，实现通用、鲁棒的情感识别能力。emotion2vec+ 的性能显著超过了 Hugging Face 上其他下载量很高的开源模型。

数据工程

我们提供了3个版本的 emotion2vec+，每个版本都是从其前身的数据衍生而来。如果您需要一个专注于语音情感表征的模型，请参考 emotion2vec：通用语音情感表征模型。

  • emotion2vec+ seed：使用来自 EmoBox 的学术语音情感数据进行微调
  • emotion2vec+ base：使用经过筛选的大规模伪标记数据进行微调，得到基础大小模型（约90M）
  • emotion2vec+ large：使用经过筛选的大规模伪标记数据进行微调，得到大型模型（约300M）

下图illustrates了迭代过程，最终使用160k小时语音情感数据中的40k小时训练得到 emotion2vec+ large 模型。数据工程的详细信息将稍后公布。

性能

在 EmoBox 上对4类主要情感的性能（无需微调）。模型性能的详细信息将稍后公布。

使用检查点进行推理

从 modelscope 安装（推荐）

  1. 安装 modelscope 和 funasr
pip install -U funasr modelscope
  1. 运行代码
'''
使用微调后的情感识别模型

rec_result 包含 {'feats', 'labels', 'scores'}
    extract_embedding=False：9类情感及其得分
    extract_embedding=True：9类情感及其得分，以及特征

9类情感：
iic/emotion2vec_plus_seed, iic/emotion2vec_plus_base, iic/emotion2vec_plus_large（2024年5月发布）
iic/emotion2vec_base_finetuned（2024年1月发布）
    0: 愤怒
    1: 厌恶
    2: 恐惧
    3: 高兴
    4: 中性
    5: 其他
    6: 悲伤
    7: 惊讶
    8: 未知
'''

from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks

inference_pipeline = pipeline(
    task=Tasks.emotion_recognition,
    model="iic/emotion2vec_large")  # 可选：iic/emotion2vec_plus_seed, iic/emotion2vec_plus_base, iic/emotion2vec_plus_large 和 iic/emotion2vec_base_finetuned

rec_result = inference_pipeline('https://isv-data.oss-cn-hangzhou.aliyuncs.com/ics/MaaS/ASR/test_audio/asr_example_zh.wav', output_dir="./outputs", granularity="utterance", extract_embedding=False)
print(rec_result)

模型将自动下载。

从 FunASR 安装

  1. 安装 funasr
pip install -U funasr
  1. 运行代码
'''
使用微调后的情感识别模型

rec_result 包含 {'feats', 'labels', 'scores'}
    extract_embedding=False：9类情感及其得分
    extract_embedding=True：9类情感及其得分，以及特征

9类情感：
iic/emotion2vec_plus_seed, iic/emotion2vec_plus_base, iic/emotion2vec_plus_large（2024年5月发布）
iic/emotion2vec_base_finetuned（2024年1月发布）
    0: 愤怒
    1: 厌恶
    2: 恐惧
    3: 高兴
    4: 中性
    5: 其他
    6: 悲伤
    7: 惊讶
    8: 未知
'''

from funasr import AutoModel

model = AutoModel(model="iic/emotion2vec_base_finetuned") # 可选：iic/emotion2vec_plus_seed, iic/emotion2vec_plus_base, iic/emotion2vec_plus_large 和 iic/emotion2vec_base_finetuned

wav_file = f"{model.model_path}/example/test.wav"
rec_result = model.generate(wav_file, output_dir="./outputs", granularity="utterance", extract_embedding=False)
print(rec_result)

模型将自动下载。

FunASR 支持 wav.scp（kaldi 风格）的文件列表输入：

wav_name1 wav_path1.wav
wav_name2 wav_path2.wav
...

更多详情请参考 FunASR。

emotion2vec：通用语音情感表征模型

指南

emotion2vec 是首个通用语音情感表征模型。通过自监督预训练，emotion2vec 具备跨任务、跨语言、跨场景提取情感表征的能力。

性能

IEMOCAP 上的性能

emotion2vec 仅使用线性层就在主流的 IEMOCAP 数据集上取得了最先进的结果。更多详情请参考论文。

其他语言上的性能

与最先进的 SSL 模型相比，emotion2vec 在多种语言（普通话、法语、德语、意大利语等）上取得了最先进的结果。更多详情请参考论文。

其他语音情感任务上的性能

更多详情请参考论文。

可视化

IEMOCAP数据集上学习特征的UMAP可视化。<span style="color:red;">红色</span>和<span style="color:blue;">蓝色</span>调分别表示低唤起和高唤起的情感类别。更多详细信息请参阅论文。

提取特征

下载提取的特征

我们提供了流行情感数据集IEMOCAP的提取特征。这些特征从emotion2vec的最后一层提取。特征以.npy格式存储，提取特征的采样率为50Hz。句级特征通过平均帧级特征计算得出。

所有wav文件都从原始数据集中提取，用于各种下游任务。如果想要使用标准的5531个句子进行4种情感分类的训练，请参考iemocap_downstream文件夹。

从您的数据集提取特征

从源代码安装

最低环境要求为python>=3.8和torch>=1.13。我们的测试环境为python=3.8和torch=2.01。

  1. 克隆仓库。
pip install fairseq
git clone https://github.com/ddlBoJack/emotion2vec.git
  1. 从以下位置下载emotion2vec检查点：
  1. 修改并运行scripts/extract_features.sh

从modelscope安装（推荐）

  1. 安装modelscope和funasr
pip install -U funasr modelscope
  1. 运行代码。
'''
使用情感表示模型
rec_result只包含{'feats'}
    granularity="utterance"：{'feats': [*768]}
    granularity="frame"：{feats: [T*768]}
'''

from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks

inference_pipeline = pipeline(
    task=Tasks.emotion_recognition,
    model="iic/emotion2vec_base")

rec_result = inference_pipeline('https://isv-data.oss-cn-hangzhou.aliyuncs.com/ics/MaaS/ASR/test_audio/asr_example_zh.wav', output_dir="./outputs", granularity="utterance")
print(rec_result)

模型将自动下载。

更多详细信息请参考modelscope上的emotion2vec_base和emotion2vec_base_finetuned。

从FunASR安装

  1. 安装funasr
pip install -U funasr
  1. 运行代码。
'''
使用情感表示模型
rec_result只包含{'feats'}
    granularity="utterance"：{'feats': [*768]}
    granularity="frame"：{feats: [T*768]}
'''

from funasr import AutoModel

model = AutoModel(model="iic/emotion2vec_base")

wav_file = f"{model.model_path}/example/test.wav"
rec_result = model.generate(wav_file, output_dir="./outputs", granularity="utterance")
print(rec_result)

模型将自动下载。

FunASR支持wav.scp（kaldi风格）的文件列表输入：

wav_name1 wav_path1.wav
wav_name2 wav_path2.wav
...

更多详细信息请参考FunASR。

训练您的下游模型

我们在iemocap_downstream文件夹中提供了IEMOCAP数据集的训练脚本。您可以修改这些脚本以在其他数据集上训练您的下游模型。

引用

如果您觉得我们的emotion2vec代码和论文有用，请引用：

@article{ma2023emotion2vec,
  title={emotion2vec: Self-Supervised Pre-Training for Speech Emotion Representation},
  author={Ma, Ziyang and Zheng, Zhisheng and Ye, Jiaxin and Li, Jinchao and Gao, Zhifu and Zhang, Shiliang and Chen, Xie},
  journal={arXiv preprint arXiv:2312.15185},
  year={2023}
}

编辑推荐精选

商汤小浣熊

商汤小浣熊

最强AI数据分析助手

小浣熊家族Raccoon，您的AI智能助手，致力于通过先进的人工智能技术，为用户提供高效、便捷的智能服务。无论是日常咨询还是专业问题解答，小浣熊都能以快速、准确的响应满足您的需求，让您的生活更加智能便捷。

imini AI

imini AI

像人一样思考的AI智能体

imini 是一款超级AI智能体，能根据人类指令，自主思考、自主完成、并且交付结果的AI智能体。

Keevx

Keevx

AI数字人视频创作平台

Keevx 一款开箱即用的AI数字人视频创作平台，广泛适用于电商广告、企业培训与社媒宣传，让全球企业与个人创作者无需拍摄剪辑，就能快速生成多语言、高质量的专业视频。

即梦AI

即梦AI

一站式AI创作平台

提供 AI 驱动的图片、视频生成及数字人等功能，助力创意创作

扣子-AI办公

扣子-AI办公

AI办公助手，复杂任务高效处理

AI办公助手，复杂任务高效处理。办公效率低？扣子空间AI助手支持播客生成、PPT制作、网页开发及报告写作，覆盖科研、商业、舆情等领域的专家Agent 7x24小时响应，生活工作无缝切换，提升50%效率！

TRAE编程

TRAE编程

AI辅助编程，代码自动修复

Trae是一种自适应的集成开发环境（IDE），通过自动化和多元协作改变开发流程。利用Trae，团队能够更快速、精确地编写和部署代码，从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能，是提升开发效率的理想工具。

热门AI工具生产力协作转型TraeAI IDE
蛙蛙写作

蛙蛙写作

AI小说写作助手，一站式润色、改写、扩写

蛙蛙写作—国内先进的AI写作平台，涵盖小说、学术、社交媒体等多场景。提供续写、改写、润色等功能，助力创作者高效优化写作流程。界面简洁,功能全面,适合各类写作者提升内容品质和工作效率。

AI助手AI工具AI写作工具AI辅助写作蛙蛙写作学术助手办公助手营销助手
问小白

问小白

全能AI智能助手，随时解答生活与工作的多样问题

问小白，由元石科技研发的AI智能助手，快速准确地解答各种生活和工作问题，包括但不限于搜索、规划和社交互动，帮助用户在日常生活中提高效率，轻松管理个人事务。

聊天机器人AI助手热门AI工具AI对话
Transly

Transly

实时语音翻译/同声传译工具

Transly是一个多场景的AI大语言模型驱动的同声传译、专业翻译助手，它拥有超精准的音频识别翻译能力，几乎零延迟的使用体验和支持多国语言可以让你带它走遍全球，无论你是留学生、商务人士、韩剧美剧爱好者，还是出国游玩、多国会议、跨国追星等等，都可以满足你所有需要同传的场景需求，线上线下通用，扫除语言障碍，让全世界的语言交流不再有国界。

讯飞智文

讯飞智文

一键生成PPT和Word，让学习生活更轻松

讯飞智文是一个利用 AI 技术的项目，能够帮助用户生成 PPT 以及各类文档。无论是商业领域的市场分析报告、年度目标制定，还是学生群体的职业生涯规划、实习避坑指南，亦或是活动策划、旅游攻略等内容，它都能提供支持，帮助用户精准表达，轻松呈现各种信息。

热门AI工具AI办公办公工具讯飞智文AI在线生成PPTAI撰写助手多语种文档生成AI自动配图
下拉加载更多