懂AI
emotion2vec

emotion2vec

通用语音情感表示模型开源实现

emotion2vec是一个开源的语音情感表示模型,采用自监督预训练方法提取跨任务、跨语言和跨场景的通用情感特征。该模型在IEMOCAP等数据集上取得了领先性能,并在多语言和多任务上展现出优异表现。项目开源了预训练模型、特征提取工具和下游任务训练脚本,为语音情感分析研究提供了有力支持。

emotion2vec语音情感识别自监督预训练特征提取情感表征Github开源项目
GitHubHugging Face论文文档
<div align="center"> <h1> EMOTION2VEC </h1> <p> 用于提取特征和训练下游模型的官方 PyTorch 代码 <br> <b><em>emotion2vec: 语音情感表征的自监督预训练</em></b> </p> <p> <img src="https://yellow-cdn.veclightyear.com/ab5030c0/3f960606-e985-4e47-92b8-c7d058176997.png" alt="emotion2vec 标志" style="width: 200px; height: 200px;"> </p> <p> </p> <a href="https://github.com/ddlBoJack/emotion2vec"><img src="https://img.shields.io/badge/平台-linux-lightgrey" alt="版本"></a> <a href="https://github.com/ddlBoJack/emotion2vec"><img src="https://img.shields.io/badge/Python-3.8+-orange" alt="版本"></a> <a href="https://github.com/ddlBoJack/emotion2vec"><img src="https://img.shields.io/badge/PyTorch-1.13+-brightgreen" alt="python"></a> <a href="https://github.com/ddlBoJack/emotion2vec"><img src="https://yellow-cdn.veclightyear.com/ab5030c0/ce3c24dd-2e35-4672-a1fd-6ab156adb301.svg" alt="mit"></a> </div>

新闻

  • [2024年6月] 🔧 我们修复了 emotion2vec+ 中的一个错误。请重新拉取最新代码。
  • [2024年5月] 🔥 语音情感识别基础模型：emotion2vec+，支持9类情感，已在 Model Scope 和 Hugging Face 上发布。查看一系列用于高性能语音情感识别的 emotion2vec+ (seed, base, large) 模型**（我们推荐使用此版本，而非2024年1月发布的版本）**。
  • [2024年1月] 基于 emotion2vec 迭代微调的9类情感识别模型已在 modelscope 和 FunASR 上发布。
  • [2024年1月] emotion2vec 已集成到 modelscope 和 FunASR。
  • [2023年12月] 我们发布了 论文，并创建了一个 微信群 用于 emotion2vec。
  • [2023年11月] 我们发布了 emotion2vec 的代码、检查点和提取的特征。

模型卡片

GitHub 仓库：emotion2vec

模型⭐Model Scope🤗Hugging Face微调数据（小时）
emotion2vec链接链接/
emotion2vec+ seed链接链接201
emotion2vec+ base链接链接4788
emotion2vec+ large链接链接42526

概述

emotion2vec+：语音情感识别基础模型

指南

emotion2vec+ 是一系列语音情感识别（SER）基础模型。我们旨在训练一个语音情感识别领域的"whisper"，通过数据驱动的方法克服语言和录音环境的影响，实现通用、鲁棒的情感识别能力。emotion2vec+ 的性能显著超过了 Hugging Face 上其他下载量很高的开源模型。

数据工程

我们提供了3个版本的 emotion2vec+，每个版本都是从其前身的数据衍生而来。如果您需要一个专注于语音情感表征的模型，请参考 emotion2vec：通用语音情感表征模型。

  • emotion2vec+ seed：使用来自 EmoBox 的学术语音情感数据进行微调
  • emotion2vec+ base：使用经过筛选的大规模伪标记数据进行微调，得到基础大小模型（约90M）
  • emotion2vec+ large：使用经过筛选的大规模伪标记数据进行微调，得到大型模型（约300M）

下图illustrates了迭代过程，最终使用160k小时语音情感数据中的40k小时训练得到 emotion2vec+ large 模型。数据工程的详细信息将稍后公布。

性能

在 EmoBox 上对4类主要情感的性能（无需微调）。模型性能的详细信息将稍后公布。

使用检查点进行推理

从 modelscope 安装（推荐）

  1. 安装 modelscope 和 funasr
pip install -U funasr modelscope
  1. 运行代码
'''
使用微调后的情感识别模型

rec_result 包含 {'feats', 'labels', 'scores'}
    extract_embedding=False：9类情感及其得分
    extract_embedding=True：9类情感及其得分，以及特征

9类情感：
iic/emotion2vec_plus_seed, iic/emotion2vec_plus_base, iic/emotion2vec_plus_large（2024年5月发布）
iic/emotion2vec_base_finetuned（2024年1月发布）
    0: 愤怒
    1: 厌恶
    2: 恐惧
    3: 高兴
    4: 中性
    5: 其他
    6: 悲伤
    7: 惊讶
    8: 未知
'''

from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks

inference_pipeline = pipeline(
    task=Tasks.emotion_recognition,
    model="iic/emotion2vec_large")  # 可选：iic/emotion2vec_plus_seed, iic/emotion2vec_plus_base, iic/emotion2vec_plus_large 和 iic/emotion2vec_base_finetuned

rec_result = inference_pipeline('https://isv-data.oss-cn-hangzhou.aliyuncs.com/ics/MaaS/ASR/test_audio/asr_example_zh.wav', output_dir="./outputs", granularity="utterance", extract_embedding=False)
print(rec_result)

模型将自动下载。

从 FunASR 安装

  1. 安装 funasr
pip install -U funasr
  1. 运行代码
'''
使用微调后的情感识别模型

rec_result 包含 {'feats', 'labels', 'scores'}
    extract_embedding=False：9类情感及其得分
    extract_embedding=True：9类情感及其得分，以及特征

9类情感：
iic/emotion2vec_plus_seed, iic/emotion2vec_plus_base, iic/emotion2vec_plus_large（2024年5月发布）
iic/emotion2vec_base_finetuned（2024年1月发布）
    0: 愤怒
    1: 厌恶
    2: 恐惧
    3: 高兴
    4: 中性
    5: 其他
    6: 悲伤
    7: 惊讶
    8: 未知
'''

from funasr import AutoModel

model = AutoModel(model="iic/emotion2vec_base_finetuned") # 可选：iic/emotion2vec_plus_seed, iic/emotion2vec_plus_base, iic/emotion2vec_plus_large 和 iic/emotion2vec_base_finetuned

wav_file = f"{model.model_path}/example/test.wav"
rec_result = model.generate(wav_file, output_dir="./outputs", granularity="utterance", extract_embedding=False)
print(rec_result)

模型将自动下载。

FunASR 支持 wav.scp（kaldi 风格）的文件列表输入：

wav_name1 wav_path1.wav
wav_name2 wav_path2.wav
...

更多详情请参考 FunASR。

emotion2vec：通用语音情感表征模型

指南

emotion2vec 是首个通用语音情感表征模型。通过自监督预训练，emotion2vec 具备跨任务、跨语言、跨场景提取情感表征的能力。

性能

IEMOCAP 上的性能

emotion2vec 仅使用线性层就在主流的 IEMOCAP 数据集上取得了最先进的结果。更多详情请参考论文。

其他语言上的性能

与最先进的 SSL 模型相比，emotion2vec 在多种语言（普通话、法语、德语、意大利语等）上取得了最先进的结果。更多详情请参考论文。

其他语音情感任务上的性能

更多详情请参考论文。

可视化

IEMOCAP数据集上学习特征的UMAP可视化。<span style="color:red;">红色</span>和<span style="color:blue;">蓝色</span>调分别表示低唤起和高唤起的情感类别。更多详细信息请参阅论文。

提取特征

下载提取的特征

我们提供了流行情感数据集IEMOCAP的提取特征。这些特征从emotion2vec的最后一层提取。特征以.npy格式存储，提取特征的采样率为50Hz。句级特征通过平均帧级特征计算得出。

所有wav文件都从原始数据集中提取，用于各种下游任务。如果想要使用标准的5531个句子进行4种情感分类的训练，请参考iemocap_downstream文件夹。

从您的数据集提取特征

从源代码安装

最低环境要求为python>=3.8和torch>=1.13。我们的测试环境为python=3.8和torch=2.01。

  1. 克隆仓库。
pip install fairseq
git clone https://github.com/ddlBoJack/emotion2vec.git
  1. 从以下位置下载emotion2vec检查点：
  1. 修改并运行scripts/extract_features.sh

从modelscope安装（推荐）

  1. 安装modelscope和funasr
pip install -U funasr modelscope
  1. 运行代码。
'''
使用情感表示模型
rec_result只包含{'feats'}
    granularity="utterance"：{'feats': [*768]}
    granularity="frame"：{feats: [T*768]}
'''

from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks

inference_pipeline = pipeline(
    task=Tasks.emotion_recognition,
    model="iic/emotion2vec_base")

rec_result = inference_pipeline('https://isv-data.oss-cn-hangzhou.aliyuncs.com/ics/MaaS/ASR/test_audio/asr_example_zh.wav', output_dir="./outputs", granularity="utterance")
print(rec_result)

模型将自动下载。

更多详细信息请参考modelscope上的emotion2vec_base和emotion2vec_base_finetuned。

从FunASR安装

  1. 安装funasr
pip install -U funasr
  1. 运行代码。
'''
使用情感表示模型
rec_result只包含{'feats'}
    granularity="utterance"：{'feats': [*768]}
    granularity="frame"：{feats: [T*768]}
'''

from funasr import AutoModel

model = AutoModel(model="iic/emotion2vec_base")

wav_file = f"{model.model_path}/example/test.wav"
rec_result = model.generate(wav_file, output_dir="./outputs", granularity="utterance")
print(rec_result)

模型将自动下载。

FunASR支持wav.scp（kaldi风格）的文件列表输入：

wav_name1 wav_path1.wav
wav_name2 wav_path2.wav
...

更多详细信息请参考FunASR。

训练您的下游模型

我们在iemocap_downstream文件夹中提供了IEMOCAP数据集的训练脚本。您可以修改这些脚本以在其他数据集上训练您的下游模型。

引用

如果您觉得我们的emotion2vec代码和论文有用，请引用：

@article{ma2023emotion2vec,
  title={emotion2vec: Self-Supervised Pre-Training for Speech Emotion Representation},
  author={Ma, Ziyang and Zheng, Zhisheng and Ye, Jiaxin and Li, Jinchao and Gao, Zhifu and Zhang, Shiliang and Chen, Xie},
  journal={arXiv preprint arXiv:2312.15185},
  year={2023}
}

编辑推荐精选

Vora

Vora

免费创建高清无水印Sora视频

Vora是一个免费创建高清无水印Sora视频的AI工具

Refly.AI

Refly.AI

最适合小白的AI自动化工作流平台

无需编码，轻松生成可复用、可变现的AI自动化工作流

酷表ChatExcel

酷表ChatExcel

大模型驱动的Excel数据处理工具

基于大模型交互的表格处理系统，允许用户通过对话方式完成数据整理和可视化分析。系统采用机器学习算法解析用户指令，自动执行排序、公式计算和数据透视等操作，支持多种文件格式导入导出。数据处理响应速度保持在0.8秒以内，支持超过100万行数据的即时分析。

AI工具酷表ChatExcelAI智能客服AI营销产品使用教程
TRAE编程

TRAE编程

AI辅助编程，代码自动修复

Trae是一种自适应的集成开发环境（IDE），通过自动化和多元协作改变开发流程。利用Trae，团队能够更快速、精确地编写和部署代码，从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能，是提升开发效率的理想工具。

AI工具TraeAI IDE协作生产力转型热门
AIWritePaper论文写作

AIWritePaper论文写作

AI论文写作指导平台

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

AI辅助写作AI工具AI论文工具论文写作智能生成大纲数据安全AI助手热门
博思AIPPT

博思AIPPT

AI一键生成PPT，就用博思AIPPT！

博思AIPPT，新一代的AI生成PPT平台，支持智能生成PPT、AI美化PPT、文本&链接生成PPT、导入Word/PDF/Markdown文档生成PPT等，内置海量精美PPT模板，涵盖商务、教育、科技等不同风格，同时针对每个页面提供多种版式，一键自适应切换，完美适配各种办公场景。

AI办公办公工具AI工具博思AIPPTAI生成PPT智能排版海量精品模板AI创作热门
潮际好麦

潮际好麦

AI赋能电商视觉革命，一站式智能商拍平台

潮际好麦深耕服装行业，是国内AI试衣效果最好的软件。使用先进AIGC能力为电商卖家批量提供优质的、低成本的商拍图。合作品牌有Shein、Lazada、安踏、百丽等65个国内外头部品牌，以及国内10万+淘宝、天猫、京东等主流平台的品牌商家，为卖家节省将近85%的出图成本，提升约3倍出图效率，让品牌能够快速上架。

iTerms

iTerms

企业专属的AI法律顾问

iTerms是法大大集团旗下法律子品牌，基于最先进的大语言模型(LLM)、专业的法律知识库和强大的智能体架构，帮助企业扫清合规障碍，筑牢风控防线，成为您企业专属的AI法律顾问。

SimilarWeb流量提升

SimilarWeb流量提升

稳定高效的流量提升解决方案，助力品牌曝光

稳定高效的流量提升解决方案，助力品牌曝光

Sora2视频免费生成

Sora2视频免费生成

最新版Sora2模型免费使用，一键生成无水印视频

最新版Sora2模型免费使用，一键生成无水印视频

下拉加载更多