懂AI
emotion2vec

emotion2vec

通用语音情感表示模型开源实现

emotion2vec是一个开源的语音情感表示模型,采用自监督预训练方法提取跨任务、跨语言和跨场景的通用情感特征。该模型在IEMOCAP等数据集上取得了领先性能,并在多语言和多任务上展现出优异表现。项目开源了预训练模型、特征提取工具和下游任务训练脚本,为语音情感分析研究提供了有力支持。

emotion2vec语音情感识别自监督预训练特征提取情感表征Github开源项目
GitHubHugging Face论文文档
<div align="center"> <h1> EMOTION2VEC </h1> <p> 用于提取特征和训练下游模型的官方 PyTorch 代码 <br> <b><em>emotion2vec: 语音情感表征的自监督预训练</em></b> </p> <p> <img src="https://yellow-cdn.veclightyear.com/ab5030c0/3f960606-e985-4e47-92b8-c7d058176997.png" alt="emotion2vec 标志" style="width: 200px; height: 200px;"> </p> <p> </p> <a href="https://github.com/ddlBoJack/emotion2vec"><img src="https://img.shields.io/badge/平台-linux-lightgrey" alt="版本"></a> <a href="https://github.com/ddlBoJack/emotion2vec"><img src="https://img.shields.io/badge/Python-3.8+-orange" alt="版本"></a> <a href="https://github.com/ddlBoJack/emotion2vec"><img src="https://img.shields.io/badge/PyTorch-1.13+-brightgreen" alt="python"></a> <a href="https://github.com/ddlBoJack/emotion2vec"><img src="https://yellow-cdn.veclightyear.com/ab5030c0/ce3c24dd-2e35-4672-a1fd-6ab156adb301.svg" alt="mit"></a> </div>

新闻

  • [2024年6月] 🔧 我们修复了 emotion2vec+ 中的一个错误。请重新拉取最新代码。
  • [2024年5月] 🔥 语音情感识别基础模型：emotion2vec+，支持9类情感，已在 Model Scope 和 Hugging Face 上发布。查看一系列用于高性能语音情感识别的 emotion2vec+ (seed, base, large) 模型**（我们推荐使用此版本，而非2024年1月发布的版本）**。
  • [2024年1月] 基于 emotion2vec 迭代微调的9类情感识别模型已在 modelscope 和 FunASR 上发布。
  • [2024年1月] emotion2vec 已集成到 modelscope 和 FunASR。
  • [2023年12月] 我们发布了 论文，并创建了一个 微信群 用于 emotion2vec。
  • [2023年11月] 我们发布了 emotion2vec 的代码、检查点和提取的特征。

模型卡片

GitHub 仓库：emotion2vec

模型⭐Model Scope🤗Hugging Face微调数据（小时）
emotion2vec链接链接/
emotion2vec+ seed链接链接201
emotion2vec+ base链接链接4788
emotion2vec+ large链接链接42526

概述

emotion2vec+：语音情感识别基础模型

指南

emotion2vec+ 是一系列语音情感识别（SER）基础模型。我们旨在训练一个语音情感识别领域的"whisper"，通过数据驱动的方法克服语言和录音环境的影响，实现通用、鲁棒的情感识别能力。emotion2vec+ 的性能显著超过了 Hugging Face 上其他下载量很高的开源模型。

数据工程

我们提供了3个版本的 emotion2vec+，每个版本都是从其前身的数据衍生而来。如果您需要一个专注于语音情感表征的模型，请参考 emotion2vec：通用语音情感表征模型。

  • emotion2vec+ seed：使用来自 EmoBox 的学术语音情感数据进行微调
  • emotion2vec+ base：使用经过筛选的大规模伪标记数据进行微调，得到基础大小模型（约90M）
  • emotion2vec+ large：使用经过筛选的大规模伪标记数据进行微调，得到大型模型（约300M）

下图illustrates了迭代过程，最终使用160k小时语音情感数据中的40k小时训练得到 emotion2vec+ large 模型。数据工程的详细信息将稍后公布。

性能

在 EmoBox 上对4类主要情感的性能（无需微调）。模型性能的详细信息将稍后公布。

使用检查点进行推理

从 modelscope 安装（推荐）

  1. 安装 modelscope 和 funasr
pip install -U funasr modelscope
  1. 运行代码
'''
使用微调后的情感识别模型

rec_result 包含 {'feats', 'labels', 'scores'}
    extract_embedding=False：9类情感及其得分
    extract_embedding=True：9类情感及其得分，以及特征

9类情感：
iic/emotion2vec_plus_seed, iic/emotion2vec_plus_base, iic/emotion2vec_plus_large（2024年5月发布）
iic/emotion2vec_base_finetuned（2024年1月发布）
    0: 愤怒
    1: 厌恶
    2: 恐惧
    3: 高兴
    4: 中性
    5: 其他
    6: 悲伤
    7: 惊讶
    8: 未知
'''

from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks

inference_pipeline = pipeline(
    task=Tasks.emotion_recognition,
    model="iic/emotion2vec_large")  # 可选：iic/emotion2vec_plus_seed, iic/emotion2vec_plus_base, iic/emotion2vec_plus_large 和 iic/emotion2vec_base_finetuned

rec_result = inference_pipeline('https://isv-data.oss-cn-hangzhou.aliyuncs.com/ics/MaaS/ASR/test_audio/asr_example_zh.wav', output_dir="./outputs", granularity="utterance", extract_embedding=False)
print(rec_result)

模型将自动下载。

从 FunASR 安装

  1. 安装 funasr
pip install -U funasr
  1. 运行代码
'''
使用微调后的情感识别模型

rec_result 包含 {'feats', 'labels', 'scores'}
    extract_embedding=False：9类情感及其得分
    extract_embedding=True：9类情感及其得分，以及特征

9类情感：
iic/emotion2vec_plus_seed, iic/emotion2vec_plus_base, iic/emotion2vec_plus_large（2024年5月发布）
iic/emotion2vec_base_finetuned（2024年1月发布）
    0: 愤怒
    1: 厌恶
    2: 恐惧
    3: 高兴
    4: 中性
    5: 其他
    6: 悲伤
    7: 惊讶
    8: 未知
'''

from funasr import AutoModel

model = AutoModel(model="iic/emotion2vec_base_finetuned") # 可选：iic/emotion2vec_plus_seed, iic/emotion2vec_plus_base, iic/emotion2vec_plus_large 和 iic/emotion2vec_base_finetuned

wav_file = f"{model.model_path}/example/test.wav"
rec_result = model.generate(wav_file, output_dir="./outputs", granularity="utterance", extract_embedding=False)
print(rec_result)

模型将自动下载。

FunASR 支持 wav.scp（kaldi 风格）的文件列表输入：

wav_name1 wav_path1.wav
wav_name2 wav_path2.wav
...

更多详情请参考 FunASR。

emotion2vec：通用语音情感表征模型

指南

emotion2vec 是首个通用语音情感表征模型。通过自监督预训练，emotion2vec 具备跨任务、跨语言、跨场景提取情感表征的能力。

性能

IEMOCAP 上的性能

emotion2vec 仅使用线性层就在主流的 IEMOCAP 数据集上取得了最先进的结果。更多详情请参考论文。

其他语言上的性能

与最先进的 SSL 模型相比，emotion2vec 在多种语言（普通话、法语、德语、意大利语等）上取得了最先进的结果。更多详情请参考论文。

其他语音情感任务上的性能

更多详情请参考论文。

可视化

IEMOCAP数据集上学习特征的UMAP可视化。<span style="color:red;">红色</span>和<span style="color:blue;">蓝色</span>调分别表示低唤起和高唤起的情感类别。更多详细信息请参阅论文。

提取特征

下载提取的特征

我们提供了流行情感数据集IEMOCAP的提取特征。这些特征从emotion2vec的最后一层提取。特征以.npy格式存储，提取特征的采样率为50Hz。句级特征通过平均帧级特征计算得出。

所有wav文件都从原始数据集中提取，用于各种下游任务。如果想要使用标准的5531个句子进行4种情感分类的训练，请参考iemocap_downstream文件夹。

从您的数据集提取特征

从源代码安装

最低环境要求为python>=3.8和torch>=1.13。我们的测试环境为python=3.8和torch=2.01。

  1. 克隆仓库。
pip install fairseq
git clone https://github.com/ddlBoJack/emotion2vec.git
  1. 从以下位置下载emotion2vec检查点：
  1. 修改并运行scripts/extract_features.sh

从modelscope安装（推荐）

  1. 安装modelscope和funasr
pip install -U funasr modelscope
  1. 运行代码。
'''
使用情感表示模型
rec_result只包含{'feats'}
    granularity="utterance"：{'feats': [*768]}
    granularity="frame"：{feats: [T*768]}
'''

from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks

inference_pipeline = pipeline(
    task=Tasks.emotion_recognition,
    model="iic/emotion2vec_base")

rec_result = inference_pipeline('https://isv-data.oss-cn-hangzhou.aliyuncs.com/ics/MaaS/ASR/test_audio/asr_example_zh.wav', output_dir="./outputs", granularity="utterance")
print(rec_result)

模型将自动下载。

更多详细信息请参考modelscope上的emotion2vec_base和emotion2vec_base_finetuned。

从FunASR安装

  1. 安装funasr
pip install -U funasr
  1. 运行代码。
'''
使用情感表示模型
rec_result只包含{'feats'}
    granularity="utterance"：{'feats': [*768]}
    granularity="frame"：{feats: [T*768]}
'''

from funasr import AutoModel

model = AutoModel(model="iic/emotion2vec_base")

wav_file = f"{model.model_path}/example/test.wav"
rec_result = model.generate(wav_file, output_dir="./outputs", granularity="utterance")
print(rec_result)

模型将自动下载。

FunASR支持wav.scp（kaldi风格）的文件列表输入：

wav_name1 wav_path1.wav
wav_name2 wav_path2.wav
...

更多详细信息请参考FunASR。

训练您的下游模型

我们在iemocap_downstream文件夹中提供了IEMOCAP数据集的训练脚本。您可以修改这些脚本以在其他数据集上训练您的下游模型。

引用

如果您觉得我们的emotion2vec代码和论文有用，请引用：

@article{ma2023emotion2vec,
  title={emotion2vec: Self-Supervised Pre-Training for Speech Emotion Representation},
  author={Ma, Ziyang and Zheng, Zhisheng and Ye, Jiaxin and Li, Jinchao and Gao, Zhifu and Zhang, Shiliang and Chen, Xie},
  journal={arXiv preprint arXiv:2312.15185},
  year={2023}
}

编辑推荐精选

潮际好麦

潮际好麦

AI赋能电商视觉革命，一站式智能商拍平台

潮际好麦深耕服装行业，是国内AI试衣效果最好的软件。使用先进AIGC能力为电商卖家批量提供优质的、低成本的商拍图。合作品牌有Shein、Lazada、安踏、百丽等65个国内外头部品牌，以及国内10万+淘宝、天猫、京东等主流平台的品牌商家，为卖家节省将近85%的出图成本，提升约3倍出图效率，让品牌能够快速上架。

iTerms

iTerms

企业专属的AI法律顾问

iTerms是法大大集团旗下法律子品牌，基于最先进的大语言模型(LLM)、专业的法律知识库和强大的智能体架构，帮助企业扫清合规障碍，筑牢风控防线，成为您企业专属的AI法律顾问。

SimilarWeb流量提升

SimilarWeb流量提升

稳定高效的流量提升解决方案，助力品牌曝光

稳定高效的流量提升解决方案，助力品牌曝光

Sora2视频免费生成

Sora2视频免费生成

最新版Sora2模型免费使用，一键生成无水印视频

最新版Sora2模型免费使用，一键生成无水印视频

Transly

Transly

实时语音翻译/同声传译工具

Transly是一个多场景的AI大语言模型驱动的同声传译、专业翻译助手，它拥有超精准的音频识别翻译能力，几乎零延迟的使用体验和支持多国语言可以让你带它走遍全球，无论你是留学生、商务人士、韩剧美剧爱好者，还是出国游玩、多国会议、跨国追星等等，都可以满足你所有需要同传的场景需求，线上线下通用，扫除语言障碍，让全世界的语言交流不再有国界。

讯飞绘文

讯飞绘文

选题、配图、成文，一站式创作，让内容运营更高效

讯飞绘文，一个AI集成平台，支持写作、选题、配图、排版和发布。高效生成适用于各类媒体的定制内容，加速品牌传播，提升内容营销效果。

热门AI辅助写作AI工具讯飞绘文内容运营AI创作个性化文章多平台分发AI助手
TRAE编程

TRAE编程

AI辅助编程，代码自动修复

Trae是一种自适应的集成开发环境（IDE），通过自动化和多元协作改变开发流程。利用Trae，团队能够更快速、精确地编写和部署代码，从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能，是提升开发效率的理想工具。

AI工具TraeAI IDE协作生产力转型热门
商汤小浣熊

商汤小浣熊

最强AI数据分析助手

小浣熊家族Raccoon，您的AI智能助手，致力于通过先进的人工智能技术，为用户提供高效、便捷的智能服务。无论是日常咨询还是专业问题解答，小浣熊都能以快速、准确的响应满足您的需求，让您的生活更加智能便捷。

imini AI

imini AI

像人一样思考的AI智能体

imini 是一款超级AI智能体，能根据人类指令，自主思考、自主完成、并且交付结果的AI智能体。

Keevx

Keevx

AI数字人视频创作平台

Keevx 一款开箱即用的AI数字人视频创作平台，广泛适用于电商广告、企业培训与社媒宣传，让全球企业与个人创作者无需拍摄剪辑，就能快速生成多语言、高质量的专业视频。

下拉加载更多