对话情感识别: 基于深度学习的方法与技术进展

对话情感识别:基于深度学习的方法与技术进展

在人工智能和自然语言处理迅速发展的今天，对话情感识别(Emotion Recognition in Conversation, ERC)已成为一个备受关注的研究热点。这项技术旨在自动识别对话中每个话语的情感,对于构建情感智能对话系统、情感分析等应用具有重要意义。本文将深入探讨ERC领域的最新研究进展,重点介绍几种基于深度学习的方法,并展望未来发展方向。

ERC任务简介

对话情感识别的目标是给定一段对话的文本及说话者信息,识别出每个话语的情感类别。与普通的文本情感分析不同,ERC需要考虑对话的上下文信息、说话者之间的互动等因素,因此更具挑战性。一个典型的ERC任务输入示例如下:

说话者1: 我讨厌我的女朋友 (生气)
说话者2: 你有女朋友?! (惊讶)
说话者1: 是的 (生气)

ERC模型需要根据上下文正确识别出每句话的情感标签。

数据集

目前ERC领域常用的数据集包括:

IEMOCAP: 包含来自10名演员的对话视频,标注了愤怒、快乐、悲伤等情感。
MELD: 来自电视剧《老友记》的多方对话数据集,包含视频、音频和文本。
DailyDialog: 日常对话数据集,标注了7种情感。
EmoryNLP: 来自电视剧的对话数据集,标注了7种情感。

这些数据集为ERC研究提供了重要的实验基础。

深度学习方法

近年来,深度学习方法在ERC任务上取得了显著进展。以下介绍几种代表性模型:

COSMIC

COSMIC (COmmonSense knowledge for eMotion Identification in Conversations)是一种结合常识知识的ERC模型。它的主要创新点包括:

利用COMET等常识知识库,为对话内容生成相关的常识知识。
设计了一个多级上下文整合模块,融合对话历史、说话者信息和常识知识。
采用自蒸馏机制提升模型性能。

COSMIC在IEMOCAP、MELD等多个数据集上都达到了当时的最佳效果。

COSMIC框架

DialogueGCN

DialogueGCN利用图神经网络建模对话中说话者之间的依赖关系。它的主要特点是:

将对话建模为一个图结构,节点表示话语,边表示说话者关系。
使用图卷积网络捕捉对话中的长距离依赖。
设计了节点级和全局注意力机制。

DialogueGCN在处理多方对话时表现出色,能有效建模说话者之间的互动。

DialogueGCN框架

DialogueRNN

DialogueRNN是一种基于循环神经网络的ERC模型,它的核心思想是:

使用全局RNN建模对话整体语境。
为每个说话者设计一个独立的RNN,捕捉说话者状态。
采用注意力机制融合不同说话者的信息。

DialogueRNN能够有效建模说话者状态的演变,在双方对话任务中表现出色。

DialogueRNN框架

性能对比

以下是几种代表性模型在IEMOCAP数据集上的表现(加权F1分数):

RoBERTa: 54.55
RoBERTa + DialogueRNN: 64.76
COSMIC: 65.28

可以看出,结合对话建模和常识知识的COSMIC模型取得了最佳效果。

未来研究方向

尽管ERC领域已取得显著进展,但仍存在一些挑战和潜在的研究方向:

多模态融合: 结合文本、语音、视觉等多模态信息进行情感识别。
跨语言/跨文化ERC: 研究不同语言和文化背景下的情感表达差异。
情感原因识别: 不仅识别情感类别,还要分析引发该情感的原因。
结合大规模预训练模型: 探索如何将BERT、GPT等大模型应用于ERC任务。
低资源场景: 研究如何在训练数据有限的情况下提升ERC模型性能。
实时ERC: 设计能够在对话进行中实时识别情感的模型。

总结

对话情感识别是一个具有广阔应用前景的研究领域。本文介绍了ERC的任务定义、常用数据集,重点分析了COSMIC、DialogueGCN、DialogueRNN等深度学习方法的技术特点。未来,随着深度学习和自然语言处理技术的进步,ERC有望在多模态融合、跨语言应用等方面取得新的突破,为构建更智能、更有同理心的对话系统做出贡献。

研究人员可以访问 SenticNet/conv-emotion GitHub仓库获取相关模型的实现代码和数据集。希望本文能为从事ERC研究的学者和工程师提供有价值的参考。

参考文献

Ghosal, D., Majumder, N., Gelbukh, A., Mihalcea, R., & Poria, S. (2020). COSMIC: COmmonSense knowledge for eMotion Identification in Conversations. Findings of EMNLP.
Ghosal, D., Majumder, N., Poria, S., Chhaya, N., & Gelbukh, A. (2019). DialogueGCN: A Graph Convolutional Neural Network for Emotion Recognition in Conversation. EMNLP-IJCNLP.
Majumder, N., Poria, S., Hazarika, D., Mihalcea, R., Gelbukh, A., & Cambria, E. (2019). DialogueRNN: An Attentive RNN for Emotion Detection in Conversations. AAAI.
Poria, S., Hazarika, D., Majumder, N., Naik, G., Cambria, E., & Mihalcea, R. (2019). MELD: A Multimodal Multi-Party Dataset for Emotion Recognition in Conversations. ACL.
Zhong, P., Wang, D., & Miao, C. (2019). Knowledge-Enriched Transformer for Emotion Detection in Textual Conversations. EMNLP-IJCNLP.