CN115169363A - 一种融合知识的增量编码的对话情感识别方法 - Google Patents

一种融合知识的增量编码的对话情感识别方法 Download PDF

Info

Publication number
CN115169363A
CN115169363A CN202210390627.7A CN202210390627A CN115169363A CN 115169363 A CN115169363 A CN 115169363A CN 202210390627 A CN202210390627 A CN 202210390627A CN 115169363 A CN115169363 A CN 115169363A
Authority
CN
China
Prior art keywords
context
knowledge
utterance
context information
emotion recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210390627.7A
Other languages
English (en)
Inventor
曹小鹏
杨笑
梁浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Posts and Telecommunications
Original Assignee
Xian University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Posts and Telecommunications filed Critical Xian University of Posts and Telecommunications
Priority to CN202210390627.7A priority Critical patent/CN115169363A/zh
Publication of CN115169363A publication Critical patent/CN115169363A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/126—Character encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/151—Transformation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Machine Translation (AREA)

Abstract

本发明提出一种融合知识的增量编码的对话情感识别方法，解决传统的方法将缺少对话上下文的情绪被识别为中性标签的问题，本发明的技术方案主要包括以下步骤：(1)构建嵌入模型(2)上下文感知图注意(3)增量编码器。该方法主要应用于上下文信息缺少的对话情感识别应用。

Description

一种融合知识的增量编码的对话情感识别方法
技术领域
本发明属于计算机自然语言处理领域，具体涉及一种采用融合知识的增量编码的对话情感识别方法。
背景技术
随着深度学习技术的创新和发展，人工智能领域迎来了新的阶段。对话***作为自然语言处理中的一大任务，其应用场景广泛并受到了学术界和产业界的高度关注。对话语境是自然语言处理研究的核心。根据研究表明，语境句子和单词嵌入可以显著提高当前先进的自然语言处理***的性能。目前，针对情感识别的神经网络方法近年来受到人们的重视。因为基于神经网络的方法不用人工来构造特征就可以得到语义信息丰富的低维词向量来进行编码。
2017年Poria等人提出了一种基于长-短期记忆网络(LSTM)的模型，用于捕获上下文信息，以便在用户生成的视频中进行情感分析。但是他们未考虑到每条语句其实都部分依赖于与其相关的上下文语句，即句子之间存在着依赖关系。Chen等人针对这个问题，采用了多层次循环神经网络。使用RNN对每条独立的语句进行信息的提取，然后用另一个RNN来处理对话中连续的句子表示。Tang等人提出了TD-LSTM来对LSTM进行扩展，采用了两个单向LSTM分别对目标话语的左上下文以及右上下文建模。
2018年Cerisara等人在多层次循环神经网络的结构上，采用了多任务学习框架，分别对对话情感和对话行为进行了分类，提高了模型的泛化性。他们认为行为在一定程度上和情感是紧密相关的。现有的基于上下文的对话情绪感知的方法主要集中于利用循环神经网络和注意力机制来建模局部句子之间的联系，而忽略了对话作为一个整体所呈现的特征。Wang等人对此进行完善，提出了基于神经主题模型的情感分类模型。他们通过提取每段对话中的主题信息作为全局信息嵌入到上下文句子表示中，取得了不错的效果。
2019年Zhang等人将对话中的每条语句以及每个说话者都看成是图上的结点，然后将每个说话者所说的语句用边相连，构成了最终的图结构。最后用图卷积进行操作提取出信息并进行分类。Ma等人提出了IAN模型，利用两个注意网络来交互学习目标话语和上下文语境，更好的对话语中的关键信息进行编码。目前大部分研究集中在文本对话上，但由于数据量较少的数据上下文信息缺乏，导致不能捕捉到部分话语的正确情感信息。因此，利用外部知识来帮助机器来理解话语中的情感十分必要。Ghosal等人提出了COSMIC模型，利用ATOMIC来获取常识知识并丰富话语表示，进而对于缺乏上下文信息的话语能够识别到其情感信息。
发明内容
本发明提出了一种融合知识的增量编码的对话情感识别方法，其技术方案主要包括以下步骤：
1.构建嵌入模型：本发明通过词嵌入层和概念嵌入层得到相应的词向量和概念向量。
2.上下文感知的图注意：该方法将常识知识和情感词典融入对话中的话语。采用图注意机制衡量与每个标记相关的知识的重要程度以及其情感极性来进一步丰富每个标记的含义。
3.增量编码器：本发明采用增量编码器对语境上下文进行编码。首先根据历史话语的上下文信息以及目标话语的上下文信息综合进行上下文编码，得到上下文级表示。其次对目标话语单独编码，再与上下文信息编码得到最终的预测结果。
本发明的效果是：本发明方法通过应用于EmoContext、DailyDialog、MELD、EmoryNLP和IEMOCAP数据集上实验验证。其中EmoContext和DailyDialog数据集上的micro-averaged F1分数分别为74.65％和57.13％。在MELD、EmoryNLP和IEMOCAP数据集上的加权macro-F1分数分别为59.46％、35.46％和60.81％。其情感识别效果优于传统模型。
附图说明
图1模型结构图
具体实施方式
本发明具体实施分为四个步骤：1.构建嵌入模型；2.上下文感知的图注意；3.增量编码器。首先利用不同的数据集将话语中的词以及知识库中的概念分别转换为词向量和概念向量表示；其次根据图注意机制来获取丰富的话语表示；最终在增量编码层获取话语的上下文语境信息。进而根据不同的数据集得到相应的结果分数。本方法结构如图1所示：
图1模型结构图
(1)构建嵌入模型
本发明使用GloVe模型将每个标记转换成其向量表示，GloVe模型融合了矩阵分解Latent SemanticAnalysis(LSA)的全局统计信息和局部上下文信息优势。融入全局的先验统计信息，可以加快模型的训练速度，又可以控制词的相对权重。此外，将转换得到的词向量加入位置编码。其表示方式如下：
xk＝Embed(xk)+Pos(xk)
本发明同样利用概念嵌入将每个概念转换成其向量表示。
(2)上下文感知的图注意
本发明采用加入关联性以及情感强度的情感图注意机制来计算每个标记的概念表示。由于并不是所有的概念都能直接在话语中识别情感，对识别情感起重要作用应该是与会话语境相关并且具有强烈情感强度的概念。本发明将与会话语境相关的信息以及情感强度强的节点作为重要节点。因此，在计算概念权重的过程中，加入了会话语境的关联性以及情感因素。本发明采用上下文感知图注意机制来丰富话语的内容，并且关注图中所有的节点、节点之间的关系及其情感信息。
其中，对于每一个标记的概念表示c(xk)∈Rd可以表示为：
Figure BDA0003595342530000031
其中ck∈Rd表示为概念ck的概念嵌入，αk表示该概念的注意权重。其中注意权重的表示方法如下：
αk＝softmax(ωk)
其中ωk为αk的权重。如果|g(xk)|＝0，本发明将g(xk)设置为所有节点向量的平均值。
(3)增量编码器
本发明采用注意力机制获取会话的上下文信息，并学习上下文话语的向量表示。采用层次化多头自注意机制来获取历史上下文表征。此外，利用多头注意机制来获取目标话语的上下文表示。
历史话语上下文：获取历史话语上下文的分层自注意机制包含两个步骤。第一步采用话语级的多头自注意层来学习每个话语内部的表征，第二部根据第一步中的话语表征通过多头自注意层来计算上下文表征。具体内容如下：
使用话语级自我注意层来学习每个话语内部的特征表示；
Figure BDA0003595342530000032
使用上下文自我注意层从M个话语表征中学习历史话语的上下文表征。
Figure BDA0003595342530000033
其中
Figure BDA0003595342530000041
表示话语的线性表示，Xi表示
Figure BDA0003595342530000042
多头注意机制的表达形式为：
Figure BDA0003595342530000043
其中Q，K，V表示为查询、键和值的集合。采用自注意机制则有Q＝K＝V。
目标话语上下文：在获取目标话语上下文时采用多头注意机制，其中Q值不等于K值，K值等于V值。根据其目标话语嵌入以及历史话语内部表征得到目标话语上下文表征，其表示如下：
Figure BDA0003595342530000044
给定序列
Figure BDA0003595342530000045
和
Figure BDA0003595342530000046
PCT可根据输入序列得到注意编码层的输出隐藏状态
Figure BDA0003595342530000047
和
Figure BDA0003595342530000048
Figure BDA0003595342530000049
Figure BDA00035953425300000410
最终，本发明采用多头注意机制得到上下文级表示，即为
Figure BDA00035953425300000411
获得上下文级表示之后，首先利用多头自注意层学习目标话语内部上下文表示。其次利用交叉注意机制来获取概念丰富的目标话语上下文表示。最后将最终结果Hi∈Rm×d输入至最大池化层，来学习目标话语之间的区别特征，并得出最终表示。
Figure BDA00035953425300000412
Figure BDA00035953425300000413
O＝max_pool(Ηi)
最终输出的概率p计算为：
p＝softmax(OW3+b3)
其中W3∈Rd×q和b3∈Rq表示模型参数，q表示类的数量。
实施例一：对话情感识别
本发明在以下五个情感检测数据集上评估模型，其中MELD，EmoryNLP、IEMOCAP包含了文本、语音以及视觉的多模态数据集。本发明目前采用其文本形式识别情感。数据集EC以及数据集DailyDialog的标签极度不平衡，其中中性标签或其他标签超过80％，因此采用不包含中性的micro-averagedF1作为评价指标。对于其他数据集，本发明采用加权macro-F1作为评价指标。
表1：实验结果
Figure BDA0003595342530000051
由表1中的实验结果可以得出，本发明在大多数的数据集上均优于基线模型。在本次实验结果中，KET模型在所有的基线模型中表现最好。本发明在整体上比KET模型提高了1.7％。本发明与CNN模型相比，提高了4％。原因在于CNN模型并没有对会话中的语境进行编码，不能捕捉到一些特有的情感。与cLSTM、CNN+cLSTM、BERTBASE以及DialogueRNN模型相比，本发明提高约3％。虽然这些基线模型考虑到了上下文语境信息，但是由于一些常识知识的缺乏，导致了一些缺乏上下文的话语被识别为中性情感。此外，与KET模型相比，本发明虽均考虑常识知识和上下文语境信息。但本发明进一步对历史话语上下文和目标话语上下文进行编码，并采用逐点卷积变换对上下文进行转换。最终得到更加丰富的上下文信息。
本发明提出一种融合知识的增量编码的会话情感识别方法实现会话中的情感识别，采用上下文感知图注意机制来平衡关联性和情感性，进而来获取丰富的话语表示。此外，采用增量编码机制来获取丰富的语境上下文信息来进行情感识别。本发明在不同领域的大多数数据集上表现出较好的效果，解决了数据集上下文缺少以及识别为中性情绪的问题
以上举例仅仅是本发明的举例说明，并不构成对本发明的保护范围限制，凡是与本发明相同或相似的设计均属于本发明保护范围。

Claims (1)

1.一种融合知识的增量编码的对话情感识别方法，其特征在于：
(1)上下文感知图注意：根据嵌入层得到的词向量和概念向量，通过图注意机制挖掘对话话语中的潜在情绪。最终得到知识丰富的话语表示。
(2)增量编码器：通过多头注意机制来获取历史话语上下文信息和目标话语上下文信息，并将两者结合通过多头注意机制得到含义丰富的上下文信息。最终与目标话语采用交叉注意得到知识丰富的上下文信息，并得到最终的预测值。
CN202210390627.7A 2022-04-14 2022-04-14 一种融合知识的增量编码的对话情感识别方法 Pending CN115169363A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210390627.7A CN115169363A (zh) 2022-04-14 2022-04-14 一种融合知识的增量编码的对话情感识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210390627.7A CN115169363A (zh) 2022-04-14 2022-04-14 一种融合知识的增量编码的对话情感识别方法

Publications (1)

Publication Number Publication Date
CN115169363A true CN115169363A (zh) 2022-10-11

Family

ID=83482964

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210390627.7A Pending CN115169363A (zh) 2022-04-14 2022-04-14 一种融合知识的增量编码的对话情感识别方法

Country Status (1)

Country Link
CN (1) CN115169363A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117150320A (zh) * 2023-10-31 2023-12-01 中国传媒大学 对话数字人情感风格相似度评价方法及***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117150320A (zh) * 2023-10-31 2023-12-01 中国传媒大学 对话数字人情感风格相似度评价方法及***
CN117150320B (zh) * 2023-10-31 2024-03-08 中国传媒大学 对话数字人情感风格相似度评价方法及***

Similar Documents

Publication Publication Date Title
CN108763284B (zh) 一种基于深度学习和主题模型的问答***实现方法
CN108875807B (zh) 一种基于多注意力多尺度的图像描述方法
CN108874972B (zh) 一种基于深度学习的多轮情感对话方法
CN113255755B (zh) 一种基于异质融合网络的多模态情感分类方法
CN109992669B (zh) 一种基于语言模型和强化学习的关键词问答方法
CN111177376A (zh) 一种基于bert与cnn层级连接的中文文本分类方法
CN111858932A (zh) 基于Transformer的多重特征中英文情感分类方法及***
CN112183064B (zh) 基于多任务联合学习的文本情绪原因识别***
CN112633364A (zh) 一种基于Transformer-ESIM注意力机制的多模态情绪识别方法
CN113987179A (zh) 基于知识增强和回溯损失的对话情绪识别网络模型、构建方法、电子设备及存储介质
CN114443827A (zh) 基于预训练语言模型的局部信息感知对话方法及***
CN112466316A (zh) 一种基于生成对抗网络的零样本语音转换***
CN113178193A (zh) 一种基于智能语音芯片的中文自定义唤醒与物联交互方法
CN112037773A (zh) 一种n最优口语语义识别方法、装置及电子设备
CN114911932A (zh) 基于主题语义增强的异构图结构多会话者情感分析方法
CN112100350B (zh) 一种用于强化回复个性化表达的开放域对话方法
CN112101044A (zh) 一种意图识别方法、装置及电子设备
CN115393933A (zh) 一种基于帧注意力机制的视频人脸情绪识别方法
CN110992943B (zh) 基于词混淆网络的语义理解方法及***
CN116010553A (zh) 一种基于双路编码和精确匹配信号的观点检索***
CN112183106A (zh) 一种基于音素联想及深度学习的语义理解方法及装置
CN114841151A (zh) 基于分解-重组策略的医学文本实体关系联合抽取方法
CN114446324A (zh) 一种基于声学和文本特征的多模态情感识别方法
CN115169363A (zh) 一种融合知识的增量编码的对话情感识别方法
CN117634459A (zh) 目标内容生成及模型训练方法、装置、***、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination