CN112699679B - 情绪识别方法、装置、电子设备及存储介质 - Google Patents
情绪识别方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112699679B CN112699679B CN202110317324.8A CN202110317324A CN112699679B CN 112699679 B CN112699679 B CN 112699679B CN 202110317324 A CN202110317324 A CN 202110317324A CN 112699679 B CN112699679 B CN 112699679B
- Authority
- CN
- China
- Prior art keywords
- sentence
- word
- emotion
- processed
- sentences
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种情绪识别方法、装置、电子设备及存储介质，该方法包括：获取待处理语句；对待处理语句进行分词，基于预设的词向量模型，获取待处理语句的每个词的词向量；将待处理语句的每个词的词向量输入预先训练的情绪分类模型，得到待处理语句在各个情绪类别上的概率分布；其中，情绪分类模型是基于样本语句、样本语句的标注信息训练得到的；情绪分类模型用于对待处理语句的词向量进行句子层次、多元组层次以及词语层次的语义信息提取，基于语义信息提取结果得到待处理语句在各个情绪类别上的概率分布。本发明提供的情绪识别方法，提高了情绪识别结果的准确率，提升了用户体验。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及情绪识别方法、装置、电子设备及存储介质。
背景技术
随着人工智能的不断普及，人们对智能客服机器人的通信服务要求越来越高，其中能够准确识别客户的情绪显得尤为重要。
情绪识别的问题，本质上属于一个情绪分类问题，即根据输入的内容，进行情绪分类的判定。目前通用的解决方案，大部分也是集中在情绪分类模型的训练上，包括训练数据的生成和分类模型的设计。但目前智能客服机器人在识别客户情绪方面还不够准确，导致用户体验性较差。
现有技术中，情绪分类模型的训练数据单一，情绪分类模型的设计常从单一层面考虑，如整个句子的表示，或者多元组的表示，或者句子分词后词语的表示。从单一的信息层面设计的情绪分类模型，虽然在训练过程中，基于深度神经网络强大的表示能力，分类模型能很好地拟合训练数据，但是在泛化时，准确率相比训练过程，会有一定的损失。
发明内容
本发明提供一种情绪识别方法、装置、电子设备及存储介质，用以解决现有技术中情绪识别训练数据单一和模型设计只从单一信息层面考虑导致模型应用时准确率不高的技术问题，以实现提高情绪识别准确率的目的。
第一方面，本发明提供一种情绪识别方法，包括：
获取待处理语句；
对所述待处理语句进行分词，基于预设的词向量模型，获取所述待处理语句的每个词的词向量；
将所述待处理语句的每个词的词向量输入预先训练的情绪分类模型，得到所述待处理语句在各个情绪类别上的概率分布；
其中，所述情绪分类模型是基于样本语句、样本语句的标注信息训练得到的；所述情绪分类模型用于对所述待处理语句的词向量进行句子层次、多元组层次以及词语层次的语义信息提取，基于语义信息提取结果得到待处理语句在各个情绪类别上的概率分布。
根据本发明提供的一种情绪识别方法，所述情绪分类模型包括句子层次语义信息提取层、多元组层次语义信息提取层、词语层次语义信息提取层以及情绪识别层；其中，
所述句子层次语义信息提取层用于对所述待处理语句的词向量分别进行平均池化和最大池化，并拼接所述平均池化和最大池化的池化结果，得到句子层次的语义信息；
所述多元组层次语义信息提取层用于对所述待处理语句的词向量按照预先设定的多个组合词长度分别进行组合，得到多个组合词向量集，对所述多个组合词向量集中的各个组合词向量分别进行卷积操作，对卷积结果分别进行平均池化和最大池化，拼接所述平均池化和最大池化的池化结果，得到多元组层次的语义信息；其中，不同组合词向量集中的组合词向量具有不同的组合词长度；
所述词语层次语义信息提取层用于对所述待处理语句的词向量与情绪类别矩阵进行注意力分布计算，得到注意力得分矩阵，对所述待处理语句的词向量与所述注意力得分矩阵之间的计算结果分别进行平均池化和最大池化，拼接所述平均池化和最大池化的池化结果，得到词语层次的语义信息；所述情绪识别层基于所述句子层次的语义信息、多元组层次语义信息以及词语层次的语义信息，得到所述待处理语句在各个情绪类别上的概率分布。
根据本发明提供的一种情绪识别方法，在得到所述待处理语句在各个情绪类别上的概率分布之后，方法还包括：
从所述待处理语句在各个情绪类别上的概率分布中获取所述待处理语句的最大概率值；
当所述待处理语句的最大概率值大于预设阈值时，将所述最大概率值所对应的情绪类别作为所述待处理语句的情绪类别；
当所述待处理语句的最大概率值小于或等于预设阈值时，将中性的情绪类别作为所述待处理语句的情绪类别。
根据本发明提供的一种情绪识别方法，在所述获取待处理语句之前，方法还包括：
获取样本语句以及样本语句的标注信息；
对所述样本语句进行分词，得到所述样本语句的每个词的词向量；
基于所述样本语句的词向量、样本语句的标注信息训练情绪分类模型。
根据本发明提供的一种情绪识别方法，所述基于所述样本语句的词向量、样本语句的标注信息训练情绪分类模型，包括：
步骤S1、利用待训练的情绪分类模型对样本语句的词向量进行句子层次、多元组层次以及词语层次的语义信息提取；
步骤S2、基于所述语义信息提取结果，得到样本语句的情绪识别结果；
步骤S3、根据所述样本语句的情绪识别结果与所述样本语句的标注信息，判断是否满足模型训练终止条件，当不满足模型训练终止条件时，调整所述待训练的情绪分类模型，利用经过调整的情绪分类模型重新执行步骤S1；当满足模型训练终止条件时，得到经过训练的情绪分类模型。
根据本发明提供的一种情绪识别方法，所述获取样本语句以及样本语句的标注信息，包括：
获取第一领域内的语句，其中，所述第一领域是与所述待处理语句所在领域相同的领域；
从所述第一领域内的语句中抽取出带有情绪关键词的第一类语句，为所述第一类语句标注信息；
按照预设的比例从所述第一领域内的语句中抽取出不带有情绪关键词的第二类语句，为所述第二类语句标注信息；其中所述第二类语句标注信息为中性情绪；
将所述第一类语句与所述第二类语句作为样本语句，将为所述第一类语句标注的信息以及为所述第二类语句标注的信息作为样本语句的标注信息。
根据本发明提供的一种情绪识别方法，所述获取样本语句以及样本语句的标注信息，包括：
获取第二领域内的语句以及第二领域内的语句的标注信息，其中，所述第二领域是与所述待处理语句所在领域不相同的领域；
将所述第二领域内的语句作为样本语句，将所述第二领域内的语句的标注信息作为样本语句的标注信息；
相应的，所述基于语义信息提取结果，得到样本语句的情绪识别结果，包括：
对所述语义信息提取结果进行迁移；
基于迁移后的语义信息提取结果，得到样本语句的情绪识别结果。
第二方面，本发明提供一种情绪识别装置，包括：
获取模块，用于获取待处理语句；
处理模块，用于对所述待处理语句进行分词，基于预设的词向量模型，获取所述待处理语句的每个词的词向量；
输入模块，用于将所述待处理语句的每个词的词向量输入预先训练的情绪分类模型，得到所述待处理语句在各个情绪类别上的概率分布；
训练模块，用于基于样本语句、样本语句的标注信息对所述情绪分类模型训练；
提取模块，用于对所述待处理语句的词向量进行句子层次、多元组层次以及词语层次的语义信息提取，基于语义信息提取结果得到待处理语句在各个情绪类别上的概率分布。
第三方面，本发明提供一种电子设备，包括：处理器、存储器和总线，其中，所述处理器和所述存储器通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如上任一所述的方法。
第四方面，本发明提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如上任一所述的方法。
本发明提供的一种情绪识别方法、装置、电子设备及存储介质，通过对获取的待处理语句进行分词和基于预设词向量模型对分词进行词向量的转换，然后通过预先训练的情绪分类模型对待处理语句的词向量进行句子层次、多元组层次以及词语层次的语义信息提取，基于语义信息提取结果得到待处理语句在各个情绪类别上的概率分布，提升了情绪分类模型识别的准确率，提升了用户体验。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的情绪识别方法的流程示意图；
图2为本发明提供的情绪识别中层次语义提取的流程示意图；
图3为本发明提供的情绪分类模型训练的流程示意图；
图4为本发明提供的情绪识别中对第二领域中语义信息提取结果迁移的示意图；
图5为本发明提供的情绪识别装置的结构示意图；
图6为本发明提供的电子设备的结构示意图。
具体实施方式
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的情绪识别方法的流程示意图，如图1所示，本发明提供的一种情绪识别的方法，具体包括以下步骤：
步骤101：获取待处理语句；
步骤102：对所述待处理语句进行分词，基于预设的词向量模型，获取所述待处理语句的每个词的词向量；
步骤103：将所述待处理语句的每个词的词向量输入预先训练的情绪分类模型，得到所述待处理语句在各个情绪类别上的概率分布；
其中，所述情绪分类模型是基于样本语句、样本语句的标注信息训练得到的；所述情绪分类模型用于对所述待处理语句的词向量进行句子层次、多元组层次以及词语层次的语义信息提取，基于语义信息提取结果得到待处理语句在各个情绪类别上的概率分布。
具体地，待处理语句是指需要做情绪识别的语句，在本实施例中，待处理语句是客服领域的语句。在其他实施例中，待处理语句还可以是其他领域的语句，如酒店领域、安全驾驶领域、抑郁治疗领域等。
分词是指采用分词工具对待处理语句进行分词处理，分词结果由分词工具决定，分词工具的选用在此不作具体限定。
词向量模型（one-hot Vector）用来将语句文本中的每个词转换成对应的词向量，使每个词与词向量之间具有一种映射关系。词向量是Word嵌入式自然语言处理（NLP）中的一组语言建模和特征学习技术的统称，是指来自词汇表的单词或短语被映射到实数的向量。
概率分布是指待处理语句在各个情绪类别上的概率值大小。所述情绪类别包括多种基本的情绪类型，如高兴、愤怒、恐惧、悲伤、厌恶、惊奇、生气等。
在本实施例中，对所获取的待处理语句，先进行分词处理，然后对各个分词基于词向量模型进行分词的转换，获取每个分词对应的词向量，将词向量输入到预先训练的情绪分类模型中，得到待处理语句在各个情绪类别上的概率值。
在本实施例中，情绪分类模型需要提前预先训练，词向量模型也是预设的，其中，情绪分类模型是基于样本语句和样本语句的标注信息训练得到的，能够对待处理语句的词向量进行句子层次、多元组层次以及词语层次的语义信息的提取，根据多个层次语音信息提取结果来获取待处理语句在各个情绪类别上的概率值大小。在本实施例中多元组层次是二元组、三元组和四元组三种元祖组合而成。
在上述步骤S102中，对待处理语句进行分词处理，并基于预设的词向量模型获取分词的词向量。分词结果由分词工具决定，采用的分词工具不同获取的分词结果也不同。如待处理语句为“我刚吃完晚饭我今天很高兴”，分词结果可以为：我/刚/吃完/晚饭/我/今天/很/高兴，并且基于预设词向量模型获取到：“我”对应的词向量为A，“刚”对应的词向量为B，“吃完”对应的词向量为C，“晚饭”对应的词向量为“D”，“我”对应的词向量为A，“今天”对应的词向量为“E”，“很”对应的词向量为“F”，“高兴”对应的词向量为“G”，最终将待处理语句“我刚吃完晚饭我今天很高兴”形成[A B C D A E F G]的词向量表达式。分词工具可以根据实际需要进行选择，在此不作具体限制。
在上述步骤S103中，情绪类型可以根据实际需求设置为不同种类的情绪，如可以为4种情绪类型，也可以设置为6种情绪。在本实施例中设置为5种情绪类型。如高兴、悲伤、愤怒、厌恶和中性。其中，中性情绪是指除了前面四种情绪以外的情绪。
本发明实施例中，通过对获取的待处理语句进行分词和基于预设词向量模型对分词进行词向量的转换，并基于预先训练的情绪分类模型对词向量进行句子层次、多元组层次和词语层次的语义信息提取，根据提取结果获取待处理语句在各个情绪类别上的概率分布。本发明提供的情绪识别方法提高了情绪识别结果的准确率，提升了用户体验。
图2为本发明实施例情绪识别层次语义提取的流程示意图，如图2所示，在本发明的一个实施例中，所述情绪分类模型包括句子层次语义信息提取层、多元组层次语义信息提取层、词语层次语义信息提取层以及情绪识别层；其中，
所述句子层次语义信息提取层用于对所述待处理语句的词向量分别进行平均池化和最大池化，并拼接所述平均池化和最大池化的池化结果，得到句子层次的语义信息；
所述多元组层次语义信息提取层用于对所述待处理语句的词向量按照预先设定的多个组合词长度分别进行组合，得到多个组合词向量集，对所述多个组合词向量集中的各个组合词向量分别进行卷积操作，对卷积结果分别进行平均池化和最大池化，拼接所述平均池化和最大池化的池化结果，得到多元组层次的语义信息；其中，不同组合词向量集中的组合词向量具有不同的组合词长度；
所述词语层次语义信息提取层用于对所述待处理语句的词向量与情绪类别矩阵进行注意力分布计算，得到注意力得分矩阵，对所述待处理语句的词向量与所述注意力得分矩阵之间的计算结果分别进行平均池化和最大池化，拼接所述平均池化和最大池化的池化结果，得到词语层次的语义信息；
所述情绪识别层基于所述句子层次的语义信息、多元组层次语义信息以及词语层次的语义信息，得到所述待处理语句在各个情绪类别上的概率分布。
具体地，池化（pooling）是用来去除杂余信息，保留关键信息，实现对数据的优化。其中平均池化（mean pooling），能够保留整体数据的特征，较好的突出背景信息，平均池化表达公式为：
其中，v s表示平均池化结果，v i表示各个分词的词向量值。
最大值池化（max pooling）则能够更好保留纹理特征，最大池化表达公式为：v M=Max-pooling(v1,v2,…,vL)，其中v M表示最大池化结果。
其中，拼接是指将数据进行整合处理，实现数据之间的连接，在本实施例中是先将同一层次语义信息平均池化和最大池化的池化结果进行拼接，再将不同层次池化处理后的语义信息拼接处理，最后得到包含多个层次的语义信息提取结果。
另外，n gram多元组层次语义信息提取层是根据预先设定的多个组合词长度来提取对应的多元组组合词的，其中组合词长度是由n值决定的，当n=2时，表示为二元组，组合词长度为2，也就是说该多元组组合词是由多个两个词语构成的词组组合而成，卷积操作是指通过神经网络（CNN），设定卷积核来获取各个多元组的信息。
其中，情绪类别矩阵是指对情绪类别进行词向量的转换处理，并对获取的词向量处理得到的矩阵。如本实施例中选用5种情绪类别，分别为高兴、悲伤、愤怒、厌恶和中性，假如每种情绪对应的词向量为以下词向量：
高兴对应的词向量为H，悲伤对应的词向量为I，愤怒对应的词向量为J，厌恶对应的词向量为K，中性对应的词向量为M，形成[H I J K M]的词向量表达形式，从获取的词向量表达形式中根据需要得到情绪类别矩阵。
在本实施例中，通过将获取的句子层次的语义信息、多元组层次语义信息和词语层次的语义信息进行拼接处理，生成一个长序列语义信息的表示，通过全连接矩阵处理获取到待处理语句在各个情绪类别上的概率分布。本实施例中优选的是提取句子层次的语义信息、多元组层次语义信息和词语层次的语义信息，其中多元组分别为二元组、三元组和四元组。下面通过一个具体的例子进行详细阐述。
假如获取到待处理语句为“我刚吃过晚饭我很高兴”，通过分词和词向量模型的处理，生成[A B C D A E F G]的词向量表达式。
其中，句子层次语义信息提取层用于对所述待处理语句的词向量分别进行平均池化和最大池化，并拼接平均池化和最大池化的池化结果，得到句子层次的语义信息，具体实现结果如下表1所示。
表1
平均池化实现的是对A到G这几个向量在每个维度上取平均值，最大池化是指在每个维度上取最大值，从上述表1中可以看出最后得到的平均池化结果为向量Vs，最大池化结果为向量VM，并对平均池化结果和最大池化结果进行拼接，得到句子层次的语义信息的表示。
其中，多元组层次语义信息提取层用于对待处理语句的词向量按照预先设定的多个组合词长度分别进行组合，得到多个组合词向量集，对所述多个组合词向量集中的各个组合词向量分别进行卷积操作，对卷积结果分别进行平均池化和最大池化，拼接所述平均池化和最大池化的池化结果，得到多元组层次的语义信息。本实施例中n gram多元组优选的是n=2、3和4。
当n=2时，获取二元组信息是按照与前一个词进行重叠划分的方式，避免有遗漏的元组信息。分别为：AB BC CD DA AE EF FG，构成二元组组合词的向量集，具体实现结果如下表2所示。
表2
平均池化实现的是对卷积后的向量ABZ到FGZ这几个向量在每个维度上进行求取平均值，最大池化是在每个维度上求取最大值，从表2中可以看出最后得到的平均池化结果为向量VZS2，最大池化结果为向量VZM2，并对平均池化结果和最大池化结果进行拼接，得到二元组层次的语义信息的表示。
当n=3时，获取三元组信息是按照与前一个词进行重叠划分的方式，避免有遗漏的元组信息，分别为：ABC BCD CDA DAE AEF EFG构成三元组组合词的向量集，具体实现结果如下表3所示。
表3
平均池化实现的是对卷积后的向量ABCZ到EFGZ这几个向量在每个维度上进行求取平均值，最大池化是在每个维度上求取最大值，从表3中可以看出最后得到的平均池化结果为向量VZS3，最大池化结果为向量VZM3，并对平均池化结果和最大池化结果进行拼接，得到三元组层次的语义信息的表示。
当n=4时，获取四元组信息是按照与前一个词进行重叠划分的方式，避免有遗漏的元组信息，分别为：ABCD BCDA CDAE DAEF AEFG，构成四元组组合词的向量集，具体实现结果如下表4所示。
表4
平均池化实现的是对卷积后的向量ABCDZ到AEFGZ这几个向量在每个维度上进行求取平均值，最大池化是在每个维度上求取最大值，从表4中可以看出最后得到的平均池化结果为向量VZS4，最大池化结果为向量VZM4，并对平均池化结果和最大池化结果进行拼接，得到四元组层次的语义信息的表示。
还有，词语层次语义信息提取层用于对待处理语句的词向量与情绪类别矩阵进行注意力分布计算，得到注意力得分矩阵，对待处理语句的词向量与注意力得分矩阵之间的计算结果分别进行平均池化和最大池化，拼接所述平均池化和最大池化的池化结果，得到词语层次的语义信息。
其中，情绪类别矩阵是对情绪类别进行词向量的转换处理，并对获取的词向量处理得到的矩阵；如图2所示，注意力得分矩阵是指将词语矩阵与情绪类别矩阵进行相乘获取情绪-句子相似矩阵，再对情绪-句子相似矩阵进行Attention操作最终获得的矩阵表示；然后将注意力得分矩阵与词语矩阵进行相乘处理，获取相乘处理的计算结果，对计算结果进行平均池化和最大池化处理，最后将平均池化和最大池化的池化结果拼接处理得到词语层次的语义信息表示。
最后，情绪识别层基于所述句子层次的语义信息、多元组层次语义信息以及词语层次的语义信息，得到所述待处理语句在各个情绪类别上的概率分布。其中，将获得的句子层次的语义信息、多元组层次的语义信息和词语层次的语义信息进行拼接，生成一个长序列矩阵表示，将长序列矩阵通过全连接矩阵处理，获取到待处理语句在各个情绪类别上的概率分布情况。
本实施例中，通过预先训练的情绪分类模型对待处理语句的句子层次、多元组层次和词语层次的语义信息的提取，提高了情绪分类模型的识别结果的准确率和用户体验。
在本发明另一个实施例中，在得到所述待处理语句在各个情绪类别上的概率分布之后，方法还包括：
从所述待处理语句在各个情绪类别上的概率分布中获取所述待处理语句的最大概率值；
当所述待处理语句的最大概率值大于预设阈值时，将所述最大概率值所对应的情绪类别作为所述待处理语句的情绪类别；
当所述待处理语句的最大概率值小于或等于预设阈值时，将中性的情绪类别作为所述待处理语句的情绪类别。
具体地，预设阈值的大小可以根据训练结果获取的参数进行设置。假设获取待处理语句在各个情绪类别中的概率分布，待处理语句对应的高兴情绪概率值最大，等于0.6，如果预设阈值为0.5，可见，该情绪类别的最大概率值大于预设阈值，则输出待处理语句的情绪类别为高兴；若是最大概率值为0.4，明显小于预设阈值时，则输出待处理语句的情绪类别为中性情绪。
本实施例，通过判断最大概率值与预设阈值进行比较，能够很好的获取到待处理语句对应的情绪类别，提高情绪识别的准确率和效率。
在本发明的一个实施例中，在所述获取待处理语句之前，方法还包括：
获取样本语句以及样本语句的标注信息；
对所述样本语句进行分词，得到所述样本语句的每个词的词向量；
基于所述样本语句的词向量、样本语句的标注信息训练情绪分类模型。
具体地，样本语句是指用于情绪分类模型训练的标注数据，标注信息是指样本语句对应的情绪类型。在本实施例中，可以将情绪类型的设定方式为下表5所示，基于分词工具对样本语句进行分词处理，预设的词向量模型获取到样本语句的词向量，然后基于词向量与样本语句的标注信息对情绪分类模型进行训练。
表5
| 情绪类别 | 高兴 | 悲伤 | 愤怒 | 厌恶 | 中性 |
| 编号 | 1 | 2 | 3 | 4 | 5 |
假如样本语句为“我刚吃过晚饭我今天很高兴”，获取到该样本语句对应的标注信息为1，也就是说该样本语句的对应的情绪类型为高兴。通过上述实施例中的具体实现方式，对样本语句采用同样的方式进行分词处理和词向量的获取，通过样本语句的词向量与标注信息，对情绪分类模型进行训练，获取模型的各个待定参数。其中，情绪类型的设定方式可以根据实际需要进行设置，不作具体限定。
本发明实施例中通过大量的样本语句和标注信息对情绪分类模型进行训练，能够获取情绪识别模型的各个待定参数，提高情绪识别模型的准确率和泛化的能力。
在本发明的另一个实施例中，如图3所示，基于所述样本语句的词向量、样本语句的标注信息训练情绪分类模型，具体包括以下步骤：
步骤S1、利用待训练的情绪分类模型对样本语句的词向量进行句子层次、多元组层次以及词语层次的语义信息提取；
步骤S2、基于所述语义信息提取结果，得到样本语句的情绪识别结果；
步骤S3、根据所述样本语句的情绪识别结果与所述样本语句的标注信息，判断是否满足模型训练终止条件，当不满足模型训练终止条件时，调整所述待训练的情绪分类模型，利用经过调整的情绪分类模型重新执行步骤S1；当满足模型训练终止条件时，得到经过训练的情绪分类模型。
具体地，模型训练终止条件可以设置为当样本语句的情绪识别结果与该样本语句的标注信息达到一致时，则终止训练。如样本语句的标注信息为高兴，通过模型训练获取到该样本语句的识别结果也是高兴，则满足模型训练终止条件，否则对情绪分类模型进行调整重新进行训练。本实施例中需要对样本语句的词向量进行句子层次、多元组层次和词语层次的语义信息提取，其中对于多元组层次可以设置为二元组层次和三元组层次信息的提取。在此不作具体限定。对于各个层次的语义信息的提取步骤见上述实施例，在此不再赘述。
本发明实施例中通过对样本语句进行句子层次、多元组层次和词语层次语义信息的提取，并根据提取结果获得样本语句的情绪识别结果，通过对情绪识别结果与样本语句的标注信息进行判断，是否满足模型训练的终止条件来获取情绪分类模型，能够提高情绪分类模型的识别结果的准确率。
在本发明的一个实施例中，所述获取样本语句以及样本语句的标注信息，包括：
获取第一领域内的语句，其中，所述第一领域是与所述待处理语句所在领域相同的领域；
从所述第一领域内的语句中抽取出带有情绪关键词的第一类语句，为所述第一类语句标注信息；
按照预设的比例从所述第一领域内的语句中抽取出不带有情绪关键词的第二类语句，为所述第二类语句标注信息；其中所述第二类语句标注信息为中性情绪；
将所述第一类语句与所述第二类语句作为样本语句，将为所述第一类语句标注的信息以及为所述第二类语句标注的信息作为样本语句的标注信息。
具体地，在本实施例中，第一领域是指客服领域，样本语句是指客服领域的语句，是经过对获取的客服和客户之间的对话数据进行采样、筛选获取的。在其他实施例中，第一领域也可以是其他领域，如酒店领域、安全驾驶领域等，在此不作具体限定。
第一类语句是指带有情绪关键词的样本语句，并为该样本语句进行标注，第二类语句是指不带有情绪关键词的样本语句，对第二类语句也进行标注，将不带情绪关键词的样本语句对应的情绪类型标注为中性情绪。也就是说带情绪关键词的样本语句标注情绪类型为关键词对应的情绪类别，具体根据情绪类型的设定方式进行相应的标注。如我很高兴，其中情绪关键词为“高兴”，且情绪类型设定高兴为1，那么将“我很高兴”对应的情绪类别标注为1，也就是该语句的情绪类型为高兴。
本实施例中是针对客服领域的样本语句进行标注处理，分别对带情绪关键词的样本语句和不带情绪关键词的样本语句进行标注，能够提高情绪分类模型对情绪类别划分的效率，提高模型情绪识别的准确率。
在本发明的一个实施例中，如图4所示，所述获取样本语句以及样本语句的标注信息，包括：
获取第二领域内的语句以及第二领域内的语句的标注信息，其中，所述第二领域是与所述待处理语句所在领域不相同的领域；
将所述第二领域内的语句作为样本语句，将所述第二领域内的语句的标注信息作为样本语句的标注信息；
相应的，所述基于语义信息提取结果，得到样本语句的情绪识别结果，包括：
对所述语义信息提取结果进行迁移；
基于迁移后的语义信息提取结果，得到样本语句的情绪识别结果。
具体地，迁移学习（Transfer Learning）是一种机器学习方法，是把一个领域（即源领域）的知识，迁移到另外一个领域（即目标领域），使得目标领域能够取得更好的学习效果。
在本实施例中，样本语句不仅包含客服领域的文本数据，还包括其他应用领域的文本数据，其中第二领域是指除客服领域以外的其他应用领域，如可以是电商领域、酒店领域等。
对第二领域获取的语义信息提取结果通过迁移矩阵实现数据的迁移，得到第二领域的样本语句的情绪识别结果。在情绪识别模型的训练过程中，可通过第二领域的样本语句的情绪识别结果与第二领域的样本语句的标注信息之间的比较结果来训练情绪识别模型，其中，第二领域的样本语句的标注信息为已经公开的标注文本数据。
本实施例中通过对获取的其他应用领域的样本语句进行语义信息的提取，并通过迁移矩阵对获得的语义提取结果进行迁移处理，减弱了其他应用领域标注样本语句对客服领域的标注样本语句的影响，补充了客服领域标注样本语句数量的不足，提高了模型训练的准确率。
图5为本发明实施例情绪识别装置的结构示意图，如图5所示，本发明提供一种情绪识别装置，包括：
获取模块501，用于获取待处理语句；
处理模块502，用于对所述待处理语句进行分词，基于预设的词向量模型，获取所述待处理语句的每个词的词向量；
输入模块503，用于将所述待处理语句的每个词的词向量输入预先训练的情绪分类模型，得到所述待处理语句在各个情绪类别上的概率分布；
训练模块504，用于基于样本语句、样本语句的标注信息对所述情绪分类模型训练；
提取模块505用于对所述待处理语句的词向量进行句子层次、多元组层次以及词语层次的语义信息提取，基于语义信息提取结果得到待处理语句在各个情绪类别上的概率分布。
具体地，待处理语句是指客服领域获取的文本数据；分词处理是根据分词工具对待处理语句进行分词，且分词结果由分词工具决定，不作具体限定。词向量模型是需要提前预设的，将获取的分词进行词向量的转换，使每个分词转换成对应的词向量。
本发明实施例中，通过处理模块对获取的待处理语句进行分词和基于预设词向量模型对分词进行词向量的转换，输入模块用于将待处理语句的词向量输入到预先训练的情绪分类模型中，得到待处理语句在各个情绪类别上的概率分布。本发明提供的情绪识别装置提高了情绪识别结果的准确率，提高了用户体验。
由于本发明实施例所述装置与上述实施例所述方法的原理相同，对于更加详细的解释内容在此不再赘述。
在本发明的另一个实施例中，还包括：迁移学习模块，用于对所述第二领域的语义信息提取结果进行迁移；基于迁移后的语义信息提取结果，得到样本语句的情绪识别结果。本实施例通过迁移学习模块的设置，能够扩充客服领域的样本语句的数量，提高情绪分类模型的训练的准确率。
图6为本发明实施例提供的电子设备实体结构示意图，如图6所示，本发明提供一种电子设备，包括：处理器(processor)601、存储器(memory)602和总线603；
其中，处理器601、存储器602通过总线603完成相互间的通信；
处理器601用于调用存储器602中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：获取待处理语句；对所述待处理语句进行分词，基于预设的词向量模型，获取所述待处理语句的每个词的词向量；将所述待处理语句的每个词的词向量输入预先训练的情绪分类模型，得到所述待处理语句在各个情绪类别上的概率分布；其中，所述情绪分类模型是基于样本语句、样本语句的标注信息训练得到的；所述情绪分类模型用于对所述待处理语句的词向量进行句子层次、多元组层次以及词语层次的语义信息提取，基于语义信息提取结果得到待处理语句在各个情绪类别上的概率分布。
本实施例提供一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：获取待处理语句；对所述待处理语句进行分词，基于预设的词向量模型，获取所述待处理语句的每个词的词向量；将所述待处理语句的每个词的词向量输入预先训练的情绪分类模型，得到所述待处理语句在各个情绪类别上的概率分布；其中，所述情绪分类模型是基于样本语句、样本语句的标注信息训练得到的；所述情绪分类模型用于对所述待处理语句的词向量进行句子层次、多元组层次以及词语层次的语义信息提取，基于语义信息提取结果得到待处理语句在各个情绪类别上的概率分布。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种情绪识别方法，其特征在于，包括：
获取待处理语句；
对所述待处理语句进行分词，基于预设的词向量模型，获取所述待处理语句的每个词的词向量；
将所述待处理语句的每个词的词向量输入预先训练的情绪分类模型，得到所述待处理语句在各个情绪类别上的概率分布；其中，所述情绪类别为多种基本的情绪类型；
其中，所述情绪分类模型是基于样本语句、样本语句的标注信息训练得到的；
所述情绪分类模型用于对所述待处理语句的词向量进行句子层次、多元组层次以及词语层次的语义信息提取，基于语义信息提取结果得到待处理语句在各个情绪类别上的概率分布；
其中，所述情绪分类模型包括句子层次语义信息提取层、多元组层次语义信息提取层、词语层次语义信息提取层以及情绪识别层；其中，
所述句子层次语义信息提取层用于对所述待处理语句的词向量分别进行平均池化和最大池化，并拼接所述平均池化和最大池化的池化结果，得到句子层次的语义信息；
所述多元组层次语义信息提取层用于对所述待处理语句的词向量按照预先设定的多个组合词长度分别进行组合，得到多个组合词向量集，对所述多个组合词向量集中的各个组合词向量分别进行卷积操作，对卷积结果分别进行平均池化和最大池化，拼接所述平均池化和最大池化的池化结果，得到多元组层次的语义信息；其中，不同组合词向量集中的组合词向量具有不同的组合词长度；
所述词语层次语义信息提取层用于对所述待处理语句的词向量与情绪类别矩阵进行注意力分布计算，得到注意力得分矩阵，对所述待处理语句的词向量与所述注意力得分矩阵之间的计算结果分别进行平均池化和最大池化，拼接所述平均池化和最大池化的池化结果，得到词语层次的语义信息；
所述情绪识别层将所述句子层次的语义信息、多元组层次语义信息和词语层次的语义信息进行拼接，生成长序列矩阵，得到所述待处理语句在各个情绪类别上的概率分布。
2.根据权利要求1所述的情绪识别方法，其特征在于，在得到所述待处理语句在各个情绪类别上的概率分布之后，方法还包括：
从所述待处理语句在各个情绪类别上的概率分布中获取所述待处理语句的最大概率值；
当所述待处理语句的最大概率值大于预设阈值时，将所述最大概率值所对应的情绪类别作为所述待处理语句的情绪类别；
当所述待处理语句的最大概率值小于或等于预设阈值时，将中性的情绪类别作为所述待处理语句的情绪类别。
3.根据权利要求1所述的情绪识别方法，其特征在于，在所述获取待处理语句之前，方法还包括：
获取样本语句以及样本语句的标注信息；
对所述样本语句进行分词，得到所述样本语句的每个词的词向量；
基于所述样本语句的词向量、样本语句的标注信息训练情绪分类模型。
4.根据权利要求3所述的情绪识别方法，其特征在于，所述基于所述样本语句的词向量、样本语句的标注信息训练情绪分类模型，包括：
步骤S1、利用待训练的情绪分类模型对样本语句的词向量进行句子层次、多元组层次以及词语层次的语义信息提取；
步骤S2、基于所述语义信息提取结果，得到样本语句的情绪识别结果；
步骤S3、根据所述样本语句的情绪识别结果与所述样本语句的标注信息，判断是否满足模型训练终止条件，当不满足模型训练终止条件时，调整所述待训练的情绪分类模型，利用经过调整的情绪分类模型重新执行步骤S1；当满足模型训练终止条件时，得到经过训练的情绪分类模型。
5.根据权利要求3所述的情绪识别方法，其特征在于，所述获取样本语句以及样本语句的标注信息，包括：
获取第一领域内的语句，其中，所述第一领域是与所述待处理语句所在领域相同的领域；
从所述第一领域内的语句中抽取出带有情绪关键词的第一类语句，为所述第一类语句标注信息；
按照预设的比例从所述第一领域内的语句中抽取出不带有情绪关键词的第二类语句，为所述第二类语句标注信息；其中所述第二类语句标注信息为中性情绪；
将所述第一类语句与所述第二类语句作为样本语句，将为所述第一类语句标注的信息以及为所述第二类语句标注的信息作为样本语句的标注信息。
6.根据权利要求4所述的情绪识别方法，其特征在于，所述获取样本语句以及样本语句的标注信息，包括：
获取第二领域内的语句以及第二领域内的语句的标注信息，其中，所述第二领域是与所述待处理语句所在领域不相同的领域；
将所述第二领域内的语句作为样本语句，将所述第二领域内的语句的标注信息作为样本语句的标注信息；
相应的，所述基于语义信息提取结果，得到样本语句的情绪识别结果，包括：
对所述语义信息提取结果进行迁移；
基于迁移后的语义信息提取结果，得到样本语句的情绪识别结果。
7.一种情绪识别装置，其特征在于，包括：
获取模块，用于获取待处理语句；
处理模块，用于对所述待处理语句进行分词，基于预设的词向量模型，获取所述待处理语句的每个词的词向量；
输入模块，用于将所述待处理语句的每个词的词向量输入预先训练的情绪分类模型，得到所述待处理语句在各个情绪类别上的概率分布；其中，所述情绪类别为多种基本的情绪类型；
训练模块，用于基于样本语句、样本语句的标注信息对所述情绪分类模型训练；
提取模块，用于对所述待处理语句的词向量进行句子层次、多元组层次以及词语层次的语义信息提取，基于语义信息提取结果得到待处理语句在各个情绪类别上的概率分布；
其中，所述提取模块包括句子层次语义信息提取层、多元组层次语义信息提取层、词语层次语义信息提取层以及情绪识别层；其中，
所述句子层次语义信息提取层用于对所述待处理语句的词向量分别进行平均池化和最大池化，并拼接所述平均池化和最大池化的池化结果，得到句子层次的语义信息；
所述多元组层次语义信息提取层用于对所述待处理语句的词向量按照预先设定的多个组合词长度分别进行组合，得到多个组合词向量集，对所述多个组合词向量集中的各个组合词向量分别进行卷积操作，对卷积结果分别进行平均池化和最大池化，拼接所述平均池化和最大池化的池化结果，得到多元组层次的语义信息；其中，不同组合词向量集中的组合词向量具有不同的组合词长度；
所述词语层次语义信息提取层用于对所述待处理语句的词向量与情绪类别矩阵进行注意力分布计算，得到注意力得分矩阵，对所述待处理语句的词向量与所述注意力得分矩阵之间的计算结果分别进行平均池化和最大池化，拼接所述平均池化和最大池化的池化结果，得到词语层次的语义信息；
所述情绪识别层将所述句子层次的语义信息、多元组层次语义信息和词语层次的语义信息进行拼接，生成长序列矩阵，得到所述待处理语句在各个情绪类别上的概率分布。
8.一种电子设备，其特征在于，包括：处理器、存储器和总线，其中，
所述处理器和所述存储器通过所述总线完成相互间的通信；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至6中任一所述的方法。
9.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至6中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110317324.8A CN112699679B (zh) | 2021-03-25 | 2021-03-25 | 情绪识别方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110317324.8A CN112699679B (zh) | 2021-03-25 | 2021-03-25 | 情绪识别方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112699679A CN112699679A (zh) | 2021-04-23 |
| CN112699679B true CN112699679B (zh) | 2021-06-29 |
Family
ID=75515783
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110317324.8A Active CN112699679B (zh) | 2021-03-25 | 2021-03-25 | 情绪识别方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112699679B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113157892A (zh) * | 2021-05-24 | 2021-07-23 | 中国平安人寿保险股份有限公司 | 用户意图处理方法、装置、计算机设备及存储介质 |
| CN113283232A (zh) * | 2021-05-31 | 2021-08-20 | 支付宝(杭州)信息技术有限公司 | 自动解析文本中隐私信息的方法和装置 |
| CN113729711B (zh) * | 2021-09-30 | 2023-10-13 | 深圳航天科技创新研究院 | 脑电信号分析方法、装置、设备及存储介质 |
| CN116150697A (zh) * | 2023-04-19 | 2023-05-23 | 上海钐昆网络科技有限公司 | 一种异常应用识别方法、装置、设备、存储介质及产品 |
| CN116312486B (zh) * | 2023-05-25 | 2023-08-11 | 中国医学科学院阜外医院 | 情绪识别方法、装置、计算机可读存储介质及电子设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108415972A (zh) * | 2018-02-08 | 2018-08-17 | 合肥工业大学 | 文本情感处理方法 |
| CN109753566A (zh) * | 2019-01-09 | 2019-05-14 | 大连民族大学 | 基于卷积神经网络的跨领域情感分析的模型训练方法 |
| CN111125354A (zh) * | 2018-10-31 | 2020-05-08 | 北京国双科技有限公司 | 文本分类方法及装置 |
| CN111368082A (zh) * | 2020-03-03 | 2020-07-03 | 南京信息工程大学 | 一种基于层次网络的领域自适应词嵌入的情感分析方法 |
| CN111858933A (zh) * | 2020-07-10 | 2020-10-30 | 暨南大学 | 基于字符的层次化文本情感分析方法及*** |
| CN112287106A (zh) * | 2020-10-28 | 2021-01-29 | 中国计量大学 | 一种基于双通道混合神经网络的在线评论情感分类方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108763204A (zh) * | 2018-05-21 | 2018-11-06 | 浙江大学 | 一种多层次的文本情感特征提取方法和模型 |
| CN109508377A (zh) * | 2018-11-26 | 2019-03-22 | 南京云思创智信息科技有限公司 | 基于融合模型的文本特征提取方法、装置、聊天机器人和存储介质 |
| CN110298037B (zh) * | 2019-06-13 | 2023-08-04 | 同济大学 | 基于增强注意力机制的卷积神经网络匹配的文本识别方法 |
-
2021
- 2021-03-25 CN CN202110317324.8A patent/CN112699679B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108415972A (zh) * | 2018-02-08 | 2018-08-17 | 合肥工业大学 | 文本情感处理方法 |
| CN111125354A (zh) * | 2018-10-31 | 2020-05-08 | 北京国双科技有限公司 | 文本分类方法及装置 |
| CN109753566A (zh) * | 2019-01-09 | 2019-05-14 | 大连民族大学 | 基于卷积神经网络的跨领域情感分析的模型训练方法 |
| CN111368082A (zh) * | 2020-03-03 | 2020-07-03 | 南京信息工程大学 | 一种基于层次网络的领域自适应词嵌入的情感分析方法 |
| CN111858933A (zh) * | 2020-07-10 | 2020-10-30 | 暨南大学 | 基于字符的层次化文本情感分析方法及*** |
| CN112287106A (zh) * | 2020-10-28 | 2021-01-29 | 中国计量大学 | 一种基于双通道混合神经网络的在线评论情感分类方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112699679A (zh) | 2021-04-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112699679B (zh) | 情绪识别方法、装置、电子设备及存储介质 | |
| CN110598203A (zh) | 一种结合词典的军事想定文书实体信息抽取方法及装置 | |
| CN111177366A (zh) | 一种基于查询机制的抽取式文档摘要自动生成方法、装置及*** | |
| CN113255320A (zh) | 基于句法树和图注意力机制的实体关系抽取方法及装置 | |
| CN109614620B (zh) | 一种基于HowNet的图模型词义消歧方法和*** | |
| CN111858878B (zh) | 从自然语言文本中自动提取答案的方法、***及存储介质 | |
| CN110502757B (zh) | 一种自然语言情感分析方法 | |
| CN110516239B (zh) | 一种基于卷积神经网络的分段池化关系抽取方法 | |
| WO2023137911A1 (zh) | 基于小样本语料的意图分类方法、装置及计算机设备 | |
| CN112860871B (zh) | 自然语言理解模型训练方法、自然语言理解方法及装置 | |
| CN113360582B (zh) | 基于bert模型融合多元实体信息的关系分类方法及*** | |
| CN111177351A (zh) | 基于规则的自然语言表达意图获取方法、装置和*** | |
| CN112925904B (zh) | 一种基于Tucker分解的轻量级文本分类方法 | |
| CN110969023B (zh) | 文本相似度的确定方法及装置 | |
| CN109522415B (zh) | 一种语料标注方法及装置 | |
| CN114020906A (zh) | 基于孪生神经网络的中文医疗文本信息匹配方法及*** | |
| CN111368544A (zh) | 命名实体识别方法及装置 | |
| WO2023178802A1 (zh) | 命名实体识别方法、装置、设备和计算机可读存储介质 | |
| CN115064154A (zh) | 混合语言语音识别模型的生成方法及装置 | |
| CN111444720A (zh) | 一种英文文本的命名实体识别方法 | |
| CN111178080A (zh) | 一种基于结构化信息的命名实体识别方法及*** | |
| CN113065352B (zh) | 一种电网调度工作文本的操作内容识别方法 | |
| CN113486143A (zh) | 一种基于多层级文本表示及模型融合的用户画像生成方法 | |
| CN113065350A (zh) | 一种基于注意力神经网络的生物医学文本词义消岐方法 | |
| CN117454898A (zh) | 一种根据输入文本实现法人实体标准化输出的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |