CN114707518B

CN114707518B - 面向语义片段的目标情感分析方法、装置、设备及介质

Info

Publication number: CN114707518B
Application number: CN202210637534.XA
Authority: CN
Inventors: 琚生根; 邓航; 李怡霖; 鄢凡力
Original assignee: Sichuan University
Current assignee: Sichuan University
Priority date: 2022-06-08
Filing date: 2022-06-08
Publication date: 2022-08-16
Anticipated expiration: 2042-06-08
Also published as: CN114707518A

Abstract

本发明公开了面向语义片段的目标情感分析方法、装置、设备及介质，应用于目标情感分析领域，所述方法中，将文本样本输入至嵌入层，得到句子词向量、上下文词向量以及目标词向量；利用注意力编码层，对句子词向量、上下文词向量以及目标词向量进行编码，得到对应的隐状态表示；将上下文和目标词的隐状态表示输入至多头注意力层，得到目标上下文语义特征表示；将句子隐状态表示输入至结构化自注意力层，得到句子分段语义特征表示；将目标上下文语义特征表示和句子分段语义特征表示输入至预测层，得到目标词情感预测结果。由此，本发明使模型将注意力集中在各个语义分段，进而抑制了词语上的噪声，提高了目标情感分析任务的准确性。

Description

面向语义片段的目标情感分析方法、装置、设备及介质

技术领域

本发明涉及目标情感分析领域，尤其涉及一种面向语义片段的目标情感分析方法、装置、设备及介质。

背景技术

目标情感分析（Targeted Sentiment Analysis，TSA）任务是指判断句子中特定目标的情感极性。

现阶段技术中通过会采用注意力机制来捕获句子中特定目标与句子中其他的词语/词组的联系，即权重。但由于注意力机制仅注重词与词之间的关系，容易出现特定目标与不相干的其他词语的错误搭配。如“The bed is so good and so comfortable butornament of this room is really ugly.”的句子中，注意力机制会错误地为目标“ornament”前后的“good”、“comfortable”及“ugly”分配相同的权重，因而导致目标情感分析任务的精确度受到影响。

发明内容

有鉴于此，本发明提供一种面向语义片段的目标情感分析方法、装置、设备及介质，以改善目标情感分析任务中注意力机制仅注重词与词之间的关系，容易出现特定目标与不相干的其他词语的错误搭配，因而导致目标情感分析任务的精确度受到影响的现状。

第一方面，本发明实施例提供一种面向语义片段的目标情感分析方法，包括：

将获取到的文本样本输入至预设的目标情感分析模型的嵌入层，得到所述文本样本的句子词向量、上下文词向量以及目标词向量；

基于所述目标情感分析模型的注意力编码层，根据所述句子词向量、所述上下文词向量以及所述目标词向量，得到句子隐状态表示、上下文隐状态表示及目标词隐状态表示；

将所述上下文隐状态表示和所述目标词隐状态表示输入至所述目标情感分析模型的多头注意力层，以获取目标词对应的上下文语义特征，得到目标上下文语义特征表示；

将所述句子隐状态表示输入至所述目标情感分析模型的结构化自注意力层，以获取所述句子隐状态对应的多个语义分段的语义特征，得到句子分段语义特征表示；

将所述目标上下文语义特征表示和所述句子分段语义特征表示输入至所述目标情感分析模型的预测层，得到所述文本样本的目标词情感预测结果，其中，所述预测层用于将所述目标上下文语义特征表示池化后，根据所述句子分段语义特征表示与池化处理后的目标上下文语义特征表示的拼接结果进行目标词情感预测。

可选的，在本发明实施例提供的一种实施方式中，所述注意力编码层包括第一多头注意力编码模块、第二多头注意力编码模块及第三多头注意力编码模块，所述第一多头注意力编码模块和所述第二多头注意力编码模块均包括依次相连的第一多头注意力单元和卷积单元，所述第三多头注意力编码模块包括依次相连的第二多头注意力单元和卷积单元；

所述基于所述目标情感分析模型的注意力编码层，根据所述句子词向量、所述上下文词向量以及所述目标词向量，得到句子隐状态表示、上下文隐状态表示及目标词隐状态表示，包括：

基于所述第一多头注意力编码模块和所述第二多头注意力编码模块的第一多头注意力单元，将所述句子词向量、所述上下文词向量分别映射为对应的查询表示、键表示及值表示；

基于所述第三多头注意力编码模块的第二多头注意力单元，将所述目标词向量映射为所述目标词向量对应的键表示和值表示，并将所述上下文词向量映射为所述目标词向量对应的查询表示；

根据所述句子词向量、所述上下文词向量以及所述目标词向量分别对应的查询表示、键表示及值表示，得到句子语义特征表示、上下文语义特征表示及目标语义特征表示；

将所述句子语义特征表示、所述上下文语义特征表示及所述目标语义特征表示分别输入至所述第一多头注意力编码模块、所述第二多头注意力编码模块及所述第三多头注意力编码模块的卷积单元以进行逐点卷积变换，得到句子隐状态表示、上下文隐状态表示及目标词隐状态表示。

可选的，在本发明实施例提供的一种实施方式中，所述将所述上下文隐状态表示和所述目标词隐状态表示输入至所述目标情感分析模型的多头注意力层，以获取目标词对应的上下文语义特征，得到目标上下文语义特征表示，包括：

利用所述目标情感分析模型的多头注意力层，将所述目标词隐状态表示映射为所述目标词隐状态对应的键表示和值表示，并将所述上下文隐状态表示映射为所述目标词隐状态表示对应的查询表示；

利用所述目标词隐状态表示对应的查询表示、键表示和值表示，得到目标上下文语义特征表示。

可选的，在本发明实施例提供的一种实施方式中，所述预测层包括平均池化层和全连接层；

所述将所述目标上下文语义特征表示和所述句子分段语义特征表示输入至所述目标情感分析模型的预测层，得到所述文本样本的目标词情感预测结果，包括：

将所述目标上下文语义特征表示输入至所述平均池化层，得到池化处理后的目标上下文语义特征表示；

将所述句子分段语义特征表示与所述池化处理后的目标上下文语义特征表示连接，得到所述文本样本对应的文本表示；

将所述文本表示输入至所述全连接层，得到所述文本表示对应的分类输出；

基于预设分类器，根据所述文本样本对应的分类输出计算所述文本样本的目标词情感预测结果。

可选的，在本发明实施例提供的一种实施方式中，所述嵌入层包括已经过预训练的基于转换器的双向编码表征模型。

第二方面，本发明实施例提供一种面向语义片段的目标情感分析装置，包括：

嵌入模块，用于将获取到的文本样本输入至预设的目标情感分析模型的嵌入层，得到所述文本样本的句子词向量、上下文词向量以及目标词向量；

隐状态编码模块，用于基于所述目标情感分析模型的注意力编码层，根据所述句子词向量、所述上下文词向量以及所述目标词向量，得到句子隐状态表示、上下文隐状态表示及目标词隐状态表示；

第一特征获取模块，用于将所述上下文隐状态表示和所述目标词隐状态表示输入至所述目标情感分析模型的多头注意力层，以获取目标词对应的上下文语义特征，得到目标上下文语义特征表示；

第二特征获取模块，用于将所述句子隐状态表示输入至所述目标情感分析模型的结构化自注意力层，以获取所述句子隐状态对应的多个语义分段的语义特征，得到句子分段语义特征表示；

预测模块，用于将所述目标上下文语义特征表示和所述句子分段语义特征表示输入至所述目标情感分析模型的预测层，得到所述文本样本的目标词情感预测结果，其中，所述预测层用于将所述目标上下文语义特征表示池化后，根据所述句子分段语义特征表示与池化处理后的目标上下文语义特征表示的拼接结果进行目标词情感预测。

所述隐状态编码模块，包括：

第一映射子模块，用于基于所述第一多头注意力编码模块和所述第二多头注意力编码模块的第一多头注意力单元，将所述句子词向量、所述上下文词向量分别映射为对应的查询表示、键表示及值表示；

第二映射子模块，用于基于所述第三多头注意力编码模块的第二多头注意力单元，将所述目标词向量映射为所述目标词向量对应的键表示和值表示，并将所述上下文词向量映射为所述目标词向量对应的查询表示；

语义特征表示获取子模块，用于根据所述句子词向量、所述上下文词向量以及所述目标词向量分别对应的查询表示、键表示及值表示，得到句子语义特征表示、上下文语义特征表示及目标语义特征表示；

隐状态表示获取子模块，用于将所述句子语义特征表示、所述上下文语义特征表示及所述目标语义特征表示分别输入至所述第一多头注意力编码模块、所述第二多头注意力编码模块及所述第三多头注意力编码模块的卷积单元以进行逐点卷积变换，得到句子隐状态表示、上下文隐状态表示及目标词隐状态表示。

可选的，在本发明实施例提供的一种实施方式中，所述第一特征获取模块，包括：

目标词映射子模块，用于利用所述目标情感分析模型的多头注意力层，将所述目标词隐状态表示映射为所述目标词隐状态对应的键表示和值表示，并将所述上下文隐状态表示映射为所述目标词隐状态表示对应的查询表示；

目标上下文语义特征获取子模块，用于利用所述目标词隐状态表示对应的查询表示、键表示和值表示，得到目标上下文语义特征表示。

第三方面，本发明实施例提供一种计算机设备，包括存储器以及处理器，存储器存储有计算机程序，计算机程序在处理器上运行时执行如第一方面中任一种公开的面向语义片段的目标情感分析方法。

第四方面，本发明实施例提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序在处理器上运行时执行如第一方面中任一种公开的面向语义片段的目标情感分析方法。

本发明实施例提供的面向语义片段的目标情感分析方法中，计算机设备在获取到的文本样本后，将文本样本输入至预设的目标情感分析模型的嵌入层，以将文本样本中的目标词、上下文及句子所包含的词语转换为向量，得到句子词向量、上下文词向量以及目标词向量；接着，利用目标情感分析模型的注意力编码层，对句子词向量、上下文词向量以及目标词向量进行编码，以将句子词向量、上下文词向量以及目标词向量转换为对应的隐状态表示；然后，针对上下文隐状态表示和目标词隐状态，将二者输入至目标情感分析模型的多头注意力层，以抓取目标词对应的上下文语义特征，使得目标词的表征信息中包含上下文的语义信息，进而得到目标上下文语义特征表示，而针对句子隐状态表示，则将句子隐状态表示输入目标情感分析模型的结构化自注意力层，以获取句子隐状态对应的多个语义分段的语义特征，得到句子分段语义特征表示，从而在后续的步骤中，目标情感分析模型更多地将注意力放在语义分段而非词语上，以此抑制词语带来的噪声；最后，将目标上下文语义特征表示和句子分段语义特征表示输入至目标情感分析模型的预测层，得到文本样本的目标词情感预测结果。

基于此，本发明实施例基于结构化自注意力层的设置，使得目标情感分析模型因注意力编码层而将注意力放于词语时，还会因结构化自注意力层输出的句子分段语义特征表示，将注意力集中在各个语义分段，进而抑制了词语上的噪声，因而提高了目标情感分析任务的准确性。不仅如此，本发明实施例还基于融合了上下文语义特征的目标词表示，即目标上下文语义特征表示，使得目标词对应的表征信息更丰富，从而提高了目标词的可解释性。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对本发明保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。

图1示出了本发明实施例提供的第一种面向语义片段的目标情感分析方法的流程示意图；

图2示出了本发明实施例提供的第二种面向语义片段的目标情感分析方法的流程示意图的流程示意图；

图3示出了本发明实施例提供的第三种面向语义片段的目标情感分析方法的流程示意图的流程示意图；

图4示出了本发明实施例提供的面向语义片段的目标情感分析装置的结构示意图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

在下文中，可在本发明的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。

此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本发明的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本发明的各种实施例中被清楚地限定。

参照图1，示出了本发明实施例提供的第一种面向语义片段的目标情感分析方法的流程示意图，本发明实施例提供的面向语义片段的目标情感分析方法包括：

S110，将获取到的文本样本输入至预设的目标情感分析模型的嵌入层，得到所述文本样本的句子词向量、上下文词向量以及目标词向量。

需理解的是，本发明实施例中的文本样本指包含多个词语的句子，目标词为句子中的一个单词或一个词组，上下文为文本样本中，位于目标词前后的所有单词。示范性的，设文本样本为包含n个词语的S，目标词为包含m个词语的T，目标词的上下文为C，则S={w ₁,w ₂,…,w _t-1,w _t,…,w _t+m+1,w _n}，T={w _t,…,w _t+m}，C={w ₁,w ₂,…,w _t-1,w _t+m+1,w _n}，n和m均为正整数，且n>m。

进而，本方面实施例的任务即根据文本样本S和上下文C，判断目标词T的情感极性p，其中，p∈{-1,0,1}，-1表示消极，0表示中性，1表示积极。

进一步的，可以理解的是，本发明实施例中的计算机设备获取到文本样本后，将识别文本样本中的上下文和目标词，并基于识别出的上下文和目标词，将各个词语对应的划分和转换为词向量，进而得到句子词向量、上下文词向量以及目标词向量。

示范性的，设词向量为e，句子词向量为e ^s、目标词向量e ^t以及上下文词向量e ^c，则

，

，

，其中，k=n-m+1。

还可以理解的是，本发明实施例中的计算机设备识别文本样本中的上下文和目标词的方式可根据实际设置。如在一种可行的方式中，本发明实施例将文本样本分别输入至预训练好的上下文识别模型和目标词模型，进而得到上下文词向量和目标词向量。

而在另一种可行方式中，本发明实施例中所述嵌入层包括已经过预训练的基于转换器的双向编码表征模型，即BERT（Bidirectional Encoder Representation fromTransformers）模型。进而本发明实施例基于BERT模型完成上下文和目标词的识别，并在识别完成后输出到句子词向量、上下文词向量及目标词向量。

此外，需理解的是，当本发明实施例基于BERT模型来完成句子词向量、上下文词向量及目标词向量的输出时，还将对BERT模型进行预训练以进行微调，以保证微调后的BERT模型能基于输入的文本样本给出正确输出。

具体的，在本发明实施例提供的一种可行方式中，预训练的过程包括：利用“CLS”标志和“SEP”标志将多个文本样本中的句子、上下文及目标词标记，并将所有标记好的文本样本输入至BERT模型中，以使BERT模型进行预训练。

S120，基于所述目标情感分析模型的注意力编码层，根据所述句子词向量、所述上下文词向量以及所述目标词向量，得到句子隐状态表示、上下文隐状态表示及目标词隐状态表示。

也即，本发明实施例基于预设的注意力编码层，将句子词向量e ^s、上下文词向量e ^c以及目标词向量e ^t转换为相应的隐状态表示，以在后续步骤中利用隐状态表示进行语义抓取和表征。

可以理解的是，注意力编码层的具体结构可根据实际情况设置。如在本发明实施例提供的一种可行方式中，注意力编码层包括类似于transformer的编码器的多头注意力和前馈全连接网络所组成的结构。

还可理解的是，获取隐状态表示的编码层可以为不含注意力机制的结构，在一种可行方式中，句子隐状态表示、上下文隐状态表示及目标词隐状态表示还可通过循环神经网络（Recurrent Neural Network，RNN）来完成。

而在本发明实施例提供的另一种可行方式中，本发明实施例将通过多头注意力（Multi-Head Attention，MHA）和逐点卷积变换(Point-wise ConvolutionTransformation，PCT）来完成隐状态表示输出，具体参考图2，示出了本发明实施例提供的第二种面向语义片段的目标情感分析方法的流程示意图，即所述注意力编码层包括第一多头注意力编码模块、第二多头注意力编码模块及第三多头注意力编码模块，所述第一多头注意力编码模块和所述第二多头注意力编码模块均包括依次相连的第一多头注意力单元和卷积单元，所述第三多头注意力编码模块包括依次相连的第二多头注意力单元和卷积单元；

进而，所述S120，包括：

S121，基于所述第一多头注意力编码模块和所述第二多头注意力编码模块的第一多头注意力单元，将所述句子词向量、所述上下文词向量分别映射为对应的查询表示、键表示及值表示；

S122，基于所述第三多头注意力编码模块的第二多头注意力单元，将所述目标词向量映射为所述目标词向量对应的键表示和值表示，并将所述上下文词向量映射为所述目标词向量对应的查询表示；

S123，根据所述句子词向量、所述上下文词向量以及所述目标词向量分别对应的查询表示、键表示及值表示，得到句子语义特征表示、上下文语义特征表示及目标语义特征表示；

S124，将所述句子语义特征表示、所述上下文语义特征表示及所述目标语义特征表示分别输入至所述第一多头注意力编码模块、所述第二多头注意力编码模块及所述第三多头注意力编码模块的卷积单元以进行逐点卷积变换，得到句子隐状态表示、上下文隐状态表示及目标词隐状态表示。

可以理解的是，虽然循环神经网络在现阶段常用于计算隐状态表示，且多数情况下能取得较好的效果，但循环神经网络并不支持并行化计算，因而需花费较多时间完成参数运算。并且，循环神经网络的训练是随时间增加的截断反向传播，因而会影响到模型在长时间尺度上捕获依赖关系的能力。

因此，本发明实施例基于多头注意力使得并行运算得以实现，并以此捕获输入向量的上下文信息和全局信息。并基于逐点卷积变换，将上下文信息进行相应的转换，以此输出相应的隐状态表示。

具体而言，本发明实施例将利用Intra-MHA（内部-多头注意力），即自注意力来完成句子和上下文的语义特征表示计算，利用Inter-MHA完成上下文与目标词的融合语义特征，即目标语义特征表示计算。

需理解的是，计算机设备利用多头注意力机制进行语义特征抓取时，首先将得到的输入信息对应的映射至Query（查询）空间、Key（键）空间及Value（值）空间中，以得到查询表示、键表示以及值表示；接着利用查询表示和键表示进行相应运算以得到值表示对应的权重；然后在根据值表示和对应的权重的加权运算，得到相应的输出。

进一步的，Intra-MHA用于对序列本身的注意力进行处理。也即，Intra-MHA所接收到的同一个输入信息将被同时映射至Query空间、Key空间及Value空间中以得到查询表示、键表示以及值表示。

也因此，本发明实施例中的句子语义特征表示和上下文语义特征表示的计算方式可参考下式，即：

式中，

表示句子词向量e ^s中第i个词向量对应的句子语义特征表示，

表示上下文词向量e ^c中第i个词向量对应的句子语义特征表示，MHA()表示多头注意力，MHA()中的第一个参数、第二个参数及第三个参数分别表示Query空间、Key空间及Value空间的映射，即查询表示、键表示以及值表示。由此表明句子语义特征表示和上下文语义特征表示的计算过程中，查询表示、键表示以及值表示均为句子词向量和上下文词向量自身的映射。

与句子语义特征表示和上下文语义特征表示的计算不同的是，本发明实施例为丰富目标词的表达，基于Inter-MHA，将上下文词向量在Query空间的映射作为目标词向量的查询表示，也即：

式中，

表示句子词向量e ^t中第i个词向量对应的目标上下文语义特征表示。

在完成所有目标上下文语义特征表示、句子语义特征表示及上下文语义特征表示的计算后，本发明实施例将基于卷积层对每种特征表示进行逐点卷积变换，以得到对应的隐状态表示。

为更好地说明本发明实施例提供的卷积层的逐点卷积变换过程，故提供了以下公式进行说明，即：

式中，PCT(h)表示对特征表示h进行逐点卷积变换，σ表示Relu（Rectified linearunit，修正线性单元）激活函数；符号*表示卷积；

与

表示卷积层的卷积核权重，

和

表示卷积层的偏置项。

S130，将所述上下文隐状态表示和所述目标词隐状态表示输入至所述目标情感分析模型的多头注意力层，以获取目标词对应的上下文语义特征，得到目标上下文语义特征表示。

也即，本发明实施例中为获取具备更多交互信息的表征，使计算机设备在获取到上下文隐状态表示和目标词隐状态表示时，利用多头注意力机制将二者进行融合，以使目标词的语义特征中包含上下文语义特征，进而得到目标上下文语义特征表示。

可以理解的是，基于多头注意力的特征融合过程可根据实际情况设置，如在本发明实施例提供的一种可行方式中，具体参考图3，示出了本发明实施例提供的第三种面向语义片段的目标情感分析方法的流程示意图的流程示意图，即此种可行方式下所述S130，包括：

S131，利用所述目标情感分析模型的多头注意力层，将所述目标词隐状态表示映射为所述目标词隐状态对应的键表示和值表示，并将所述上下文隐状态表示映射为所述目标词隐状态表示对应的查询表示；

S132，利用所述目标词隐状态表示对应的查询表示、键表示和值表示，得到目标上下文语义特征表示。

也即，本发明实施例将目标词隐状态表示在Key空间及Value空间的映射作为键表示和值表示，和将上下文隐状态在Query空间的映射作为查询表示；接着，根据查询表示与键表示计算权重，并根据值表示与计算出的权重进行加权运算以得到对应的加权值；最后，将多头注意力层的每个头(head)的加权值拼接，由此得到目标上下文语义特征表示。

S140，将所述句子隐状态表示输入至所述目标情感分析模型的结构化自注意力层，以获取所述句子隐状态对应的多个语义分段的语义特征，得到句子分段语义特征表示。

也即，本发明实施例为改善因目标词的上下文中的各个词语的注意力权重相同，导致噪声出现的现象，故在目标情感分析模型中设置了结构化自注意力（StructuredSelf-Attentions，SS）。

需理解的是，信息输入至注意力层以得到注意力权重分布时，注意力权重分布即表明输入信息的各个部分的关注情况。但输入信息实际上有层次的划分，如文档（Document）可划分为篇、段、句及词等不同粒度的层次。

因此，本发明实施例基于结构化自注意力，对句子表示进行层次划分，即将句子表示划分为多个语义段，也即，将句子隐状态表示划分为多个语义分段，并将语义分段的语义特征一并用于目标情感极性的判断。

由此，本发明实施例使目标情感分析模型将更多的注意力放在语义分段而非词语上，抑制目标词的上下文中的词语所带来的噪声。

为更好地说明本发明实施例提供的句子分段语义特征表示的计算过程，故示出了以下公式，即：

式中，

表示句子词向量e ^s中第i个词向量对应的句子隐状态表示，

表示

对应的结构化自注意力权重，

表示

对应的句子分段语义特征，

和

均表示结构化自注意力层对应的训练权重。

S150，将所述目标上下文语义特征表示和所述句子分段语义特征表示输入至所述目标情感分析模型的预测层，得到所述文本样本的目标词情感预测结果，其中，所述预测层用于将所述目标上下文语义特征表示池化后，根据所述句子分段语义特征表示与池化处理后的目标上下文语义特征表示的拼接结果进行目标词情感预测。

也即，本发明实施例将目标上下文语义特征表示进行池化后，将池化处理后的目标上下文语义特征表示和句子分段语义特征表示进行拼接，以得到句子中目标的最终表示。可以理解的是，本发明实施例中目标的最终表示包含了目标词的语义特征与目标词的上下文的语义特征，进而能表征目标的词向量与上下文的词向量的联系；并且，目标的最终表示还包含了各个句子分段对应的句子分段语义特征表示，使得目标情感分析模型在进行情感预测时，还将根据各个句子分段的语义，确定目标的词向量和上下文的词向量的正确搭配。由此，使得目标情感分析模型的预测更为准确，进而提高了目标情感分析任务的准确性。

此外，还可以理解的是，预测层的具体结构及预测层根据上述目标的最终表示进行预测的具体运算过程均可根据实际情况设置，如在本发明实施例提供的一种可行方式中，所述预测层包括平均池化层和全连接层；

进而，所述S150包括：

也即，本发明实施例将利用平均池化(average polling)层对目标上下文语义特征表示进行池化处理，并将池化处理结果与句子分段语义特征表示，即如下式所示：

式中，s ^o表示文本样本对应的文本表示，s ^s表示句子分段语义特征表示，

表示池化处理后的目标上下文语义特征表示，[]表示拼接。

接着，将文本表示s ^o输入至全连接层以进行相应运算，得到对应的分类输出，即如下式所示：

式中，x表示分类输出，W ^o和b ^o分别表示全连接层对应的训练权重和训练偏置。

最后，基于预设分类器进行情感概率分布的运算，进而得到文本样本的目标词情感预测结果，即如下式所示：

式中，y表示目标词情感预测结果，softmax表示预设分类器，C表示情感的极性的数量。

与本发明实施例提供的面向语义片段的目标情感分析方法相对应的，本发明实施例还提供一种面向语义片段的目标情感分析装置，参照图4，示出了本发明实施例提供的面向语义片段的目标情感分析装置的结构示意图，本发明实施例提供的面向语义片段的目标情感分析装置200，包括：

嵌入模块210，用于将获取到的文本样本输入至预设的目标情感分析模型的嵌入层，得到所述文本样本的句子词向量、上下文词向量以及目标词向量；

隐状态编码模块220，用于基于所述目标情感分析模型的注意力编码层，根据所述句子词向量、所述上下文词向量以及所述目标词向量，得到句子隐状态表示、上下文隐状态表示及目标词隐状态表示；

第一特征获取模块230，用于将所述上下文隐状态表示和所述目标词隐状态表示输入至所述目标情感分析模型的多头注意力层，以获取目标词对应的上下文语义特征，得到目标上下文语义特征表示；

第二特征获取模块240，用于将所述句子隐状态表示输入至所述目标情感分析模型的结构化自注意力层，以获取所述句子隐状态对应的多个语义分段的语义特征，得到句子分段语义特征表示；

预测模块250，用于将所述目标上下文语义特征表示和所述句子分段语义特征表示输入至所述目标情感分析模型的预测层，得到所述文本样本的目标词情感预测结果，其中，所述预测层用于将所述目标上下文语义特征表示池化后，根据所述句子分段语义特征表示与池化处理后的目标上下文语义特征表示的拼接结果进行目标词情感预测。

可选的，在本发明实施例提供的一种可行方式中，所述注意力编码层包括第一多头注意力编码模块、第二多头注意力编码模块及第三多头注意力编码模块，所述第一多头注意力编码模块和所述第二多头注意力编码模块均包括依次相连的第一多头注意力单元和卷积单元，所述第三多头注意力编码模块包括依次相连的第二多头注意力单元和卷积单元；

所述隐状态编码模块，包括：

可选的，在本发明实施例提供的一种可行方式中，所述第一特征获取模块包括：

可选的，在本发明实施例提供的一种可行方式中，所述预测层包括平均池化层和全连接层；

进而，所述预测模块包括：

池化子模块，用于将所述目标上下文语义特征表示输入至所述平均池化层，得到池化处理后的目标上下文语义特征表示；

连接子模块，用于将所述句子分段语义特征表示与所述池化处理后的目标上下文语义特征表示连接，得到所述文本样本对应的文本表示；

输出子模块，用于将所述文本表示输入至所述全连接层，得到所述文本表示对应的分类输出；

分类子模块，用于基于预设分类器，根据所述文本样本对应的分类输出计算所述文本样本的目标词情感预测结果。

可选的，在本发明实施例提供的一种可行方式中，所述嵌入层包括已经过预训练的基于转换器的双向编码表征模型。

本申请实施例提供的面向语义片段的目标情感分析装置200能够实现图1对应的方法实施例中面向语义片段的目标情感分析方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本发明实施例还提供一种计算机设备，包括存储器以及处理器，存储器存储有计算机程序，计算机程序在处理器上运行时执行如图1对应的方法实施例中公开的面向语义片段的目标情感分析方法。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序在处理器上运行时执行如图1对应的方法实施例中公开的面向语义片段的目标情感分析方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是智能手机、个人计算机、服务器、或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。

Claims

1.一种面向语义片段的目标情感分析方法，其特征在于，包括：

基于所述目标情感分析模型的注意力编码层，根据所述句子词向量、所述上下文词向量以及所述目标词向量，得到句子隐状态表示、上下文隐状态表示及目标词隐状态表示，其中，所述注意力编码层包括第一多头注意力编码模块、第二多头注意力编码模块及第三多头注意力编码模块，所述第一多头注意力编码模块和所述第二多头注意力编码模块均包括依次相连的第一多头注意力单元和卷积单元，所述第三多头注意力编码模块包括依次相连的第二多头注意力单元和卷积单元；

将所述目标上下文语义特征表示和所述句子分段语义特征表示输入至所述目标情感分析模型的预测层，得到所述文本样本的目标词情感预测结果，其中，所述预测层用于将所述目标上下文语义特征表示池化后，根据所述句子分段语义特征表示与池化处理后的目标上下文语义特征表示的拼接结果进行目标词情感预测，所述预测层包括平均池化层和全连接层；

将所述句子语义特征表示、所述上下文语义特征表示及所述目标语义特征表示分别输入至所述第一多头注意力编码模块、所述第二多头注意力编码模块及所述第三多头注意力编码模块的卷积单元以进行逐点卷积变换，得到句子隐状态表示、上下文隐状态表示及目标词隐状态表示；

所述将所述上下文隐状态表示和所述目标词隐状态表示输入至所述目标情感分析模型的多头注意力层，以获取目标词对应的上下文语义特征，得到目标上下文语义特征表示，包括：

利用所述目标词隐状态表示对应的查询表示、键表示和值表示，得到目标上下文语义特征表示；

2.根据权利要求1所述的面向语义片段的目标情感分析方法，其特征在于，所述嵌入层包括已经过预训练的基于转换器的双向编码表征模型。

3.一种面向语义片段的目标情感分析装置，其特征在于，包括：

隐状态编码模块，用于基于所述目标情感分析模型的注意力编码层，根据所述句子词向量、所述上下文词向量以及所述目标词向量，得到句子隐状态表示、上下文隐状态表示及目标词隐状态表示，其中，所述注意力编码层包括第一多头注意力编码模块、第二多头注意力编码模块及第三多头注意力编码模块，所述第一多头注意力编码模块和所述第二多头注意力编码模块均包括依次相连的第一多头注意力单元和卷积单元，所述第三多头注意力编码模块包括依次相连的第二多头注意力单元和卷积单元；

预测模块，用于将所述目标上下文语义特征表示和所述句子分段语义特征表示输入至所述目标情感分析模型的预测层，得到所述文本样本的目标词情感预测结果，其中，所述预测层用于将所述目标上下文语义特征表示池化后，根据所述句子分段语义特征表示与池化处理后的目标上下文语义特征表示的拼接结果进行目标词情感预测，所述预测层包括平均池化层和全连接层；

所述隐状态编码模块，包括：

隐状态表示获取子模块，用于将所述句子语义特征表示、所述上下文语义特征表示及所述目标语义特征表示分别输入至所述第一多头注意力编码模块、所述第二多头注意力编码模块及所述第三多头注意力编码模块的卷积单元以进行逐点卷积变换，得到句子隐状态表示、上下文隐状态表示及目标词隐状态表示；

所述第一特征获取模块，包括：

目标上下文语义特征获取子模块，用于利用所述目标词隐状态表示对应的查询表示、键表示和值表示，得到目标上下文语义特征表示；

所述预测模块包括：

4.一种计算机设备，其特征在于，包括存储器以及处理器，所述存储器存储有计算机程序，所述计算机程序在所述处理器上运行时执行如权利要求1-2任一项所述的面向语义片段的目标情感分析方法。

5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序在处理器上运行时执行如权利要求1-2任一项所述的面向语义片段的目标情感分析方法。