CN112966074B - 一种情感分析方法、装置、电子设备以及存储介质 - Google Patents

一种情感分析方法、装置、电子设备以及存储介质 Download PDF

Info

Publication number
CN112966074B
CN112966074B CN202110535102.3A CN202110535102A CN112966074B CN 112966074 B CN112966074 B CN 112966074B CN 202110535102 A CN202110535102 A CN 202110535102A CN 112966074 B CN112966074 B CN 112966074B
Authority
CN
China
Prior art keywords
graph
semantic
information
neural network
specific target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110535102.3A
Other languages
English (en)
Other versions
CN112966074A (zh
Inventor
燕泽昊
薛云
庞士冠
黄伟豪
冯锦辉
蔡倩华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Normal University
Original Assignee
South China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Normal University filed Critical South China Normal University
Priority to CN202110535102.3A priority Critical patent/CN112966074B/zh
Publication of CN112966074A publication Critical patent/CN112966074A/zh
Application granted granted Critical
Publication of CN112966074B publication Critical patent/CN112966074B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明提供了一种情感分析方法、装置、电子设备以及存储介质，该方法包括：通过双向LSTM网络，得到待进行情感分析的句子对应的隐藏状态向量，通过第一图卷积神经网络模型，获得句子的句法信息，通过多头自注意力机制模型和第二图卷积神经网络模型，获得句子的语义信息，通过共享图卷积神经网络模型，获得句法图和语义图之间的公共信息，将句法信息、语义信息和公共信息拼接融合，得到特定目标的特征表达，将特征表达输入至全连接网络进行概率计算，得到特定目标的情感分析结果，使得特征表达充分提取了语义图中的语义信息，并考虑了语义信息和句法信息之间的公共信息，提升了情感分析的准确性。

Description

一种情感分析方法、装置、电子设备以及存储介质
技术领域
本发明涉及自然语言处理技术领域，特别是涉及一种情感分析方法、装置、电子设备以及存储介质。
背景技术
随着用户生成的文本在互联网上的***式增长，从丰富的文档中自动提取有用信息受到了自然语言处理（NLP）领域的关注。情感分析是自然语言处理领域的重要课题之一，其目的在于对带有情感色彩的主观性文本进行分析。一般来说，在进行基于特定目标的情感分析时，有几个步骤，如获取词嵌入、建模句法信息、提取语义信息，其中挖掘最相关的意见词起着枢轴作用。
一些技术中，应用注意力机制，将方面词与他们的意见词连接在一起，提取语义的信息，用以对特定目标进行情感分析。然而，受共现频率或长程词依赖关系限制，注意力机制可能会为不相关的词分配错误的权重。一些技术中，基于图神经网络从依存句法树中提取句法信息。虽然与基于注意力的模型相比，取得了令人瞩目的改进，但也存在缺点：句子对于句法信息和语义信息有不同的敏感性。特别是对于那些不具有明显句法结构的句子，这意味着句法信息不能帮助模型在某些情况下确定句子的情感极性。一些技术中，基于图神经网络从依存句法树中提取句法信息，并结合注意力机制提取语义信息，然而，并非所有依存关系树上的信息都有意义，噪声将由图神经网络编码，如果在此基础上使用注意力机制，将引起二次噪声。
发明人在实现本发明的过程中，发现上述技术中至少存在以下问题：通过注意力机制提取语义信息，或者基于图神经网络从依存句法树中提取句法信息，均没有提取语义信息和句法信息之间的公共信息，降低了情感分析的准确性。
发明内容
为克服相关技术中存在的问题，本申请实施例提供了一种情感分析方法、装置、电子设备以及存储介质，其具有提升情感分析准确性的优点。
根据本申请实施例的第一方面，提供一种情感分析方法，包括如下步骤：
获取待进行情感分析的句子的词向量，将所述词向量输入至双向LSTM神经网络，得到所述词向量对应的隐藏状态向量；
获取所述句子对应的依存句法树，将所述依存句法树转换为句法图；
将所述隐藏状态向量和所述句法图输入至第一图卷积神经网络模型，获得所述句子的句法信息；
将所述隐藏状态向量输入至多头自注意力机制模型，获得语义图，并将所述隐藏状态向量和所述语义图输入至第二图卷积神经网络模型，获得所述句子的语义信息；
将所述隐藏状态向量、所述句法图和所述语义图输入至共享图卷积神经网络模型，获得所述句法图和所述语义图之间的公共信息；
将所述句法信息、所述语义信息和所述公共信息输入至掩码模型，并取平均池化后，得到特定目标信息，对所述特定目标信息拼接融合，得到特定目标的特征表达；
将所述特征表达输入至全连接网络进行概率计算，得到所述特定目标的情感分析结果。
进一步地，所述获取待进行情感分析的句子的词向量，将所述词向量输入至双向LSTM网络，得到所述词向量对应的隐藏状态向量的步骤包括：根据GloVe词嵌入模型，将所述待进行情感分析的句子中每个单词转换为词向量；将所述词向量输入至双向LSTM网络，得到所述词向量对应的隐藏状态向量；其中，所述隐藏状态向量表示如下：
Figure 952011DEST_PATH_IMAGE001
Figure 116407DEST_PATH_IMAGE002
Figure 265629DEST_PATH_IMAGE003
其中，
Figure 473756DEST_PATH_IMAGE004
表示所述待进行情感分析的句子对应的词向量的个数，
Figure 193581DEST_PATH_IMAGE005
表示所述待 进行情感分析的句子中特定目标对应的词向量的个数，
Figure 410936DEST_PATH_IMAGE006
表示所述隐藏状态向量，
Figure 414664DEST_PATH_IMAGE007
表 示向前方向编码的隐藏状态向量，
Figure 75584DEST_PATH_IMAGE008
表示向后方向编码的隐藏状态向量，
Figure 531973DEST_PATH_IMAGE009
是所述待进行 情感分析的句子的上标表示，
Figure 553019DEST_PATH_IMAGE010
是所述待进行情感分析的句子中特定目标的下标表示，
Figure 424635DEST_PATH_IMAGE011
表示所述待进行情感分析的句子中第1个特定目标的下标表示，
Figure 240144DEST_PATH_IMAGE012
表示所述待 进行情感分析的句子中第
Figure 183830DEST_PATH_IMAGE005
个特定目标的下标表示，
Figure 742987DEST_PATH_IMAGE013
表示每个所述词向量对应的向前方向编码的隐藏状 态向量，
Figure 206460DEST_PATH_IMAGE014
表示每个所述词向量对应的向后方向编码的 隐藏状态向量。
进一步地，所述将所述隐藏状态向量和所述句法图输入至第一图卷积神经网络模型，获得所述句子的句法信息的步骤包括：获取所述句法图的句法邻接矩阵；其中，所述句法邻接矩阵表示所述句法图中单词的邻接关系；将所述隐藏状态向量和所述句法邻接矩阵输入至所述第一图卷积神经网络模型，获得所述句子的句法信息；其中，获得所述句法信息的公式如下：
Figure 458450DEST_PATH_IMAGE015
Figure 889432DEST_PATH_IMAGE016
Figure 737433DEST_PATH_IMAGE017
其中，
Figure 304681DEST_PATH_IMAGE006
表示所述隐藏状态向量,
Figure 461992DEST_PATH_IMAGE018
表示所述第一图卷积神经网络模型的 第一层输入，
Figure 380270DEST_PATH_IMAGE019
表示由
Figure 31962DEST_PATH_IMAGE018
，…，
Figure 719295DEST_PATH_IMAGE020
拼接而成，“
Figure 47509DEST_PATH_IMAGE021
”表示拼接，
Figure 206744DEST_PATH_IMAGE020
表示所述第 一图卷积神经网络模型的第
Figure 645816DEST_PATH_IMAGE022
层输出，
Figure 453235DEST_PATH_IMAGE023
是归一化 邻接矩阵，
Figure 952349DEST_PATH_IMAGE024
是所述句法邻接矩阵，
Figure 330372DEST_PATH_IMAGE025
是单位矩阵，
Figure 573135DEST_PATH_IMAGE026
是度矩阵，
Figure 235060DEST_PATH_IMAGE027
是所述第 一图卷积神经网络模型第
Figure 921388DEST_PATH_IMAGE028
层的可学习参数矩阵，
Figure 770395DEST_PATH_IMAGE029
表示激活函数，
Figure 82428DEST_PATH_IMAGE030
表示所 述句子的句法信息。
进一步地，所述将所述隐藏状态向量输入至多头自注意力机制模型，获得语义图，并将所述隐藏状态向量和所述语义图输入至第二图卷积神经网络模型，获得所述句子的语义信息的步骤包括：将所述隐藏状态向量输入至多头自注意力机制模型，获得所述语义图的初始语义邻接矩阵；将所述隐藏状态向量和所述初始语义邻接矩阵输入至所述第二图卷积神经网络模型的运算公式中，得到所述第二图卷积神经网络模型初始层的输出结果；将所述初始语义邻接矩阵和所述第二图卷积神经网络模型初始层的输出结果，输入至多头自注意力机制模型更新公式，获得更新语义邻接矩阵；将所述更新语义邻接矩阵和所述第二图卷积神经网络模型初始层的输出结果，重复执行输入操作，直至得到所述第二图卷积神经网络模型输出层的输出结果，获得所述句子的语义信息；其中，所述获得所述语义图的初始语义邻接矩阵的公式如下：
Figure 598859DEST_PATH_IMAGE031
Figure 190509DEST_PATH_IMAGE032
Figure 526812DEST_PATH_IMAGE033
Figure 376957DEST_PATH_IMAGE034
其中，
Figure 495698DEST_PATH_IMAGE006
表示所述隐藏状态向量，
Figure 507516DEST_PATH_IMAGE035
作为所述第二图卷积神经网络模型的 第一层输入，
Figure 596695DEST_PATH_IMAGE036
是多头自注意力的头数，
Figure 719372DEST_PATH_IMAGE037
是所述双向LSTM网络每个隐藏状态向量 维度，
Figure 961128DEST_PATH_IMAGE038
是所述多头自注意力每个头的维度，
Figure 409427DEST_PATH_IMAGE039
是初始层第
Figure 985902DEST_PATH_IMAGE040
个自注意力矩阵，
Figure 663002DEST_PATH_IMAGE041
是所述多头自注意力机制模型的初始层中第
Figure 8533DEST_PATH_IMAGE040
个自注意力 矩阵对应的第一可训练的参数矩阵，
Figure 627733DEST_PATH_IMAGE042
是所述多头自注意力 机制模型的初始层中第
Figure 425925DEST_PATH_IMAGE040
个自注意力矩阵对应的第二可训练的参数矩阵，
Figure 172295DEST_PATH_IMAGE043
表示矩阵的转 置，
Figure 637911DEST_PATH_IMAGE044
表示挑选出矩阵中最大的
Figure 162434DEST_PATH_IMAGE045
个元素，
Figure 189865DEST_PATH_IMAGE046
是所述初始语义邻接矩阵；
其中，所述第二图卷积神经网络模型的运算公式如下：
Figure 723614DEST_PATH_IMAGE047
其中，
Figure 778158DEST_PATH_IMAGE048
是归一化邻接矩阵，
Figure 489893DEST_PATH_IMAGE049
是单位矩 阵，
Figure 262677DEST_PATH_IMAGE050
是度矩阵，
Figure 334538DEST_PATH_IMAGE051
是所述第二图卷积神经网络模型第一层的可学习的参数矩阵，
Figure 509168DEST_PATH_IMAGE029
表示激活函数，
Figure 391804DEST_PATH_IMAGE052
表示所述第二图卷积神经网络模型初始层的输出结果；
其中，所述多头自注意力机制模型更新公式如下：
Figure 651884DEST_PATH_IMAGE053
Figure 527436DEST_PATH_IMAGE054
Figure 307305DEST_PATH_IMAGE055
Figure 610110DEST_PATH_IMAGE056
其中，
Figure 91907DEST_PATH_IMAGE057
是由
Figure 505571DEST_PATH_IMAGE058
，…，
Figure 402595DEST_PATH_IMAGE059
拼接而成，“
Figure 876302DEST_PATH_IMAGE021
”表示拼接，
Figure 845395DEST_PATH_IMAGE059
表示所述第 二图卷积神经网络模型的第
Figure 813482DEST_PATH_IMAGE060
层输出，
Figure 817210DEST_PATH_IMAGE061
表示第
Figure 727397DEST_PATH_IMAGE028
层第
Figure 934519DEST_PATH_IMAGE040
个自注意力矩阵，
Figure 689985DEST_PATH_IMAGE062
是所述多头自注意力机制模型的第
Figure 548220DEST_PATH_IMAGE028
层中第
Figure 363729DEST_PATH_IMAGE040
个自注意力矩阵对应的第一可训练 的参数矩阵，
Figure 323726DEST_PATH_IMAGE063
是所述多头自注意力机制模型的第
Figure 882883DEST_PATH_IMAGE028
层中第
Figure 861204DEST_PATH_IMAGE040
个自注意力矩阵对应 的第二可训练的参数矩阵，
Figure 601276DEST_PATH_IMAGE043
表示矩阵的转置，
Figure 32258DEST_PATH_IMAGE038
是所述多头自注意力每个头的维 度，
Figure 129527DEST_PATH_IMAGE064
表示现有的
Figure 978665DEST_PATH_IMAGE064
激活函数，
Figure 401556DEST_PATH_IMAGE065
表示现有的
Figure 54254DEST_PATH_IMAGE065
函数，
Figure 705947DEST_PATH_IMAGE036
是多头自注意力的头数，
Figure 658859DEST_PATH_IMAGE066
是所述更新语义邻接矩阵的中间结 果，
Figure 252652DEST_PATH_IMAGE067
表示挑选出矩阵中最大的
Figure 143378DEST_PATH_IMAGE045
个元素，
Figure 582450DEST_PATH_IMAGE068
是所述更新语义邻接矩阵；
其中，所述得到第二图卷积神经网络模型输出层的输出结果公式如下：
Figure 389869DEST_PATH_IMAGE069
其中，
Figure 888983DEST_PATH_IMAGE070
是归一化邻接矩阵，
Figure 795235DEST_PATH_IMAGE068
是所述更 新语义邻接矩阵，
Figure 37997DEST_PATH_IMAGE049
是单位矩阵，
Figure 434344DEST_PATH_IMAGE050
是度矩阵,
Figure 120671DEST_PATH_IMAGE071
第二图卷积神经网络模型第
Figure 500837DEST_PATH_IMAGE028
层的可学习的参数矩阵表示，
Figure 547290DEST_PATH_IMAGE072
表示激活函数，
Figure 548876DEST_PATH_IMAGE073
表示所述句子的语义信息。
进一步地，所述将所述隐藏状态向量、所述句法图和所述语义图输入至共享图卷积神经网络模型，获得所述句法图和所述语义图之间的公共信息的步骤包括：将所述隐藏状态向量和所述句法图输入至共享图卷积神经网络模型，得到所述句法图的公共信息；将所述隐藏状态向量和所述语义图输入至共享图卷积神经网络模型，得到所述语义图的公共信息；将所述句法图的公共信息和所述语义图的公共信息输入组合运算公式，得到所述句法图和所述语义图之间的公共信息；其中，所述得到所述句法图的公共信息公式如下：
Figure 389793DEST_PATH_IMAGE074
其中，
Figure 257254DEST_PATH_IMAGE024
表示所述句法图的邻接矩阵，
Figure 592552DEST_PATH_IMAGE006
表示所述隐藏状态向量，
Figure 963490DEST_PATH_IMAGE075
表示所 述共享图卷积神经网络模型可学习的参数矩阵，
Figure 240888DEST_PATH_IMAGE076
表示所述句法图的公共信息，
Figure 330067DEST_PATH_IMAGE077
表示根据所述句法图的邻接矩阵、所述隐藏状态向量以及所述共享图卷积神经 网络模型可学习的参数矩阵得到所述句法图的公共信息的句法图卷积模块；
其中，所述得到所述语义图的公共信息公式如下：
Figure 296204DEST_PATH_IMAGE078
其中，
Figure 521649DEST_PATH_IMAGE079
表示所述语义图的邻接矩阵，
Figure 969947DEST_PATH_IMAGE006
表示所述隐藏状态向量，
Figure 297155DEST_PATH_IMAGE080
表 示所述语义图的公共信息，
Figure 223522DEST_PATH_IMAGE081
表示根据所述语义图的邻接矩阵、所述隐藏状态向 量以及所述共享图卷积神经网络模型可学习的参数矩阵得到所述句法图的公共信息的语 义图卷积模块；
其中，所述组合运算公式如下：
Figure 834632DEST_PATH_IMAGE082
其中，
Figure 938986DEST_PATH_IMAGE083
和
Figure 81385DEST_PATH_IMAGE084
是可学习的参数矩阵，
Figure 811444DEST_PATH_IMAGE085
表示所述句法图和所述语义图之间的 公共信息。
进一步地，所述将所述句法信息、所述语义信息和所述公共信息输入至掩码模型取平均池化后，得到特定目标信息，对所述特定目标信息拼接融合，得到特定目标的特征表达的步骤包括：将所述句法信息、所述语义信息和所述公共信息输入至掩码模型取平均池化后，获得句法特定目标信息、语义特定目标信息和公共特定目标信息；将所述句法特定目标信息、所述语义特定目标信息和所述公共特定目标信息拼接，获得特定目标表示；将所述特定目标表示输入多层神经网络融合公式，获得特定目标的特征表达；其中，所述获得句法特定目标信息、语义特定目标信息和公共特定目标信息公式如下：
Figure 11481DEST_PATH_IMAGE086
Figure 801582DEST_PATH_IMAGE087
Figure 834873DEST_PATH_IMAGE088
Figure 103043DEST_PATH_IMAGE089
其中，
Figure 157587DEST_PATH_IMAGE090
是所述掩码模型的
Figure 118590DEST_PATH_IMAGE091
函数，
Figure 642106DEST_PATH_IMAGE092
是所述待进行情感分析的 句子中特定目标的下标表示，
Figure 713967DEST_PATH_IMAGE093
是特定目标的索引，
Figure 888597DEST_PATH_IMAGE005
表示特定目 标的数量，
Figure 505654DEST_PATH_IMAGE094
是平均池化函数，
Figure 500155DEST_PATH_IMAGE095
表示所述句法信息，
Figure 110128DEST_PATH_IMAGE085
表示所述句法图和所述 语义图之间的公共信息，
Figure 139264DEST_PATH_IMAGE096
表示所述语义信息，
Figure 442069DEST_PATH_IMAGE097
表示所述句法特定目标信息，
Figure 674598DEST_PATH_IMAGE098
表示所述语义特定目标信息，
Figure 88262DEST_PATH_IMAGE099
表示所述公共特定目标信息；
其中，所述获得特定目标的特征表达公式如下：
Figure 971904DEST_PATH_IMAGE100
其中，
Figure 445611DEST_PATH_IMAGE101
表示特定目标表示，“
Figure 168366DEST_PATH_IMAGE021
”表示拼接；
其中，所述多层神经网络融合公式如下：
Figure 120142DEST_PATH_IMAGE102
其中，
Figure 123870DEST_PATH_IMAGE103
表示可学习的权重矩阵，
Figure 768478DEST_PATH_IMAGE104
表示偏置项，
Figure 975599DEST_PATH_IMAGE029
表示激活函数，
Figure 731066DEST_PATH_IMAGE105
表示所述特定目标的特征表达。
进一步地，所述将所述特定目标的特征表达输入至全连接网络进行概率计算，得 到所述特定目标的情感分析结果的步骤包括：将所述特定目标的特征表达输入至全连接网 络的
Figure 323721DEST_PATH_IMAGE064
层运算公式进行概率计算，得到所述特定目标的情感分析结果；其中，
Figure 155542DEST_PATH_IMAGE064
层运算公式如下：
Figure 99227DEST_PATH_IMAGE106
其中，
Figure 658385DEST_PATH_IMAGE105
表示所述特定目标的特征表达，
Figure 371126DEST_PATH_IMAGE107
表示可学习的权重矩阵，
Figure 842689DEST_PATH_IMAGE108
表示偏 置项，
Figure 273671DEST_PATH_IMAGE109
表示现有的
Figure 370940DEST_PATH_IMAGE110
激活函数，
Figure 203767DEST_PATH_IMAGE111
表示所述情感分析结果。
根据本申请实施例的第二方面，提供一种情感分析装置，包括：
隐藏状态获取模块，用于获取待进行情感分析的句子的词向量，将所述词向量输入至双向LSTM网络，得到所述词向量对应的隐藏状态向量；
依存句法树转换模块，用于获取所述句子对应的依存句法树，将所述依存句法树转换为句法图；
句法信息获得模块，用于将所述隐藏状态向量和所述句法图输入至第一图卷积神经网络模型，获得所述句子的句法信息；
语义信息获得模块，用于将所述隐藏状态向量输入至多头自注意力机制模型，获得语义图，并将所述隐藏状态向量和所述语义图输入至第二图卷积神经网络模型，获得所述句子的语义信息；
公共信息获得模块，用于将所述隐藏状态向量、所述句法图和所述语义图输入至共享图卷积神经网络模型，获得所述句法图和所述语义图之间的公共信息；
特征表达获得模块，用于将所述句法信息、所述语义信息和所述公共信息输入至掩码模型取平均池化后，得到特定目标信息，对所述特定目标信息拼接融合，得到特定目标的特征表达；
情感分析模块，用于将所述特征表达输入至全连接网络进行概率计算，得到所述特定目标的情感分析结果。
根据本申请实施例的第三方面，提供一种电子设备，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行实现如上述任意一项所述的情感分析方法。
根据本申请实施例的第四方面，提供一种计算机可读存储介质，其上储存有计算机程序，该计算机程序被处理器执行时实现如上述任意一项所述的情感分析方法。
本申请实施例通过获取待进行情感分析的句子的词向量，将所述词向量输入至双向LSTM网络，得到所述词向量对应的隐藏状态向量，获取所述句子对应的依存句法树，将所述依存句法树转换为句法图，将所述隐藏状态向量和所述句法图输入至第一图卷积神经网络模型，获得所述句子的句法信息，将所述隐藏状态向量输入至多头自注意力机制模型，获得语义图，并将所述隐藏状态向量和所述语义图输入至第二图卷积神经网络模型，获得所述句子的语义信息，将所述隐藏状态向量、所述句法图和所述语义图输入至共享图卷积神经网络模型，获得所述句法图和所述语义图之间的公共信息，将所述句法信息、所述语义信息和所述公共信息输入至掩码模型，并取平均池化后，得到特定目标信息，对所述特定目标信息拼接融合，得到特定目标的特征表达，将所述特征表达输入至全连接网络进行概率计算，得到所述特定目标的情感分析结果，使得所述特征表达充分提取了语义图中的语义信息，并考虑了语义信息和句法信息之间的公共信息，提升了情感分析的准确性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
为了更好地理解和实施，下面结合附图详细说明本发明。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一个实施例示出的情感分析方法的流程图；
图2为本申请一个实施例示出的情感分析方法中步骤S110的流程图；
图3为本申请一个实施例示出的情感分析方法中步骤S130的流程图；
图4为本申请一个实施例提供的句法依存树的示意图；
图5为本申请一个实施例提供的句法邻接矩阵的示意图；
图6为本申请一个实施例示出的情感分析方法中步骤S140的流程图；
图7为本申请一个实施例示出的情感分析方法中步骤S150的流程图；
图8为本申请一个实施例示出的情感分析方法中步骤S160的流程图；
图9为本申请一个实施例提供的情感分析模型的整体结构示意图；
图10为本申请一个实施例提供的第二图卷积神经网络模型的示意图；
图11为本申请一个实施例提供的共享图卷积神经网络模型的示意图；
图12为本申请一个实施例示出的情感分析装置的结构示意框图；
图13为本申请一个实施例示出的电子设备的结构示意框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例方式作进一步地详细描述。
应当明确，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施 例，都属于本申请保护的范围。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。 以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。在此所使用的词语 “如果”/“若” 可以被解释成为 “在……时” 或 “当……时” 或 “响应于确定”。此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A 和/或 B，可以表示：单独存在 A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
实施例1
请参阅图1，本申请实施例提供的一种情感分析方法，包括如下步骤：
S110：获取待进行情感分析的句子的词向量，将所述词向量输入至双向LSTM网络，得到所述词向量对应的隐藏状态向量。
词嵌入是单词的一种数字化表示方式，其是将一个单词映射到一个高维的向量中，以实现对单词的表示，这个向量被称为词向量。在本申请实施例中，获取待进行情感分析的句子的词向量，将所述词向量输入至双向LSTM网络，得到所述词向量对应的隐藏状态向量。其中，循环神经网络（Recurrent Neural Network, 简称RNN）是一类以序列数据为输入，在序列的演进方向进行递归且所有节点按链式连接的递归神经网络，所述双向LSTM网络，即双向长短期记忆网络（Bidrectional Long Short Term Memory Networks, 简称Bi-LSTM），是循环神经网络的一种，包括前向循环神经网络和后向循环神经网络，更适于对时序数据的建模。
请参阅图2，在本申请的一个实施例中，步骤S110包括S111~S112，具体如下：
S111：根据GloVe词嵌入模型，将所述待进行情感分析的句子中每个单词转换为词向量。
GloVe（Global Vectors for Word Representation）是一个基于全局词频统计的 词表征工具，它可以把一个单词表达成一个由实数组成的向量，这些向量捕捉单词之间一 些语义特性。在本申请实施例中，获取待进行情感分析
Figure 843302DEST_PATH_IMAGE004
的句子
Figure 761579DEST_PATH_IMAGE112
，其中包含特定目标词
Figure 662539DEST_PATH_IMAGE113
，
Figure 84293DEST_PATH_IMAGE114
分别表 示所述句子中的单词，一共包括
Figure 428818DEST_PATH_IMAGE004
个单词，
Figure 834392DEST_PATH_IMAGE115
分别表示所述句子中特定 目标词的单词，一共包括
Figure 539042DEST_PATH_IMAGE005
个单词，
Figure 97194DEST_PATH_IMAGE116
是所述待进行情感分析的句子中特定目标的下标表 示，
Figure 596308DEST_PATH_IMAGE011
表示所述待进行情感分析的句子中第1个特定目标的下标表示，
Figure 223599DEST_PATH_IMAGE012
表示所述 待进行情感分析的句子中第
Figure 466361DEST_PATH_IMAGE005
个特定目标的下标表示。通过查找预先训练的单词嵌入矩 阵
Figure 613440DEST_PATH_IMAGE117
初始化句子
Figure 283456DEST_PATH_IMAGE118
，
Figure 663621DEST_PATH_IMAGE119
是词库的大小，
Figure 186439DEST_PATH_IMAGE120
是词向量维度，从而将所述待 进行情感分析的句子中每个单词转换为词向量。
S112：将所述词向量输入至双向LSTM网络，得到所述词向量对应的隐藏状态向量。
在本申请实施例中，将所述词向量输入至双向LSTM网络，得到所述词向量对应的隐藏状态向量。其中，所述隐藏状态向量表示如下：
Figure 234029DEST_PATH_IMAGE001
Figure 74947DEST_PATH_IMAGE121
Figure 427562DEST_PATH_IMAGE122
其中，
Figure 12127DEST_PATH_IMAGE004
表示所述待进行情感分析的句子对应的词向量的个数，
Figure 383065DEST_PATH_IMAGE005
表示所述待 进行情感分析的句子中特定目标对应的词向量的个数，
Figure 394884DEST_PATH_IMAGE006
表示所述隐藏状态向量，
Figure 969215DEST_PATH_IMAGE007
表 示向前方向编码的隐藏状态向量，
Figure 357471DEST_PATH_IMAGE008
表示向后方向编码的隐藏状态向量，c是所述待进行 情感分析的句子的上标表示，
Figure 582916DEST_PATH_IMAGE010
是所述待进行情感分析的句子中特定目标的下标表示，
Figure 765636DEST_PATH_IMAGE011
表示所述待进行情感分析的句子中第1个特定目标的下标表示，
Figure 76532DEST_PATH_IMAGE012
表示所述待 进行情感分析的句子中第
Figure 753632DEST_PATH_IMAGE005
个特定目标的下标表示，
Figure 833583DEST_PATH_IMAGE013
表示每个所述词向量对应的向前方向编码的隐藏状 态向量，
Figure 452783DEST_PATH_IMAGE014
表示每个所述词向量对应的向后方向编码的 隐藏状态向量。
S120：获取所述句子对应的依存句法树，将所述依存句法树转换为句法图。
依存句法树表示一个句子中词与词之间的依存关系。在本申请实施例中，使用斯 坦福解析器对句子做句法分析，生成所述依存句法树，并将所述依存句法树转换为句法图
Figure 250975DEST_PATH_IMAGE123
。其中，
Figure 728837DEST_PATH_IMAGE024
是所述句法图的邻接矩阵，
Figure 663294DEST_PATH_IMAGE006
是所述隐藏状态向量。
S130：将所述隐藏状态向量和所述句法图输入至第一图卷积神经网络模型，获得所述句子的句法信息。
图卷积神经网络（Graph Convolutional Networks，简称GCN）是一种能对图数据 进行深度学习的卷积神经网络，用于对图结构类型的数据进行处理，其中图结构即拓扑结 构，也可以称之为非欧几里得结构。在本申请实施例中，将所述隐藏状态向量
Figure 453396DEST_PATH_IMAGE006
和所述句 法图
Figure 738884DEST_PATH_IMAGE124
输入至第一图卷积神经网络模型，整合句子中的句法，获得所述句子的句法信 息。
请参阅图3，在本申请的一个实施例中，步骤S130包括S131~S132，具体如下：
S131：获取所述句法图的句法邻接矩阵；其中，所述句法邻接矩阵表示所述句法图中单词的邻接关系。
根据所述句法图，得到所述待情感分析的句子中单词对应的邻接矩阵。其中，所述句法邻接矩阵表示所述句法图中单词的邻接关系。请参阅图4和图5，图4为为本申请一个实施例提供的句法依存树的示意图，图5为本申请一个实施例提供的句法邻接矩阵的示意图。图4中所示的句法依存树中展现了目标句子“it has bad memory but a good batterylife”中单词的依存关系。图5为图4中所示的句法依存树对应的句法邻接矩阵。对于存在依存关系的两个单词，句法邻接矩阵中对应的值为1，不存在依存关系的两个单词，句法邻接矩阵中对应的值为0，单词与自身默认存在依存关系。
S132：将所述隐藏状态向量和所述句法邻接矩阵输入至所述第一图卷积神经网络模型，获得所述句子的句法信息。
在本申请实施例中，将所述隐藏状态向量和所述句法邻接矩阵输入至所述第一图卷积神经网络模型中，得到当前层的输出结果，重复执行输入操作，直至得到第一图卷积神经网络模型的输出层的输出结果,获得所述句子的句法表示。其中，获得所述句法信息的公式如下：
Figure 757787DEST_PATH_IMAGE015
Figure 812330DEST_PATH_IMAGE016
Figure 38912DEST_PATH_IMAGE125
其中，
Figure 296849DEST_PATH_IMAGE006
表示所述隐藏状态向量,
Figure 368711DEST_PATH_IMAGE018
表示所述第一图卷积神经网络模型的 第一层输入，
Figure 543340DEST_PATH_IMAGE019
表示由
Figure 675244DEST_PATH_IMAGE018
，…，
Figure 686056DEST_PATH_IMAGE020
拼接而成，“
Figure 30450DEST_PATH_IMAGE021
”表示拼接，
Figure 325165DEST_PATH_IMAGE020
表示所述第 一图卷积神经网络模型的第
Figure 362391DEST_PATH_IMAGE022
层输出，
Figure 863430DEST_PATH_IMAGE023
是归一化 邻接矩阵，
Figure 277093DEST_PATH_IMAGE024
是所述句法邻接矩阵，
Figure 160736DEST_PATH_IMAGE025
是单位矩阵，
Figure 634442DEST_PATH_IMAGE026
是度矩阵，
Figure 354268DEST_PATH_IMAGE027
是所述第 一图卷积神经网络模型第
Figure 571623DEST_PATH_IMAGE028
层的可学习参数矩阵，
Figure 575351DEST_PATH_IMAGE029
表示激活函数，
Figure 970691DEST_PATH_IMAGE030
表示所 述句子的句法信息。
S140：将所述隐藏状态向量输入至多头自注意力机制模型，获得语义图，并将所述隐藏状态向量和所述语义图输入至第二图卷积神经网络模型，获得所述句子的语义信息。
注意力机制的本质来自于人类视觉注意力机制，将注意力机制应用于情感分析， 目的在于能够使在分类过程中分配更多的注意力到关键单词。具体地，可以将一句文本想 象成是由一系列的<Key,Value>数据对组成，此时给定某个元素Query(查询)，通过计算 Query和各个Key的相似性或者相关性，得到每个Key对应的Value的权重系数，再通过
Figure 427080DEST_PATH_IMAGE064
函数归一化后，对权重系数和相应Value进行加权求和，得到注意力结果。目 前的研究中，Key和Value常常都是相等的，即Key＝Value。在本申请实施例中，将所述隐藏 状态向量输入至多头自注意力机制模型，获得语义图，并将所述隐藏状态向量和所述语义 图输入至第二图卷积神经网络模型，获得所述句子的语义信息。
请参阅图6，在本申请的一个实施例中，步骤S140包括S141~S144，具体如下：
S141：将所述隐藏状态向量输入至多头自注意力机制模型，获得所述语义图的初始语义邻接矩阵。
在本申请实施例中，将所述隐藏状态向量输入至多头自注意力机制模型，生成
Figure 182547DEST_PATH_IMAGE036
个注意力矩阵，为了增强模型的鲁棒性，将这
Figure 322672DEST_PATH_IMAGE036
个注意力矩阵在初始化阶段求和，然后使 用
Figure 138181DEST_PATH_IMAGE044
挑选其中最大的
Figure 81867DEST_PATH_IMAGE045
个元素，从而获得所述语义图的初始语义邻接矩阵。其中，所 述获得所述语义图的初始语义邻接矩阵的公式如下：
Figure 375445DEST_PATH_IMAGE031
Figure 321142DEST_PATH_IMAGE032
Figure 307552DEST_PATH_IMAGE126
Figure 4113DEST_PATH_IMAGE127
其中，
Figure 101382DEST_PATH_IMAGE006
表示所述隐藏状态向量，
Figure 481679DEST_PATH_IMAGE035
作为所述第二图卷积神经网络模型的 第一层输入，
Figure 638991DEST_PATH_IMAGE036
是多头自注意力的头数，
Figure 322649DEST_PATH_IMAGE037
是所述双向LSTM网络每个隐藏状态向量 维度，
Figure 223609DEST_PATH_IMAGE038
是所述多头自注意力每个头的维度，
Figure 458412DEST_PATH_IMAGE039
是初始层第
Figure 52204DEST_PATH_IMAGE040
个自注意力矩阵，
Figure 192199DEST_PATH_IMAGE041
是所述多头自注意力机制模型的初始层中第
Figure 647582DEST_PATH_IMAGE040
个自注意力 矩阵对应的第一可训练的参数矩阵，
Figure 251739DEST_PATH_IMAGE042
是所述多头自注意力 机制模型的初始层中第
Figure 501586DEST_PATH_IMAGE040
个自注意力矩阵对应的第二可训练的参数矩阵，
Figure 128876DEST_PATH_IMAGE043
表示矩阵的转 置，
Figure 106059DEST_PATH_IMAGE044
表示挑选出矩阵中最大的
Figure 767985DEST_PATH_IMAGE045
个元素，
Figure 451383DEST_PATH_IMAGE046
是所述初始语义邻接矩阵。
S142：将所述隐藏状态向量和所述初始语义邻接矩阵输入至所述第二图卷积神经网络模型的运算公式中，得到所述第二图卷积神经网络模型初始层的输出结果。
在本申请实施例中，将所述隐藏状态向量
Figure 565969DEST_PATH_IMAGE006
和所述初始语义邻接矩阵
Figure 346843DEST_PATH_IMAGE046
输 入至所述第二图卷积神经网络模型的运算公式中，得到所述第二图卷积神经网络模型初始 层的输出结果
Figure 863275DEST_PATH_IMAGE052
。其中，所述第二图卷积神经网络模型的运算公式如下：
Figure 454925DEST_PATH_IMAGE128
其中，
Figure 322387DEST_PATH_IMAGE048
是归一化邻接矩阵，
Figure 906952DEST_PATH_IMAGE049
是单位矩 阵，
Figure 28623DEST_PATH_IMAGE050
是度矩阵，
Figure 40441DEST_PATH_IMAGE051
是所述第二图卷积神经网络模型第一层的可学习的参数矩阵，
Figure 864040DEST_PATH_IMAGE029
表示激活函数，
Figure 252296DEST_PATH_IMAGE052
表示所述第二图卷积神经网络模型初始层的输出结果。
S143：将所述初始语义邻接矩阵和所述第二图卷积神经网络模型初始层的输出结果，输入至多头自注意力机制模型更新公式，获得更新语义邻接矩阵。
在本申请实施例中，将所述初始语义邻接矩阵
Figure 228474DEST_PATH_IMAGE046
和所述第二图卷积神经网络 模型初始层的输出结果
Figure 411193DEST_PATH_IMAGE052
，输入至多头自注意力机制模型更新公式，获得更新语义邻 接矩阵。其中，所述多头自注意力机制模型更新公式如下：
Figure 987668DEST_PATH_IMAGE053
Figure 914036DEST_PATH_IMAGE129
Figure 747650DEST_PATH_IMAGE130
Figure 366850DEST_PATH_IMAGE056
其中，
Figure 165042DEST_PATH_IMAGE057
是由
Figure 629521DEST_PATH_IMAGE058
，…，
Figure 580290DEST_PATH_IMAGE059
拼接而成，“
Figure 370392DEST_PATH_IMAGE021
”表示拼接，
Figure 390301DEST_PATH_IMAGE059
表示所述第 二图卷积神经网络模型的第
Figure 924050DEST_PATH_IMAGE060
层输出，
Figure 994905DEST_PATH_IMAGE061
表示第
Figure 424750DEST_PATH_IMAGE028
层第
Figure 197534DEST_PATH_IMAGE040
个自注意力矩阵，
Figure 269395DEST_PATH_IMAGE062
是所述多头自注意力机制模型的第
Figure 929177DEST_PATH_IMAGE028
层中第
Figure 61082DEST_PATH_IMAGE040
个自注意力矩阵对应的第一可训练 的参数矩阵，
Figure 321162DEST_PATH_IMAGE063
是所述多头自注意力机制模型的第
Figure 210096DEST_PATH_IMAGE028
层中第
Figure 504811DEST_PATH_IMAGE040
个自注意力矩阵对应 的第二可训练的参数矩阵，
Figure 542037DEST_PATH_IMAGE043
表示矩阵的转置，
Figure 289413DEST_PATH_IMAGE038
是所述多头自注意力每个头的维 度，
Figure 453809DEST_PATH_IMAGE064
表示现有的
Figure 337452DEST_PATH_IMAGE064
激活函数，
Figure 545579DEST_PATH_IMAGE065
表示现有的
Figure 514672DEST_PATH_IMAGE065
函数，
Figure 482759DEST_PATH_IMAGE036
是多头自注意力的头数，
Figure 955329DEST_PATH_IMAGE066
是所述更新语义邻接矩阵的中间结 果，
Figure 599937DEST_PATH_IMAGE067
表示挑选出矩阵中最大的
Figure 56326DEST_PATH_IMAGE045
个元素，
Figure 562525DEST_PATH_IMAGE068
是所述更新语义邻接矩阵。
S144：将所述更新语义邻接矩阵和所述第二图卷积神经网络模型初始层的输出结果，重复执行输入操作，直至得到所述第二图卷积神经网络模型输出层的输出结果，获得所述句子的语义信息。
在本申请实施例中，将所述更新语义邻接矩阵和所述第二图卷积神经网络模型初始层的输出结果，重复执行输入操作，直至得到所述第二图卷积神经网络模型输出层的输出结果，获得所述句子的语义信息。其中，所述得到第二图卷积神经网络模型输出层的输出结果公式如下：
Figure 420759DEST_PATH_IMAGE131
其中，
Figure 236269DEST_PATH_IMAGE070
是归一化邻接矩阵，
Figure 914375DEST_PATH_IMAGE068
是所述更 新语义邻接矩阵，
Figure 481055DEST_PATH_IMAGE049
是单位矩阵，
Figure 193796DEST_PATH_IMAGE050
是度矩阵,
Figure 180206DEST_PATH_IMAGE071
第二图卷积神经网络模型第
Figure 611188DEST_PATH_IMAGE028
层的可学习的参数矩阵表示，
Figure 459189DEST_PATH_IMAGE072
表示激活函数，
Figure 26437DEST_PATH_IMAGE073
表示所述句子的语义信息。
S150：将所述隐藏状态向量、所述句法图和所述语义图输入至共享图卷积神经网络模型，获得所述句法图和所述语义图之间的公共信息。
考虑到句法图的句法信息和语义图的语义信息并不是完全分开的，句法和语义相互影响，随着句子的句法结构的变化，语义也发生变化。因此，提取句法图和语义图共享的公共信息有利于理解句子。在本申请实施例中，将所述隐藏状态向量、所述句法图和所述语义图输入至共享图卷积神经网络模型，获得所述句法图和所述语义图之间的公共信息。
请参阅图7，在本申请的一个实施例中，步骤S150包括S151~S153，具体如下：
S151：将所述隐藏状态向量和所述句法图输入至所述共享图卷积神经网络模型，得到所述句法图的公共信息。
在本申请实施例中，将所述隐藏状态向量和所述句法图输入至所述共享图卷积神经网络模型，得到所述句法图的公共信息。其中，所述得到所述句法图的公共信息公式如下：
Figure 183748DEST_PATH_IMAGE074
其中，
Figure 836447DEST_PATH_IMAGE024
表示所述句法图的邻接矩阵，
Figure 488139DEST_PATH_IMAGE006
表示所述隐藏状态向量，
Figure 175472DEST_PATH_IMAGE075
表示所 述共享图卷积神经网络模型可学习的参数矩阵，
Figure 238106DEST_PATH_IMAGE076
表示所述句法图的公共信息，
Figure 378100DEST_PATH_IMAGE077
表示根据所述句法图的邻接矩阵、所述隐藏状态向量以及所述共享图卷积神经 网络模型可学习的参数矩阵得到所述句法图的公共信息的句法图卷积模块。所述句法图卷 积模块中使用步骤S132中获得所述句法信息的公式，其中将所述第一图卷积神经网络模型 第
Figure 567904DEST_PATH_IMAGE028
层的可学习参数矩阵
Figure 109744DEST_PATH_IMAGE027
，替换成所述共享图卷积神经网络模型可学习的参数 矩阵
Figure 608859DEST_PATH_IMAGE075
即可。
S152：将所述隐藏状态向量和所述语义图输入至所述共享图卷积神经网络模型，得到所述语义图的公共信息。
在本申请实施例中，将所述隐藏状态向量和所述语义图输入至所述共享图卷积神经网络模型，得到所述语义图的公共信息。其中，所述得到所述语义图的公共信息公式如下：
Figure 236149DEST_PATH_IMAGE078
其中，
Figure 226714DEST_PATH_IMAGE079
表示所述语义图的邻接矩阵，
Figure 888640DEST_PATH_IMAGE006
表示所述隐藏状态向量，
Figure 558656DEST_PATH_IMAGE080
表 示所述语义图的公共信息，
Figure 407663DEST_PATH_IMAGE081
表示根据所述语义图的邻接矩阵、所述隐藏状态向 量以及所述共享图卷积神经网络模型可学习的参数矩阵得到所述句法图的公共信息的语 义图卷积模块。所述语义图卷积模块使用步骤S141~S144中的公式，其中将所述第二图卷积 神经网络模型第
Figure 204849DEST_PATH_IMAGE028
层的可学习参数矩阵
Figure 455702DEST_PATH_IMAGE071
，替换成所述共享图卷积神经网络模型可 学习的参数矩阵
Figure 562198DEST_PATH_IMAGE075
即可。
S153：将所述句法图的公共信息和所述语义图的公共信息输入组合运算公式，得到所述句法图和所述语义图之间的公共信息。
在本申请实施例中，将所述句法图的公共信息和所述语义图的公共信息输入组合运算公式，得到所述句法图和所述语义图之间的公共信息。其中，所述组合运算公式如下：
Figure 898501DEST_PATH_IMAGE132
其中，
Figure 233799DEST_PATH_IMAGE083
和
Figure 604737DEST_PATH_IMAGE084
是可学习的参数矩阵，
Figure 616556DEST_PATH_IMAGE085
表示所述句法图和所述语义图之间的 公共信息。
S160：将所述句法信息、所述语义信息和所述公共信息输入至掩码模型，并取平均池化后，得到特定目标信息，对所述特定目标信息拼接融合，得到特定目标的特征表达。
在本申请实施例中，将所述句法信息、所述语义信息和所述公共信息输入至掩码模型，并取平均池化后，得到特定目标信息，对所述特定目标信息拼接融合，得到特定目标的特征表达，从而自适应地融合句法信息、语义信息及其公共信息，从而得到更深层次的特定目标信息以用于下一步的情感分析。
在本申请的一个实施例中，由于
Figure 705734DEST_PATH_IMAGE133
和
Figure 579144DEST_PATH_IMAGE076
都是从句法
Figure 70168DEST_PATH_IMAGE123
中学习，为了让
Figure 252887DEST_PATH_IMAGE076
捕获更多的公共信息。因此，将
Figure 563783DEST_PATH_IMAGE133
和
Figure 509392DEST_PATH_IMAGE076
之间的损失定义为
Figure 854923DEST_PATH_IMAGE134
。同样，
Figure 208544DEST_PATH_IMAGE135
和
Figure 741156DEST_PATH_IMAGE080
之间的损失定 义为
Figure 221947DEST_PATH_IMAGE136
。总的特异性误差
Figure 421984DEST_PATH_IMAGE137
设置为：
Figure 212086DEST_PATH_IMAGE138
此外，
Figure 497574DEST_PATH_IMAGE076
和
Figure 782056DEST_PATH_IMAGE080
作为所述共享图卷积神经网络的输出，使用约束
Figure 571020DEST_PATH_IMAGE139
来 增强它们之间的相似性：
Figure 266444DEST_PATH_IMAGE140
最终模型的损失函数为
Figure 304807DEST_PATH_IMAGE141
其中
Figure 127400DEST_PATH_IMAGE142
是情感类别数量，包括积极、消极和中立，
Figure 770871DEST_PATH_IMAGE143
表示第i个样本第j个真实情 感类别的概率，
Figure 902775DEST_PATH_IMAGE144
表示第i个样本第j个预测情感类别的概率，
Figure 897276DEST_PATH_IMAGE145
是正则化权重参数，
Figure 520631DEST_PATH_IMAGE146
和
Figure 284188DEST_PATH_IMAGE147
是超参数，
Figure 586993DEST_PATH_IMAGE148
表示本申请实施例中使用的可训练的参数矩阵，包括
Figure 68790DEST_PATH_IMAGE027
、
Figure 233186DEST_PATH_IMAGE071
、
Figure 116829DEST_PATH_IMAGE062
以及
Figure 590535DEST_PATH_IMAGE063
等，
Figure 559628DEST_PATH_IMAGE149
表示
Figure 527715DEST_PATH_IMAGE150
范数的平方。
请参阅图8，在本申请的一个实施例中，步骤S160包括S161~S163，具体如下：
S161：将所述句法信息、所述语义信息和所述公共信息输入至掩码模型取平均池化后，获得句法特定目标信息、语义特定目标信息和公共特定目标信息。
在本申请实施例中，将所述句法信息、所述语义信息和所述公共信息输入至掩码模型取平均池化后，获得句法特定目标信息、语义特定目标信息和公共特定目标信息。其中，所述获得句法特定目标信息、语义特定目标信息和公共特定目标信息公式如下：
Figure 265864DEST_PATH_IMAGE151
Figure 910472DEST_PATH_IMAGE152
Figure 632441DEST_PATH_IMAGE153
Figure 873060DEST_PATH_IMAGE154
其中，
Figure 731295DEST_PATH_IMAGE155
是所述掩码模型的输出函数，
Figure 546804DEST_PATH_IMAGE092
是所述待进行情感分析的句 子中特定目标的下标表示，
Figure 490489DEST_PATH_IMAGE011
表示所述待进行情感分析的句子中第1个特定目标的下标 表示，
Figure 80607DEST_PATH_IMAGE012
表示所述待进行情感分析的句子中第
Figure 793348DEST_PATH_IMAGE005
个特定目标的下标表示，
Figure 779758DEST_PATH_IMAGE156
是特定目标的索引，
Figure 695893DEST_PATH_IMAGE005
表示特定目标的数量，
Figure 58741DEST_PATH_IMAGE157
是平均池 化函数，
Figure 891568DEST_PATH_IMAGE158
表示所述句法信息，
Figure 48880DEST_PATH_IMAGE085
表示所述句法图和所述语义图之间的公共信息，
Figure 717890DEST_PATH_IMAGE159
表示所述语义信息，
Figure 618850DEST_PATH_IMAGE097
表示所述句法特定目标信息，
Figure 306183DEST_PATH_IMAGE098
表示所述语义特定目标 信息，
Figure 385128DEST_PATH_IMAGE099
表示所述公共特定目标信息。
S162：将所述句法特定目标信息、所述语义特定目标信息和所述公共特定目标信息拼接，获得特定目标表示。
在本申请实施例中，将所述句法特定目标信息、所述语义特定目标信息和所述公共特定目标信息拼接，获得特定目标表示。其中，所述获得特定目标的特征表达公式如下：
Figure 525123DEST_PATH_IMAGE100
其中，
Figure 964194DEST_PATH_IMAGE101
表示特定目标表示，“
Figure 240455DEST_PATH_IMAGE021
”表示拼接。
S163：将所述特定目标表示输入多层神经网络融合公式，获得特定目标的特征表达。
多层神经网络（Multi-Layer Perceptron，简称MLP）是一种前向结构的人工神经网络，映射一组输入向量到一组输出向量。所述多层神经网络可以被看做是一个有向图，由多个节点层组成，每一层全连接到下一层。除了输入节点，每个节点都是一个带有非线性激活函数的神经元（或称处理单元）。在本申请实施例中，将所述特定目标表示输入多层神经网络融合公式，获得特定目标的特征表达。其中，所述多层神经网络融合公式如下：
Figure 739569DEST_PATH_IMAGE160
其中，
Figure 114662DEST_PATH_IMAGE103
表示可学习的权重矩阵，
Figure 357425DEST_PATH_IMAGE104
表示偏置项，
Figure 19350DEST_PATH_IMAGE029
表示激活函数，
Figure 440099DEST_PATH_IMAGE105
表示所述特定目标的特征表达。
S170：将所述特征表达输入至全连接网络进行概率计算，得到所述特定目标的情感分析结果。
在本申请实施例中，将所述特征表达输入至全连接网络进行概率计算，得到所述特定目标的情感分析结果。
在本申请的一个实施例中，步骤S170包括S171，具体如下：
S171：将所述特定目标的特征表达输入至全连接网络的
Figure 554685DEST_PATH_IMAGE064
层运算公式 进行概率计算，得到所述特定目标的情感分析结果。
在本申请实施例中，将所述特定目标的特征表达输入至全连接网络的
Figure 601139DEST_PATH_IMAGE064
层运算公式进行概率计算，得到所述特定目标的情感分析结果。其中，
Figure 851991DEST_PATH_IMAGE064
层运算公式如下：
Figure 443641DEST_PATH_IMAGE161
其中，
Figure 45523DEST_PATH_IMAGE105
表示所述特定目标的特征表达，
Figure 630089DEST_PATH_IMAGE107
表示可学习的权重矩阵，
Figure 1027DEST_PATH_IMAGE108
表示偏 置项，
Figure 763578DEST_PATH_IMAGE162
表示现有的
Figure 852757DEST_PATH_IMAGE163
激活函数，
Figure 975433DEST_PATH_IMAGE111
表示所述情感分析结果。
请同时参阅图9、图10和图11，图9为本发明一个实施例提供的情感分析模型的整体结构示意图，图10为本发明一个实施例提供的第二图卷积神经网络模型的示意图，图11为本发明一个实施例提供的共享图卷积神经网络模型的示意图。情感分析模型对应本申请实施例中所提出的情感分析方法，例如：步骤S110～S170。具体地，该模型通过获取待进行情感分析的句子的词向量，将所述词向量输入至双向LSTM网络，得到所述词向量对应的隐藏状态向量，获取所述句子对应的依存句法树，将所述依存句法树转换为句法图，将所述隐藏状态向量和所述句法图输入至第一图卷积神经网络模型，获得所述句子的句法信息，将所述隐藏状态向量输入至多头自注意力机制模型，获得语义图，并将所述隐藏状态向量和所述语义图输入至第二图卷积神经网络模型，获得所述句子的语义信息，将所述隐藏状态向量、所述句法图和所述语义图输入至共享图卷积神经网络模型，获得所述句法图和所述语义图之间的公共信息，将所述句法信息、所述语义信息和所述公共信息输入至掩码模型，并取平均池化后，得到特定目标信息，对所述特定目标信息拼接融合，得到特定目标的特征表达，将所述特征表达输入至全连接网络进行概率计算，得到所述特定目标的情感分析结果，使得所述特征表达充分提取了语义图中的语义信息，并考虑了语义信息和句法信息之间的公共信息，提升了情感分析的准确性。
实施例2
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
请参见图12，其示出了本申请实施例提供的情感分析装置的结构示意图。本申请实施例提供的情感分析装置200，包括：
隐藏状态获取模块210，用于获取待进行情感分析的句子的词向量，将所述词向量输入至双向LSTM网络，得到所述词向量对应的隐藏状态向量；
依存句法树转换模块220，用于获取所述句子对应的依存句法树，将所述依存句法树转换为句法图；
句法信息获得模块230，用于将所述隐藏状态向量和所述句法图输入至第一图卷积神经网络模型，获得所述句子的句法信息；
语义信息获得模块240，用于将所述隐藏状态向量输入至多头自注意力机制模型，获得语义图，并将所述隐藏状态向量和所述语义图输入至第二图卷积神经网络模型，获得所述句子的语义信息；
公共信息获得模块250，用于将所述隐藏状态向量、所述句法图和所述语义图输入至共享图卷积神经网络模型，获得所述句法图和所述语义图之间的公共信息；
特征表达获得模块260，用于将所述句法信息、所述语义信息和所述公共信息输入至掩码模型取平均池化后，得到特定目标信息，对所述特定目标信息拼接融合，得到特定目标的特征表达；
情感分析模块270，用于将所述特征表达输入至全连接网络进行概率计算，得到所述特定目标的情感分析结果。
本申请实施例通过获取待进行情感分析的句子的词向量，将所述词向量输入至双向LSTM网络，得到所述词向量对应的隐藏状态向量，获取所述句子对应的依存句法树，将所述依存句法树转换为句法图，将所述隐藏状态向量和所述句法图输入至第一图卷积神经网络模型，获得所述句子的句法信息，将所述隐藏状态向量输入至多头自注意力机制模型，获得语义图，并将所述隐藏状态向量和所述语义图输入至第二图卷积神经网络模型，获得所述句子的语义信息，将所述隐藏状态向量、所述句法图和所述语义图输入至共享图卷积神经网络模型，获得所述句法图和所述语义图之间的公共信息，将所述句法信息、所述语义信息和所述公共信息输入至掩码模型，并取平均池化后，得到特定目标信息，对所述特定目标信息拼接融合，得到特定目标的特征表达，将所述特征表达输入至全连接网络进行概率计算，得到所述特定目标的情感分析结果，使得所述特征表达充分提取了语义图中的语义信息，并考虑了语义信息和句法信息之间的公共信息，提升了情感分析的准确性。
实施例3
下述为本申请设备实施例，可以用于执行本申请方法实施例。对于本申请设备实施例中未披露的细节，请参照本申请方法实施例。
请参见图13，本申请还提供一种电子设备8，处理器80、存储器81以及存储在所述存储器81中并可在所述处理器80上运行的计算机程序82，例如情感分析程序。所述处理器80执行所述计算机程序82时实现上述各个情感分析方法实施例中的步骤，例如图1所示的步骤S110至S170。或者，所述处理器80执行所述计算机程序82时实现上述各装置实施例中各模块/单元的功能，例如图8所示模块210至270的功能。
示例性的，所述计算机程序82可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器81中，并由所述处理器80执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序82在所述情感分析设备8中的执行过程。例如，所述计算机程序82可以被分割成隐藏状态获取模块、依存句法树转换模块、句法信息获得模块、语义信息获得模块、公共信息获得模块、特征表达获得模块和情感分析模块，各模块功能如下：
隐藏状态获取模块，用于获取待进行情感分析的句子的词向量，将所述词向量输入至双向LSTM网络，得到所述词向量对应的隐藏状态向量；
依存句法树转换模块，用于获取所述句子对应的依存句法树，将所述依存句法树转换为句法图；
句法信息获得模块，用于将所述隐藏状态向量和所述句法图输入至第一图卷积神经网络模型，获得所述句子的句法信息；
语义信息获得模块，用于将所述隐藏状态向量输入至多头自注意力机制模型，获得语义图，并将所述隐藏状态向量和所述语义图输入至第二图卷积神经网络模型，获得所述句子的语义信息；
公共信息获得模块，用于将所述隐藏状态向量、所述句法图和所述语义图输入至共享图卷积神经网络模型，获得所述句法图和所述语义图之间的公共信息；
特征表达获得模块，用于将所述句法信息、所述语义信息和所述公共信息输入至掩码模型取平均池化后，得到特定目标信息，对所述特定目标信息拼接融合，得到特定目标的特征表达；
情感分析模块，用于将所述特征表达输入至全连接网络进行概率计算，得到所述特定目标的情感分析结果。
所述情感分析设备8可包括，但不仅限于，处理器80、存储器81。本领域技术人员可以理解，图8仅仅是基于注意力编码和图卷积网络的特定目标情感分类设备8的示例，并不构成对情感分析设备8的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述情感分析设备8还可以包括输入输出设备、网络接入设备、总线等。
所称处理器80可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器81可以是所述情感分析设备8的内部存储单元，例如情感分析设备8的硬盘或内存。所述存储器81也可以是所述情感分析设备8的外部存储设备，例如所述情感分析设备8上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器81还可以既包括所情感分析设备8的内部存储单元也包括外部存储设备。所述存储器81用于存储所述计算机程序以及所述情感分析设备所需的其他程序和数据。所述存储器81还可以用于暂时地存储已经输出或者将要输出的数据。
实施例4
本申请还提供一种计算机可读存储介质，其上储存有计算机程序，所述指令适于由处理器加载并执行上述所示实施例的方法步骤，具体执行过程可以参见实施例1所示的具体说明，在此不进行赘述。所述存储介质所在设备可以是个人计算机、笔记本电脑、智能手机、平板电脑等电子设备。
对于设备实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的设备实施例仅仅是示意性的，其中所述作为分离部件说明的组件可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（***）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每个流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中选定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中选定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中选定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD) 或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (9)

1.一种情感分析方法，其特征在于，包括：
获取待进行情感分析的句子的词向量，将所述词向量输入至双向LSTM网络，得到所述词向量对应的隐藏状态向量；
获取所述句子对应的依存句法树，将所述依存句法树转换为句法图；
将所述隐藏状态向量和所述句法图输入至第一图卷积神经网络模型，获得所述句子的句法信息；
将所述隐藏状态向量输入至多头自注意力机制模型，获得语义图，并将所述隐藏状态向量和所述语义图输入至第二图卷积神经网络模型，获得所述句子的语义信息；
将所述隐藏状态向量、所述句法图和所述语义图输入至共享图卷积神经网络模型，获得所述句法图和所述语义图之间的公共信息；其中，将所述隐藏状态向量和所述句法图输入至共享图卷积神经网络模型，得到所述句法图的公共信息；
将所述隐藏状态向量和所述语义图输入至共享图卷积神经网络模型，得到所述语义图的公共信息；
将所述句法图的公共信息和所述语义图的公共信息输入组合运算公式，得到所述句法图和所述语义图之间的公共信息；
其中，所述得到所述句法图的公共信息公式如下：
Figure FDA0003140348890000011
其中，Asy表示所述句法图的邻接矩阵，Hc表示所述隐藏状态向量，Wc表示所述共享图卷积神经网络模型可学习的参数矩阵，
Figure FDA0003140348890000012
表示所述句法图的公共信息，SYGCN表示根据所述句法图的邻接矩阵、所述隐藏状态向量以及所述共享图卷积神经网络模型可学习的参数矩阵得到所述句法图的公共信息的句法图卷积模块；
其中，所述得到所述语义图的公共信息公式如下：
Figure FDA0003140348890000013
其中，Ase表示所述语义图的邻接矩阵，Hc表示所述隐藏状态向量，
Figure FDA0003140348890000014
表示所述语义图的公共信息，SEGCN表示根据所述语义图的邻接矩阵、所述隐藏状态向量以及所述共享图卷积神经网络模型可学习的参数矩阵得到所述句法图的公共信息的语义图卷积模块；
其中，所述组合运算公式如下：
Figure FDA0003140348890000021
其中，α和β是可学习的参数矩阵，
Figure FDA0003140348890000022
表示所述句法图和所述语义图之间的公共信息；
将所述句法信息、所述语义信息和所述公共信息输入至掩码模型，并取平均池化后，得到特定目标信息，对所述特定目标信息拼接融合，得到特定目标的特征表达；
将所述特征表达输入至全连接网络进行概率计算，得到所述特定目标的情感分析结果。
2.根据权利要求1所述的情感分析方法，其特征在于，所述获取待进行情感分析的句子的词向量，将所述词向量输入至双向LSTM网络，得到所述词向量对应的隐藏状态向量的步骤包括：
根据GloVe词嵌入模型，将所述待进行情感分析的句子中每个单词转换为词向量；
将所述词向量输入至双向LSTM网络，得到所述词向量对应的隐藏状态向量；其中，所述隐藏状态向量表示如下：
Figure FDA0003140348890000023
Figure FDA0003140348890000024
Figure FDA0003140348890000025
其中，n表示所述待进行情感分析的句子对应的词向量的个数，m表示所述待进行情感分析的句子中特定目标对应的词向量的个数，Hc表示所述隐藏状态向量，
Figure FDA0003140348890000026
表示向前方向编码的隐藏状态向量，
Figure FDA0003140348890000027
表示向后方向编码的隐藏状态向量，c是所述待进行情感分析的句子的上标表示，τ是所述待进行情感分析的句子中特定目标的下标表示，τ+1表示所述待进行情感分析的句子中第1个特定目标的下标表示，τ+m表示所述待进行情感分析的句子中第m个特定目标的下标表示，
Figure FDA0003140348890000028
表示每个所述词向量对应的向前方向编码的隐藏状态向量，
Figure FDA0003140348890000029
表示每个所述词向量对应的向后方向编码的隐藏状态向量。
3.根据权利要求1所述的情感分析方法，其特征在于，所述将所述隐藏状态向量和所述句法图输入至第一图卷积神经网络模型，获得所述句子的句法信息的步骤包括：
获取所述句法图的句法邻接矩阵；其中，所述句法邻接矩阵表示所述句法图中单词的邻接关系；
将所述隐藏状态向量和所述句法邻接矩阵输入至所述第一图卷积神经网络模型，获得所述句子的句法信息；其中，获得所述句法信息的公式如下：
Figure FDA0003140348890000031
Figure FDA0003140348890000032
Figure FDA0003140348890000033
其中，Hc表示所述隐藏状态向量，
Figure FDA0003140348890000034
表示所述第一图卷积神经网络模型的第一层输入，
Figure FDA0003140348890000035
表示由
Figure FDA0003140348890000036
拼接而成，“；”表示拼接，
Figure FDA0003140348890000037
表示所述第一图卷积神经网络模型的第l-1层输出，
Figure FDA0003140348890000038
是归一化邻接矩阵，Asy是所述句法邻接矩阵，If是单位矩阵，
Figure FDA0003140348890000039
是度矩阵，
Figure FDA00031403488900000310
是所述第一图卷积神经网络模型第l层的可学习参数矩阵，ReLU表示激活函数，
Figure FDA00031403488900000311
表示所述句子的句法信息。
4.根据权利要求1所述的情感分析方法，其特征在于，所述将所述隐藏状态向量输入至多头自注意力机制模型，获得语义图，并将所述隐藏状态向量和所述语义图输入至第二图卷积神经网络模型，获得所述句子的语义信息的步骤包括：
将所述隐藏状态向量输入至多头自注意力机制模型，获得所述语义图的初始语义邻接矩阵；
将所述隐藏状态向量和所述初始语义邻接矩阵输入至所述第二图卷积神经网络模型的运算公式中，得到所述第二图卷积神经网络模型初始层的输出结果；
将所述初始语义邻接矩阵和所述第二图卷积神经网络模型初始层的输出结果，输入至多头自注意力机制模型更新公式，获得更新语义邻接矩阵；
将所述更新语义邻接矩阵和所述第二图卷积神经网络模型初始层的输出结果，重复执行输入操作，直至得到所述第二图卷积神经网络模型输出层的输出结果，获得所述句子的语义信息；其中，所述获得所述语义图的初始语义邻接矩阵的公式如下：
Figure FDA0003140348890000041
Figure FDA0003140348890000042
Figure FDA0003140348890000043
Figure FDA0003140348890000044
其中，Hc表示所述隐藏状态向量，
Figure FDA0003140348890000045
作为所述第二图卷积神经网络模型的第一层输入，K是多头自注意力的头数，dlstm是所述双向LSTM网络每个隐藏状态向量维度，dhead是所述多头自注意力每个头的维度，
Figure FDA0003140348890000046
是初始层第i个自注意力矩阵，
Figure FDA00031403488900000413
是所述多头自注意力机制模型的初始层中第i个自注意力矩阵对应的第一可训练的参数矩阵，
Figure FDA0003140348890000048
是所述多头自注意力机制模型的初始层中第i个自注意力矩阵对应的第二可训练的参数矩阵，T表示矩阵的转置，topk表示挑选出矩阵中最大的k个元素，
Figure FDA0003140348890000049
是所述初始语义邻接矩阵；
其中，所述第二图卷积神经网络模型的运算公式如下：
Figure FDA00031403488900000410
其中，
Figure FDA00031403488900000411
是归一化邻接矩阵，If是单位矩阵，
Figure FDA00031403488900000412
是度矩阵，
Figure FDA0003140348890000051
是所述第二图卷积神经网络模型第一层的可学习的参数矩阵，ReLU表示激活函数，
Figure FDA0003140348890000052
表示所述第二图卷积神经网络模型初始层的输出结果；
其中，所述多头自注意力机制模型更新公式如下：
Figure FDA0003140348890000053
Figure FDA0003140348890000054
Figure FDA0003140348890000055
Figure FDA0003140348890000056
其中，
Figure FDA0003140348890000057
是由
Figure FDA0003140348890000058
拼接而成，“；”表示拼接，
Figure FDA0003140348890000059
表示所述第二图卷积神经网络模型的第l-1层输出，
Figure FDA00031403488900000510
表示第l层第i个自注意力矩阵，
Figure FDA00031403488900000511
是所述多头自注意力机制模型的第l层中第i个自注意力矩阵对应的第一可训练的参数矩阵，
Figure FDA00031403488900000512
是所述多头自注意力机制模型的第l层中第i个自注意力矩阵对应的第二可训练的参数矩阵，T表示矩阵的转置，dhead是所述多头自注意力每个头的维度，softmax表示现有的softmax激活函数，argmax表示现有的argmax函数，K是多头自注意力的头数
Figure FDA00031403488900000513
是所述更新语义邻接矩阵的中间结果，topk表示挑选出矩阵中最大的k个元素，
Figure FDA00031403488900000514
是所述更新语义邻接矩阵；
其中，所述得到第二图卷积神经网络模型输出层的输出结果公式如下：
Figure FDA00031403488900000515
其中，
Figure FDA0003140348890000061
是归一化邻接矩阵，
Figure FDA0003140348890000062
是所述更新语义邻接矩阵，If是单位矩阵，
Figure FDA0003140348890000063
是度矩阵，
Figure FDA0003140348890000064
第二图卷积神经网络模型第l层的可学习的参数矩阵表示，ReLU表示激活函数，
Figure FDA0003140348890000065
表示所述句子的语义信息。
5.根据权利要求1所述的情感分析方法，其特征在于，所述将所述句法信息、所述语义信息和所述公共信息输入至掩码模型取平均池化后，得到特定目标信息，对所述特定目标信息拼接融合，得到特定目标的特征表达的步骤包括：
将所述句法信息、所述语义信息和所述公共信息输入至掩码模型取平均池化后，获得句法特定目标信息、语义特定目标信息和公共特定目标信息；
将所述句法特定目标信息、所述语义特定目标信息和所述公共特定目标信息拼接，获得特定目标表示；
将所述特定目标表示输入多层神经网络融合公式，获得特定目标的特征表达；
其中，所述获得句法特定目标信息、语义特定目标信息和公共特定目标信息公式如下：
Figure FDA0003140348890000066
Figure FDA0003140348890000067
Figure FDA0003140348890000068
Figure FDA0003140348890000069
其中，mask(·)是所述掩码模型的输出函数，τ是所述待进行情感分析的句子中特定目标的下标表示，τ+1表示所述待进行情感分析的句子中第1个特定目标的下标表示，τ+m表示所述待进行情感分析的句子中第m个特定目标的下标表示，τ+1≤t≤τ+m是特定目标的索引，m表示特定目标的数量，f(·)是平均池化函数，
Figure FDA00031403488900000610
表示所述句法信息，
Figure FDA00031403488900000611
表示所述句法图和所述语义图之间的公共信息，
Figure FDA0003140348890000071
表示所述语义信息，hsy表示所述句法特定目标信息，hse表示所述语义特定目标信息，hc表示所述公共特定目标信息；
其中，所述获得特定目标的特征表达公式如下：
ha＝[hsy；hc；hse]
其中，ha表示特定目标表示，“；”表示拼接；
其中，所述多层神经网络融合公式如下：
Figure FDA0003140348890000072
其中，
Figure FDA0003140348890000073
表示可学习的权重矩阵，b1表示偏置项，ReLU表示激活函数，
Figure FDA0003140348890000074
表示所述特定目标的特征表达。
6.根据权利要求1所述的情感分析方法，其特征在于，所述将所述特定目标的特征表达输入至全连接网络进行概率计算，得到所述特定目标的情感分析结果的步骤包括：
将所述特定目标的特征表达输入至全连接网络的softmax层运算公式进行概率计算，得到所述特定目标的情感分析结果；其中，softmax层运算公式如下：
Figure FDA0003140348890000075
其中，
Figure FDA0003140348890000076
表示所述特定目标的特征表达，
Figure FDA0003140348890000077
表示可学习的权重矩阵，b2表示偏置项，softmax表示现有的softmax激活函数，
Figure FDA0003140348890000078
表示所述情感分析结果。
7.一种情感分析装置，其特征在于，包括：
隐藏状态获取模块，用于获取待进行情感分析的句子的词向量，将所述词向量输入至双向LSTM神经网络，得到所述词向量对应的隐藏状态向量；
依存句法树转换模块，用于获取所述句子对应的依存句法树，将所述依存句法树转换为句法图；
句法信息获得模块，用于将所述隐藏状态向量和所述句法图输入至第一图卷积神经网络模型，获得所述句子的句法信息；
语义信息获得模块，用于将所述隐藏状态向量输入至多头自注意力机制模型，获得语义图，并将所述隐藏状态向量和所述语义图输入至第二图卷积神经网络模型，获得所述句子的语义信息；
公共信息获得模块，用于将所述隐藏状态向量、所述句法图和所述语义图输入至共享图卷积神经网络模型，获得所述句法图和所述语义图之间的公共信息；其中，将所述隐藏状态向量和所述句法图输入至共享图卷积神经网络模型，得到所述句法图的公共信息；
将所述隐藏状态向量和所述语义图输入至共享图卷积神经网络模型，得到所述语义图的公共信息；
将所述句法图的公共信息和所述语义图的公共信息输入组合运算公式，得到所述句法图和所述语义图之间的公共信息；
其中，所述得到所述句法图的公共信息公式如下：
Figure FDA0003140348890000081
其中，Asy表示所述句法图的邻接矩阵，Hc表示所述隐藏状态向量，Wc表示所述共享图卷积神经网络模型可学习的参数矩阵，
Figure FDA0003140348890000082
表示所述句法图的公共信息，SYGCN表示根据所述句法图的邻接矩阵、所述隐藏状态向量以及所述共享图卷积神经网络模型可学习的参数矩阵得到所述句法图的公共信息的句法图卷积模块；
其中，所述得到所述语义图的公共信息公式如下：
Figure FDA0003140348890000083
其中，Ase表示所述语义图的邻接矩阵，Hc表示所述隐藏状态向量，
Figure FDA0003140348890000084
表示所述语义图的公共信息，SEGCN表示根据所述语义图的邻接矩阵、所述隐藏状态向量以及所述共享图卷积神经网络模型可学习的参数矩阵得到所述句法图的公共信息的语义图卷积模块；
其中，所述组合运算公式如下：
Figure FDA0003140348890000085
其中，α和β是可学习的参数矩阵，
Figure FDA0003140348890000086
表示所述句法图和所述语义图之间的公共信息；
特征表达获得模块，用于将所述句法信息、所述语义信息和所述公共信息输入至掩码模型取平均池化后，得到特定目标信息，对所述特定目标信息拼接融合，得到特定目标的特征表达；
情感分析模块，用于将所述特征表达输入至全连接网络进行概率计算，得到所述特定目标的情感分析结果。
8.一种电子设备，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1至6中任意一项所述的情感分析方法。
9.一种计算机可读存储介质，其上储存有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6中任意一项所述的情感分析方法。
CN202110535102.3A 2021-05-17 2021-05-17 一种情感分析方法、装置、电子设备以及存储介质 Active CN112966074B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110535102.3A CN112966074B (zh) 2021-05-17 2021-05-17 一种情感分析方法、装置、电子设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110535102.3A CN112966074B (zh) 2021-05-17 2021-05-17 一种情感分析方法、装置、电子设备以及存储介质

Publications (2)

Publication Number Publication Date
CN112966074A CN112966074A (zh) 2021-06-15
CN112966074B true CN112966074B (zh) 2021-08-03

Family

ID=76279804

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110535102.3A Active CN112966074B (zh) 2021-05-17 2021-05-17 一种情感分析方法、装置、电子设备以及存储介质

Country Status (1)

Country Link
CN (1) CN112966074B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113449110B (zh) * 2021-08-30 2021-12-07 华南师范大学 情感分类方法、装置、存储介质及计算机设备
CN113765928B (zh) * 2021-09-10 2023-03-24 湖南工商大学 物联网入侵检测方法、设备及介质
CN113571097B (zh) * 2021-09-28 2022-01-18 之江实验室 一种说话人自适应的多视角对话情感识别方法及***
CN113674767A (zh) * 2021-10-09 2021-11-19 复旦大学 一种基于多模态融合的抑郁状态识别方法
CN114048730A (zh) * 2021-11-05 2022-02-15 光大科技有限公司 一种分词和实体联合识别模型训练方法及装置
CN113761941B (zh) * 2021-11-09 2022-02-08 华南师范大学 一种文本情感分析方法
CN115510226B (zh) * 2022-09-02 2023-11-10 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种基于图神经网络的情感分类方法
CN115905524B (zh) * 2022-11-07 2023-10-03 华南师范大学 融合句法和语义信息的情感分析方法、装置以及设备
CN115712726B (zh) * 2022-11-08 2023-09-12 华南师范大学 基于双词嵌入的情感分析方法、装置以及设备
CN115659951B (zh) * 2022-12-26 2023-03-21 华南师范大学 基于标签嵌入的语句情感分析方法、装置以及设备
CN116029294B (zh) * 2023-03-30 2023-06-09 华南师范大学 词项配对方法、装置及设备
CN116304748B (zh) * 2023-05-17 2023-07-28 成都工业学院 一种文本相似度计算方法、***、设备及介质
CN117171610B (zh) * 2023-08-03 2024-05-03 江南大学 一种基于知识增强的方面情感三元组提取方法及***
CN117911161B (zh) * 2024-01-25 2024-06-21 广东顺银产融投资有限公司 一种项目投资决策方法、装置和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140056715A (ko) * 2012-10-31 2014-05-12 에스케이플래닛 주식회사 계층적 카테고리를 기초로 하는 감성 분석을 위한 장치 및 이를 위한 방법
CN112528672A (zh) * 2020-12-14 2021-03-19 北京邮电大学 一种基于图卷积神经网络的方面级情感分析方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111259142B (zh) * 2020-01-14 2020-12-25 华南师范大学 基于注意力编码和图卷积网络的特定目标情感分类方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140056715A (ko) * 2012-10-31 2014-05-12 에스케이플래닛 주식회사 계층적 카테고리를 기초로 하는 감성 분석을 위한 장치 및 이를 위한 방법
CN112528672A (zh) * 2020-12-14 2021-03-19 北京邮电大学 一种基于图卷积神经网络的方面级情感分析方法及装置

Also Published As

Publication number Publication date
CN112966074A (zh) 2021-06-15

Similar Documents

Publication Publication Date Title
CN112966074B (zh) 一种情感分析方法、装置、电子设备以及存储介质
CN111259142B (zh) 基于注意力编码和图卷积网络的特定目标情感分类方法
CN108984724B (zh) 利用高维表示提高特定属性情感分类准确率方法
CN111488734B (zh) 基于全局交互和句法依赖的情感特征表示学习***及方法
CN107516110B (zh) 一种基于集成卷积编码的医疗问答语义聚类方法
CN110532353B (zh) 基于深度学习的文本实体匹配方法、***、装置
CN109766557B (zh) 一种情感分析方法、装置、存储介质及终端设备
CN109214006B (zh) 图像增强的层次化语义表示的自然语言推理方法
CN111061843A (zh) 一种知识图谱引导的假新闻检测方法
Hong et al. Sentiment analysis with deeply learned distributed representations of variable length texts
CN110619044B (zh) 一种情感分析方法、***、存储介质及设备
CN110659742A (zh) 获取用户行为序列的序列表示向量的方法和装置
CN114443899A (zh) 视频分类方法、装置、设备及介质
CN112749737A (zh) 图像分类方法及装置、电子设备、存储介质
CN116975350A (zh) 图文检索方法、装置、设备及存储介质
CN111145914B (zh) 一种确定肺癌临床病种库文本实体的方法及装置
Ciaburro et al. Python Machine Learning Cookbook: Over 100 recipes to progress from smart data analytics to deep learning using real-world datasets
CN111611796A (zh) 下位词的上位词确定方法、装置、电子设备及存储介质
Waqas et al. Robust bag classification approach for multi-instance learning via subspace fuzzy clustering
CN113535928A (zh) 基于注意力机制下长短期记忆网络的服务发现方法及***
CN115758159B (zh) 基于混合对比学习和生成式数据增强的零样本文本立场检测方法
CN117216617A (zh) 文本分类模型训练方法、装置、计算机设备和存储介质
CN117011219A (zh) 物品质量检测方法、装置、设备、存储介质和程序产品
CN115859989A (zh) 基于远程监督的实体识别方法及***
Wakchaure et al. A scheme of answer selection in community question answering using machine learning techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant