CN110674301A

CN110674301A - 一种情感倾向预测方法、装置、***及存储介质

Info

Publication number: CN110674301A
Application number: CN201910941635.4A
Authority: CN
Inventors: 祝文博; 雷欣; 李志飞
Original assignee: Chumen Wenwen Information Technology Co Ltd
Current assignee: Chumen Wenwen Information Technology Co Ltd
Priority date: 2019-09-30
Filing date: 2019-09-30
Publication date: 2020-01-10

Abstract

本发明公开了一种基于图神经网络(GNN)的情感倾向预测方法、装置、***及计算机存储介质。基于图神经网络的情感倾向预测方法包括：首先，获取一段文本信息；然后，将文本信息转化为以词为节点，以词之间的相似度为边的图形结构数据；接下来，将该图形结构数据转化为由词之间相似度构成的邻接矩阵；随后通过情感分类模型对邻接矩阵进行情感倾向预测。这种情感倾向预测方法在处理长文本时，通过词和词之间地相似度，将文本信息转化为图形结构数据，一方面能够利用图神经网络的优势包含尽可能多的语义；另一方面通过将相近的词聚合在一起，也更易于提取到最有代表意义的情感倾向特征，使预测结果更为准确。

Description

一种情感倾向预测方法、装置、***及存储介质

技术领域

本发明涉及人工智能(Artificial Intelligence，AI)技术领域，尤其涉及一种基于图神经网络GNN的情感倾向预测方法、装置、***及计算机存储介质。

背景技术

情感分类是自然语言处理中一种常见的任务。具体来说，就是给出一段文本信息，使用情感分类模型预测该文本信息的情感倾向。

目前，情感倾向预测方法大多基于词向量序列和卷积神经网络实现的。这种情感倾向预测方法，在前期对文本信息中的句子进行转化时，主要使用如下方法：首先，对句子进行分词，将提取到的词语转化为词向量；然后，将词向量按照词在句子中的位置顺序排列，构成句子矩阵。同理，将句子矩阵按照句子在文本中的位置顺序排列，构成文本矩阵。由此可见，这一过程类似于编码的过程，并没有太多提炼或精简的过程。而且，在这样得到的文本矩阵中，词的排列顺序和组合方式仅与语序相关而与语义无关。

使用这种情感倾向预测方法对长文本信息进行处理时就会变得比较困难。因为当文本信息很长时，基于词向量序列的文本矩阵就会是个非常大的矩阵，且与情感倾向相关的词也会分散在文本矩阵的各个位置。这就会导致以下问题：1)当句子矩阵的大小超出神经网络能够处理的矩阵大小时，只能舍弃部分词向量，截取部分矩阵进行处理。这等同于，在进行情感倾向预测时，只用到了一句话的前段、中断或后段，此时发生语义缺失的可能性极大；2)即使句子矩阵的大小未超出神经网络能够处理的矩阵大小，由于情感倾向相关的词可能会分散在矩阵的各个位置，单个卷积窗口的大小所能覆盖的范围也会限制情感倾向特征提炼的准确性。

发明内容

众所周知，图神经网络GNN的一个基本思想是基于节点的局部邻节点信息对节点进行向量转化(embedding)，就是通过神经网络来聚合每个节点及其周围节点的信息。因此图神经网络具有以下特点：1)节点在每一层都会有向量转化；2)模型可以达到任意深度；3)第零层节点的向量转化是其自身的输入特征向量。

于是，本发明人就创造性地想到是否可以利用图神经网络的以上优势将长文本转化为以词为节点，以词之间相似性为边的一种图形结构，利用图神经网络模型进行情感倾向预测，这样不但可以去除重复的词，使文本矩阵得到精简包含更多不同的词，还能够使词按照语义聚合，更易于准确地提取相关情感倾向特征。

基于以上发明思路，本发明实施例提供了一种基于图神经网络的情感倾向预测方法、装置、***及计算机存储介质。

根据本发明实施例第一方面，提供一种基于图神经网络的情感倾向预测方法，该方法包括：获取文本信息；将文本信息转化为以词为节点，以词之间的相似度为边的图形结构数据；将图形结构数据转化为由词之间相似度构成的邻接矩阵；通过情感分类模型对邻接矩阵进行情感倾向预测。

根据本发明一实施方式，将文本信息转化为以词为节点，以词之间的相似度为边的图形结构数据，包括：提取文本信息中的词；获取所提取的词之间的相似度；以所提取的词为节点，以词之间的相似度作为边构造图形结构数据。

根据本发明一实施方式，获取所提取的词之间的相似度，包括：通过词向量转化工具获取所提取的词之间的相似度。

根据本发明一实施方式，获取所提取的词之间的相似度，包括：通过使用词相似度计算方法进行建模获取所提取的词之间的相似度。

根据本发明一实施方式，通过情感分类模型对邻接矩阵进行情感倾向预测，包括：通过卷积神经网络模型CNN对邻接矩阵进行特征提取以得到对应的压缩表示向量；将压缩表示向量经过全连接层和分类模型获得情感倾向预测结果。

根据本发明实施例第二方面，一种基于图神经网络的情感倾向性预测装置，该装置包括：信息获取模块，用于获取文本信息；图形结构数据转化模块，用于将文本信息转化为以词为节点，以词之间的相似度为边的图形结构数据；邻接矩阵转化模块，用于将图形结构数据转化为由词之间相似度构成的邻接矩阵；情感倾向预测模块，通过情感分类模型对邻接矩阵进行情感倾向预测。

根据本发明一实施方式，图形结构数据转化模块，包括：词提取单元，用于提取文本信息中的词；相似度获取单元，用于获取所提取的词之间的相似度；图形结构数据构造单元，用于以所提取的词为节点，以词之间的相似度为边构造图形结构数据。

根据本发明一实施方式，相似度获取单元，具体用于，通过词向量转化工具获取所提取的词之间的相似度。

根据本发明一实施方式，相似度获取单元，具体用于，通过使用词相似度计算方法进行建模获取所提取的词之间的相似度。

根据本发明一实施方式，情感倾向预测模块304，包括：特征提取单元，用于通过卷积神经网络模型CNN对邻接矩阵进行特征提取以得到对应的压缩表示向量；预测结果获得单元，用于将压缩表示向量经过全连接层和分类模型获得情感倾向预测结果

根据本发明实施例第三方面，还提供一种基于图神经网络的情感倾向预测***，包括处理器和存储器，其中，存储器中存储有计算机程序指令，计算机程序指令被处理器运行时用于执行上述任一项的情感倾向预测方法。

根据本发明实施例第四方面，又提供一种计算机存储介质，存储介质包括一组计算机可执行指令，当指令被执行时用于执行上述任一项的情感倾向预测方法。

本发明实施例基于图神经网络的情感倾向预测方法、装置、***及计算机存储介质。首先，获取一段文本信息；然后，将文本信息转化为以词为节点，以词之间的相似度为边的图形结构数据；接下来，将该图形结构数据转化为由词之间相似度构成的邻接矩阵；随后通过情感分类模型对邻接矩阵进行情感倾向预测。这种情感倾向预测方法在处理长文本时，通过词和词之间地相似度，将文本信息转化为图形结构数据，一方面能够利用图神经网络的优势包含尽可能多的语义；另一方面通过将相近的词聚合在一起，也更易于提取到最有代表意义的情感倾向特征，使预测结果更为准确。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

在附图中，相同或对应的标号表示相同或对应的部分。

图1为本发明实施例基于图神经网络的情感倾向预测方法的实现流程示意图；

图2为本发明实施例基于图神经网络的情感倾向预测方法中的图形结构数据示意图；

图3为本发明实施例基于图神经网络的情感倾向预测装置的组成结构示意图。

具体实施方式

为使本发明的目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

图1示出了本发明实施例基于图神经网络的情感倾向预测方法的实现流程。参考图1，该方法包括：操作110，获取文本信息；操作120，将文本信息转化为以词为节点，以词之间的相似度为边的图形结构数据；操作130，将图形结构数据转化为由词之间相似度构成的邻接矩阵；操作140，通过情感分类模型对邻接矩阵进行情感倾向预测。

在操作110中，文本信息主要指纯文本格式的一个句子、一个段落或一篇文章。文本信息的来源不限，可以是从网站爬取的文本信息，也可以是语音对话转化得到的文本信息，还可以是从文件或数据库中读取的文本信息等各种途径。

在操作120中，图形结构数据可以通过任何适用的形式建构，比如数组(array)、列表(list)、集合(set)或结构体(structure)等等。与现有技术方案中的词序列相比，图形结构数据中的词是去除了重复词之后得到的词，在输入限制条件相同的情况下，可以收录到更多的词。此外，图形结构中的边代表了词和词之间的相似度，这也是现有方案中欠缺的数据，这些相似度可以把词义接近的词聚集在一起，在进行后续神经网络运算时，也可以尽可能地保留最有代表意义的情感倾向特征。由此可见，此处得到的图形结构数据为最后的情感倾向预测，特别是对于长文本信息的情感倾向预测，提供了更充分和更高效的预测依据。

在操作130，这里的邻接矩阵所表示的节点之间的相邻关系就是词之间的相似度。这一步的作用主要是将操作120中的图形结构数据转化成机器学习过程中，计算机能够识别和接收的数值类型。这里，矩阵需要构建成能够满足情感分类模型输入要求的、特定格式的矩阵。这一格式由情感分类模型决定。

在操作140，这里的情感分类模型是可以预测情感倾向类型的预测模型。这里的模型可以是任何适用的情感分类模型，该模型可以接收如上的、由词之间相似度构成邻接矩阵作为输入，并根据该邻接矩阵预测情感倾向。例如，该模型可以是使用某一机器学习方法，经过类似上述邻接矩阵的实验数据作为输入训练得到的情感倾向预测模型。其中，比较常用的机器学习方法是以神经网络模型为代表的深度学习方法。

这里提取文本信息中的词，是指通过分词方法对文本进行分词，然后去除重复的词之后得到的词。这里的分词方法可以是任意适用的分词方法。当然，这里的所用的分词方法越成熟、准确度越高，情感倾向预测的准确度和效果也就越好。词之间的相似度主要是对两个词在语义上的接近程度的度量。一般地说，相似度一般被定义为一个0到1之间的实数。特别地，当两个词语完全一样时，它们的相似度为1；当两个词语是完全不同的概念时，它们的相似度接近于0。这里的图形结构数据就是节点和边的集合。节点为文本信息中包含的词，而边为词之间的相似度。词，通常是经过词向量转化得到的词向量。这里的词向量可以是从语料中学习得到的、蕴含语义信息的词向量基础上，加入情感因素，而得到同时考虑语义和情感倾向的词向量。而词之间的相似度，比如相似度，则是根据代表词的词向量来计算得到的。例如，可以通过计算两个词向量的余弦距离得到词向量的相近度。

这里词向量转化工具可以是任意适用的词向量转化工具，比如word2vector，tfidf，bert和fasttext等。通常这些工具也都提供计算词向量相似度的方法或函数。

根据本发明一实施方式，获取所提取的词之间的相似度，包括：通过使用词相似度计算方法进行建模获取所提取的词之间的相似度。这里的词相似度计算方法可以是任意适用的方法，比如基于语义词典的词语相似度计算，如“知网”(HowNet)，“同义词词林”等；也可以是通过词语上下文的信息，运用统计的方法进行求解。

根据本发明一实施方式，将图形结构数据转化为由词之间相似度构成的邻接矩阵。这里的邻接矩阵是由词和词之间的相似度组成的数值矩阵，例如矩阵

其中，矩阵中的元素a_ij的值为第i个词向量与第j个词向量的相似度。如果从文本中提取的词的个数为n，则这个邻接矩阵为n×n维的矩阵。

其中，通过卷积神经网络模型对邻接矩阵进行提取和压缩是为了对矩阵的特征进行提炼，通常包括卷积层和池化层运算。卷积和池化后得到的压缩表示向量是从邻接矩阵中提取出的、最突出的特征，也是和感倾向预测最相关的数据。该压缩表示向量再经过一个或多个全连接层的传播，最后通过一个分类模型得到分类结果。这里全连接层可以整合卷积层或者池化层中具有类别区分性的局部信息，最后一层全连接层的输出值被传递给一个分类模型，比如softmax分类模型，完成归纳，得到情感倾向预测结果。

下面就结合图2详细描述如何将获取到的文本信息转化为图形结构数据，然后再将该图形结构数据转化为由词之间相似度构成的邻接矩阵。

如图2所示，假设，获取的文本信息经过分词处理后得到词201，词202，词203和词204。这些词就可以作为图形结构数据的节点。构建图形结构数据G＝(V，E)，其V是节点集合，E为边的集合。利用词向量转化工具对这些词进行词向量转化：对词201进行词向量转换后得到v₁；对词202进行词向量转换后得到v₂；对词203进行词向量转换后得到v₃；对词204进行词向量转换后得到v₄。将v₁、v₂、v₃和v₄放入节点集合V中。假设，词201与词202相关，相似度a₁₂为0.7，在词201与词202的节点连线形成边e₁₂；词201与词203相关，相似度a₁₃为0.6，在词201与词203的节点连线形成边e₁₃；词201与词204相关，相似度a₁₄为0.5，在词201与词204的节点连线形成边e₁₄；词202与词203相关，相似度a₂₃为0.3，在词202与词203的节点连线形成边e₂₃；词202与词204相关，相似度a₂₄为0.1，在词202与词204的节点连线形成边e₂₄；词203与词204相关，相似度a₃₄为0.8，在词203与词204的节点连线形成边e₃₄，以此类推。将所有的边e_ij及相应的相似度a_ij放入到边的集合E中。此时，图形结构数据G就构建好了。

接下来，使用如表1所示的映射方法，将如图2所示的图形结构数据转化成节点和节点之间的邻接矩阵A。

相似度	词201	词202	词203	词204
					词201	a<sub>11</sub>	a<sub>12</sub>	a<sub>13</sub>	a<sub>14</sub>
词202	a<sub>21</sub>	a<sub>22</sub>	a<sub>23</sub>	a<sub>21</sub>
					词203	a<sub>31</sub>	a<sub>32</sub>	a<sub>33</sub>	a<sub>34</sub>
词204	a<sub>41</sub>	a<sub>42</sub>	a<sub>43</sub>	a<sub>44</sub>

表1

其中，a_ij为从词节点i到词节点j的相似度。

此时，如上的图形结构数据G就转化为邻接矩阵：

此处，假设相同的词的相似度为1，词之间的相似度是对称的，即a_ij和a_ji的值相等。但实际应用场景中，相同的词的相似度可能为无限接近1的一个小数，而词之间的相似度也可能是不对称的，即a_ij和a_ji的值不等。

进一步地，基于如上文描述的基于图神经网络的情感倾向预测方法，本发明实施例还提供一基于图神经网络的情感倾向预测装置。如图3所示，该装置30包括：信息获取模块301，用于获取文本信息；图形结构数据转化模块302，用于将文本信息转化为以词为节点，以词之间的相似度为边的图形结构数据；邻接矩阵转化模块303，用于将图形结构数据转化为由词之间相似度构成的邻接矩阵；情感倾向预测模块304，通过情感分类模型对邻接矩阵进行情感倾向预测。

根据本发明一实施方式，图形结构数据转化模块302，包括：词提取单元，用于提取文本信息中的词；相似度获取单元，用于获取所提取的词之间的相似度；图形结构数据构造单元，用于以所提取的词为节点，以词之间的相似度作为边构造图形结构数据。

根据本发明一实施方式，情感倾向预测模块304，包括：特征提取单元，用于通过卷积神经网络模型CNN对邻接矩阵进行特征提取以得到对应的压缩表示向量；预测结果获得单元，用于将压缩表示向量经过全连接层和分类模型获得情感倾向预测结果。

同样，基于如上文的情感倾向预测方法，本发明实施例还提供一种基于图神经网络的情感倾向预测***，包括处理器和存储器，其中，存储器中存储有计算机程序指令，计算机程序指令被处理器运行时用于执行上述任一项的情感倾向预测方法。

此外，基于如上文的情感倾向预测方法，本发明实施例还提供一种计算机存储介质，该计算机存储介质存储有程序，当程序被处理器执行时，使得处理器至少执行如下的操作步骤：操作110，获取文本信息；操作120，将文本信息转化为以词为节点，以词之间的相似度为边的图形结构数据；操作130，将图形结构数据转化为由词之间相似度构成的邻接矩阵；操作140，通过情感分类模型对邻接矩阵进行情感倾向预测。

这里需要指出的是：以上针对基于图神经网络的情感倾向预测装置实施例的描述、针对情感倾向预测***实施例和以上针对计算机存储介质实施例的描述，与前述图1所示的方法实施例的描述是类似的，具有同前述图1所示的方法实施例相似的有益效果，因此不做赘述。对于本发明对文之间的情感倾向预测装置实施例的描述、对情感倾向预测***实施例的描述和以上针对计算机存储介质实施例的描述未披露的技术细节，请参照本发明前述图1所示的方法实施例的描述而理解，为节约篇幅，因此不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个装置，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以利用硬件的形式实现，也可以利用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储介质、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims

1.一种基于图神经网络GNN的情感倾向性预测方法，其特征在于，所述方法包括：

获取文本信息；

将所述文本信息转化为以词为节点，以词之间的相似度为边的图形结构数据；

将所述图形结构数据转化为由词之间相似度构成的邻接矩阵；

通过情感分类模型对所述邻接矩阵进行情感倾向预测。

2.根据权利要求1所述的方法，其特征在于，所述将所述文本信息转化为以词为节点，以词之间的相似度为边的图形结构数据，包括：

提取所述文本信息中的词；

获取所提取的词之间的相似度；

以所提取的词为节点，以词之间的相似度为边构造图形结构数据。

3.根据权利要求2所述的方法，其特征在于，所述获取所提取的词之间的相似度，包括：

通过词向量转化工具获取所提取的词之间的相似度。

4.根据权利要求2所述的方法，其特征在于，所述获取所提取的词之间的相似度，包括：

通过使用词相似度计算方法进行建模获取所提取的词之间的相似度。

5.根据权利要求1所述的方法，其特征在于，所述通过情感分类模型对所述邻接矩阵进行情感倾向预测，包括：

通过卷积神经网络模型CNN对所述邻接矩阵进行特征提取以得到对应的压缩表示向量；

将所述压缩表示向量经过全连接层和分类模型获得情感倾向预测结果。

6.一种基于图神经网络的情感倾向性预测装置，其特征在于，所述装置包括：

信息获取模块，用于获取文本信息；

图形结构数据转化模块，用于将所述文本信息转化为以词为节点，以词之间的相似度为边的图形结构数据；

邻接矩阵转化模块，用于将所述图形结构数据转化为由词之间相似度构成的邻接矩阵；

情感倾向预测模块，通过情感分类模型对所述邻接矩阵进行情感倾向预测。

7.根据权利要求6所述的装置，其特征在于，所述图形结构数据转化模块，包括：

词提取单元，用于提取所述文本信息中的词；

相似度获取单元，用于获取所提取的词之间的相似度；

图形结构数据构造单元，用于以所提取的词为节点，以词之间的相似度为边构造图形结构数据。

8.根据权利要求7所述的装置，其特征在于，所述相似度获取单元，具体用于，

通过词向量转化工具获取所提取的词之间的相似度。

9.一种基于图神经网络的情感倾向预测***，包括处理器和存储器，其中，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器运行时用于执行权利要求1至5任一项所述的情感倾向预测方法。

10.一种计算机存储介质，其特征在于，所述存储介质包括一组计算机可执行指令，当所述指令被执行时用于执行权利要求1至5任一项所述的方法。