CN112199504A - 一种融合外部知识与交互注意力机制的视角级文本情感分类方法及*** - Google Patents

一种融合外部知识与交互注意力机制的视角级文本情感分类方法及*** Download PDF

Info

Publication number
CN112199504A
CN112199504A CN202011184688.5A CN202011184688A CN112199504A CN 112199504 A CN112199504 A CN 112199504A CN 202011184688 A CN202011184688 A CN 202011184688A CN 112199504 A CN112199504 A CN 112199504A
Authority
CN
China
Prior art keywords
text
attention
representing
word
external knowledge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011184688.5A
Other languages
English (en)
Other versions
CN112199504B (zh
Inventor
廖祥文
曾梦美
邓立明
陈甘霖
陈开志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202011184688.5A priority Critical patent/CN112199504B/zh
Publication of CN112199504A publication Critical patent/CN112199504A/zh
Application granted granted Critical
Publication of CN112199504B publication Critical patent/CN112199504B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/247—Thesauruses; Synonyms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明涉及一种融合外部知识与交互注意力机制的视角级文本情感分类方法及***，包括步骤：构建带有外部知识的文本序列内容，同时引入哨兵向量改善外部知识对模型的误导作用；构建带有交互信息及位置信息的记忆内容；构建记忆内容的多层注意力表示，并将注意力结果与门控循环单元非线性结合，最终形成视角级文本情感特征表示；采用分类函数得到文本最终的情感分类结果。本发明能够对视角级文本进行特征化处理，并通过BiLSTM从文本中提取语义特征，然后通过多层注意力机制，得到最终的分类结果。

Description

一种融合外部知识与交互注意力机制的视角级文本情感分类 方法及***
技术领域
本发明涉及文本处理技术领域，特别是一种融合外部知识与交互注意力机制的视角级文本情感分类方法及***。
背景技术
视角级文本情感分析旨在研究评论文本关于给定视角词的情感极性(如积极、消极和中性)。作为情感分析中的一项细粒度任务，视角级文本情感分析能够提供比文档级或句子级的情感分析更全面、更深入的分析，其可广泛应用于产品定价、竞争情报、股市预测等领域，具有重要的理论研究意义和实际应用价值。如图1，文本中有两个视角词“salmon”和“waiter”，该文本关于视角词“salmon”的情感极性是积极的，而关于视角词“waiter”的情感极性是消极的。视角级文本情感分析可以准确把握用户对产品的各个方面的情感态度，而以句子为导向的文本情感分析却无法捕捉到针对视角词的中细粒度情感。因此视角级文本情感分析逐渐受到了广泛关注，成为研究热点之一。
近年来，国内外已有很多针对视角级文本情感分析任务开展的相关研究，并且取得了一定的研究成果。现有的相关研究方法主要可以分为两类：基于传统机器学习的方法和基于神经网络的学习方法。
基于传统机器学习的视角级文本情感分析方法通过输入大量的标注语料以及这些标注语料的情感标签，训练和这些语料相关的评论数据的情感分类器，如支持向量机(Support Vector Machine，SVM)、最大熵(Maximum Entropy Model，MaxEnt)、KNN(K-Nearest Neighbor algorithm，K最邻近方法)等，然后通过这些训练好的分类器来预测新的文本数据的情感。这类方法虽然在视角级文本情感分析领域取得一定成效，但是需要大量的特征工程，耗时耗力，性能很大程度上受限于人工特征的质量，且模型复杂、泛化能力较差。
随着深度学习的快速发展，基于多层神经网络的表示学习模型在语义表示与情感分析运用方面更具优势。许多研究者们也将这些模型用于视角级文本情感分析。一些研究人员提出将深度学习与传统的方法相结合处理视角级文本情感分类问题，如将循环神经网络(RNN)和句法分析树相结合等，这些方法相比传统的方法取得了比较好的性能，但是还是依赖了情感词典、句法分析等传统手段，性能还有待提升。为了摆脱传统的方法，有研究人员引入一个深度记忆网络来进行视角级文本情感分类，通过双向长短时记忆网络并结合位置信息来构造记忆块，然后计算多重注意力的结果，最后利用门限控制单元进行非线性的结合来得到文本的情感特征表示。该类方法虽然能够更好地处理复杂的句子，但是对文本中单词在不同语境下可能有不同含义欠缺考虑。因此人们希望能够找到一种更加高效的视角级文本情感分类方法，进而提高视角级文本情感分类的性能和降低资源的消耗。
发明内容
有鉴于此，本发明的目的是提出一种融合外部知识与交互注意力机制的视角级文本情感分类方法及***，能够对视角级文本进行特征化处理，并通过BiLSTM从文本中提取语义特征，然后通过多层注意力机制，得到最终的分类结果。
本发明采用以下方案实现：一种融合外部知识与交互注意力机制的视角级文本情感分类方法，具体包括以下步骤：
构建带有外部知识的文本序列内容，同时引入哨兵向量改善外部知识对模型的误导作用；
构建带有交互信息及位置信息的记忆内容；
构建记忆内容的多层注意力表示，并将注意力结果与门控循环单元非线性结合，最终形成视角级文本情感特征表示；
采用分类函数得到文本最终的情感分类结果。
进一步地，所述构建带有外部知识的文本序列内容，同时引入哨兵向量改善外部知识对模型的误导作用具体为：
首先通过Glove模型将分词处理后的文本数据转换为向量表示；
接着利用BiLSTM从文本提取语义特征；
利用动态注意力机制将BiLSTM的隐藏向量表示
Figure BDA0002751087650000031
与外部同义词的向量表示相结合，同时引入哨兵向量来改善外部知识对模型的误导作用，得到与外部知识结合的单词向量表示
Figure BDA0002751087650000032
进一步地，所述引入哨兵向量来改善外部知识对模型的误导作用，得到与外部知识结合的单词向量表示
Figure BDA0002751087650000033
具体为：
通过下式计算哨兵向量st：
Figure BDA0002751087650000034
式中，σ(*)表示logistic sigmoid函数，Wb、Ub表示待学习的权重参数矩阵，xt表示当前输入的文本内容，
Figure BDA0002751087650000035
表示上一隐藏状态的输出；
通过下式计算同义词向量tk和哨兵向量st的注意权重
Figure BDA00027510876500000412
βt：
Figure BDA0002751087650000041
Figure BDA0002751087650000042
其中，
Figure BDA0002751087650000043
Figure BDA0002751087650000044
式中，tkb、skb、bt、bs表示待学习的权重参数向量，Wt、Ws、Wht、Whs表示待学习的权重参数矩阵；
通过下式计算结合外部知识的单词向量表示
Figure BDA0002751087650000045
Figure BDA0002751087650000046
其中，
Figure BDA0002751087650000047
Figure BDA0002751087650000048
式中，k表示同义词，Synvi表示同义词向量集合。
进一步地，所述构建带有交互信息及位置信息的记忆内容具体包括以下步骤：
首先对结合外部知识的单词向量表示
Figure BDA0002751087650000049
和视角词向量
Figure BDA00027510876500000410
进行平均池化：
Figure BDA00027510876500000411
Figure BDA0002751087650000051
式中，cavg表示平均单词向量表示，tavg表示平均视角词向量表示，n表示输入文本的单词总数，m表示视角词的单词个数；
通过下式计算视角对文本注意力的文本表示Si的注意力权重αi和文本对视角注意力的文本表示Ai的注意力权重βi：
Figure BDA0002751087650000052
Figure BDA0002751087650000053
其中，
Figure BDA0002751087650000054
Figure BDA0002751087650000055
式中，
Figure BDA0002751087650000056
Wt、Wc表示待学习的权重参数矩阵，bt、bc表示待学习的权重参数向量；
通过下式计算交互注意力层的最终文本表示
Figure BDA0002751087650000057
Figure BDA0002751087650000058
其中，
Figure BDA0002751087650000059
Figure BDA00027510876500000510
式中，λ表示控制Si和Ai重要程度的超参数；
将上下文单词与视角词的位置距离定义为二者之间的单词数；将第i个单词对视角词的贡献程度定义为第i个单词的位置权重wi，计算如下式所示：
Figure BDA0002751087650000061
其中，
Figure BDA0002751087650000062
式中，t表示视角词的位置，tmax表示输入文本的单词总数，mi为融合了交互信息与位置注意力权重的记忆内容。
进一步地，所述构建记忆内容的多层注意力表示，并将注意力结果与门控循环单元非线性结合，最终形成视角级文本情感特征表示具体为：
首先计算融合了交互信息与位置信息的记忆内容中每个记忆块mj的注意力得分
Figure BDA0002751087650000063
Figure BDA0002751087650000064
其中，
Figure BDA0002751087650000065
Figure BDA0002751087650000066
式中，N表示记忆块数，et-1表示门控循环单元第t-1层的输出向量，
Figure BDA0002751087650000067
表示待学习的权重参数矩阵，
Figure BDA0002751087650000068
表示待学习的权重参数向量，vt表示视角词向量；
利用门限控制单元根据注意力得分更新每一层的输出向量et，将上一轮的计算结果et-1与本轮的注意力得分
Figure BDA0002751087650000069
非线性地结合，将最后一层的输出向量et作为视角级文本情感特征表示，计算公式如下：
Figure BDA0002751087650000071
Figure BDA0002751087650000072
Figure BDA0002751087650000073
Figure BDA0002751087650000074
式中，r、z表示门函数，Wr、Wz、Wx、Wg、Ur、Uz表示待学习的权重参数矩阵。
进一步地，所述采用分类函数得到文本最终的情感分类结果具体为：采用softmax函数对得到的视角级文本情感特征表示et进行逐一计算，将概率最大的类别作为对应文本表示的情感类别预测值，计算公式如下：
y＝softmax(Woet+bo)；
式中，y表示情感类别预测值，Wo表示需要学习的权重参数矩阵，bo表示需要学习的权重参数向量。
本发明还提供了一种融合外部知识与交互注意力机制的视角级文本情感分类***，包括存储器、处理器以及存储在存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如上文所述的方法步骤。
本发明还提供了一种计算机可读存储介质，其上存储有能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如上文所述的方法步骤。
与现有技术相比，本发明有以下有益效果：本发明能够对视角级文本进行特征化处理，并通过BiLSTM从文本中提取语义特征，然后通过多层注意力机制，得到最终的分类结果，鸡儿提高视角级文本情感分类的性能和降低资源的消耗。
附图说明
图1为本发明背景技术中文本不同视角词的情感极性样例。
图2为本发明实施例的同一形容词描述不同视角词的情感极性样例。
图3为本发明实施例的原理框图。
图4为本发明实施例的交互注意力层示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图3所示，本实施例提供了一种融合外部知识与交互注意力机制的视角级文本情感分类方法，具体包括以下步骤：
步骤S1：构建带有外部知识的文本序列内容，同时引入哨兵向量改善外部知识对模型的误导作用；由于神经网络的输入数据一般为向量，以便模型的端到端训练，因此需要对文本数据进行向量化表示。为了便于数据的处理和分析，本实施例具体采用以下操作：
首先通过Glove模型将分词处理后的文本数据转换为向量表示；
接着利用BiLSTM从文本提取语义特征；解决长短时记忆网络(LSTM)无法编码从后到前的信息的问题，从而更好的捕捉双向的语义依赖。BiLSTM模型通过输入门、遗忘门和输出门进行参数化，控制递归操作中的信息流。为了简洁起见，下面省略了BiLSTM的技术细节，这些细节可以在许多相关的工作中找到，简洁操作描述如下：
Figure BDA0002751087650000091
Figure BDA0002751087650000092
其中
Figure BDA0002751087650000093
和
Figure BDA0002751087650000094
分别为单词向量vi的前向隐藏状态和后向隐藏状态。H*为隐藏向量序列，其中n表示句子的长度。
由于一个单词在不同的语境下可能会表现出不同的含义，特别是在专注于情感分类任务时，不同的含义就显得尤为重要。因此将外部知识加入到文本表示中，利用动态注意力机制将BiLSTM的隐藏向量表示
Figure BDA0002751087650000095
与外部同义词的向量表示相结合，同时引入哨兵向量来改善外部知识对模型的误导作用，得到与外部知识结合的单词向量表示
Figure BDA0002751087650000096
其中，所述引入哨兵向量来改善外部知识对模型的误导作用，得到与外部知识结合的单词向量表示
Figure BDA0002751087650000101
具体为：
通过下式计算哨兵向量st：
Figure BDA0002751087650000102
式中，σ(*)表示logisticsigmoid函数，Wb、Ub表示待学习的权重参数矩阵，xt表示当前输入的文本内容，
Figure BDA0002751087650000103
表示上一隐藏状态的输出；
通过下式计算同义词向量tk和哨兵向量st的注意权重
Figure BDA0002751087650000104
βt：
Figure BDA0002751087650000105
Figure BDA0002751087650000106
其中，
Figure BDA0002751087650000107
Figure BDA0002751087650000108
式中，tkb、skb、bt、bs表示待学习的权重参数向量，Wt、Ws、Wht、Whs表示待学习的权重参数矩阵；
通过下式计算结合外部知识的单词向量表示
Figure BDA0002751087650000109
Figure BDA00027510876500001010
其中，
Figure BDA00027510876500001011
Figure BDA0002751087650000111
式中，k表示同义词，Synvi表示同义词向量集合。
步骤S2：构建带有交互信息及位置信息的记忆内容；同一形容词在描述不同的视角词时所表现出的情感极性可能是不同的，所以结合视角词与具体的上下文的关系，即视角词与上下文进行交互才能得到正确的语义情感分类。如图2，在例1中，“short”用于描述“battery life”时，所表现出来的情感极性是消极的；而在例2中，“short”用于描述“spoon”时，所表现出来的情感极性是中性的。本实施例首先通过交互注意力机制得到视角词对文本注意力的文本表示和文本对视角词注意力的文本表示，再将它们结合起来得到具有交互信息的单词向量表示。
具体为：首先对结合外部知识的单词向量表示
Figure BDA0002751087650000112
和视角词向量
Figure BDA0002751087650000113
进行平均池化：
Figure BDA0002751087650000114
Figure BDA0002751087650000115
式中，cavg表示平均单词向量表示，tavg表示平均视角词向量表示，n表示输入文本的单词总数，m表示视角词的单词个数；
通过下式计算视角对文本注意力的文本表示Si的注意力权重αi和文本对视角注意力的文本表示Ai的注意力权重βi：
Figure BDA0002751087650000116
Figure BDA0002751087650000117
其中，
Figure BDA0002751087650000121
Figure BDA0002751087650000122
式中，
Figure BDA0002751087650000123
Wt、Wc表示待学习的权重参数矩阵，bt、bc表示待学习的权重参数向量；
通过下式计算交互注意力层的最终文本表示
Figure BDA0002751087650000124
Figure BDA0002751087650000125
其中，
Figure BDA0002751087650000126
Figure BDA0002751087650000127
式中，λ表示控制Si和Ai重要程度的超参数；
每个单词对文本的语义含义的贡献是不同的，一个更靠近视角词的上下文单词应该比一个远离视角词的上下文单词更重要，对视角级情感分类的影响更大，因此在得到具有交互信息的单词向量表示后将位置注意力引入到每个单词进行加权。将上下文单词与视角词的位置距离定义为二者之间的单词数；将第i个单词对视角词的贡献程度定义为第i个单词的位置权重wi，计算如下式所示：
Figure BDA0002751087650000128
其中，
Figure BDA0002751087650000129
式中，t表示视角词的位置，tmax表示输入文本的单词总数，mi为融合了交互信息与位置注意力权重的记忆内容。
步骤S3：构建记忆内容的多层注意力表示，并将注意力结果与门控循环单元非线性结合，最终形成视角级文本情感特征表示；本实施例首先通过计算每个记忆内容的注意力得分，然后利用门控循环单元将每层的注意力得分与上一层的输出结果非线性结合，并将最后一层的输出作为文本的情感特征表示。具体为：
首先计算融合了交互信息与位置信息的记忆内容中每个记忆块mj的注意力得分
Figure BDA0002751087650000131
Figure BDA0002751087650000132
其中，
Figure BDA0002751087650000133
Figure BDA0002751087650000134
式中，N表示记忆块数，et-1表示门控循环单元第t-1层的输出向量，
Figure BDA0002751087650000135
表示待学习的权重参数矩阵，
Figure BDA0002751087650000136
表示待学习的权重参数向量，vt表示视角词向量；
利用门限控制单元(Gated Recurrent Unit，GRU)根据注意力得分更新每一层的输出向量et，将上一轮的计算结果et-1与本轮的注意力得分
Figure BDA0002751087650000137
非线性地结合，将最后一层的输出向量et作为视角级文本情感特征表示，计算公式如下：
Figure BDA0002751087650000138
Figure BDA0002751087650000139
Figure BDA00027510876500001310
Figure BDA0002751087650000141
式中，r、z表示门函数，Wr、Wz、Wx、Wg、Ur、Uz表示待学习的权重参数矩阵。
步骤S4：采用分类函数得到文本最终的情感分类结果。具体为：采用softmax函数对得到的视角级文本情感特征表示et进行逐一计算，将概率最大的类别作为对应文本表示的情感类别预测值，计算公式如下：
y＝softmax(Woet+bo)；
式中，y表示情感类别预测值，Wo表示需要学习的权重参数矩阵，bo表示需要学习的权重参数向量。
在整个算法的训练阶段，利用训练集文本表示进行情感类别的预测并计算预测结果与实际情感标签的误差，利用随机梯度下降法和反向传播对整个***的参数进行更新与优化；模型训练完成后，对测试集文本表示进行情感类别的预测，并输出预测值。
本实施例还提供了一种融合外部知识与交互注意力机制的视角级文本情感分类***，包括存储器、处理器以及存储在存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如上文所述的方法步骤。
本实施例还提供了一种计算机可读存储介质，其上存储有能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如上文所述的方法步骤。
本实施例还提供了一种融合外部知识与交互注意力机制的视角级文本情感分类***，将上述的方法按照功能块划分为：融合外部知识的文本语义信息获取模块1，用于构建带有外部知识的文本序列内容，同时引入哨兵向量改善外部知识对模型的误导作用；交互与位置注意力模块2，用于构建带有交互信息及位置信息的记忆内容；循环注意力模块3，构建记忆内容的多层注意力表示，并将注意力结果与门控循环单元(GRU)非线性结合，最终形成视角级文本情感特征表示；情感类别输出模块4，利用分类函数得到最终的情感分类结果。下面分别详细描述各模块配置。
其中，所述融合外部知识的文本语义信息获取模块利用Glove模型将分词处理后的文本数据转换为向量表示，利用BiLSTM从文本提取语义特征，然后利用带有哨兵向量的动态注意力机制结合外部同义词。
其中，所述交互与位置注意力模块是通过视角对文本注意力以及文本对视角注意力得到视角与文本的交互信息，然后通过每个单词到视角词的位置信息来判断每个单词对视角词的贡献程度，从而构建带有交互信息和位置信息的记忆内容。该模块的示意图如图4所示。
其中，所述循环注意力模块，通过计算每个记忆内容的注意力得分，利用门限循环单元将每层的注意力得分与上一层的输出结果非线性结合，并将最后一层作为文本的情感特征表示。
其中，所述的情感类别输出模块采用softmax函数对得到的文本情感特征表示进行处理，将概率最大的类别作为该文本表示的情感类别预测值。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (8)

1.一种融合外部知识与交互注意力机制的视角级文本情感分类方法，其特征在于，包括以下步骤：
构建带有外部知识的文本序列内容，同时引入哨兵向量改善外部知识对模型的误导作用；
构建带有交互信息及位置信息的记忆内容；
构建记忆内容的多层注意力表示，并将注意力结果与门控循环单元非线性结合，最终形成视角级文本情感特征表示；
采用分类函数得到文本最终的情感分类结果。
2.根据权利要求1所述的一种融合外部知识与交互注意力机制的视角级文本情感分类方法，其特征在于，所述构建带有外部知识的文本序列内容，同时引入哨兵向量改善外部知识对模型的误导作用具体为：
首先通过Glove模型将分词处理后的文本数据转换为向量表示；
接着利用BiLSTM从文本提取语义特征；
利用动态注意力机制将BiLSTM的隐藏向量表示
Figure FDA0002751087640000011
与外部同义词的向量表示相结合，同时引入哨兵向量来改善外部知识对模型的误导作用，得到与外部知识结合的单词向量表示
Figure FDA0002751087640000012
3.根据权利要求2所述的一种融合外部知识与交互注意力机制的视角级文本情感分类方法，其特征在于，所述引入哨兵向量来改善外部知识对模型的误导作用，得到与外部知识结合的单词向量表示
Figure FDA0002751087640000013
具体为：
通过下式计算哨兵向量st：
Figure FDA0002751087640000021
式中，σ(*)表示logistic sigmoid函数，Wb、Ub表示待学习的权重参数矩阵，xt表示当前输入的文本内容，
Figure FDA0002751087640000022
表示上一隐藏状态的输出；
通过下式计算同义词向量tk和哨兵向量st的注意权重
Figure FDA0002751087640000023
βt：
Figure FDA0002751087640000024
Figure FDA0002751087640000025
其中，
Figure FDA0002751087640000026
Figure FDA0002751087640000027
式中，tkb、skb、bt、bs表示待学习的权重参数向量，Wt、Ws、Wht、Whs表示待学习的权重参数矩阵；
通过下式计算结合外部知识的单词向量表示
Figure FDA0002751087640000028
Figure FDA0002751087640000029
其中，
Figure FDA00027510876400000210
Figure FDA00027510876400000211
式中，k表示同义词，Synvi表示同义词向量集合。
4.根据权利要求1所述的一种融合外部知识与交互注意力机制的视角级文本情感分类方法，其特征在于，所述构建带有交互信息及位置信息的记忆内容具体包括以下步骤：
首先对结合外部知识的单词向量表示
Figure FDA0002751087640000031
和视角词向量
Figure FDA0002751087640000032
进行平均池化：
Figure FDA0002751087640000033
Figure FDA0002751087640000034
式中，cavg表示平均单词向量表示，tavg表示平均视角词向量表示，n表示输入文本的单词总数，m表示视角词的单词个数；
通过下式计算视角对文本注意力的文本表示Si的注意力权重αi和文本对视角注意力的文本表示Ai的注意力权重βi：
Figure FDA0002751087640000035
Figure FDA0002751087640000036
其中，
Figure FDA0002751087640000037
Figure FDA0002751087640000038
式中，
Figure FDA0002751087640000039
Wt、Wc表示待学习的权重参数矩阵，bt、bc表示待学习的权重参数向量；
通过下式计算交互注意力层的最终文本表示
Figure FDA00027510876400000310
Figure FDA0002751087640000041
其中，
Figure FDA0002751087640000042
Figure FDA0002751087640000043
式中，λ表示控制Si和Ai重要程度的超参数；
将上下文单词与视角词的位置距离定义为二者之间的单词数；将第i个单词对视角词的贡献程度定义为第i个单词的位置权重wi，计算如下式所示：
Figure FDA0002751087640000044
其中，
Figure FDA0002751087640000045
式中，t表示视角词的位置，tmax表示输入文本的单词总数，mi为融合了交互信息与位置注意力权重的记忆内容。
5.根据权利要求1所述的一种融合外部知识与交互注意力机制的视角级文本情感分类方法，其特征在于，所述构建记忆内容的多层注意力表示，并将注意力结果与门控循环单元非线性结合，最终形成视角级文本情感特征表示具体为：
首先计算融合了交互信息与位置信息的记忆内容中每个记忆块mj的注意力得分
Figure FDA0002751087640000046
Figure FDA0002751087640000047
其中，
Figure FDA0002751087640000051
Figure FDA0002751087640000052
式中，N表示记忆块数，et-1表示门控循环单元第t-1层的输出向量，
Figure FDA0002751087640000053
表示待学习的权重参数矩阵，
Figure FDA0002751087640000054
表示待学习的权重参数向量，vt表示视角词向量；
利用门限控制单元根据注意力得分更新每一层的输出向量et，将上一轮的计算结果et-1与本轮的注意力得分
Figure FDA0002751087640000055
非线性地结合，将最后一层的输出向量et作为视角级文本情感特征表示，计算公式如下：
Figure FDA0002751087640000056
Figure FDA0002751087640000057
Figure FDA0002751087640000058
Figure FDA0002751087640000059
式中，r、z表示门函数，Wr、Wz、Wx、Wg、Ur、Uz表示待学习的权重参数矩阵。
6.根据权利要求1所述的一种融合外部知识与交互注意力机制的视角级文本情感分类方法，其特征在于，采用softmax函数对得到的视角级文本情感特征表示向量进行逐一计算，将概率最大的类别作为对应文本表示的情感类别预测值。
7.一种融合外部知识与交互注意力机制的视角级文本情感分类***，其特征在于，包括存储器、处理器以及存储在存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如权利要求1-6任一项所述的方法步骤。
8.一种计算机可读存储介质，其特征在于，其上存储有能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如权利要求1-6任一项所述的方法步骤。
CN202011184688.5A 2020-10-30 2020-10-30 一种融合外部知识与交互注意力机制的视角级文本情感分类方法及*** Active CN112199504B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011184688.5A CN112199504B (zh) 2020-10-30 2020-10-30 一种融合外部知识与交互注意力机制的视角级文本情感分类方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011184688.5A CN112199504B (zh) 2020-10-30 2020-10-30 一种融合外部知识与交互注意力机制的视角级文本情感分类方法及***

Publications (2)

Publication Number Publication Date
CN112199504A true CN112199504A (zh) 2021-01-08
CN112199504B CN112199504B (zh) 2022-06-03

Family

ID=74012088

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011184688.5A Active CN112199504B (zh) 2020-10-30 2020-10-30 一种融合外部知识与交互注意力机制的视角级文本情感分类方法及***

Country Status (1)

Country Link
CN (1) CN112199504B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112926337A (zh) * 2021-02-05 2021-06-08 昆明理工大学 一种结合重构句法信息的端到端方面级情感分析方法
CN113268592A (zh) * 2021-05-06 2021-08-17 天津科技大学 基于多层次交互注意力机制的短文本对象情感分类方法
CN114297390A (zh) * 2021-12-30 2022-04-08 江南大学 一种长尾分布场景下的方面类别识别方法及***
CN115456176A (zh) * 2022-10-10 2022-12-09 延边大学 一种基于知识增强的文本匹配方法及***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170052946A1 (en) * 2014-06-06 2017-02-23 Siyu Gu Semantic understanding based emoji input method and device
CN109948165A (zh) * 2019-04-24 2019-06-28 吉林大学 基于混合注意力网络的细粒度情感极性预测方法
CN111159411A (zh) * 2019-12-31 2020-05-15 哈尔滨工业大学（深圳） 一种融合知识图谱的文本立场分析方法、***及存储介质
CN111178389A (zh) * 2019-12-06 2020-05-19 杭州电子科技大学 基于多通道张量池化的多模态深度分层融合情感分析方法
CN111274396A (zh) * 2020-01-20 2020-06-12 福州大学 一种基于外部知识的视角级文本情感分类方法及***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170052946A1 (en) * 2014-06-06 2017-02-23 Siyu Gu Semantic understanding based emoji input method and device
CN109948165A (zh) * 2019-04-24 2019-06-28 吉林大学 基于混合注意力网络的细粒度情感极性预测方法
CN111178389A (zh) * 2019-12-06 2020-05-19 杭州电子科技大学 基于多通道张量池化的多模态深度分层融合情感分析方法
CN111159411A (zh) * 2019-12-31 2020-05-15 哈尔滨工业大学（深圳） 一种融合知识图谱的文本立场分析方法、***及存储介质
CN111274396A (zh) * 2020-01-20 2020-06-12 福州大学 一种基于外部知识的视角级文本情感分类方法及***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SEUNGHYUN YOON 等: ""Attentive Modality Hopping Mechanism for Speech Emotion Recognition"", 《2020 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING》 *
邓立明 等: ""基于知识图谱与循环注意力网络的视角级情感分析"", 《模式识别与人工智能》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112926337A (zh) * 2021-02-05 2021-06-08 昆明理工大学 一种结合重构句法信息的端到端方面级情感分析方法
CN113268592A (zh) * 2021-05-06 2021-08-17 天津科技大学 基于多层次交互注意力机制的短文本对象情感分类方法
CN113268592B (zh) * 2021-05-06 2022-08-05 天津科技大学 基于多层次交互注意力机制的短文本对象情感分类方法
CN114297390A (zh) * 2021-12-30 2022-04-08 江南大学 一种长尾分布场景下的方面类别识别方法及***
CN114297390B (zh) * 2021-12-30 2024-04-02 江南大学 一种长尾分布场景下的方面类别识别方法及***
CN115456176A (zh) * 2022-10-10 2022-12-09 延边大学 一种基于知识增强的文本匹配方法及***

Also Published As

Publication number Publication date
CN112199504B (zh) 2022-06-03

Similar Documents

Publication Publication Date Title
CN110083705B (zh) 一种用于目标情感分类的多跳注意力深度模型、方法、存储介质和终端
CN112199504B (zh) 一种融合外部知识与交互注意力机制的视角级文本情感分类方法及***
CN108984724B (zh) 利用高维表示提高特定属性情感分类准确率方法
CN107578106B (zh) 一种融合单词语义知识的神经网络自然语言推理方法
CN109376242B (zh) 基于循环神经网络变体和卷积神经网络的文本分类方法
CN108664632B (zh) 一种基于卷积神经网络和注意力机制的文本情感分类算法
CN109614471B (zh) 一种基于生成式对抗网络的开放式问题自动生成方法
CN110502753A (zh) 一种基于语义增强的深度学习情感分析模型及其分析方法
CN108830287A (zh) 基于残差连接的Inception网络结合多层GRU的中文图像语义描述方法
CN111079409B (zh) 一种利用上下文和方面记忆信息的情感分类方法
Zhang et al. Dense video captioning using graph-based sentence summarization
CN110727844B (zh) 一种基于生成对抗网络的在线评论商品特征观点提取方法
CN112256866A (zh) 一种基于深度学习的文本细粒度情感分析方法
CN114429122B (zh) 一种基于循环注意力的方面级情感分析***和方法
CN111274396B (zh) 一种基于外部知识的视角级文本情感分类方法及***
CN113157919A (zh) 语句文本方面级情感分类方法及***
CN116579347A (zh) 一种基于动态语义特征融合的评论文本情感分析方法、***、设备及介质
CN115827954A (zh) 动态加权的跨模态融合网络检索方法、***、电子设备
Huo et al. TERG: topic-aware emotional response generation for chatbot
CN114385813A (zh) 基于多特征融合的水环境文本方面级观点挖掘方法
Ding et al. Chinese keyword extraction model with distributed computing
CN115408515A (zh) 一种针对在线协作讨论交互文本的自动分类方法
CN112989803A (zh) 一种基于主题向量学习的实体链接模型
CN113076490A (zh) 一种基于混合节点图的涉案微博对象级情感分类方法
CN115577072A (zh) 一种基于深度学习的短文本情感分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant