CN113869065A - 一种基于“单词-短语”注意力机制的情感分类方法和*** - Google Patents
一种基于“单词-短语”注意力机制的情感分类方法和*** Download PDFInfo
- Publication number
- CN113869065A CN113869065A CN202111202671.2A CN202111202671A CN113869065A CN 113869065 A CN113869065 A CN 113869065A CN 202111202671 A CN202111202671 A CN 202111202671A CN 113869065 A CN113869065 A CN 113869065A
- Authority
- CN
- China
- Prior art keywords
- word
- attention mechanism
- phrase
- follows
- gru
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007246 mechanism Effects 0.000 title claims abstract description 73
- 230000008451 emotion Effects 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000000605 extraction Methods 0.000 claims abstract description 33
- 239000013598 vector Substances 0.000 claims description 33
- 238000004458 analytical method Methods 0.000 claims description 15
- 230000014509 gene expression Effects 0.000 claims description 15
- 238000007781 pre-processing Methods 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 14
- 239000000126 substance Substances 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 7
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 6
- 238000005065 mining Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 230000008961 swelling Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000008909 emotion recognition Effects 0.000 claims 1
- 238000002474 experimental method Methods 0.000 abstract description 6
- 230000006870 function Effects 0.000 description 26
- 238000013527 convolutional neural network Methods 0.000 description 9
- 238000011156 evaluation Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 208000025721 COVID-19 Diseases 0.000 description 3
- 239000003795 chemical substances by application Substances 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000001364 causal effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- OYPRJOBELJOOCE-UHFFFAOYSA-N Calcium Chemical compound [Ca] OYPRJOBELJOOCE-UHFFFAOYSA-N 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 229910052791 calcium Inorganic materials 0.000 description 1
- 239000011575 calcium Substances 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Probability & Statistics with Applications (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Machine Translation (AREA)
Abstract
本发明提供一种基于“单词‑短语”注意力机制的情感分类***和方法，所述方法在TCN的基础上，提出的基于单词注意力机制的浅层特征提取模型和基于短语注意力机制的深层提取模型，能够有效挖掘单词、短语和整体评论所蕴含的辅助信息以及不同贡献程度，以更低的计算资源实现了更精准的情感分类性能。实验表明本文所提的SC‑WPAtt方法性能优于传统方法。
Description
技术领域
本发明涉及情感分类技术领域，具体涉及一种基于“单词-短语”注意力机制的情感分类方法和***。
背景技术
COVID-19疫情严重威胁了各个国家的生命安全和社会发展。世界各国为了防止疫情的蔓延，采取了严格的社交距离控制措施。由于政府等公共部门投入大量资源应对疫情的防控以及疫情发展过于迅猛，导致信息传播出现延迟；同时，被隔离的人群大量使用互联网等平台进行交流和信息获取，产生了大量的虚假信息，这些都引发了民众由于获取疫情信息不及时或者不全面，从而容易造成恐慌情绪。因此，在疫情防控大量挤压其他公共资源的背景下，如何利用有限的资源引导社会舆论显得尤为重要。即如何自动从互联网大量的交流文本中有效识别用户的情感，可以为政府等相关部门健康引导舆论提供了基础。
传统的情感分类方法主要以基于语义的情感词典方法为主，该方法首先通过现有的电子词典构造出相应的情感词典，然后将句子进行分词并判断组成句子的词的情感倾向，以及计算整句的加权情感倾向来判断整句所带的情感。其研究主要有两个主流方向：一个是基于词典的方法(Lexicon-based approaches)，此类方法将标注了情感极性和情感强度的情感词作为词典，且常通过强调和否定等词语规则完成对句子的情感极性的聚合；二是基于语料库的方法(Corpus-basedmethods)，其主要根据标注了情感极性的句子构建情感分类器，此类方法标注数据的方式包括人工标注，也包括根据微博等表情符号来自动标注。
基于语义的情感词典方法直接使用情感词进行分类，非常直观，结构简单、计算量小、计算速度快和可解释，然而，情感词典难以覆盖所有情感，难以处理网络上大量的口语情感表达，以及难以识别社交软件如微信、Twitter中大量使用缩写、缩写和连词的用户情绪，此外，人工标注的方式难以处理大规模评论数据，使得维护情感词极为困难；以及根据标签符号完成自动标注的方式也难以得到高准确率的情感词汇。
近年来研究者们设计的神经网络模型，可以从目标和上下文中自动学习有用的低维表示，可以有效解决上述基于语义的情感词典方法该方法存在的问题。例如Bahdanau等利用递归神经网络构建语言模型，在低维空间表达单词向量，能够更好地度量单词与单词之间的相关性；Grave等人提出了使用循环卷积神经网络进行文本分类，它使用双向循环结构对文本进行建模；Tai等人在长短期记忆网络(LSTM，Long Short-Term Memory)的基础上引入树状结构来提高句子的语义表达。然而，这些神经网络模型在处理情感分类任务方面仍处于起步阶段，而且，这些模型不能区分每个单词对整个句子的不同贡献。受机器翻译引入注意力机制的启发，研究者们在情感分类领域引入注意力机制对与目标语义关系更密切的上下文词给予更多的注意。已经有一些研究使用注意力生成特定于目标的句子表征或根据目标词转换句子表示。然而，这些研究依赖于复杂的循环神经网络(RNNs)作为序列编码器来计算文本的隐藏语义，很难并行化，并需要大量的内存和计算。CNN(卷积神经网络,Convolutional Neural Networks)可以提取更高精度的特征，但是无法处理序贯数据；虽然LSTM可以在一定程度上缓解消失梯度问题，从而保持较长的距离信息，但这通常需要大量的训练数据。此外，现有注意力机制虽然考虑了不同单词的影响，但是较少考虑短语(不同组合的单词)和整体评论的影响。
针对以上问题，本发明在TCN的基础上，提出了一种基于“单词-短语”注意力机制的情感分析方法和***，一方面引入TCN以更低的计算资源对序贯数据进行更高精度的提取，另一方面，提出的“单词-短语”注意力机制同时考虑了单词、短语和整体句子的不同影响。
发明内容
为解决上述问题，本发明所采用的技术方案如下：
在情感分类过程中，已知用户的评论文本C包含了多个短语，每一个短语里面包括了多个单词。假设sm为评论C中的第m个句子，则有C＝{s1,s2,s3,···,sm}；假设wn为第m个句子sm的第n个单词，则有sm＝{w1,w2,w3,···,wn}。而在COVID-19疫情中的情感分类求解问题，本质上就是从用户的评论文本C中挖掘出用户的情感类别。
由于不仅评论文本中的单词以及短语蕴含了丰富的辅助信息，而且不同组合方式的词组所蕴含的意义也不相同；另一方面，考虑到CNN具有很高的特征提取精度单缺乏序贯特征分析能力，而LSTM能够提取序贯特征但特征提取精度不如CNN，本发明提出一种基于“单词-短语”注意力机制的情感分类方法和***，具体如下：
一种基于“单词-短语”注意力机制的情感分类***，其包括文本数据预处理模型、基于单词注意力机制的浅层特征提取模型、基于短语注意力机制的深层特征提取模型和情感分类预测器；
所述文本数据预处理模型用于实现对文本数据的预处理，将每一个单词映射为词向量；
所述基于单词注意力机制的浅层特征提取模型包括构建Bi-GRU网络结构及构建单词注意力机制，提取单词不同的贡献程度，所述Bi-GRU网络结构用于得到文本的前向隐藏状态以及后向隐藏状态，使用串联的方式计算得到当前时刻总的状态，从而提取到细粒度的辅助信息以及尽可能多的核心词汇；
所述基于短语注意力机制的深层特征提取模型，用于从深层次挖掘核心词汇形成的短语级词向量蕴含的辅助信息，以及获取短语之间的序贯特征，即所述评论文本对应的表达特征；
所述情感分类预测器用于根据所述评论文本对应的表达特征预测其对应的情感分类。
作为优选，所述文本数据预处理模型采用Word2vec模型，具体用于：将每一个单词w映射为词向量e，其中，将第m个句子的第n个单词wmn映射为了emn，且emn∈Em，其中Em为句子sm的词向量。
作为优选，所述基于单词注意力机制的浅层特征提取模型用于是构建Bi-GRU和构建单词注意力机制、提取单词不同的贡献程度；所述构建Bi-GRU具体包括：GRU由更新门z和重置门r组成，更新门z表示以前的状态信息
是否需要更新，重置门r表示以前的状态信息
是否需要重置，其原理如下公式所示：
zt＝σ(WzEm+Uzht-1) (1)
rt＝σ(WtEm+Utht-1) (2)
其中，
为向量元素乘积，σ(·)为logistic函数，
为当前时刻的候选状态，zt为当前时刻的更新门，rt为当前时刻的重置门，Wz、Uz、Wt、Ut、W和U为可学习的网络参数，Bi-GRU包含从句子sm的第1个单词wm1到最后1个单词wmN前向
以及从句子sm的最后1个单词wmN到第1个单词wi1的
经过公式(5)和公式(6)运算之后得到前向隐藏状态
以及后向隐藏状态
那么使用串联的方式计算得到当前时刻总的状态
所述构建单词注意力机制、提取单词不同的贡献程度具体包括：
umm＝tanh(Wwhmn+bw) (7)
其中，umn为打分权重，αmn为选择hmn的注意力分布，
表示hmn被选中的概率。
作为优选，所述基于短语注意力机制的深层特征提取模型采用时间卷积网络，具体用法为：已知
是浅层特征模型提取到的第m个句子的浅层特征，其中M为评论C中短语数量的最大值。对于评论C则有输入序列
与之对应的输出序列为
即TCN中输入序列和输出序列相同；此外，假设每一层对应的卷积核为f：{0，…，k-1}→R，那么第r层膨胀卷积如下所示：
其中，lr为膨胀因子，可以大到(k-1)r-1从而获取更大的感受野；
公式(10)为一层时间卷积层，而时间卷积网络是由多个时间卷积层叠加构造而成的，使用残差的方式对层间进行连接，如下所示：
Fs＝Activation(Fw+F(Fw)) (11)
其中，
最后为了进一步挖掘评论C中不同短语
的深层隐藏特征以及所蕴含的辅助信息，使用公式(1)-(2)所示的注意力机制对
进行分析：
作为优选，所述情感分类预测器具体用于：使用softmax函数作为预测器，先使用线性模型对Fm进行数据归一化，如下所示：
F′m＝w′Fm+b′ (15)
其中，w′和b′为可学习的参数。紧接着，使用softmax函数对F′m进行分析，得到最终的预测分类Y′m，如下所示：
Y′m＝tanh(w″F′m+b″) (16)
其中，w″和b″为可学习的参数。
作为优选，所述基于“单词-短语”注意力机制的情感分类***还包括定义损失函数以及迭代训练优化模块，具体包括：采用交叉熵作为损失函数，该函数可有效优化分类问题，所述交叉熵函数如下所示：
其中，Ym为与历史数据集对应的真实情感分类。
一种基于“单词-短语”注意力机制的情感分类方法，其包括以下步骤：
S1、对文本数据进行预处理，将每一个单词映射为词向量；
S2、构建Bi-GRU网络结构及构建单词注意力机制，提取单词不同的贡献程度，所述Bi-GRU网络结构用于得到文本的前向隐藏状态以及后向隐藏状态，使用串联的方式计算得到当前时刻总的状态，从而提取到细粒度的辅助信息以及尽可能多的核心词汇；
S3、从深层次挖掘核心词汇形成的短语级词向量蕴含的辅助信息，以及获取短语之间的序贯特征，即所述评论文本对应的表达特征；
S4、根据所述评论文本对应的表达特征预测其对应的情感分类。
作为优选，所述S1采用Word2vec模型，将每一个单词w映射为词向量e，其中，将第m个句子的第n个单词wmn映射为了emn，且emn∈Em，其中Em为句子sm的词向量。
作为优选，所述S2包括构建Bi-GRU和构建单词注意力机制、提取单词不同的贡献程度；所述构建Bi-GRU具体包括：GRU由更新门z和重置门r组成，更新门z表示以前的状态信息
是否需要更新，重置门r表示以前的状态信息
是否需要重置，其原理如下公式所示：
zt＝σ(WzEm+U2ht-1) (1)
rt＝σ(WtEm+Utht-1) (2)
其中，
为向量元素乘积，σ(·)为logistic函数，
为当前时刻的候选状态，zt为当前时刻的更新门，rt为当前时刻的重置门，Wz、Uz、Wt、Ut、W和U为可学习的网络参数，Bi-GRU包含从句子sm的第1个单词wm1到最后1个单词wmN前向
以及从句子sm的最后1个单词wmN到第1个单词wi1的
经过公式(5)和公式(6)运算之后得到前向隐藏状态
以及后向隐藏状态
那么使用串联的方式计算得到当前时刻总的状态
所述构建单词注意力机制、提取单词不同的贡献程度具体包括：
umn＝tabh(Wwhmn+bw) (7)
其中，umn为打分权重，αmn为选择hmn的注意力分布，
表示hmn被选中的概率。
作为优选，所述S3采用时间卷积网络，具体为：已知
是浅层特征模型提取到的第m个句子的浅层特征，其中M为评论C中短语数量的最大值。对于评论文本C则有输入序列
与之对应的输出序列为
即TCN中输入序列和输出序列相同；此外，假设每一层对应的卷积核为f：{0，…，k-1}→R，那么第r层膨胀卷积如下所示：
其中，lr为膨胀因子，可以大到(k-1)r-1从而获取更大的感受野；
公式(10)为一层时间卷积层，而时间卷积网络是由多个时间卷积层叠加构造而成的，使用残差的方式对层间进行连接，如下所示：
Fs＝Activation(Fw+F(Fw)) (11)
其中，
最后为了进一步挖掘评论C中不同短语
的深层隐藏特征以及所蕴含的辅助信息，使用公式(1)-(2)所示的注意力机制对
进行分析：
作为优选，所述S4使用softmax函数作为预测器，先使用线性模型对Fm进行数据归一化，如下所示：
F′m＝w′Fm+b′ (15)
其中，w′和b′为可学习的参数。紧接着，使用softmax函数对F′m进行分析，得到最终的预测分类Y′m，如下所示：
Y′m＝tanh(w″F′m+b″) (16)
其中，w″和b″为可学习的参数。
作为优选，所述基于“单词-短语”注意力机制的情感分类方法还包括定义损失函数以及迭代训练优化，具体包括：采用交叉熵作为损失函数，该函数可有效优化分类问题，所述交叉熵函数如下所示：
其中，Ym为与历史数据集对应的真实情感分类。
相比现有技术，本发明的有益效果在于：
本发明提供的基于TCN构建的基础神经网络，能够以更简单的网络结构和更低的资源占用率，实现更高精度的序列数据的读取，以便从非结构化文本数据中挖掘更多辅助信息；针对已有注意力机制虽容易忽略短语和整体评论的影响，本发明提出了“单词-短语”注意力机制，该机制从不同的角度挖掘了单词、短语(组合单词)和整体句子蕴含的辅助信息以及对情感分类的贡献度；本发明在Yelp平台的AG’s News数据集中构建了评测实验，实验结果显示，本发明提出的基于“单词-短语”注意力机制的情感分类方法准确度较高，且训练时间更低，具有更优的情感分类性能。
附图说明：
下面结合附图和具体实施方式对本发明作进一步详细说明。
图1为本发明情感分类***的结构示意图；
图2为本发明之方法的准确率评测实验结果示意图，图中，横轴epochs被定义为向前和向后传播中所有批次的单次训练迭代，纵轴accuracy代表精确度；
图3为本发明之方法的训练时长评测实验，图中，横轴epochs被定义为向前和向后传播中所有批次的单次训练迭代，纵轴time(s)为时间，单位为秒。
具体实施方式
实施例一：
本实施例提供一种基于“单词-短语”注意力机制的情感分类***，如图1所示，其包括文本数据预处理模型、基于单词注意力机制的浅层特征提取模型、基于短语注意力机制的深层特征提取模型和情感分类预测器；
所述文本数据预处理模型用于实现对文本数据的预处理，将每一个单词映射为词向量；
所述基于单词注意力机制的浅层特征提取模型包括构建Bi-GRU网络结构及构建单词注意力机制，提取单词不同的贡献程度，所述Bi-GRU网络结构用于得到文本的前向隐藏状态以及后向隐藏状态，使用串联的方式计算得到当前时刻总的状态，从而提取到细粒度的辅助信息以及尽可能多的核心词汇；
所述基于短语注意力机制的深层特征提取模型，用于从深层次挖掘核心词汇形成的短语级词向量蕴含的辅助信息，以及获取短语之间的序贯特征，即所述评论文本对应的表达特征；
所述情感分类预测器用于根据所述评论文本对应的表达特征预测其对应的情感分类。
具体的，所述文本数据预处理模型采用Word2vec模型，具体用于：将每一个单词w映射为词向量e，其中，将第m个句子的第n个单词wmn映射为了emn，且emn∈Em，其中Em为句子sm的词向量。
具体的，所述基于单词注意力机制的浅层特征提取模型用于是构建Bi-GRU和构建单词注意力机制、提取单词不同的贡献程度；所述构建Bi-GRU具体包括：GRU(gatedrecurrentunit，门控循环单元)由更新门z和重置门r组成，更新门z表示以前的状态信息
是否需要更新，重置门r表示以前的状态信息
是否需要重置，其原理如下公式所示：
zt＝σ(WzEm+Uzht-1) (1)
rt＝σ(WtEm+Utht-1) (2)
其中，
为向量元素乘积，σ(·)为logistic函数，
为当前时刻的候选状态，zt为当前时刻的更新门，rt为当前时刻的重置门，Wz、Uz、Wt、Ut、W和U为可学习的网络参数，Bi-GRU包含从句子sm的第1个单词wm1到最后1个单词wmN前向
以及从句子sm的最后1个单词wmN到第1个单词wi1的
经过公式(5)和公式(6)运算之后得到前向隐藏状态
以及后向隐藏状态
那么使用串联的方式计算得到当前时刻总的状态
所述构建单词注意力机制、提取单词不同的贡献程度具体包括：
umn＝tanh(Wwhmn+bw) (7)
其中，umn为打分权重，αmn为选择hmn的注意力分布，
表示hmn被选中的概率。
浅层特征提取模型提取了细粒度的辅助信息，所获取的特征也尽可能包括了更多的核心词汇。这些核心词汇形成的短语级词向量蕴含了丰富的辅助信息，不同组合
的词汇以及整体词汇也蕴含了不同的含义。考虑到TCN(Temporal ConvolutionalNetworks，时域卷积网络)网络是改进CNN的一种方法，它使用卷积可以捕获局部信息，也可以灵活调整感受野的尺寸，更主要的可以捕获时序上的依赖关系，是一种同时具备CNN和RNN的网络模型，此外其更为简单的结构不仅有效降低计算资源的占用，而且具备更快的运行速度。为了从深层次挖掘它们的隐藏辅助信息，以及获取短语之间的序贯特征，本发明在TCN网络的基础上，提出了基于短语注意力机制的深层特征提取模型。传统能够有效处理序列问题的改进型CNN，主要通过线性堆叠多层卷积延长对时间序列的建模。TCN延续使用一维卷积来实现对序贯数据的处理，并通过使用因果卷积来实现一维卷积的方式延长了对时间序列的处理能力。其通式可以总结为：TCN＝1D FCN+causal convolutions。然而，单纯的因果卷积对时间的建模长度受限于卷积核大小。因此，TCN通过采用扩张卷积(也称空洞卷积)增大每层感受野的范围可抓取更长的依赖关系，同时达到减少卷积层数量的目的。和传统卷积不同的是，膨胀卷积允许卷积时的输入存在间隔采样。
本实施例中，所述基于短语注意力机制的深层特征提取模型采用时间卷积网络，具体用法为：已知
是浅层特征模型提取到的第m个句子的浅层特征，其中M为评论C中短语数量的最大值。对于评论C则有输入序列与之对应的输出序列为
即TCN中输入序列和输出序列相同；此外，假设每一层对应的卷积核为f：{0，…，k-1}→R，那么第r层膨胀卷积如下所示：
其中，lr为膨胀因子，可以大到(k-1)r-1从而获取更大的感受野；
公式(10)为一层时间卷积层，而时间卷积网络是由多个时间卷积层叠加构造而成的，使用残差的方式对层间进行连接，如下所示：
Fs＝Activation(Fw+F(Fw)) (11)
其中，， 
最后为了进一步挖掘评论C中不同短语
的深层隐藏特征以及所蕴含的辅助信息，使用公式(1)-(2)所示的注意力机制对
进行分析：
经过上述浅层特征提取模型以及深层特征提取模型运算之后，得到的是蕴含丰富辅助信息的隐藏特征，也是评论文本C对应的表达特征Fm。最后一步是根据Fm预测其对应的情感分类。本发明使用softmax函数作为预测器，该函数可以将Fm数值映射到分类当中，且可以计算每一个分类所占的比例，且所有比例之和为1。
所述情感分类预测器具体用于：使用softmax函数作为预测器，先使用线性模型对Fm进行数据归一化，如下所示：
F′m＝w′Fm+b′ (15)
其中，w′和b′为可学习的参数。紧接着，使用softmax函数对F′m进行分析，得到最终的预测分类Y′m，如下所示：
Y′m＝tanh(w″F′m+b″) (16)
其中，w″和b″为可学习的参数。
作为优选，所述基于“单词-短语”注意力机制的情感分类***还包括定义损失函数以及迭代训练优化模块，具体包括：采用交叉熵作为损失函数，该函数可有效优化分类问题，所述交叉熵函数如下所示：
其中，Ym为与历史数据集对应的真实情感分类。
实施例二：
本实施例提供一种基于实施例一所述的情感分类***的方法，其包括：
S1、对文本数据进行预处理，将每一个单词映射为词向量；
S2、构建Bi-GRU网络结构及构建单词注意力机制，提取单词不同的贡献程度，所述Bi-GRU网络结构用于得到文本的前向隐藏状态以及后向隐藏状态，使用串联的方式计算得到当前时刻总的状态，从而提取到细粒度的辅助信息以及尽可能多的核心词汇；
S3、从深层次挖掘核心词汇形成的短语级词向量蕴含的辅助信息，以及获取短语之间的序贯特征，即所述评论文本对应的表达特征；
S4、根据所述评论文本对应的表达特征预测其对应的情感分类。
具体的，所述S1采用Word2vec模型，将每一个单词w映射为词向量e，其中，将第m个句子的第n个单词wmn映射为了emn，且emn∈Em，其中Em为句子sm的词向量。
具体的，所述S2包括构建Bi-GRU和构建单词注意力机制、提取单词不同的贡献程度；所述构建Bi-GRU具体包括：GRU由更新门z和重置门r组成，更新门z表示以前的状态信息
是否需要更新，重置门r表示以前的状态信息
是否需要重置，其原理如下公式所示：
zt＝σ(WzEm+Uzht-1) (1)
rt＝σ(WtEm+Utht-1) (2)
其中，
为向量元素乘积，σ(·)为logistic函数，
为当前时刻的候选状态，zt为当前时刻的更新门，rt为当前时刻的重置门，Wz、Uz、Wt、Ut、W和U为可学习的网络参数，Bi-GRU包含从句子sm的第1个单词wm1到最后1个单词wmN前向
以及从句子sm的最后1个单词wmN到第1个单词wi1的
经过公式(5)和公式(6)运算之后得到前向隐藏状态
以及后向隐藏状态
那么使用串联的方式计算得到当前时刻总的状态
所述构建单词注意力机制、提取单词不同的贡献程度具体包括：
umn＝tanh(Wwhmn+bw) (7)
其中，umn为打分权重，αmn为选择hmn的注意力分布，
表示hmn被选中的概率。
具体的，所述S3采用时间卷积网络，具体为：已知
是浅层特征模型提取到的第m个句子的浅层特征，其中M为评论C中短语数量的最大值。对于评论C则有输入序列
与之对应的输出序列为
即TCN中输入序列和输出序列相同；此外，假设每一层对应的卷积核为f：{0，…，k-1}→R，那么第r层膨胀卷积如下所示：
其中，lr为膨胀因子，可以大到(k-1)r-1从而获取更大的感受野；
公式(10)为一层时间卷积层，而时间卷积网络是由多个时间卷积层叠加构造而成的，使用残差的方式对层间进行连接，如下所示：
Fs＝Activation(Fw+F(Fw)) (11)
其中，
最后为了进一步挖掘评论C中不同短语
的深层隐藏特征以及所蕴含的辅助信息，使用公式(1)-(2)所示的注意力机制对
进行分析：
具体的，所述S4使用softmax函数作为预测器，先使用线性模型对Fm进行数据归一化，如下所示：
F′m＝ω′Fm+b′ (15)
其中，w′和b′为可学习的参数。紧接着，使用softmax函数对F′m进行分析，得到最终的预测分类Y′m，如下所示：
Y′m＝tanh(w″F′m+b″) (16)
其中，w″和b″为可学习的参数。
另外，所述基于“单词-短语”注意力机制的情感分类方法还包括定义损失函数以及迭代训练优化，具体包括：采用交叉熵作为损失函数，该函数可有效优化分类问题，所述交叉熵函数如下所示：
其中，Ym为与历史数据集对应的真实情感分类。
为了验证本实施例所述的基于“单词-短语”注意力机制的情感分类方法(简称“SC-WPAtt方法”)的有效性，本发明在AG’s News数据集以及谷歌公布的50维的word2vec向量集合1上构建了系列评测实验。AG’s News数据集从2000多个新闻网站收集了超过100万篇新闻文章，并且映射到了4个分类当中，符合基于文本的情感分类的要求。实验环境细节为：操作***使用CentOS 7.5，硬件环境使用NVIDIA’s K80计算卡，软件平台为PyTorch0.4.0。此外，模型核心参数设置为：批次数量为128、学习率为0.001、SGD的动量因子为0.9。
本发明使用HN-Att(层次注意网络，Hierarchical-Attention-Network)作为对比方法，该方法是一种基于深度学习的情感分析方法，优势在于提出一种层次注意力机制，在构建文档表示时能够区别地关注更多和不那么重要的内容，以便从文档中挖掘更多辅助信息完成分档分类。此外，本发明使用正确率作为评价分类算法的评价指标，其运算公式为：Accuracy＝(TP+TN)/(TP+FP+TN+FN)。其中TP表示将正样本预测为正类别的数量，TN表示将负样本预测为负类别的数量，FP表示将负样本错误地预测为正类别的数量，FN表示将正样本预测为负类别的数量。
本发明从正确率和训练时长2个角度，对SC-WPAtt方法和HN-Att方法进行评测。每个实验在分别对迭代次数为20，25，30，35的情况进行了评测。如图2所示，本发明所提出的SC-WPAtt方法准确率高于HN-Att方法，说明本发明所提出的基于单词注意力机制的浅层特征提取模型和基于短语注意力机制的深层提取模型是有效的。说明它们考虑了单词、短语(组合单词)和整体评论所蕴含的辅助信息以及不同贡献程度，能够有效提升特征提取精度。如图3所示，本发明所提出的SC-WPAtt方法所用的训练时间低于HN-Att方法，说明引入TCN不仅能保持对序列特征提取的精度，还能简化网络结构占用更少的计算资源。
为了快速有效识别民众的情绪，为政府部门在COVID-19疫情期间有效引导舆论提供有效参考。本发明首先引入基于TCN构建了基础神经网络，在保持CNN较高特征提取精度的情况下，以更低的计算资源实现了对序列数据的处理。其次，提出基于单词注意力机制的浅层特征提取模型从单词级别提取细粒度的特征，最后提出基于短语注意力机制的深层特征提取模型，从粗粒度读取了短语以及整体评论的特征。实验表明，本发明所提的SC-WPAtt方法无论在正确率或者训练时长上都优于HN-Att方法。
上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。
Claims (12)
1.一种基于“单词-短语”注意力机制的情感分类***，其特征在于：其包括文本数据预处理模型、基于单词注意力机制的浅层特征提取模型、基于短语注意力机制的深层特征提取模型和情感分类预测器；
所述文本数据预处理模型用于实现对文本数据的预处理，将每一个单词映射为词向量；
所述基于单词注意力机制的浅层特征提取模型包括构建Bi-GRU网络结构及构建单词注意力机制，提取单词不同的贡献程度，所述Bi-GRU网络结构用于得到文本的前向隐藏状态以及后向隐藏状态，使用串联的方式计算得到当前时刻总的状态，从而提取到细粒度的辅助信息以及尽可能多的核心词汇；
所述基于短语注意力机制的深层特征提取模型，用于从深层次挖掘核心词汇形成的短语级词向量蕴含的辅助信息，以及获取短语之间的序贯特征，即所述评论文本对应的表达特征；
所述情感分类预测器用于根据所述评论文本对应的表达特征预测其对应的情感分类。
2.根据权利要求1所述的***，其特征在于，所述文本数据预处理模型采用Word2vec模型，具体用于：将每一个单词w映射为词向量e，其中，将第m个句子的第n个单词wmn映射为了emn，且emn∈Em，其中Em为句子sm的词向量。
3.根据权利要求2所述的***，其特征在于，所述基于单词注意力机制的浅层特征提取模型用于是构建Bi-GRU和构建单词注意力机制、提取单词不同的贡献程度；所述构建Bi-GRU具体包括：GRU由更新门z和重置门r组成，更新门z表示以前的状态信息
是否需要更新，重置门r表示以前的状态信息
是否需要重置，其原理如下公式所示：
zt＝σ(WzEm+Uzht-1) (1)
rt＝σ(WtEm+Utht-1) (2)
其中，
为向量元素乘积，σ(·)为logistic函数，
为当前时刻的候选状态，zt为当前时刻的更新门，rt为当前时刻的重置门，Wz、Uz、Wt、Ut、W和U为可学习的网络参数，Bi-GRU包含从句子sm的第1个单词wm1到最后1个单词wmN前向
以及从句子sm的最后1个单词wmN到第1个单词wi1的
经过公式(5)和公式(6)运算之后得到前向隐藏状态
以及后向隐藏状态
那么使用串联的方式计算得到当前时刻总的状态
所述构建单词注意力机制、提取单词不同的贡献程度具体包括：
umn＝tanh(Wwhmn+bw) (7)
其中，umn为打分权重，αmn为选择hmn的注意力分布，
表示hmn被选中的概率。
4.根据权利要求3所述的***，其特征在于，所述基于短语注意力机制的深层特征提取模型采用时间卷积网络，具体用法为：已知
是浅层特征模型提取到的第m个句子的浅层特征，其中M为文本C中短语数量的最大值，对于评
论C则有输入序列与之对应的输出序列为
即TCN中输入序列和输出序列相同；此外，假设每一层对应的卷积核为f：{0，…，k-1}→R，那么第r层膨胀卷积如下所示：
其中，lr为膨胀因子，可以大到(k-1)r-1从而获取更大的感受野；
公式(10)为一层时间卷积层，而时间卷积网络是由多个时间卷积层叠加构造而成的，使用残差的方式对层间进行连接，如下所示：
Fs＝Activation(Fw+F(Fw)) (11)
其中，
最后为了进一步挖掘评论C中不同短语
的深层隐藏特征以及所蕴含的辅助信息，使用公式(1)-(2)所示的注意力机制对
进行分析：
5.根据权利要求4所述的***，其特征在于，所述情感分类预测器具体用于：使用softmax函数作为预测器，先使用线性模型对Fm进行数据归一化，如下所示：
F′m＝w′Fm+b′ (15)
其中，w′和b′为可学习的参数。紧接着，使用softmax函数对F′m进行分析，得到最终的预测分类Y′m，如下所示：
Y′m＝tanh(w″F′m+b″) (16)
其中，w″和b″为可学习的参数。
6.根据权利要求1至5任一所述的***，其特征在于，所述基于“单词-短语”注意力机制的情感分类***还包括定义损失函数以及迭代训练优化模块，具体包括：采用交叉熵作为损失函数，该函数可有效优化分类问题，所述交叉熵函数如下所示：
其中，Ym为与历史数据集对应的真实情感分类。
7.一种基于“单词-短语”注意力机制的情感分类方法，其特征在于，其包括以下步骤：
S1、对文本数据进行预处理，将每一个单词映射为词向量；
S2、构建Bi-GRU网络结构及构建单词注意力机制，提取单词不同的贡献程度，所述Bi-GRU网络结构用于得到文本的前向隐藏状态以及后向隐藏状态，使用串联的方式计算得到当前时刻总的状态，从而提取到细粒度的辅助信息以及尽可能多的核心词汇；
S3、从深层次挖掘核心词汇形成的短语级词向量蕴含的辅助信息，以及获取短语之间的序贯特征，即所述评论文本对应的表达特征；
S4、根据所述评论文本对应的表达特征预测其对应的情感分类。
8.根据权利要求7所述的方法，其特征在于，所述S1采用Word2vec模型，将每一个单词w映射为词向量e，其中，将第m个句子的第n个单词wmn映射为了emn，且emn∈Em，其中Em为句子sm的词向量。
9.根据权利要求8所述的方法，其特征在于，所述S2包括构建Bi-GRU和构建单词注意力机制、提取单词不同的贡献程度；所述构建Bi-GRU具体包括：GRU由更新门z和重置门r组成，更新门z表示以前的状态信息
是否需要更新，重置门r表示以前的状态信息
是否需要重置，其原理如下公式所示：
zt＝σ(WzEm+Uzht-1) (1)
rt＝σ(WtEm+Utht-1) (2)
其中，
为向量元素乘积，σ(·)为logistic函数，
为当前时刻的候选状态，zt为当前时刻的更新门，rt为当前时刻的重置门，Wz、Uz、Wt、Ut、W和U为可学习的网络参数，Bi-GRU包含从句子sm的第1个单词wm1到最后1个单词wmN前向
以及从句子sm的最后1个单词wmN到第1个单词wi1的
经过公式(5)和公式(6)运算之后得到前向隐藏状态
以及后向隐藏状态
那么使用串联的方式计算得到当前时刻总的状态
所述构建单词注意力机制、提取单词不同的贡献程度具体包括：
umn＝tanh(Wwumn+bw) (7)
其中，umn为打分权重，αmn为选择hmn的注意力分布，
表示hmn被选中的概率。
10.根据权利要求9所述的方法，其特征在于，所述S3采用时间卷积网络，具体为：已知
是浅层特征模型提取到的第m个句子的浅层特征，其中M为评论C中短语数量的最大值。对于评论C则有输入序列
与之对应的输出序列为
即TCN中输入序列和输出序列相同；此外，假设每一层对应的卷积核为f：{0，…，k-1}→R，那么第r层膨胀卷积如下所示：
其中，lr为膨胀因子，可以大到(k-1)r-1从而获取更大的感受野；
公式(10)为一层时间卷积层，而时间卷积网络是由多个时间卷积层叠加构造而成的，使用残差的方式对层间进行连接，如下所示：
Fs＝Activation(Fw+F(Fw)) (11)
其中，
最后为了进一步挖掘评论C中不同短语
的深层隐藏特征以及所蕴含的辅助信息，使用公式(1)-(2)所示的注意力机制对
进行分析：
11.根据权利要求10所述的方法，其特征在于，所述S4使用softmax函数作为预测器，先使用线性模型对Fm进行数据归一化，如下所示：
F′m＝w′Fm+b′ (15)
其中，w′和b′为可学习的参数。紧接着，使用softmax函数对F′m进行分析，得到最终的预测分类Y′m，如下所示：
Y′m＝tanh(w″F′m+b″) (16)
其中，w″和b″为可学习的参数。
12.根据权利要求7至11任一所述的方法，其特征在于，，所述基于“单词-短语”注意力机制的情感分类方法还包括定义损失函数以及迭代训练优化，具体包括：采用交叉熵作为损失函数，该函数可有效优化分类问题，所述交叉熵函数如下所示：
其中，Ym为与历史数据集对应的真实情感分类。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111202671.2A CN113869065B (zh) | 2021-10-15 | 2021-10-15 | 一种基于“单词-短语”注意力机制的情感分类方法和*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111202671.2A CN113869065B (zh) | 2021-10-15 | 2021-10-15 | 一种基于“单词-短语”注意力机制的情感分类方法和*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113869065A true CN113869065A (zh) | 2021-12-31 |
| CN113869065B CN113869065B (zh) | 2024-04-12 |
Family
ID=78999723
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111202671.2A Active CN113869065B (zh) | 2021-10-15 | 2021-10-15 | 一种基于“单词-短语”注意力机制的情感分类方法和*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113869065B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115694985A (zh) * | 2022-10-31 | 2023-02-03 | 北京工业大学 | 基于tmb的混合网络流量攻击预测方法 |
Citations (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108363753A (zh) * | 2018-01-30 | 2018-08-03 | 南京邮电大学 | 评论文本情感分类模型训练与情感分类方法、装置及设备 |
| CN108446813A (zh) * | 2017-12-19 | 2018-08-24 | 清华大学 | 一种电商服务质量综合评价的方法 |
| CN109558487A (zh) * | 2018-11-06 | 2019-04-02 | 华南师范大学 | 基于层次性多注意力网络的文档分类方法 |
| CN110059188A (zh) * | 2019-04-11 | 2019-07-26 | 四川黑马数码科技有限公司 | 一种基于双向时间卷积网络的中文情感分析方法 |
| CN110442860A (zh) * | 2019-07-05 | 2019-11-12 | 大连大学 | 基于时间卷积网络的命名实体识别方法 |
| CN110457480A (zh) * | 2019-08-16 | 2019-11-15 | 国网天津市电力公司 | 基于交互式注意力机制的细粒度情感分类模型的构建方法 |
| US20190354835A1 (en) * | 2018-05-17 | 2019-11-21 | International Business Machines Corporation | Action detection by exploiting motion in receptive fields |
| CN110807320A (zh) * | 2019-11-11 | 2020-02-18 | 北京工商大学 | 基于cnn双向gru注意力机制的短文本情感分析方法 |
| CN111078833A (zh) * | 2019-12-03 | 2020-04-28 | 哈尔滨工程大学 | 一种基于神经网络的文本分类方法 |
| CN111477221A (zh) * | 2020-05-28 | 2020-07-31 | 中国科学技术大学 | 采用双向时序卷积与自注意力机制网络的语音识别*** |
| CN111522956A (zh) * | 2020-05-08 | 2020-08-11 | 河南理工大学 | 基于双通道和层次化注意力网络的文本情感分类方法 |
| CN111784081A (zh) * | 2020-07-30 | 2020-10-16 | 南昌航空大学 | 一种采用知识图谱嵌入和时间卷积网络的社交网络链路预测方法 |
| CN111858945A (zh) * | 2020-08-05 | 2020-10-30 | 上海哈蜂信息科技有限公司 | 基于深度学习的评论文本方面级情感分类方法及*** |
| US20200364554A1 (en) * | 2018-02-09 | 2020-11-19 | Baidu Usa Llc | Systems and methods for deep localization and segmentation with a 3d semantic map |
| CN112348124A (zh) * | 2021-01-05 | 2021-02-09 | 北京航空航天大学 | 一种基于数据驱动的微小故障诊断方法及装置 |
| CN112365040A (zh) * | 2020-11-03 | 2021-02-12 | 哈尔滨工业大学 | 一种基于多通道卷积神经网络和时间卷积网络的短期风电功率预测方法 |
| CN112417098A (zh) * | 2020-11-20 | 2021-02-26 | 南京邮电大学 | 基于CNN-BiMGU模型的短文本情感分类方法 |
| CN112487191A (zh) * | 2020-12-16 | 2021-03-12 | 清华大学 | 基于CNN-BiLSTM/BiGRU混联组合模型的文本分类方法和装置 |
| CN112711664A (zh) * | 2020-12-31 | 2021-04-27 | 山西三友和智慧信息技术股份有限公司 | 一种基于tcn+lstm的文本情感分类方法 |
| CN112884134A (zh) * | 2021-04-01 | 2021-06-01 | 山西云芯新一代信息技术研究院有限公司 | 面向地震震相识别的基于时域的卷积神经网络模型及应用 |
| CN112927781A (zh) * | 2021-02-10 | 2021-06-08 | 杭州医典智能科技有限公司 | 一种基于自然语言处理和时序卷积网络的抑郁症检测方法 |
| US20210272571A1 (en) * | 2020-02-27 | 2021-09-02 | Medixin Inc. | Systems and methods for audio processing |
| US20220358904A1 (en) * | 2019-03-20 | 2022-11-10 | Research Foundation Of The City University Of New York | Method for extracting speech from degraded signals by predicting the inputs to a speech vocoder |
-
2021
- 2021-10-15 CN CN202111202671.2A patent/CN113869065B/zh active Active
Patent Citations (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108446813A (zh) * | 2017-12-19 | 2018-08-24 | 清华大学 | 一种电商服务质量综合评价的方法 |
| CN108363753A (zh) * | 2018-01-30 | 2018-08-03 | 南京邮电大学 | 评论文本情感分类模型训练与情感分类方法、装置及设备 |
| US20200364554A1 (en) * | 2018-02-09 | 2020-11-19 | Baidu Usa Llc | Systems and methods for deep localization and segmentation with a 3d semantic map |
| US20190354835A1 (en) * | 2018-05-17 | 2019-11-21 | International Business Machines Corporation | Action detection by exploiting motion in receptive fields |
| CN109558487A (zh) * | 2018-11-06 | 2019-04-02 | 华南师范大学 | 基于层次性多注意力网络的文档分类方法 |
| US20220358904A1 (en) * | 2019-03-20 | 2022-11-10 | Research Foundation Of The City University Of New York | Method for extracting speech from degraded signals by predicting the inputs to a speech vocoder |
| CN110059188A (zh) * | 2019-04-11 | 2019-07-26 | 四川黑马数码科技有限公司 | 一种基于双向时间卷积网络的中文情感分析方法 |
| CN110442860A (zh) * | 2019-07-05 | 2019-11-12 | 大连大学 | 基于时间卷积网络的命名实体识别方法 |
| CN110457480A (zh) * | 2019-08-16 | 2019-11-15 | 国网天津市电力公司 | 基于交互式注意力机制的细粒度情感分类模型的构建方法 |
| CN110807320A (zh) * | 2019-11-11 | 2020-02-18 | 北京工商大学 | 基于cnn双向gru注意力机制的短文本情感分析方法 |
| CN111078833A (zh) * | 2019-12-03 | 2020-04-28 | 哈尔滨工程大学 | 一种基于神经网络的文本分类方法 |
| US20210272571A1 (en) * | 2020-02-27 | 2021-09-02 | Medixin Inc. | Systems and methods for audio processing |
| CN111522956A (zh) * | 2020-05-08 | 2020-08-11 | 河南理工大学 | 基于双通道和层次化注意力网络的文本情感分类方法 |
| CN111477221A (zh) * | 2020-05-28 | 2020-07-31 | 中国科学技术大学 | 采用双向时序卷积与自注意力机制网络的语音识别*** |
| CN111784081A (zh) * | 2020-07-30 | 2020-10-16 | 南昌航空大学 | 一种采用知识图谱嵌入和时间卷积网络的社交网络链路预测方法 |
| CN111858945A (zh) * | 2020-08-05 | 2020-10-30 | 上海哈蜂信息科技有限公司 | 基于深度学习的评论文本方面级情感分类方法及*** |
| CN112365040A (zh) * | 2020-11-03 | 2021-02-12 | 哈尔滨工业大学 | 一种基于多通道卷积神经网络和时间卷积网络的短期风电功率预测方法 |
| CN112417098A (zh) * | 2020-11-20 | 2021-02-26 | 南京邮电大学 | 基于CNN-BiMGU模型的短文本情感分类方法 |
| CN112487191A (zh) * | 2020-12-16 | 2021-03-12 | 清华大学 | 基于CNN-BiLSTM/BiGRU混联组合模型的文本分类方法和装置 |
| CN112711664A (zh) * | 2020-12-31 | 2021-04-27 | 山西三友和智慧信息技术股份有限公司 | 一种基于tcn+lstm的文本情感分类方法 |
| CN112348124A (zh) * | 2021-01-05 | 2021-02-09 | 北京航空航天大学 | 一种基于数据驱动的微小故障诊断方法及装置 |
| CN112927781A (zh) * | 2021-02-10 | 2021-06-08 | 杭州医典智能科技有限公司 | 一种基于自然语言处理和时序卷积网络的抑郁症检测方法 |
| CN112884134A (zh) * | 2021-04-01 | 2021-06-01 | 山西云芯新一代信息技术研究院有限公司 | 面向地震震相识别的基于时域的卷积神经网络模型及应用 |
Non-Patent Citations (9)
| Title |
|---|
| GUANGYAO PANG等: "A novel sentiment classification based on "word-phrase" attention mechanism", 2021 IEEE 24TH INTERNATIONAL CONFERENCE ON COMPUTATIONAL SCIENCE AND ENGINEERING, 8 March 2022 (2022-03-08), pages 51 * |
| 吴南方: "基于循环神经网络的集群意图识别方法研究", 中国优秀硕士学位论文全文数据库工程科技Ⅱ辑, no. 3, 15 March 2020 (2020-03-15), pages 032 - 15 * |
| 宋振振等: "基于时序卷积网络的情感识别算法", 华东理工大学学报, vol. 46, no. 4, 16 October 2019 (2019-10-16), pages 564 * |
| 施浩杰等: "一种改进时序卷积网络的序列推荐方法", 《小型微型计算机***》 * |
| 施浩杰等: "一种改进时序卷积网络的序列推荐方法", 《小型微型计算机***》, vol. 42, no. 7, 7 July 2021 (2021-07-07), pages 1382 * |
| 施浩杰等: "一种改进时序卷积网络的序列推荐方法", 小型微型计算机***, vol. 42, no. 7, pages 1382 * |
| 范裕莹等: "基于改进TCN模型的野外运动目标分类", 《计算机工程》 * |
| 范裕莹等: "基于改进TCN模型的野外运动目标分类", 《计算机工程》, vol. 47, no. 9, 30 September 2021 (2021-09-30), pages 106 * |
| 范裕莹等: "基于改进TCN模型的野外运动目标分类", 计算机工程, vol. 47, no. 9, pages 106 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115694985A (zh) * | 2022-10-31 | 2023-02-03 | 北京工业大学 | 基于tmb的混合网络流量攻击预测方法 |
| CN115694985B (zh) * | 2022-10-31 | 2024-07-09 | 北京工业大学 | 基于tmb的混合网络流量攻击预测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113869065B (zh) | 2024-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108984526B (zh) | 一种基于深度学习的文档主题向量抽取方法 | |
| CN109992782B (zh) | 法律文书命名实体识别方法、装置及计算机设备 | |
| Yao et al. | An improved LSTM structure for natural language processing | |
| Sivakumar et al. | Review on word2vec word embedding neural net | |
| CN110287323B (zh) | 一种面向目标的情感分类方法 | |
| CN113505200B (zh) | 一种结合文档关键信息的句子级中文事件检测的方法 | |
| CN111858932A (zh) | 基于Transformer的多重特征中英文情感分类方法及*** | |
| Wu et al. | Sentiment classification using attention mechanism and bidirectional long short-term memory network | |
| CN110110324A (zh) | 一种基于知识表示的生物医学实体链接方法 | |
| CN111753058B (zh) | 一种文本观点挖掘方法及*** | |
| CN108874896B (zh) | 一种基于神经网络和幽默特征的幽默识别方法 | |
| CN113392209B (zh) | 一种基于人工智能的文本聚类方法、相关设备及存储介质 | |
| CN110879834B (zh) | 一种基于循环卷积网络的观点检索***及其观点检索方法 | |
| CN112561718A (zh) | 基于BiLSTM权重共享的案件微博评价对象情感倾向性分析方法 | |
| CN113761890A (zh) | 一种基于bert上下文感知的多层级语义信息检索方法 | |
| CN114818717A (zh) | 融合词汇和句法信息的中文命名实体识别方法及*** | |
| CN113742733A (zh) | 阅读理解漏洞事件触发词抽取和漏洞类型识别方法及装置 | |
| Liu et al. | Drug-drug interaction extraction based on transfer weight matrix and memory network | |
| CN114356990A (zh) | 基于迁移学习的基地命名实体识别***及方法 | |
| CN114925687A (zh) | 一种基于动态词向量表征的中文作文评分方法及*** | |
| CN113869065B (zh) | 一种基于“单词-短语”注意力机制的情感分类方法和*** | |
| Göker et al. | Neural text normalization for turkish social media | |
| CN116644760A (zh) | 一种基于Bert模型和双通道模型的对话文本情感分析方法 | |
| Yang et al. | Multi-applicable text classification based on deep neural network | |
| Derbentsev et al. | Sentiment analysis of electronic social media based on deep learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |