CN110096587B - 基于注意力机制的lstm-cnn词嵌入的细粒度情感分类模型 - Google Patents
基于注意力机制的lstm-cnn词嵌入的细粒度情感分类模型 Download PDFInfo
- Publication number
- CN110096587B CN110096587B CN201910026957.6A CN201910026957A CN110096587B CN 110096587 B CN110096587 B CN 110096587B CN 201910026957 A CN201910026957 A CN 201910026957A CN 110096587 B CN110096587 B CN 110096587B
- Authority
- CN
- China
- Prior art keywords
- sentence
- lstm
- cnn
- vector
- word
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了基于注意力机制的LSTM‑CNN词嵌入的细粒度情感分类模型。本发明用一般的LSTM提取到的特征与指定角度的相关性不大导致情感分类准确率降低的问题。本发明采用的技术方案是,将CNN与LSTM进行结合,同时利用CNN识别局部特征的能力和LSTM利用文本序列的能力,用LSTM获取句子表示,将LSTM的输出馈送给CNN作为输入。通过CNN的卷积池化操作对LSTM提取到的特征进行选择,再引入注意力机制去重点关注句中与指定方面关联程度较高的信息,最后得到句子的预测极性。同时,为了提升分类的效率,本发明在模型中输入了指定角度的词嵌入向量,提高了分类准确率。
Description
技术领域
本发明涉及情感分类领域,具体涉及一种基于注意力机制的LSTM-CNN词嵌入的细粒度情感分类模型。
背景技术
情感分析已经被广泛应用在电商网站。对消费者评论等信息进行情感分类,不仅可以挖掘用户对商品的喜好程度,给***提供购买建议,同时有利于商家及时改善产品及服务,从而提高商业价值。为了得到一条评论对商品的不同方面的评价,由此提出了细粒度情感分类。例如对句子“菜品不错但是服务一般”的情感分析结果为“菜品:积极;服务:消极”。
细粒度情感分析过程的关键通常都始于从文本中检测与指定角度相关的信息。突出于指定角度相关性大的信息,弱化不相关或者相关性较小的信息。
现有方案利用LSTM提取句子的特征,再结合注意力机制对特征打分来表现它们对指定方面情感极性的重要程度。现有方法通常采用LSTM提取句子特征,但是每个特征对句子在给定方面的情感极性的影响程度相差不大,没有凸显出与指定角度相关性较强的特征。
发明内容
本发明的目的是针对现有技术的不足,提供一种对评论文本进行细粒度情感分类的方法。提出基于注意力机制的LSTM-CNN词嵌入的细粒度情感分类模型,以解决对句子在给定角度下进行情感分析时准确率低的问题。
基于注意力机制的LSTM-CNN词嵌入的细粒度情感分类模型,其特征在于包括如下步骤:
步骤1、对需要进行情感分类的评论文本进行预分类处理;
步骤2、用LSTM模型对评论进行句子表示,获得句子的特征矩阵;
步骤3、用CNN模型对步骤2得到的特征矩阵执行卷积核池化操作,筛选出特征矩阵中较为突出的句子特征;
步骤4、指定一个角度词并输入相应的词嵌入向量va,让模型获取指定角度词的信息;
步骤5、利用注意力机制,针对给定的角度词的信息,从已经得到的句子特征中学习与该角度相关性较大的特征,弱化不相关的特征,突出相关联的特征;
步骤6、计算得到最终的句子表示,不同数值范围对应不同的情感极性,得到评论在指定方面的细粒度情感极性。
步骤1具体实现如下:
1.1将爬取自网络的评论信息整合成数据集;
1.2对数据集进行清洗:去掉标点符号、表情符、英文字符,然后引用停用词典去掉停用词;
1.3用现有的分词工具LTP对清洗后的数据集中的每一条评论进行分词;
1.4用W2V词向量模型将分词后的每一条评论表示为词向量形式s=[w1,w2,...,wN],N是句子长度,wi是词向量。
步骤2具体实现如下:
2.1用一个初始的LSTM模型对固定长度的句子输入进行编码,如果句子编码后的向量长度不够,则末尾用数字0进行补齐;
2.2 LSTM隐藏层的输出是隐藏层特征矩阵[h1,h2,...,hN],表示句子级别特征;隐藏层特征hi,i∈[1,N]与词向量wi是一一对应的关系。
步骤3具体实现如下:
CNN层的输入是LSTM的隐藏层输出;设置3种长度的滤波器,长度分别是1、2和3;每种长度的滤波器数量都是200个;滤波器将滑过输入的特征矩阵,滑动窗口的长度就是滤波器的长度;每种长度的滤波器都会得到200个特征矩阵,称为特征映射;运用激活函数Rule使得600个特征映射都被表示成单列的向量;然后应用最大池化操作从每个特征映射中选择值最大的特征;每个特征映射都会被表示成一个单独的值;最后将对应相同长度滤波器的特征映射被连接到一起,由此得到一个新的特征映射c=[c1,c2,...cN]。
步骤5具体实现如下:
步骤5.利用注意力机制,针对步骤4中给定的角度词的信息,从已经得到的句子特征c=[c1,c2,...cN]中学习与角度词的信息相关性较大的特征,弱化不相关的特征,突出相关联的特征,具体实现如下:
5.1步骤3中获得的每个特征映射c1都与角度词的词向量va进行拼接获得M;
5.2通过计算α=softmax(ωTM),得到注意力权重向量α=[α1,α2,...,αN],ω是模型在训练过程中需要学习的参数;紧接着,得到加权隐藏表示r;通过给定方面的最终句子表示根据如下得到:r=CαT。
步骤6具体实现如下:
步骤6.添加一个线性层,将步骤5.2中的句子表示转换成长度等于情感类别数的向量;计算得到最终的句子表示,构成向量的数值分别对应不同的情感极性,不同数值范围对应不同的情感极性,其中最大的值所对应的情感极性就是这条评论在指定角度的细粒度情感极性。
本发明的优点及有益效果如下:
本发明主要为了解决对文本评论进行细粒度的情感分析时,用一般的LSTM提取到的特征与指定角度的相关性不大导致情感分类准确率降低的问题。本发明采用的技术方案是,用LSTM获取句子表示,将LSTM的输出馈送给CNN作为输入。通过CNN的卷积池化操作对LSTM提取到的特征进行选择,再引入注意力机制去重点关注句中与指定方面关联程度较高的信息,最后得到句子的预测极性。同时,为了提升分类的效率,基于注意力机制的LSTM-CNN词嵌入的细粒度情感分类模型在模型中输入了指定角度的词嵌入向量,提高了分类准确率。
附图说明
图1是本发明所述方法的流程框图。
图2是本发明所述模型方法的架构图。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1和图2,基于注意力机制的LSTM-CNN词嵌入的细粒度情感分类模型,包括以下步骤:
步骤1.对待分类的文本进行预分类处理:
1.1将爬取自网络的评论信息整合成数据集;
1.2对数据集进行清洗:去掉标点符号、表情符、英文字符,然后引用停用词典去掉停用词;
1.3用现有的分词工具LTP对清洗后的数据集中的每一条评论进行分词;
1.4用W2V词向量模型将分词后的每一条评论表示为词向量形式s=[w1,w2,...,wN],N是句子长度,wi是词向量。
步骤2.用LSTM模型对评论进行句子表示,获得句子特征;
2.1用一个初始的LSTM模型对固定长度的句子输入进行编码,如果句子编码后的向量长度不够,则末尾用数字0进行补齐;
2.2 LSTM隐藏层的输出是隐藏层特征矩阵[h1,h2,...,hN],表示句子级别特征;隐藏层特征hi,i∈[1,N]与词向量wi是一一对应的关系;
步骤3.用CNN模型对步骤2得到的隐藏层特征执行卷积核池化操作,筛选出较为突出的句子特征;
CNN层的输入是LSTM的隐藏层输出。设置3种长度的滤波器,长度分别是1、2和3。每种长度的滤波器数量都是200个。滤波器将滑过输入的特征矩阵,滑动窗口的长度就是滤波器的长度。每种长度的滤波器都会得到200个特征矩阵,称为特征映射。运用激活函数Rule使得600个特征映射都被表示成单列的向量。然后应用最大池化操作从每个特征映射中选择值最大的特征。每个特征映射都会被表示成一个单独的值,大大地降低了特征的维度。最后将对应相同长度滤波器的特征映射被连接到一起,由此得到一个新的特征映射c=[c1,c2,...cN]。
步骤4.指定一个角度词如“卫生”,并输入该词的词嵌入向量va,让模型获取指定角度词的信息;
步骤5.利用注意力机制,针对步骤4中给定的角度词的信息,从已经得到的句子特征c=[c1,c2,...cN]中学习与角度词的信息相关性较大的特征,弱化不相关的特征,突出相关联的特征;
5.1步骤3中获得的每个特征映射c1都与角度词的词向量va进行拼接获得M;
5.2通过计算α=softmax(ωTM),得到注意力权重向量α=[α1,α2,...,αN],ω是模型在训练过程中需要学习的参数。紧接着,得到加权隐藏表示r。通过给定方面的最终句子表示根据如下得到:r=CαT
步骤6.添加一个线性层,将步骤5.2中的句子表示转换成长度等于情感类别数(积极、消极和中性)的向量。计算得到最终的句子表示,构成向量的数值分别对应不同的情感极性,不同数值范围对应不同的情感极性,其中最大的值所对应的情感极性就是这条评论在指定角度的细粒度情感极性。
Claims (1)
1.基于注意力机制的LSTM-CNN词嵌入的细粒度情感分类方法,其特征在于包括如下步骤:
步骤1、对需要进行情感分类的评论文本进行预分类处理;
步骤2、用LSTM模型对评论进行句子表示,获得句子的特征矩阵;
步骤3、用CNN模型对步骤2得到的特征矩阵执行卷积核池化操作,筛选出特征矩阵中较为突出的句子特征;
步骤4、指定一个角度词并输入相应的词嵌入向量va,让模型获取指定角度词的信息;
步骤5、利用注意力机制,针对给定的角度词的信息,从已经得到的句子特征中学习与该角度相关性较大的特征,弱化不相关的特征,突出相关联的特征;
步骤6、计算得到最终的句子表示,不同数值范围对应不同的情感极性,得到评论在指定方面的细粒度情感极性;
步骤1具体实现如下:
1.1将爬取自网络的评论信息整合成数据集;
1.2对数据集进行清洗:去掉标点符号、表情符、英文字符,然后引用停用词典去掉停用词;
1.3用现有的分词工具LTP对清洗后的数据集中的每一条评论进行分词;
1.4用W2V词向量模型将分词后的每一条评论表示为词向量形式s=[w1,w2,…,wN],N是句子长度,wi是词向量;
步骤2具体实现如下:
2.1用一个初始的LSTM模型对固定长度的句子输入进行编码,如果句子编码后的向量长度不够,则末尾用数字0进行补齐;
2.2LSTM隐藏层的输出是隐藏层特征矩阵[h1,h2,…,hN],表示句子级别特征;隐藏层特征hi,i∈[1,N]与词向量wi是一一对应的关系;
步骤3具体实现如下:
CNN层的输入是LSTM的隐藏层输出;设置3种长度的滤波器,长度分别是1、2和3;每种长度的滤波器数量都是200个;滤波器将滑过输入的特征矩阵,滑动窗口的长度就是滤波器的长度;每种长度的滤波器都会得到200个特征矩阵,称为特征映射;运用激活函数Rule使得600个特征映射都被表示成单列的向量;然后应用最大池化操作从每个特征映射中选择值最大的特征;每个特征映射都会被表示成一个单独的值;最后将对应相同长度滤波器的特征映射被连接到一起,由此得到一个新的特征映射C=[c1,c2,…cN];
步骤5具体实现如下:
步骤5.利用注意力机制,针对步骤4中给定的角度词的信息,从已经得到的句子特征C=[c1,c2,…cN]中学习与角度词的信息相关性较大的特征,弱化不相关的特征,突出相关联的特征,具体实现如下:
5.1步骤3中获得的每个特征映射c1都与角度词的词向量va进行拼接获得M;
5.2通过计算α=softmax(ωTM),得到注意力权重向量α=[α1,α2,…,αN],ω是模型在训练过程中需要学习的参数;紧接着,得到加权隐藏表示r;通过给定方面的最终句子表示根据如下得到:r=CαT;
步骤6具体实现如下:
步骤6.添加一个线性层,将步骤5.2中的句子表示转换成长度等于情感类别数的向量;计算得到最终的句子表示,构成向量的数值分别对应不同的情感极性,不同数值范围对应不同的情感极性,其中最大的值所对应的情感极性就是这条评论在指定角度的细粒度情感极性。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910026957.6A CN110096587B (zh) | 2019-01-11 | 2019-01-11 | 基于注意力机制的lstm-cnn词嵌入的细粒度情感分类模型 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910026957.6A CN110096587B (zh) | 2019-01-11 | 2019-01-11 | 基于注意力机制的lstm-cnn词嵌入的细粒度情感分类模型 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110096587A CN110096587A (zh) | 2019-08-06 |
CN110096587B true CN110096587B (zh) | 2020-07-07 |
Family
ID=67443690
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910026957.6A Active CN110096587B (zh) | 2019-01-11 | 2019-01-11 | 基于注意力机制的lstm-cnn词嵌入的细粒度情感分类模型 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110096587B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110704622A (zh) * | 2019-09-27 | 2020-01-17 | 北京明略软件***有限公司 | 文本情感分类方法、装置及电子设备 |
CN110795537B (zh) * | 2019-10-30 | 2022-10-25 | 秒针信息技术有限公司 | 一种确定目标商品的改进策略的方法、装置、设备和介质 |
CN111125420B (zh) * | 2019-12-25 | 2021-05-07 | 腾讯科技(深圳)有限公司 | 基于人工智能的对象推荐方法、装置及电子设备 |
CN111147396B (zh) * | 2019-12-26 | 2023-03-21 | 哈尔滨工程大学 | 一种基于序列特征的加密流量分类方法 |
CN112256866B (zh) * | 2020-09-25 | 2021-09-03 | 东北大学 | 一种基于深度学习的文本细粒度情感分析算法 |
CN115329775B (zh) * | 2022-10-14 | 2023-03-24 | 成都晓多科技有限公司 | 一种语句中方面类别及情感极性联合识别的方法及*** |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106782602A (zh) * | 2016-12-01 | 2017-05-31 | 南京邮电大学 | 基于长短时间记忆网络和卷积神经网络的语音情感识别方法 |
CN108170681A (zh) * | 2018-01-15 | 2018-06-15 | 中南大学 | 文本情感分析方法、***及计算机可读存储介质 |
CN108763216A (zh) * | 2018-06-01 | 2018-11-06 | 河南理工大学 | 一种基于中文数据集的文本情感分析方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10565305B2 (en) * | 2016-11-18 | 2020-02-18 | Salesforce.Com, Inc. | Adaptive attention model for image captioning |
-
2019
- 2019-01-11 CN CN201910026957.6A patent/CN110096587B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106782602A (zh) * | 2016-12-01 | 2017-05-31 | 南京邮电大学 | 基于长短时间记忆网络和卷积神经网络的语音情感识别方法 |
CN108170681A (zh) * | 2018-01-15 | 2018-06-15 | 中南大学 | 文本情感分析方法、***及计算机可读存储介质 |
CN108763216A (zh) * | 2018-06-01 | 2018-11-06 | 河南理工大学 | 一种基于中文数据集的文本情感分析方法 |
Non-Patent Citations (2)
Title |
---|
Attention-based LSTM for Aspect-level Sentiment Classification;Yequan Wang等;<Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing>;20161231;第606–615页 * |
TWITTER SENTIMENT ANALYSIS USING COMBINE LSTM-CNN MODELS;无;《http://konukoii.com/blog/2018/02/19/twitter-sentiment-analysis-using-combined-lstm-cnn-models/》;20180220;第1-5页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110096587A (zh) | 2019-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110096587B (zh) | 基于注意力机制的lstm-cnn词嵌入的细粒度情感分类模型 | |
CN109241255B (zh) | 一种基于深度学习的意图识别方法 | |
CN110209823B (zh) | 一种多标签文本分类方法及*** | |
CN108829801B (zh) | 一种基于文档级别注意力机制的事件触发词抽取方法 | |
CN108399158B (zh) | 基于依存树和注意力机制的属性情感分类方法 | |
CN110059188B (zh) | 一种基于双向时间卷积网络的中文情感分析方法 | |
CN110287320A (zh) | 一种结合注意力机制的深度学习多分类情感分析模型 | |
CN109902177B (zh) | 基于双通道卷积记忆神经网络的文本情感分析方法 | |
CN108446271B (zh) | 基于汉字部件特征的卷积神经网络的文本情感分析方法 | |
CN110929034A (zh) | 一种基于改进lstm的商品评论细粒度情感分类方法 | |
CN108984530A (zh) | 一种网络敏感内容的检测方法及检测*** | |
CN109598586B (zh) | 一种基于注意力模型的推荐方法 | |
CN110619044B (zh) | 一种情感分析方法、***、存储介质及设备 | |
CN105205124B (zh) | 一种基于随机特征子空间的半监督文本情感分类方法 | |
CN107451118A (zh) | 基于弱监督深度学习的句子级情感分类方法 | |
CN111259153B (zh) | 一种完全注意力机制的属性级情感分析方法 | |
CN110472245B (zh) | 一种基于层次化卷积神经网络的多标记情绪强度预测方法 | |
CN110704606A (zh) | 一种基于图文融合的生成式摘要生成方法 | |
CN113673254B (zh) | 基于相似度保持的知识蒸馏的立场检测方法 | |
CN110046353B (zh) | 一种基于多语言层次机制的方面级情感分析方法 | |
CN110046356B (zh) | 标签嵌入的微博文本情绪多标签分类方法 | |
CN112069320B (zh) | 一种基于跨度的细粒度情感分析方法 | |
CN110851601A (zh) | 基于分层注意力机制的跨领域情感分类***及方法 | |
CN112256866A (zh) | 一种基于深度学习的文本细粒度情感分析方法 | |
CN113987187A (zh) | 基于多标签嵌入的舆情文本分类方法、***、终端及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |