CN112883167A - 基于层次化自制力机制胶囊网络的文本情感分类模型 - Google Patents
基于层次化自制力机制胶囊网络的文本情感分类模型 Download PDFInfo
- Publication number
- CN112883167A CN112883167A CN202110292481.8A CN202110292481A CN112883167A CN 112883167 A CN112883167 A CN 112883167A CN 202110292481 A CN202110292481 A CN 202110292481A CN 112883167 A CN112883167 A CN 112883167A
- Authority
- CN
- China
- Prior art keywords
- network
- attention
- text
- hierarchical
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000002775 capsule Substances 0.000 title claims abstract description 34
- 230000008451 emotion Effects 0.000 title abstract description 10
- 238000013145 classification model Methods 0.000 title description 2
- 238000010248 power generation Methods 0.000 title description 2
- 238000003062 neural network model Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 abstract description 16
- 238000000034 method Methods 0.000 abstract description 8
- 238000013528 artificial neural network Methods 0.000 abstract description 6
- 230000007547 defect Effects 0.000 abstract description 4
- 230000002996 emotional effect Effects 0.000 abstract description 2
- 239000013598 vector Substances 0.000 description 5
- 238000003058 natural language processing Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000000306 recurrent effect Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000002457 bidirectional effect Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000005096 rolling process Methods 0.000 description 3
- 241000282414 Homo sapiens Species 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
针对胶囊网络和层次化注意力网络的不足，提出了基于层次化自注意力网络和胶囊网络的混合神经网络。本发明的目的是为了融合胶囊网络、层次化模型和注意力机制各自的优势，在层次化注意力网络中引入自注意力机制来增强模型的特征表达能力同时减少外部参数依赖，使模型能够学到更多的文本自身关键特征。使用层次化自注意力网络从单词、句子两个层次对文本进行情感建模，同时选择性地关注文本中重要的单词和句子。使用胶囊网络编码文本间部分与整体的空间关联关系，提取更丰富的文本情感特征，融合两者优势提升分类性能。
Description
技术领域
本发明属于自然语言处理领域，应用于情感分析任务。
背景技术
一、名词解释：1.文本情感分析(SentimentAnalysis)：是指利用自然语言处理和文本挖掘技术，对带有情感色彩的主观性文本进行分析、处理和抽取的过程。
2.胶囊网络(convolutionalneuralnetworks)：2017年，Hinton团队提出胶囊网络，首次将标量型网络扩展到矢量，并运用动态路由算法进行胶囊之间的传递计算。最早被用于图像处理领域，后来被用于自然语言处理任务中，如用于文本情感分类，相较于卷积神经网络保留了更多的文本语义信息。
3.双向GRU网络(Bidirectional Gated Recurrent Unit)：为了解决标准RNN(循环神经网络)的梯度消息问题，GRU使用了更新门(update gate)与重置门(resetgate)。这两个门控机制的特殊之处在于，它们能够保存长期序列中的信息，且不会随时间而清除或因为与预测不相关而移除。
4.自注意力机制(self-attention Mechanism)：源于对人类视觉的研究。在认知科学中，由于信息处理的瓶颈，人类会选择性地关注所有信息的一部分，同时忽略其他可见的信息；后来有人把这个思想运用到图像处理和自然语言处理当中，并取得了不错的效果，引入自注意力机制的目的是为了更好地关注那些对情感分类重要的单词。
二、现有技术：1.(1)基于RNN的文本情感分类方法：Socher等使用树形结构的LSTM(长短期记忆网络)网络来改善语义表示，其中的记忆单元能够保存实例之间的联系，从而捕获单词之间的关系；Cho等提出了GRU单元，相较于LSTM模型参数更少，训练更为快速，能够捕获全局语义特征。(2)层次化神经网络与注意力机制结合的情感分析方法：Tang 等建立理论一种层次化模型，使用卷积神经网络和LSTM从词和句子两个角度获取篇章的特征表示。Yang等将注意力机制与层次化模型相结合，利用注意力机制分别关注句子中的关键词和篇章中的关键句子。(3)胶囊网络：2011年，GeoffreyHinton等在一篇名为《变换自动编码器》的论文中首次引入胶囊网络。2018年，Zhao等首次提出将胶囊网络应用于文本分类任务中，在多个数据集上分类性能超越了一般神经网络模型。同年，Kim等根据文本属性提出了基于静态路由机制的胶囊网络，有效降低计算复杂度的同时提高了分类性能。
2.CapsNet模型：该模型将胶囊网络应用于文本分类任务，模型包含以下四层：输入层，将文本以词向量形式输入至网络中；卷积层，该层使用了卷积控制模块，该思想来源于循环神经网络LSTM和GRU的门控机制，目的是筛除噪音信息，更好的提取文本局部特征；卷积胶囊层：由于文本的高度可变性，该层将传统动态算法改进为静态路由算法，得到文本的全局语义特征；分类胶囊层：输出文本的预测标签。
3.层次化注意力模型：此类方法多以循环神经网络模型为基础，结合注意力构建层次化的模型。模型从词语、句子两个层次对文本进行建模，使用循环神经网络对文本进行特征提取，注意力机制分别关注重要的单词和句子，最后对文本进行分类。
三、技术问题：1.虽然胶囊网络在一定程度上改进了传统卷积神经网络的弊端，但本质上仍是通过卷积运算提取文本局部特征，不能选择性关注文本中重要单词，并且由于不能编码远距离依赖关系，在识别语义转折的文本时有很大的局限性。层次化注意力模型中，注意力机制需要较多的参数依赖，无法使模型更多的关注文本的内部序列关系。
2.针对胶囊网络和层次化注意力网络的不足，本发明的目的是为了融合胶囊网络、层次化模型和注意力机制各自的优势，在层次化注意力网络中引入自注意力机制，减少外部参数依赖，使模型能够学到更多的文本自身关键特征。使用层次化自注意力网络学习文本的全局语义特征，同时关注文本中重要的单词和句子，使用胶囊网络学习文本间部分与整体的空间关联关系，从而有效的提高模型的分类性能。
发明内容
1.针对胶囊网络和层次化注意力网络的不足，本发明的目的是为了融合胶囊网络、层次化模型和注意力机制各自的优势，在层次化注意力网络中引入自注意力机制，减少外部参数依赖，使模型能够学到更多的文本自身关键特征。使用层次化自注意力网络学习文本的全局语义特征，同时关注文本中重要的单词和句子，使用胶囊网络学习文本间部分与整体的空间关联关系，从而有效的提高模型的分类性能。
2.本发明的技术创新点是：(1)设计了一种基于层次化自注意力网络和胶囊网络的混合神经网络，利用胶网络编码文本中部分与整体的关系从而提取更丰富的语义特征信息，同时利用层次化自注意力网络从单词、句子两个层次提取上下文信息，融合两者优势提升分类性能；(2)在层次化模型中引入自注意力取代传统注意力，减少外部参数依赖的同时，捕获文本内部依赖关系，关注重要单词和句子，增强模型的特征表达能力；
附图说明
图1是层次化自注意胶囊网络模型结构图。
具体实施方式
附图为本发明的模型结构图，主要由两个模块构成：层次化网络模块，由以双向GRU网络和自注意力为基础的层次化网络组成，使用BiGRU学习文本上下文信息，自注意力捕获重要的单词和句子特征；胶囊网络模块，由卷积胶囊层和分类胶囊层组成，基于层次化网络模块输出的文本表示，对文本语义、结构信息进行编码，学习文本间部分与整合的关联特征信息，最后分类。层次化网络模块中根据各层次的不同功能，本模型将该模块分为五层：词嵌入、词级别编码层、词级别自注意力层、句级别编码层、句级别自注意力层。词嵌入：文本进行词嵌入映射得到连续低维的实值向量用于表示词语的语义信息。该模型使用Glove预训练词向量，将文本中的词语映射成为300维的词向量矩阵，建立表示文本的初始特征矩阵，作为模型的输入X。词级别编码层：以词X为特征提取对象，使用BiGRU对文本进行特征采集，得到文本的全局语义信息hit。词级别自注意力层：使模型能够关注文本中的重要信息，在权重调整层采用自注意力给每个词语赋予不同的权重来表示对句子的贡献程度，最终得到句子序列表示Si。句级别编码层：以句子Si为特征提取对象，同样使用 BiGRU对文本进行特征采集，得到句子中的隐藏特征hi，句级别自注意力层：赋予每个句子不同的贡献度来衡量句子对文本的重要性，得到最终的句子表示V。胶囊网络模块中将句子表示V输入卷积胶囊层通过动态路由算法学习文本间部分与整体的空间关联关系得到高级特征表示Vout。最后分类胶囊层进行归一化处理，完成文本情感分类任务。
Claims (2)
1.提出了一种基于层次化自注意力网络和胶囊网络的混合神经网络模型，利用胶囊网络编码文本中部分与整体的关系从而提取更丰富的语义特征信息，同时利用层次化自注意力网络从单词、句子两个层次提取上下文信息，融合两者优势提升了分类性能。
2.在权利要求1中的模型中引入自注意力取代传统注意力，减少外部参数依赖的同时，捕获文本内部依赖关系，关注重要单词和句子，增强模型的特征表达能力。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110292481.8A CN112883167A (zh) | 2021-03-18 | 2021-03-18 | 基于层次化自制力机制胶囊网络的文本情感分类模型 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110292481.8A CN112883167A (zh) | 2021-03-18 | 2021-03-18 | 基于层次化自制力机制胶囊网络的文本情感分类模型 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112883167A true CN112883167A (zh) | 2021-06-01 |
Family
ID=76041259
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110292481.8A Pending CN112883167A (zh) | 2021-03-18 | 2021-03-18 | 基于层次化自制力机制胶囊网络的文本情感分类模型 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112883167A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114036366A (zh) * | 2021-11-19 | 2022-02-11 | 四川大学 | 一种基于文本语义及层次结构的社交网络欺凌检测方法 |
| CN114118200A (zh) * | 2021-09-24 | 2022-03-01 | 杭州电子科技大学 | 一种基于注意力引导双向胶囊网络的多模态情感分类方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109241283A (zh) * | 2018-08-08 | 2019-01-18 | 广东工业大学 | 一种基于多角度胶囊网络的文本分类方法 |
| CN110826336A (zh) * | 2019-09-18 | 2020-02-21 | 华南师范大学 | 一种情感分类方法、***、存储介质及设备 |
| US20200210526A1 (en) * | 2019-01-02 | 2020-07-02 | Netapp, Inc. | Document classification using attention networks |
| CN112131391A (zh) * | 2020-11-25 | 2020-12-25 | 江苏电力信息技术有限公司 | 一种基于胶囊网络的供电服务客户诉求文本分类方法 |
-
2021
- 2021-03-18 CN CN202110292481.8A patent/CN112883167A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109241283A (zh) * | 2018-08-08 | 2019-01-18 | 广东工业大学 | 一种基于多角度胶囊网络的文本分类方法 |
| US20200210526A1 (en) * | 2019-01-02 | 2020-07-02 | Netapp, Inc. | Document classification using attention networks |
| CN110826336A (zh) * | 2019-09-18 | 2020-02-21 | 华南师范大学 | 一种情感分类方法、***、存储介质及设备 |
| CN112131391A (zh) * | 2020-11-25 | 2020-12-25 | 江苏电力信息技术有限公司 | 一种基于胶囊网络的供电服务客户诉求文本分类方法 |
Non-Patent Citations (4)
| Title |
|---|
| 刘纯嘉: "面向高校舆情的中文文本情感倾向性分析", 《中国优秀硕士学位论文全文数据库(信息科技辑)》, pages 1 - 47 * |
| 王弘中 等: "一种基于混合词向量的胶囊网络文本分类方法", 《小型微型计算机***》 * |
| 程艳 等: "基于注意力机制的多通道CNN和BiGRU的文本情感倾向性分析", 《计算机研究与发展》 * |
| 程艳 等: "融合卷积神经网络与层次化注意力网络的中文 文本情感倾向性分析", 《中文信息学报》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114118200A (zh) * | 2021-09-24 | 2022-03-01 | 杭州电子科技大学 | 一种基于注意力引导双向胶囊网络的多模态情感分类方法 |
| CN114036366A (zh) * | 2021-11-19 | 2022-02-11 | 四川大学 | 一种基于文本语义及层次结构的社交网络欺凌检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113158875B (zh) | 基于多模态交互融合网络的图文情感分析方法及*** | |
| CN109902293B (zh) | 一种基于局部与全局互注意力机制的文本分类方法 | |
| CN108830287A (zh) | 基于残差连接的Inception网络结合多层GRU的中文图像语义描述方法 | |
| CN109948475B (zh) | 一种基于骨架特征和深度学习的人体动作识别方法 | |
| CN109918671A (zh) | 基于卷积循环神经网络的电子病历实体关系抽取方法 | |
| CN111626116B (zh) | 基于融合多注意力机制和Graph的视频语义分析方法 | |
| CN111339837B (zh) | 一种连续手语识别方法 | |
| CN112036276B (zh) | 一种人工智能视频问答方法 | |
| CN112860888A (zh) | 一种基于注意力机制的双模态情感分析方法 | |
| CN101187990A (zh) | 一种会话机器人*** | |
| CN110347831A (zh) | 基于自注意力机制的情感分类方法 | |
| Li et al. | Sign language recognition based on computer vision | |
| CN111046179A (zh) | 一种面向特定领域开放网络问句的文本分类方法 | |
| Ocquaye et al. | Dual exclusive attentive transfer for unsupervised deep convolutional domain adaptation in speech emotion recognition | |
| CN113283234A (zh) | 一种基于胶囊网络的情感分类方法 | |
| CN114549850B (zh) | 一种解决模态缺失问题的多模态图像美学质量评价方法 | |
| CN112883167A (zh) | 基于层次化自制力机制胶囊网络的文本情感分类模型 | |
| CN111598183A (zh) | 一种多特征融合图像描述方法 | |
| CN113239153B (zh) | 一种基于实例遮掩的文本与图像互检索方法 | |
| CN114662497A (zh) | 一种基于协同神经网络的虚假新闻检测方法 | |
| CN117236338B (zh) | 一种稠密实体文本的命名实体识别模型及其训练方法 | |
| CN113255602A (zh) | 基于多模态数据的动态手势识别方法 | |
| CN115393948A (zh) | 基于改进Transformer模型的手语视频生成方法 | |
| Fan et al. | An improved yolov5 marine biological object detection algorithm | |
| CN113239678A (zh) | 一种面向答案选择的多角度注意力特征匹配方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210601 |