CN110874411A - 一种基于注意力机制融合的跨领域情感分类*** - Google Patents

一种基于注意力机制融合的跨领域情感分类*** Download PDF

Info

Publication number
CN110874411A
CN110874411A CN201911138355.6A CN201911138355A CN110874411A CN 110874411 A CN110874411 A CN 110874411A CN 201911138355 A CN201911138355 A CN 201911138355A CN 110874411 A CN110874411 A CN 110874411A
Authority
CN
China
Prior art keywords
text
module
attention
emotion classification
attention mechanism
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911138355.6A
Other languages
English (en)
Inventor
廖祥文
陈癸旭
陈志豪
邓立明
陈开志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN201911138355.6A priority Critical patent/CN110874411A/zh
Publication of CN110874411A publication Critical patent/CN110874411A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种基于注意力机制融合的跨领域情感分类***。包括：评论文本预处理模块，用于获取源领域和目标领域文本的向量形式；文本语义学习模块，用于学习词语之间的语义依赖关系；注意力机制融合模块，通过将不同的注意力方式进行融合，获得词语对文本分类的综合权重；分层注意模块，分别从词级和句子级计算文本的注意力权重，判断词语对句子表示，句子对文档表示的权重；情感类别输出模块，利用分类函数得到最终的情感分类结果。本发明能够自动抽取出目标领域与源领域的潜在通用特征，并对特征进行抽象和组合，最终识别出目标领域文本的情感类别。

Description

一种基于注意力机制融合的跨领域情感分类***
技术领域
本发明涉及情感分析和观点挖掘领域，更具体地，涉及一种基于注意力机制融合的跨领域情感分类***，能够通过跨领域的文本表示学习，学习领域适应的特征表示，较好地进行跨领域情感类别的分析。
背景技术
情感分类是一项重要而富有挑战性的工作。在有足够标记训练数据的领域取得了显著的成功。然而，标注足够的数据是非常耗费时间和精力的，为情感分类***适应新领域设置了重大障碍。同时，当用户在不同的领域表达情感时，他们经常使用不同的词语，如果我们直接将一个领域训练的分类器应用到其他领域，由于这些领域之间的差异，其所得到的表现会非常低。因此，跨领域情感文本分类是致力于开发一个通用的情感分类解决方案，我们通过在源领域，即有标签的数据进行训练出分类器，然后应用于目标领域，即无标签领域中对文本情感进行分类，我们称之为跨领域情感分类***。
目前大多数的跨领域情感分类研究属于基于特征的转换，需要手动选择枢轴特征和非枢轴特征。其中结构对应学习(SCL)是试图从非数据透视特征空间到数据透视特征空间获取映射矩阵的典型方法；SFA方法旨在通过对齐不同领域的枢轴特征和非枢轴特征，在源领域与目标领域之间建立桥梁。上述方法都需要在目标域中有大量未标记的数据来帮助构建传输过程。此外，这些方法并没有充分挖掘单词的语义，也没有充分利用数据和领域标签。而近几年深度学习的兴起在跨领域情感分类中取得了较好的成果，其主要是学习情感分类的共同特征和共享参数，其中堆叠降噪自动编码器(SDA)是用于为来自源领域和目标领域的文档生成统一格式的实际特征表示；MSDA方法是保留SDA的强大学习能力，解决SDA计算量大、可扩展性差等问题，但是深度学习方法缺乏可解释性。
考虑到文本情感分类时，文本对上下文语义有较强的依赖性，而标准的神经网络模型并不能很好地解决该问题，同时在文本中每个单词对每个句子的贡献不同，每个句子对每个文档的贡献不同，因此需要引入注意力机制来提升文本分类的性能。注意力机制是模仿人脑注意力的特点，即对重要的内容投入较大关注力，而对其他部分投入较少关注力，目前注意力机制在很多领域得到应用，也起到较好的效果。其中软注意力机制是在求注意力分配概率分布的时候，对于输入句子中每个单词都给出一个概率，然后传递给下一层；硬注意力机制是直接从输入剧中找到某个特定的单词，然后把目标句子单词和这个单词对齐，而其他输入句子中的单词硬性认为对其概率为0；局部注意力机制是软注意力机制和硬注意力机制的结合，在每次对齐的时候都要考虑前面的编码的多有隐藏层，所以计算量较大。因此希望找到一种更高效的跨领域情感分类方法，提高跨领域情感分类的精度和减少人工时间精力的消耗。
发明内容
本发明的目的在于提供一种基于注意力机制融合的跨领域情感分类***，该***能够自动抽取出目标领域与源领域的潜在通用特征，并对特征进行抽象和组合，最终识别出目标领域文本的情感类别。
为实现上述目的，本发明的技术方案是：一种基于注意力机制融合的跨领域情感分类***，包括：
文本预处理模块，用于获取源领域和目标领域文本对应的向量形式；
文本语义学习模块，用于学习文本预处理模块获得的文本向量的词语之间的语义依赖关系；
注意力机制融合模块，通过将不同的注意力方式进行融合，获得文本向量的词语对文本的综合权重；
分层注意模块，分别从词级和句子级计算文本的注意力权重，判断词语对句子表示的权重，句子对文档表示的权重，得到文本表示向量；
情感类别输出模块，利用分类函数对分层注意模块输出的文本表示向量进行处理，得到最终的情感分类结果。
在本发明一实施例中，文本预处理模块利用Word2vec提取源领域与目标领域文本对应的向量形式。
在本发明一实施例中，文本语义学习模块利用BiGRU来捕获文本向量的词语之间的语义依赖关系。
在本发明一实施例中，注意力机制融合模块是将Bilinear注意力机制和Dot注意力机制进行结合，更好的计算出词语对句子的贡献程度，句子对文档的贡献程度，更有利于提升在跨领域文本分类的效果。
在本发明一实施例中，所述的情感类别输出模块采用softmax函数对文本表示向量进行处理，预测各文本的情感类别。
在本发明一实施例中，在模型的训练阶段，根据信息的前向传播和误差的后向传播将不断地对他们进行调整，逐步优化目标函数。
相较于现有技术，本发明具有以下有益效果：本发明***能够自动抽取出目标领域与源领域的潜在通用特征，并对特征进行抽象和组合，最终识别出目标领域文本的情感类别。
附图说明
图1为本发明基于注意力机制融合的跨领域情感分类***的示意配置图。
具体实施方式
下面结合附图，对本发明的技术方案进行具体说明。
本发明提供了一种基于注意力机制融合的跨领域情感分类***，包括：
文本预处理模块，用于获取源领域和目标领域文本对应的向量形式；
文本语义学习模块，用于学习文本预处理模块获得的文本向量的词语之间的语义依赖关系；
注意力机制融合模块，通过将不同的注意力方式进行融合，获得文本向量的词语对文本的综合权重；
分层注意模块，分别从词级和句子级计算文本的注意力权重，判断词语对句子表示的权重，句子对文档表示的权重，得到文本表示向量；
情感类别输出模块，利用分类函数对分层注意模块输出的文本表示向量进行处理，得到最终的情感分类结果。
以下为本发明的具体实现过程。
图1示出了根据本发明的实施例，在基于注意力机制融合的跨领域情感分类***的示意配置图。如图所示，根据本发明实施在基于注意力机制融合的跨领域情感分类***包括：
文本预处理模块1，获取源领域和目标领域文本的向量形式；文本语义学习模块2，用于学习词语之间的语义依赖关系；注意力机制融合模块3，将不同的注意力方式进行融合，获得文本中综合的贡献程度；分层注意力模块4，分别从词级和句子级计算文本的注意力权重，判别词语或者句子对文本分类的贡献程度；情感类别输出模块5，利用分类函数得到最终的情感分类结果。下面分别详细描述各模块配置。
1)文本预处理模块1
首先，描述文本预处理模块1如何得到初始文本向量。
为了便于数据的处理、分析与应用，再本发明中通过对源领域与目标领域的数据集进行预处理，去除标点符号、过滤停用词并进行分词处理，对获得的词语进行word2vec模型训练，从而得到源领域与目标领域文本对应的向量形式，作为神经网络的输入。
2)文本语义学习模块2
下面描述文本语义学习模块2是如何将模块1获得的初始文本向量进行学习并获取语义信息。
BiGRU是由正反两个GRU模型组成，GRU网络是长短期记忆网络(LSTM)的一种很好的变体，具有较强的长距离语义捕获能力，虽然能获取文本的正向语义信息，但是忽略了未来的上下文信息，因此本发明使用BiGRU网络增加了对文本的反向语义信息的学习，从而更好的捕捉双向的语义依赖，在更细粒度的分类时起到更好的作用。
3)注意力机制融合模块3
下面描述注意力机制融合模块如何加强从词级对文本分类的影响。
目前的研究表明，神经网络与注意力机制的结合有利于提升文本分类，因此本发明受到启发，本发明提出将多种注意力机制进行融合计算词对文本分类的贡献度。主要采用Bilinear注意力机制来进行文本匹配计算和Dot注意力机制计算词语之间的关系，具体实现方式如下：
BinlinearAttention：
Figure BDA0002280120870000041
Figure BDA0002280120870000042
Figure BDA0002280120870000043
Dot Attention：
Figure BDA0002280120870000044
Figure BDA0002280120870000045
Figure BDA0002280120870000046
通过残差连接方式将两种不同的注意力机制获得的文本表示进行融合，该融合方式增加文本语义信息及避免训练过程中发生梯度消失，具体实现方式如下：
xc＝[vb,vd]
xsc＝σ(W2σ(W1xc)+xc)
4)分层注意力模块4
每个词语对一个句子表示的贡献程度是不同的，每个句子对文档的语义含义也没有同等的贡献，因此分层注意力分别从词级上对形成句子的每个单词进行加权，和句子级上对形成的每个文档进行加权。
5)情感类别输出模块5
最后描述情感类别输出模块5如何处理源领域和目标领域数据。
模块2学习了目标领域和源领域的双向语义依赖信息，分别通过模块3和模块4的分层注意力机制学习得到了文本表示向量，情感类别输出模块5利用softmax分类函数对所得向量逐一计算，根据设定的阈值得到该文本表示的情感类别预测值。在训练阶段，利用源领域的文本表示进行情感类别的预测并计算其与实际情感标签的误差，利用随机梯度下降法和后向传播对整个***的参数进行迭代更新；否则，对目标领域的文本表示进行情感类别的预测，并输出预测值。
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (6)

1.一种基于注意力机制融合的跨领域情感分类***，其特征在于，包括：
文本预处理模块，用于获取源领域和目标领域文本对应的向量形式；
文本语义学习模块，用于学习文本预处理模块获得的文本向量的词语之间的语义依赖关系；
注意力机制融合模块，通过将不同的注意力方式进行融合，获得文本向量的词语对文本的综合权重；
分层注意模块，分别从词级和句子级计算文本的注意力权重，判断词语对句子表示的权重，句子对文档表示的权重，得到文本表示向量；
情感类别输出模块，利用分类函数对分层注意模块输出的文本表示向量进行处理，得到最终的情感分类结果。
2.根据权利要求1所述的一种基于注意力机制融合的跨领域情感分类***，其特征在于，文本预处理模块利用Word2vec提取源领域与目标领域文本对应的向量形式。
3.根据权利要求1所述的一种基于注意力机制融合的跨领域情感分类***，其特征在于，文本语义学习模块利用BiGRU来捕获文本向量的词语之间的语义依赖关系。
4.根据权利要求1所述的一种基于注意力机制融合的跨领域情感分类***，其特征在于，注意力机制融合模块是将Bilinear注意力机制和Dot注意力机制进行结合，更好的计算出词语对句子的贡献程度，句子对文档的贡献程度，更有利于提升在跨领域文本分类的效果。
5.根据权利要求1所述的一种基于注意力机制融合的跨领域情感分类***，其特征在于，所述的情感类别输出模块采用softmax函数对文本表示向量进行处理，预测各文本的情感类别。
6.根据权利要求1所述的一种基于注意力机制融合的跨领域情感分类***，其特征在于，在模型的训练阶段，根据信息的前向传播和误差的后向传播将不断地对他们进行调整，逐步优化目标函数。
CN201911138355.6A 2019-11-20 2019-11-20 一种基于注意力机制融合的跨领域情感分类*** Pending CN110874411A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911138355.6A CN110874411A (zh) 2019-11-20 2019-11-20 一种基于注意力机制融合的跨领域情感分类***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911138355.6A CN110874411A (zh) 2019-11-20 2019-11-20 一种基于注意力机制融合的跨领域情感分类***

Publications (1)

Publication Number Publication Date
CN110874411A true CN110874411A (zh) 2020-03-10

Family

ID=69718049

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911138355.6A Pending CN110874411A (zh) 2019-11-20 2019-11-20 一种基于注意力机制融合的跨领域情感分类***

Country Status (1)

Country Link
CN (1) CN110874411A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111984791A (zh) * 2020-09-02 2020-11-24 南京信息工程大学 一种基于注意力机制的长文分类方法
CN113064968A (zh) * 2021-04-06 2021-07-02 齐鲁工业大学 一种基于张量融合网络的社交媒体情感分析方法及***
CN113435496A (zh) * 2021-06-24 2021-09-24 湖南大学 一种基于注意力机制的自适应融合的多模态情感分类方法
CN113505226A (zh) * 2021-07-09 2021-10-15 福州大学 融合图卷积神经网络的文本情感分类***
CN113722439A (zh) * 2021-08-31 2021-11-30 福州大学 基于对抗性类别对齐网络的跨领域情感分类方法及***
CN113779249A (zh) * 2021-08-31 2021-12-10 华南师范大学 跨领域文本情感分类方法、装置、存储介质以及电子设备
WO2022188773A1 (zh) * 2021-03-12 2022-09-15 腾讯科技（深圳）有限公司 文本分类方法、装置、设备、计算机可读存储介质及计算机程序产品

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180082171A1 (en) * 2016-09-22 2018-03-22 Salesforce.Com, Inc. Pointer sentinel mixture architecture
CN109558487A (zh) * 2018-11-06 2019-04-02 华南师范大学 基于层次性多注意力网络的文档分类方法
CN110134771A (zh) * 2019-04-09 2019-08-16 广东工业大学 一种基于多注意力机制融合网络问答***的实现方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180082171A1 (en) * 2016-09-22 2018-03-22 Salesforce.Com, Inc. Pointer sentinel mixture architecture
CN109558487A (zh) * 2018-11-06 2019-04-02 华南师范大学 基于层次性多注意力网络的文档分类方法
CN110134771A (zh) * 2019-04-09 2019-08-16 广东工业大学 一种基于多注意力机制融合网络问答***的实现方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
廖祥文 等: ""结合表示学习和迁移学习的跨领域情感分类"", 《北京大学学报(自然科学版)》 *
曾碧卿 等: ""基于双注意力卷积神经网络模型的情感分析研究"", 《广东工业大学学报》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111984791A (zh) * 2020-09-02 2020-11-24 南京信息工程大学 一种基于注意力机制的长文分类方法
CN111984791B (zh) * 2020-09-02 2023-04-25 南京信息工程大学 一种基于注意力机制的长文分类方法
WO2022188773A1 (zh) * 2021-03-12 2022-09-15 腾讯科技（深圳）有限公司 文本分类方法、装置、设备、计算机可读存储介质及计算机程序产品
CN113064968A (zh) * 2021-04-06 2021-07-02 齐鲁工业大学 一种基于张量融合网络的社交媒体情感分析方法及***
CN113064968B (zh) * 2021-04-06 2022-04-19 齐鲁工业大学 一种基于张量融合网络的社交媒体情感分析方法及***
CN113435496A (zh) * 2021-06-24 2021-09-24 湖南大学 一种基于注意力机制的自适应融合的多模态情感分类方法
CN113505226A (zh) * 2021-07-09 2021-10-15 福州大学 融合图卷积神经网络的文本情感分类***
CN113505226B (zh) * 2021-07-09 2023-08-04 福州大学 融合图卷积神经网络的文本情感分类***
CN113722439A (zh) * 2021-08-31 2021-11-30 福州大学 基于对抗性类别对齐网络的跨领域情感分类方法及***
CN113779249A (zh) * 2021-08-31 2021-12-10 华南师范大学 跨领域文本情感分类方法、装置、存储介质以及电子设备
CN113779249B (zh) * 2021-08-31 2022-08-16 华南师范大学 跨领域文本情感分类方法、装置、存储介质以及电子设备
CN113722439B (zh) * 2021-08-31 2024-01-09 福州大学 基于对抗性类别对齐网络的跨领域情感分类方法及***

Similar Documents

Publication Publication Date Title
CN111783462B (zh) 基于双神经网络融合的中文命名实体识别模型及方法
US11631007B2 (en) Method and device for text-enhanced knowledge graph joint representation learning
CN109635109B (zh) 基于lstm并结合词性及多注意力机制的句子分类方法
CN110874411A (zh) 一种基于注意力机制融合的跨领域情感分类***
CN109753566B (zh) 基于卷积神经网络的跨领域情感分析的模型训练方法
CN107291795B (zh) 一种结合动态词嵌入和词性标注的文本分类方法
CN111177366B (zh) 一种基于查询机制的抽取式文档摘要自动生成方法、装置及***
CN113158665B (zh) 一种基于文本摘要生成与双向语料改善对话文本生成的方法
CN110569508A (zh) 融合词性和自注意力机制的情感倾向性分类方法及***
CN108664589B (zh) 基于领域自适应的文本信息提取方法、装置、***及介质
CN110609897A (zh) 一种融合全局和局部特征的多类别中文文本分类方法
CN108228569B (zh) 一种基于松散条件下协同学习的中文微博情感分析方法
CN112069831A (zh) 基于bert模型和增强混合神经网络的不实信息检测方法
CN113255320A (zh) 基于句法树和图注意力机制的实体关系抽取方法及装置
CN112966525B (zh) 一种基于预训练模型和卷积神经网络算法的法律领域事件抽取方法
CN110781290A (zh) 一种长篇章结构化文本摘要提取方法
CN112749274A (zh) 基于注意力机制和干扰词删除的中文文本分类方法
CN114239574A (zh) 一种基于实体和关系联合学习的矿工违规行为知识抽取方法
CN113657115A (zh) 一种基于讽刺识别和细粒度特征融合的多模态蒙古文情感分析方法
CN114417851A (zh) 一种基于关键词加权信息的情感分析方法
CN114564563A (zh) 一种基于关系分解的端到端实体关系联合抽取方法及***
CN114048314A (zh) 一种自然语言隐写分析方法
CN113901813A (zh) 一种基于主题特征和隐式句子结构的事件抽取方法
CN111950281B (zh) 一种基于深度学习和上下文语义的需求实体共指检测方法和装置
CN113486143A (zh) 一种基于多层级文本表示及模型融合的用户画像生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200310