CN113221551B - 一种基于序列生成的细粒度情感分析方法 - Google Patents
一种基于序列生成的细粒度情感分析方法 Download PDFInfo
- Publication number
- CN113221551B CN113221551B CN202110592818.7A CN202110592818A CN113221551B CN 113221551 B CN113221551 B CN 113221551B CN 202110592818 A CN202110592818 A CN 202110592818A CN 113221551 B CN113221551 B CN 113221551B
- Authority
- CN
- China
- Prior art keywords
- sequence
- output
- index
- fine
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/31—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Machine Translation (AREA)
Abstract
本发明提供一种基于序列生成的细粒度情感分析方法,包括:步骤1,将主观性商品评价或服务评价作为输入序列输入编码器进行编码,得到隐变量He;步骤2,采用索引词汇转换器模块将过去时刻的已输出索引序列Y<t转换为已输出文本序列步骤3,将隐变量He以及已输出文本序列输入解码器进行解码,得到当前时刻t的输出分布Pt;步骤4,将输出分布Pt输入索引生成器,生成当前时刻输出索引,并采用束搜索方法自回归生成输出序列。本发明将整体细粒度情感分析任务统一定义为索引序列生成任务。基于统一的任务类型,利用序列到序列的生成式框架,使得各种差异导致的问题在统一的框架内得到解决,为完成整体细粒度情感分析提供了全新的***性解决方法。
Description
技术领域
本发明属于自然语言处理领域,具体涉及一种基于序列生成的细粒度情感分析方法。
背景技术
细粒度情感分析是自然语言处理的一项基本任务,主要借助情感词对具体的方面词进行更细粒度的情感分类。过去的研究者先后提出了七个细粒度情感分析子任务。完成整体细粒度情感分析任务要求能够解决全部子任务。然而,这些子任务在输入端、输出端与任务类型上有着根本差异。其中,输入端存在单纯句子输入与给定方面词输入的差异,输出端存在单一输出与复合输出的差异,任务类型上存在抽取与分类任务类型的差异。差异的复杂组合导致过去的研究更聚焦于解决一个或几个细粒度情感分析子任务,难以覆盖并解决整体细粒度情感分析任务。
近年来,一些研究者试图解决整体细粒度情感分析任务,该整体细粒度情感分析任务包含七个子任务,分别是:方面词抽取(AE),情感词抽取(OE),方面词抽取联合情感分类(AESC),给定方面词的情感分类(ALSC),给定方面词的情感词抽取(AOE),方面词抽取联合情感词抽取(Pair Extration),方面词抽取联合情感词抽取联合情感分类(TripletExtration)。上述子任务覆盖两种任务类型,分别是抽取任务,以及分类任务。现有的大部分研究者采用模型组合的方法,通过pipeline流水线将针对几个子任务的子模型组合形成整体模型,以解决整体细粒度情感分析任务。然而,这导致了模型无法做到端到端实现。也有一部分研究在信息抽取的框架内,尝试拓展序列标注标签同时达到保持端到端。然而,信息抽取的框架无法适合所有的子任务,这导致在实现个别的子任务时模型需要进行复杂的结构调整。
过往的方法表明,解决多个子任务在输入端,输出端以及任务类型上的差异是解决整体细粒度情感分析任务的关键。因此,需要一种能够解决上述问题的方法。
发明内容
本发明是为了解决上述问题而进行的,目的在于提供一种基于序列生成的细粒度情感分析方法。
本发明提供了一种基于序列生成的细粒度情感分析方法,用于进行整体细粒度情感分析,具有这样的特征,包括如下步骤:步骤1,将主观性商品评价或服务评价作为输入序列输入编码器进行编码,得到隐变量He;步骤2,采用索引词汇转换器模块将过去时刻的已输出索引序列Y<t转换为已输出文本序列步骤3,将隐变量He以及已输出文本序列输入解码器进行解码,得到当前时刻t的输出分布Pt;步骤4,将输出分布Pt输入索引生成器,生成当前时刻输出索引,并采用beam search方法自回归生成输出序列。
在本发明提供的基于序列生成的细粒度情感分析方法中,还可以具有这样的特征:其中,步骤1中,隐变量He的计算公式为:
He=BARTEncoder([x1,...,xn])
式中,BARTEncoder为生成式预训练模型BART的编码器,x1,...,xn表示长度为n的输入序列,He表示编码后隐变量。
在本发明提供的基于序列生成的细粒度情感分析方法中,还可以具有这样的特征:其中,步骤2中,索引词汇转换器模块的计算公式如下:
式中,yt为t时刻的输出索引,X为长度为n的输入文本序列,C=[c1,...,cl]是分类标签列表。
在本发明提供的基于序列生成的细粒度情感分析方法中,还可以具有这样的特征:其中,步骤2中,索引词汇转换器模块对已输出索引序列Y<t中的每个元素作如下操作:
当元素为内容索引时,则转换为输入序列中对应索引的文本,当元素是分类标签索引时,则转化为分类标签列表中对应索引的分类标签。
在本发明提供的基于序列生成的细粒度情感分析方法中,还可以具有这样的特征:其中,步骤3具体包括如下子步骤:
步骤3-3,采用词汇表示模块输入对文本序列X进行处理,生成得到嵌入式输入序列Ee;
步骤3-5,采用词汇表示模块对分类标签列表C进行处理,得到分类标签Cd;
步骤3-3中,嵌入式输入序列Ee的计算公式为:
Ee=WeX
步骤3-5中,分类标签Cd的计算公式为:
Cd=WeC
步骤3-6中,当前时刻t输出分布Pt的计算公式为:
上述公式中,BARTDecoder为生成式预训练模型BART的解码器,Wh为一权重矩阵,f为非线性函数,We为词向量矩阵。
在本发明提供的基于序列生成的细粒度情感分析方法中,还可以具有这样的特征:其中,步骤4中,经过步骤3得到当前时刻t的输出分布Pt,索引生成器会取出分布Pt中最大值所对应的索引,作为索引生成器的输出结果。
发明的作用与效果
本发明的基于序列生成的细粒度情感分析方法将抽取与分类两种任务类型统一转换为生成任务,具体地,本发明将抽取任务转换为内容索引序列生成,将分类任务转换为分类标签索引序列生成,此外,基于任务转换,使得整体细粒度情感分析任务的全部子任务都可以统一定义为索引序列生成任务。
进一步地,本发明的基于序列生成的细粒度情感分析方法相对比以往的细粒度情感分析方法,能够根据不同的子任务的不同输出目标,以一个统一的框架一次性融合解决所有的细粒度情感分析子任务。
综上,本发明的基于序列生成的细粒度情感分析方法将整体细粒度情感分析任务统一定义为索引序列生成任务,同时,基于统一的任务类型,利用序列到序列的生成式框架,使得各种差异导致的问题在统一的框架内得到解决,为完成整体细粒度情感分析提供了全新的***性解决方法。
附图说明
图1是本发明的实施例中全部细粒度情感分析子任务在统一索引序列生成任务定义下的输出序列图;
图2是本发明的实施例中解决整体细粒度情感分析任务的生成式框架;
图3是本发明的实施例中方面词抽取联合情感词抽取联合情感分类子任务的解码示例。
具体实施方式
为了使本发明实现的技术手段与功效易于明白了解,以下结合实施例及附图对本发明作具体阐述。
本发明提供了一种基于序列生成的细粒度情感分析方法,接收用户给出的主观性商品评价或服务评价输入序列,按照不同的任务要求确定输出序列,输出序列将确定评价中主观性评价的描述对象、主观性评价的情感属性以及相关的情感描述词。此外,基于统一的索引序列生成任务定义,整体细粒度情感分析的目标表示如下:
图1是本发明的实施例中全部细粒度情感分析子任务在统一索引序列生成任务定义下的输出序列图。
进一步地,如图1所示,对待具体的子任务,需要将目标输出定义为对应的输出序列。根据不同的子任务要求,将返回由内容索引以及(或)分类标签(索引)的输出序列。
该基于序列生成的细粒度情感分析方法具体包括如下步骤:
步骤1,将主观性商品评价或服务评价作为输入序列输入编码器进行编码,得到隐变量He。
本实施例中,隐变量He的计算公式为:
He=BARTEncoder([x1,...,xn])
式中,BARTEncoder为生成式预训练模型BART的编码器,x1,...,xn表示长度为n的输入序列,He表示编码后隐变量。
本发明中,Index2Token模块的计算公式如下:
式中,yt为t时刻的输出索引,X为长度为n的输入文本序列,C=[c1,...,cl]是分类标签列表,C=[c1,...,cl]是分类标签列表。
此外,Index2Token模块对已输出索引序列Y<t中的每个元素作如下操作:
当元素为内容索引时,则转换为输入序列中对应索引的文本,当元素是分类标签索引时,则转化为分类标签列表中对应索引的分类标签。
图2是本发明的实施例中解决整体细粒度情感分析任务的生成式框架。
步骤3-3,采用词汇表示模块输入对文本序列X进行处理,生成得到嵌入式输入序列Ee;
步骤3-5,采用词汇表示模块对分类标签列表C进行处理,得到分类标签Cd;
步骤3-3中,嵌入式输入序列Ee的计算公式为:
Ee=BARTTokenEmbed(X)=WeX
步骤3-5中,…Cd的计算公式为:
Cd=BARTTokenEmbed(C)=WeC
步骤3-6中,当前时刻t输出分布Pt的计算公式为:
上述公式中,BARTDecoder为生成式预训练模型BART的解码器,BARTTokenEmbed为词汇表示模块,MLP为多层感知机,Wh为一权重矩阵,f为非线性函数,We为词向量矩阵。
其中,解码器接收编码后隐变量与过去时刻的已输出索引序列后运算得到t时刻的中间变量同时编码后隐变量经过多层感知机生成输入文本序列经过词汇表示模块生成Ee,将与Ee通过加权α与1-α得到分类标签列表也经过词汇表示模块生成Cd。最后将与Cd拼接后与进行点乘后运算Softmax函数,最终得到当前时刻t的输出分布Pt。
步骤4,将输出分布Pt输入索引生成器,生成当前时刻输出索引,并采用束搜索方法即beam search方法自回归生成输出序列。
本发明中,在训练阶段,每一时刻的分布Pt会送入索引生成器,生成当前时刻的输出索引。在推断阶段,我们采用beam search的方法自回归生成输出序列,其中,解码输出序列会通过解码算法得到输出集合。
本发明中,步骤4中,经过步骤3得到当前时刻t的输出分布Pt,索引生成器会取出分布Pt中最大值所对应的索引,作为索引生成器的输出结果。
实施例:
当用户评论“这台笔记本屏幕很高清,但是性能不好”时。对于方面词抽取联合情感词抽取联合情感分类子任务,本实施将得到“5,6,8,9,POS,13,14,15,16,NEG”,表示“屏,幕,高,清,积极情感,性,能,不,好,消极情感”。也即本实施例能够端到端得到包含用户主观性内容文本的全部描述对象,对应的主观性评价的情感属性,以及相关的情感描述词。
图3是本发明的实施例中方面词抽取联合情感词抽取联合情感分类子任务的解码示例。
方面词抽取联合情感词抽取联合情感分类子任务的解码示例如图3所示,从该图中可以得知:经过本方法得到的输出序列,可以通过图3的解码算法转换为人类可以理解的自然语言。
然而,之前的细粒度情感分析的方法多数使用管道式建模法,管道式建模法首先通过子模型A得到“屏幕”,“性能”,然后使用模型B接收“屏幕”,“性能”,得到“高清”,“不好”,最后通过模型C接收“屏幕”,“性能”,“高清”,“不,好”得到“积极情感”与“消极情感”。不仅整个过程的数据流动是断开的,而且多个模型还需要更多的数据资源与计算资源,同时整体性能落后于本方法。
实施例的作用与效果
本实施例的基于序列生成的细粒度情感分析方法将抽取与分类两种任务类型统一转换为生成任务,具体地,本发明将抽取任务转换为内容索引序列生成,将分类任务转换为分类标签索引序列生成,此外,基于任务转换,使得整体细粒度情感分析任务的全部子任务都可以统一定义为索引序列生成任务。
进一步地,本实施例的基于序列生成的细粒度情感分析方法相对比以往的细粒度情感分析方法,能够根据不同的子任务的不同输出目标,以一个统一的框架一次性融合解决所有的细粒度情感分析子任务。
综上,本实施例的基于序列生成的细粒度情感分析方法将整体细粒度情感分析任务统一定义为索引序列生成任务,同时,基于统一的任务类型,利用序列到序列的生成式框架,使得各种差异导致的问题在统一的框架内得到解决,为完成整体细粒度情感分析提供了全新的***性解决方法。
上述实施方式为本发明的优选案例,并不用来限制本发明的保护范围。
Claims (5)
1.一种基于序列生成的细粒度情感分析方法,其特征在于,包括如下步骤:
步骤1,将主观性商品评价或服务评价作为输入序列输入编码器进行编码,得到编码器隐变量He;
步骤3,将编码器隐变量He以及所述已输出文本序列输入解码器进行解码,得到当前时刻t的输出分布Pt;
步骤4,将所述输出分布Pt输入索引生成器,生成当前时刻输出索引,并采用束搜索方法自回归生成输出序列,
其中,所述步骤3具体包括如下子步骤:
步骤3-3,采用词汇表示模块输入对文本序列X进行处理,生成得到嵌入式输入序列Ee;
步骤3-5,采用所述词汇表示模块对分类标签列表C进行处理,得到分类标签Cd;
所述步骤3-3中,嵌入式输入序列Ee的计算公式为:
Ee=BARTTokenEmbed(X)=WeX
所述步骤3-5中,分类标签Cd的计算公式为:
Cd=BARTTokenEmbed(C)=WeC
所述步骤3-6中,当前时刻t输出分布Pt的计算公式为:
上述公式中,BARTDecoder为生成式预训练模型BART的解码器,BARTTokenEmbed为词汇表示模块,MLP为多层感知机,Wh为一权重矩阵,f为非线性函数,We为词向量矩阵。
2.根据权利要求1所述的基于序列生成的细粒度情感分析方法,其特征在于:
其中,所述步骤1中,编码器隐变量He的计算公式为:
He=BARTEncoder([x1,...,xn])
式中,BARTEncoder为生成式预训练模型BART的编码器,x1,...,xn表示长度为n的输入序列,He表示编码器隐变量。
4.根据权利要求1所述的基于序列生成的细粒度情感分析方法,其特征在于:
其中,所述步骤2中,索引词汇转换器模块对已输出索引序列Y<t中的每个元素作如下操作:
当所述元素为内容索引时,则转换为所述输入序列中对应索引的文本,当所述元素是分类标签索引时,则转化为分类标签列表中对应索引的分类标签。
5.根据权利要求1所述的基于序列生成的细粒度情感分析方法,其特征在于:
其中,所述步骤4中,经过步骤3得到当前时刻t的输出分布Pt,索引生成器取出分布Pt中最大值所对应的索引,作为索引生成器的输出结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110592818.7A CN113221551B (zh) | 2021-05-28 | 2021-05-28 | 一种基于序列生成的细粒度情感分析方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110592818.7A CN113221551B (zh) | 2021-05-28 | 2021-05-28 | 一种基于序列生成的细粒度情感分析方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113221551A CN113221551A (zh) | 2021-08-06 |
CN113221551B true CN113221551B (zh) | 2022-07-29 |
Family
ID=77099189
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110592818.7A Active CN113221551B (zh) | 2021-05-28 | 2021-05-28 | 一种基于序列生成的细粒度情感分析方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113221551B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114925659B (zh) * | 2022-05-18 | 2023-04-28 | 电子科技大学 | 动态宽度最大化解码方法、文本生成方法及存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110287323A (zh) * | 2019-06-27 | 2019-09-27 | 成都冰鉴信息科技有限公司 | 一种面向目标的情感分类方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108647205B (zh) * | 2018-05-02 | 2022-02-15 | 深圳前海微众银行股份有限公司 | 细粒度情感分析模型构建方法、设备及可读存储介质 |
CN109740154B (zh) * | 2018-12-26 | 2021-10-26 | 西安电子科技大学 | 一种基于多任务学习的在线评论细粒度情感分析方法 |
CN110516245A (zh) * | 2019-08-27 | 2019-11-29 | 蓝盾信息安全技术股份有限公司 | 细粒度情感分析方法、装置、计算机设备及存储介质 |
CN111353042B (zh) * | 2020-02-27 | 2023-06-30 | 浙江大学 | 一种基于深度多任务学习的细粒度文本观点分析方法 |
-
2021
- 2021-05-28 CN CN202110592818.7A patent/CN113221551B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110287323A (zh) * | 2019-06-27 | 2019-09-27 | 成都冰鉴信息科技有限公司 | 一种面向目标的情感分类方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113221551A (zh) | 2021-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11941522B2 (en) | Address information feature extraction method based on deep neural network model | |
CN107273355B (zh) | 一种基于字词联合训练的中文词向量生成方法 | |
CN111859978A (zh) | 一种基于深度学习的情感文本生成方法 | |
CN108959482A (zh) | 基于深度学习的单轮对话数据分类方法、装置和电子设备 | |
CN112256866B (zh) | 一种基于深度学习的文本细粒度情感分析算法 | |
CN110083702B (zh) | 一种基于多任务学习的方面级别文本情感转换方法 | |
WO2021174922A1 (zh) | 语句情感分类方法及相关设备 | |
CN113987187B (zh) | 基于多标签嵌入的舆情文本分类方法、***、终端及介质 | |
CN112883153B (zh) | 基于信息增强bert的关系分类方法及装置 | |
Wu et al. | Optimized deep learning framework for water distribution data-driven modeling | |
CN113140023A (zh) | 一种基于空间注意力的文本到图像生成方法及*** | |
CN114841151B (zh) | 基于分解-重组策略的医学文本实体关系联合抽取方法 | |
CN113221551B (zh) | 一种基于序列生成的细粒度情感分析方法 | |
CN115600581A (zh) | 一种使用句法信息的受控文本生成方法 | |
CN115062109A (zh) | 一种基于实体对注意力机制的实体关系联合抽取方法 | |
CN111709530A (zh) | 一种量子机器学习的可视化展示方法 | |
Zeng et al. | Mitigating inconsistencies in multimodal sentiment analysis under uncertain missing modalities | |
Xu et al. | Chain of generation: Multi-modal gesture synthesis via cascaded conditional control | |
CN114880527B (zh) | 一种基于多预测任务的多模态知识图谱表示方法 | |
CN114239575B (zh) | 语句分析模型的构建方法、语句分析方法、装置、介质和计算设备 | |
Feng et al. | Prototypical networks relation classification model based on entity convolution | |
CN116521863A (zh) | 一种基于半监督学习的标签抗噪文本分类方法 | |
CN115545038A (zh) | 一种优化网格标签的方面情感分析方法 | |
CN115659242A (zh) | 一种基于模态增强卷积图的多模态情感分类方法 | |
CN114722142A (zh) | 一种基于多任务学习的方面情感分析模型 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |