CN113095063A - 一种基于遮蔽语言模型的两阶段情感迁移方法和*** - Google Patents

一种基于遮蔽语言模型的两阶段情感迁移方法和*** Download PDF

Info

Publication number
CN113095063A
CN113095063A CN202010018333.2A CN202010018333A CN113095063A CN 113095063 A CN113095063 A CN 113095063A CN 202010018333 A CN202010018333 A CN 202010018333A CN 113095063 A CN113095063 A CN 113095063A
Authority
CN
China
Prior art keywords
emotion
masking
corpus
language model
migration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010018333.2A
Other languages
English (en)
Inventor
虎嵩林
张滔
伍星
臧良俊
韩冀中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Information Engineering of CAS
Original Assignee
Institute of Information Engineering of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Information Engineering of CAS filed Critical Institute of Information Engineering of CAS
Priority to CN202010018333.2A priority Critical patent/CN113095063A/zh
Publication of CN113095063A publication Critical patent/CN113095063A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Machine Translation (AREA)

Abstract

本发明涉及一种基于遮蔽语言模型的两阶段情感迁移方法和***。该方法包括：利用基于注意力机制的情感分类器和基于相对频率的融合方法，计算语料库中的所有词的得分，根据得分构建情感标记词的词库；利用情感标记词的词库对语料进行遮蔽处理，得到遮蔽语料；将遮蔽语料输入遮蔽语言模型中，利用遮蔽语言模型在遮蔽语料的遮蔽位置进行填空，得到迁移语料；将迁移语料输入预训练的情感分类器中，输出情感置信度分值，并使用预训练的情感分类器的梯度信号来优化遮蔽语言模型。本发明通过显式分割情感迁移任务，先找出句子中的情感信息进行遮蔽，再填入能代表目标情感信息的情感词，通过分解任务降低难度，能够达到更好的效果。

Description

一种基于遮蔽语言模型的两阶段情感迁移方法和***
技术领域
本发明涉及深度学习与自然语言处理技术，具体涉及基于遮蔽语言模型的两阶段情感迁移方法和***。
背景技术
近年来，互联网信息技术高速发展，新闻网站、社交媒体每天都会产生海量的文本数据。文本数据包含着各种各样的风格，比如写作风格、主题风格、情感极性等。对文本风格进行迁移，即在不改变文本主体内容的前提下，重新组织文本让文本有着具体的风格属性，可以用于生成标签文本数据、更好地理解文本数据。情感迁移作为风格迁移的一个例子，目标在于转写文本的情感极性，能够运用于海量情感数据，如餐饮点评、商品评价，已经成为了一项极具实用价值、受到关注的研究课题。
情感迁移主要面临两个挑战，一是缺乏平行语料，二是情感信息和文本内容信息的杂糅。缺乏平行语料使得模型难以实现对海量数据的监督学***行语料，上述模型过程通常使用无监督学习完成，导致模型难以学习到较好的特征编码方式，难以生成令人满意的文本。
发明内容
针对上述技术问题，本发明提出一种基于遮蔽语言模型的两阶段情感迁移方法和***，利用先遮蔽再填空的方式，借助预训练的遮蔽语言模型，来解决信息杂糅、平行语料缺乏的问题。
为了解决上述技术问题，本发明的技术方案如下：
一种基于遮蔽语言模型的两阶段情感迁移方法，包括如下步骤：
利用基于注意力机制的情感分类器和基于相对频率的融合方法，计算语料库中的所有词的得分，根据得分构建情感标记词的词库；
利用情感标记词的词库，对语料进行遮蔽处理，得到遮蔽语料；
将遮蔽语料输入遮蔽语言模型中，利用遮蔽语言模型在遮蔽语料的遮蔽位置进行填空，得到迁移语料；
将迁移语料输入预训练的情感分类器中，输出情感置信度分值，并使用预训练的情感分类器的梯度信号来优化遮蔽语言模型。
进一步地，先找出不同情感极性所对应的情感标记词，构成每个情感极性的情感标记词库，包括：
预训练基于注意力机制的情感分类器，包括：使用word2vec在大规模非标注语料上得到传统词向量，把词向量表征的句子输入到双向长短时记忆网络(BiLSTM)来学习句子层级的上下文信息表示，对该表示使用注意力机制来提取不同词的位置特征的重要性权重，使用权重和上下文信息得到加权的文本信息表示，输入到softmax层进行类别概率预测；
使用情感分类器对语料中的所有词组进行打分，即把词组输入到情感分类器中，将softmax层输出的类别置信度当做该词组的情感得分；
统计语料中所有词组在不同情感极性语料中的频率，进而计算相对频率；
用情感得分和相对频率相乘，作为词组的最终得分，最终得分高于设定阈值的词组加入到情感标记词库中。
进一步地，根据情感标记词库，对语料中所有句子的情感标记词部分进行遮蔽，即将对应部分替换为特殊标记[MASK]，遮蔽的部分和未遮蔽的部分一起构成遮蔽语料。
进一步地，使用遮蔽语言模型对语料中被遮蔽的部分进行填空，达到情感迁移的目的，包括：
使用在大规模***语料库上预训练的遮蔽语言模型，在遮蔽语料上进行训练，目标是根据句子中未遮蔽的部分来推测被遮蔽部分。该训练步骤是为了消除遮蔽语言模型的预训练***数据和当前情感数据之间存在的分布偏差，让遮蔽语言模型更熟悉情感语料。
进一步地，由于遮蔽语言模型是在无监督环境下训练的，而情感迁移需要迁移句子满足对应情感极性，于是将标签信息加入到遮蔽语言模型的输入中，使得遮蔽语言模型的推测能够满足情感属性的要求。
进一步地，为了增加迁移句子的情感极性迁移准确度，引入预训练判别器辅助训练，根据目标情感类别标签来对迁移语料中的句子进行监督判别，计算迁移准确率。
进一步地，由于文本生成过程中的离散采样，导致梯度无法从预训练判别器回传到遮蔽语言模型。引入软采样的方法解决该问题，即在文本生成中不是使用argmax操作来得到词表中最大可能性对应的索引来在词向量表中取词，而是使用输入到argmax的softmax打分向量来乘以词向量矩阵，得到加权的词向量表示。该过程没有离散采样所导致的不可导问题，使得梯度能够回传，即能够利用预训练判别器的监督信号来优化遮蔽语言模型。
基于同一发明构思，本发明还提供一种基于遮蔽语言模型的两阶段情感迁移***，其包括：
遮蔽模块，负责利用基于注意力机制的情感分类器和基于相对频率的融合方法，计算语料库中的所有词的得分，根据得分构建情感标记词的词库；利用情感标记词的词库对语料进行遮蔽处理，得到遮蔽语料；
填空模块，负责将遮蔽语料输入遮蔽语言模型中，利用遮蔽语言模型,在遮蔽语料的遮蔽位置进行填空，得到迁移语料；将迁移语料输入预训练的情感分类器中，输出情感置信度分值，并使用预训练的情感分类器的梯度信号来优化遮蔽语言模型。
本发明的有益效果在于：
针对情感风格迁移中的两个问题：一是，信息杂糅导致情感信息和内容信息难以分宜，二是，缺乏平行语料来进行监督学习；提出了基于遮蔽语言模型的两阶段情感迁移方法，具体为：显式地将情感迁移变为两阶段建模，先利用基于预训练基于注意力的情感分类器打分与基于相对频率的融合方法，找出文本中情感信息所对应的情感词；遮蔽掉这些词，在遮蔽语料上使用遮蔽语言模型进行填空。为了保证填入词能够使迁移句子满足目标情感极性，引入预训练判别器辅助训练，约束遮蔽语言模型生成与目标情感极性一致的句子。
本发明通过显式分割情感迁移任务，先找出句子中的情感信息进行遮蔽，再填入能代表目标情感信息的情感词，相比于同时建模情感信息和内容信息的方法，本发明通过分解任务降低难度，达到更好的效果。本发明引入预训练遮蔽语言模型来填入情感信息，利用预训练带来的先验知识，能够实现对句子特征的高效编码，有效地缓解了平行语料缺乏所导致的模型训练问题。
附图说明
图1为本发明实施例提供的基于遮蔽语言模型的两阶段情感迁移方法的流程图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面通过具体实施案例并结合附图，对本发明做进一步详细说明。
图1为本实施例中基于遮蔽语言模型的两阶段情感迁移方法流程图方法的流程图，如图所示，该方法主要包括两个阶段，分别是：基于融合方法的情感标记词遮蔽阶段，基于预训练遮蔽语言模型考虑上下文信息和目标情感的情感标记词填空阶段。
(一)遮蔽阶段
步骤1，预训练基于注意力的情感分类器。给定包含N个词的输入句子S＝<t1,t2,...,tN>，使用word2vec将句子转化为词向量表征形式，使用双向长短时记忆网络(BiLSTM)学习输入句子中每个词的上下文信息，得到特征表示H＝(h1,h2,...,hN)。使用注意力机制对特征表示进行计算，得到每个词的位置特征的重要性权重α：
α＝softmax(w·tanh(WHT))
根据重要性权重来得到加权的特征表示c，将其输入到输出层得到分类输出y：
c＝α·H
y＝softmax(W′c)
其中w,W,W′表示可学习的权重，tanh表示激活函数，softmax表示归一化函数。
训练完毕后，将句子输入情感分类器，抽取对应的注意力权重a，作为情感得分p；
步骤2，计算词组u在某情感极性a对应语料Da的频率count(u,Da)，以其在其它情感极性a′上的频率，计算相对频率：
Figure BDA0002359782940000041
其中λ表示平滑因子；A表示所有情感极性；Da′表示情感极性a′对应语料Da′的频率count(u,Da′)。
步骤3，将情感得分和相对频率相乘得到最终得分：
s(u,a)＝sc(u,a)*
最终得分超过阈值γ，则加入情感标记词库；
步骤4，使用情感标记词库对情感语料中的表示情感信息的情感标记词进行遮蔽，得到遮蔽语料。
(二)填空阶段
步骤1，给定包含N个词的输入句子S＝<t1,t2,...,tN>其情感极性为a，由(一)阶段情感标记词库得到遮蔽词集合M，根据遮蔽词集合M得到遮蔽句子
Figure BDA0002359782940000042
其中“\”表示去除含义。
步骤2，使用预训练的双向Transformer表示编码(Bidirectional EncoderRepresentation from Transformer)模型的权重，初始化和预训练遮蔽语言模型。
步骤3，使用遮蔽语言模型在情感语料上进行遮蔽词推测的训练，缓解遮蔽语言模型预训练的***语料和情感语料的数据分布偏差，使得遮蔽语言模型能够在情感语料上进行合理的上下文编码，对遮蔽位置进行填空预测。
步骤4，将遮蔽语言模型输入层的片段词向量改为类别标签词向量，从而能使遮蔽语言模型在推测遮蔽时同时考虑目标情感类别和上下文信息。
步骤5，使用修改后的考虑类别的遮蔽语言模型在情感语料上进行遮蔽词推测的训练，使得遮蔽语言模型能考量类别标签词向量的作用：
Figure BDA0002359782940000051
其中，
Figure BDA0002359782940000052
表示进行遮蔽词推测训练的损失函数，
Figure BDA0002359782940000053
表示根据遮蔽句子
Figure BDA0002359782940000054
和情感极性a推测遮蔽词ti的概率。
步骤6，使用遮蔽语言模型得到迁移句子，构成迁移语料：
Figure BDA0002359782940000055
其中
Figure BDA0002359782940000056
表示迁移目标情感极性；AC表示attribute conditional即情感极性条件；MLM表示masked language model即遮蔽语言模型。情感极性条件不同，遮蔽语言模型填充的词不同。例如，迁移目标情感极性是正面情感，则填空步骤填充正面情感的词。
步骤7，使用预训练判别器对遮蔽语言模型输出的迁移句子
Figure BDA0002359782940000057
进行准确率计算，判断是否匹配目标情感类别
Figure BDA0002359782940000058
Figure BDA0002359782940000059
其中，
Figure BDA00023597829400000510
表示判断是否匹配目标情感的损失函数，
Figure BDA00023597829400000511
表示根据迁移句子
Figure BDA00023597829400000512
判断是否匹配目标情感类别
Figure BDA00023597829400000513
的概率。
步骤8，使用软采样解决文本生成导致的梯度中断问题，即在文本生成中不是使用argmax操作来得到词表中最大可能性对应的索引来在词向量表中取词，而是使用输入到argmax的softmax打分向量来乘以词向量矩阵，得到加权的词向量表示。软采样使得梯度信号能从预训练判别器回传到遮蔽语言模型。
步骤9，综合考虑两类目标函数进行训练：
Figure BDA00023597829400000514
其中，
Figure BDA00023597829400000515
表示针对参数来对损失函数进行优化，θ表示模型参数，η表示平衡因子，在训练中控制两类损失。
由上述方案可以看出，本方案针对情感风格迁移中的两个问题：一是信息杂糅导致情感信息和内容信息难以分离，二是缺乏平行语料来进行监督学习，提出基于遮蔽语言模型的两阶段情感迁移方法，可以提高生成句子的质量，具有良好的实用性。
基于同一发明构思，本发明的另一个实施例提供一种基于遮蔽语言模型的两阶段情感迁移***，其包括：
遮蔽模块，负责利用基于注意力机制的情感分类器和基于相对频率的融合方法，计算语料库中的所有词的得分，根据得分构建情感标记词的词库；利用情感标记词的词库对语料进行遮蔽处理，得到遮蔽语料；
填空模块，负责将遮蔽语料输入遮蔽语言模型中，利用遮蔽语言模型在遮蔽语料的遮蔽位置进行填空，得到迁移语料；将迁移语料输入预训练的情感分类器中，输出情感置信度分值，并使用预训练的情感分类器的梯度信号来优化遮蔽语言模型。
其中各模块的具体实施过程参加前文对本发明方法的描述。
基于同一发明构思，本发明的另一个实施例提供一种电子装置(计算机、服务器、智能手机等)，其包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行本发明方法中各步骤的指令。
基于同一发明构思，本发明的另一个实施例提供一种计算机可读存储介质(如ROM/RAM、磁盘、光盘)，所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，实现本发明方法的各个步骤。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明构思的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明保护范围内。

Claims (12)

1.一种基于遮蔽语言模型的两阶段情感迁移方法，其特征在于，包括以下步骤：
利用基于注意力机制的情感分类器和基于相对频率的融合方法，计算语料库中的所有词的得分，根据得分构建情感标记词的词库；
利用情感标记词的词库对语料进行遮蔽处理，得到遮蔽语料；
将遮蔽语料输入遮蔽语言模型中，利用遮蔽语言模型在遮蔽语料的遮蔽位置进行填空，得到迁移语料；
将迁移语料输入预训练的情感分类器中，输出情感置信度分值，并使用预训练的情感分类器的梯度信号来优化遮蔽语言模型。
2.根据权利要求1所述的方法，其特征在于，所述基于注意力机制的情感分类器采用以下方法计算情感得分：
1)使用word2vec将句子转化为词向量表征形式，使用双向长短时记忆网络学习输入句子中每个词的上下文信息，得到上下文表示；
2)使用注意力机制得到每个词的位置特征的重要性权重；
3)根据重要性权重得到加权的特征表示，将加权的特征表示输入到输出层得到分类输出；
4)使用语料，预训练该情感分类器；
5)训练完毕后，将句子输入情感分类器，抽取对应的注意力权重，作为情感得分。
3.根据权利要求2所述方法，其特征在于，步骤1)所述的上下文表示为：
H＝(h1，h2，...，hN)＝BiLSTM(t1，t2，...，tN)
其中hi表示第i个词位的特征表示，ti表示第i个词位对应的输入词；
步骤2)所述的重要性权重为：
α＝soffmax(w·tanh(WHT))
其中w，W表示可学习的权重，tanh表示激活函数，soffmax表示归一化函数；
步骤3)所述的加权的特征表示为：
c＝α·H
y＝soffmax(W′c)
其中W′表示可学习的权重，soffmax表示归一化函数；
步骤5)所述的注意力权重为α，情感得分为p。
4.根据权利要求3所述的方法，其特征在于，给定情感极性a对应的语料Da，计算词组u的出现频率count(u，Da)，和在其它情感极性a′上出现的频率，进而计算相对频率：
Figure FDA0002359782930000011
其中λ表示平滑因子，A表示所有情感极性，Da′表示情感极性a′对应语料Da′的频率count(u，Da′)；
进而，将情感得分和相对频率相乘得到最终得分：s(u，a)＝sc(u，a)*p；最终得分超过阈值γ，则加入情感标记词库。
5.根据权利要求1所述的方法，其特征在于，利用情感标记词库得到遮蔽词集合，将句子中的遮蔽词使用特殊标记替换，得到遮蔽句子，针对语料中所有句子进行操作，得到由所有遮蔽句子构成的遮蔽语料。
6.根据权利要求1所述的方法，其特征在于，得到迁移语料的过程包括：
1)使用预训练的双向Transformer表示编码模型的权重，初始化和预训练遮蔽语言模型；
2)使用遮蔽语言模型在情感语料上进行遮蔽词推测的训练，缓解遮蔽语言模型预训练的***语料和情感语料的数据分布偏差，使得遮蔽语言模型能够在情感语料上进行合理的上下文编码，对遮蔽位置进行填空预测；
3)将遮蔽语言模型输入层的片段词向量改为类别标签词向量，从而能使遮蔽语言模型在推测遮蔽时同时考虑目标情感类别和上下文信息；
4)使用修改后的考虑类别的遮蔽语言模型在情感语料上进行遮蔽词推测的训练，使得遮蔽语言模型能考量类别标签词向量的作用；
5)使用遮蔽语言模型得到迁移句子，构成迁移语料。
7.根据权利要求6所述的方法，其特征在于，步骤4)使用的计算公式为
Figure FDA0002359782930000021
其中，
Figure FDA0002359782930000022
表示进行遮蔽词推测训练的损失函数，
Figure FDA0002359782930000023
表示根据遮蔽句子
Figure FDA0002359782930000024
和情感极性a推测遮蔽词ti的概率；
步骤5)使用的计算公式为
Figure FDA0002359782930000025
其中
Figure FDA0002359782930000026
表示迁移句子，
Figure FDA0002359782930000027
表示迁移目标情感极性，AC表示情感极性条件，MLM表示遮蔽语言模型。
8.根据权利要求7所述的方法，其特征在于，使用预训练判别器对遮蔽语言模型输出的迁移句子
Figure FDA0002359782930000028
进行准确率计算，判断是否匹配迁移目标情感极性
Figure FDA0002359782930000029
使用的计算公式为
Figure FDA00023597829300000210
其中，
Figure FDA00023597829300000211
表示判断是否匹配目标情感的损失函数，
Figure FDA00023597829300000212
表示根据迁移句子
Figure FDA00023597829300000213
判断是否匹配目标情感类别
Figure FDA0002359782930000031
的概率。
9.根据权利要求8所述的方法，其特征在于，使用软采样解决文本生成导致的梯度中断问题，即在文本生成中不是使用argmax操作来得到词表中最大可能性对应的索引来在词向量表中取词，而是使用输入到argmax的softmax打分向量来乘以词向量矩阵，得到加权的词向量表示；软采样使得梯度信号能从预训练判别器回传到遮蔽语言模型。
10.根据权利要求8所述的方法，其特征在于，综合考虑两类目标函数进行训练：
Figure FDA0002359782930000032
其中，
Figure FDA0002359782930000033
表示针对参数来对损失函数进行优化，θ表示模型参数，η表示平衡因子，在训练中控制两类损失。
11.一种基于遮蔽语言模型的两阶段情感迁移***，其特征在于，包括：
遮蔽模块，负责利用基于注意力机制的情感分类器和基于相对频率的融合方法，计算语料库中的所有词的得分，根据得分构建情感标记词的词库；利用情感标记词的词库对语料进行遮蔽处理，得到遮蔽语料；
填空模块，负责将遮蔽语料输入遮蔽语言模型中，利用遮蔽语言模型在遮蔽语料的遮蔽位置进行填空，得到迁移语料；将迁移语料输入预训练的情感分类器中，输出情感置信度分值，并使用预训练的情感分类器的梯度信号来优化遮蔽语言模型。
12.一种电子装置，其特征在于，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行权利要求1～10中任一权利要求所述方法的指令。
CN202010018333.2A 2020-01-08 2020-01-08 一种基于遮蔽语言模型的两阶段情感迁移方法和*** Pending CN113095063A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010018333.2A CN113095063A (zh) 2020-01-08 2020-01-08 一种基于遮蔽语言模型的两阶段情感迁移方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010018333.2A CN113095063A (zh) 2020-01-08 2020-01-08 一种基于遮蔽语言模型的两阶段情感迁移方法和***

Publications (1)

Publication Number Publication Date
CN113095063A true CN113095063A (zh) 2021-07-09

Family

ID=76663299

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010018333.2A Pending CN113095063A (zh) 2020-01-08 2020-01-08 一种基于遮蔽语言模型的两阶段情感迁移方法和***

Country Status (1)

Country Link
CN (1) CN113095063A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115600582A (zh) * 2022-12-15 2023-01-13 电子科技大学（Cn） 一种基于预训练语言模型的可控文本生成方法
CN116227428A (zh) * 2023-05-08 2023-06-06 中国科学技术大学 一种基于迁移模式感知的文本风格迁移方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080249764A1 (en) * 2007-03-01 2008-10-09 Microsoft Corporation Smart Sentiment Classifier for Product Reviews
CN108021660A (zh) * 2017-12-04 2018-05-11 中国人民解放军国防科技大学 一种基于迁移学习的话题自适应的微博情感分析方法
WO2019050501A1 (en) * 2017-09-05 2019-03-14 TripleDip, LLC NARRATIVE INTERPRETER BASED ON A FUNCTIONAL ONTOLOGY MACHINE
CN109543180A (zh) * 2018-11-08 2019-03-29 中山大学 一种基于注意力机制的文本情感分析方法
CN110263332A (zh) * 2019-05-28 2019-09-20 华东师范大学 一种基于神经网络的自然语言关系抽取方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080249764A1 (en) * 2007-03-01 2008-10-09 Microsoft Corporation Smart Sentiment Classifier for Product Reviews
WO2019050501A1 (en) * 2017-09-05 2019-03-14 TripleDip, LLC NARRATIVE INTERPRETER BASED ON A FUNCTIONAL ONTOLOGY MACHINE
CN108021660A (zh) * 2017-12-04 2018-05-11 中国人民解放军国防科技大学 一种基于迁移学习的话题自适应的微博情感分析方法
CN109543180A (zh) * 2018-11-08 2019-03-29 中山大学 一种基于注意力机制的文本情感分析方法
CN110263332A (zh) * 2019-05-28 2019-09-20 华东师范大学 一种基于神经网络的自然语言关系抽取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
冯多;林政;付鹏;王伟平;: "基于卷积神经网络的中文微博情感分类", 计算机应用与软件, vol. 34, no. 04, pages 157 - 164 *
徐琳宏;林鸿飞;赵晶;: "情感语料库的构建和分析", 中文信息学报, vol. 22, no. 01, pages 116 - 122 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115600582A (zh) * 2022-12-15 2023-01-13 电子科技大学（Cn） 一种基于预训练语言模型的可控文本生成方法
CN115600582B (zh) * 2022-12-15 2023-04-07 电子科技大学 一种基于预训练语言模型的可控文本生成方法
CN116227428A (zh) * 2023-05-08 2023-06-06 中国科学技术大学 一种基于迁移模式感知的文本风格迁移方法
CN116227428B (zh) * 2023-05-08 2023-07-18 中国科学技术大学 一种基于迁移模式感知的文本风格迁移方法

Similar Documents

Publication Publication Date Title
CN110489555B (zh) 一种结合类词信息的语言模型预训练方法
US20230016365A1 (en) Method and apparatus for training text classification model
Mikolov et al. Advances in pre-training distributed word representations
CN110245229B (zh) 一种基于数据增强的深度学习主题情感分类方法
CN111339260A (zh) 一种基于bert和qa思想的细粒度情感分析方法
Bokka et al. Deep Learning for Natural Language Processing: Solve your natural language processing problems with smart deep neural networks
CN113095063A (zh) 一种基于遮蔽语言模型的两阶段情感迁移方法和***
Wang et al. Word vector modeling for sentiment analysis of product reviews
CN113254586B (zh) 一种基于深度学习的无监督文本检索方法
Wu et al. Joint intent detection model for task-oriented human-computer dialogue system using asynchronous training
Seilsepour et al. Self-supervised sentiment classification based on semantic similarity measures and contextual embedding using metaheuristic optimizer
CN116680575B (zh) 模型处理方法、装置、设备及存储介质
CN113486143A (zh) 一种基于多层级文本表示及模型融合的用户画像生成方法
Visser et al. Sentiment and intent classification of in-text citations using bert
CN115906824A (zh) 一种文本细粒度情感分析方法、***、介质和计算设备
Mueller et al. Do Text-to-Text Multi-Task Learners Suffer from Task Conflict?
CN115906854A (zh) 一种基于多级对抗的跨语言命名实体识别模型训练方法
Kavi Turkish text classification: from Lexicon analysis to bidirectional transformer
CN115422324A (zh) 一种文本处理方法及设备
Lou Deep learning-based sentiment analysis of movie reviews
CN114548117A (zh) 一种基于bert语义增强的因果关系抽取方法
Sharma et al. Language identification for hindi language transliterated text in roman script using generative adversarial networks
Xie et al. Automatic chinese spelling checking and correction based on character-based pre-trained contextual representations
WO2022028689A1 (en) Method for a language modeling and device supporting the same
Chen et al. Fast OOV words incorporation using structured word embeddings for neural network language model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination