CN112069397A - 自注意力机制与生成对抗网络相结合的谣言检测方法 - Google Patents
自注意力机制与生成对抗网络相结合的谣言检测方法 Download PDFInfo
- Publication number
- CN112069397A CN112069397A CN202010850844.0A CN202010850844A CN112069397A CN 112069397 A CN112069397 A CN 112069397A CN 202010850844 A CN202010850844 A CN 202010850844A CN 112069397 A CN112069397 A CN 112069397A
- Authority
- CN
- China
- Prior art keywords
- rumor
- sequence
- generator
- discriminator
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 52
- 230000007246 mechanism Effects 0.000 title claims abstract description 14
- 238000012549 training Methods 0.000 claims abstract description 17
- 238000000034 method Methods 0.000 claims abstract description 10
- 239000013598 vector Substances 0.000 claims description 54
- 238000000605 extraction Methods 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 7
- 238000009826 distribution Methods 0.000 claims description 5
- 230000002441 reversible effect Effects 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 4
- 238000004140 cleaning Methods 0.000 claims description 2
- 238000012886 linear function Methods 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 230000007704 transition Effects 0.000 claims description 2
- 230000003042 antagnostic effect Effects 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 11
- 230000000694 effects Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000008485 antagonism Effects 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 238000004260 weight control Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/353—Clustering; Classification into predefined classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Databases & Information Systems (AREA)
- Machine Translation (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了自注意力机制与生成对抗网络相结合的谣言检测方法,包括:收集谣言文本数据形成谣言数据集;基于自注意力机制,构建包含自注意力层的生成对抗网络生成器;构建判别器网络,分别对原始谣言文本和经生成器解码的文本进行谣言检测、分类;对生成对抗网络进行训练,调整生成器的模型参数和判别器的模型参数;提取生成对抗网络的判别器网络,对待检测文本进行谣言检测。本发明相比现有的谣言检测方法,检测精度更高,鲁棒性更好;生成器采用自注意力层,通过对谣言样本的语义学习,构建关键特征,生成富含表现特征的文本样例来模拟谣言传播过程的信息流失、混淆,并通过对抗训练,增强判别器的语义特征识别能力。
Description
技术领域
本发明属于文本识别领域,具体涉及一种自注意力机制与生成对抗网络相结合的谣言检测方法。
背景技术
谣言具有时序性和特征多样性,传播过程中信息会被不断加工,具有很强迷惑性。
基于传统机器学习的谣言检测算法需预先定义和抽取文本相关特征,对特定类型的数据集依赖性较强,因此,此类算法泛化能力差。利用神经网络结构如LSTM、GRU、CNN来提取谣言特征,避免人为构建特征工程,但是这类模型未结合谣言在网络中传播的特点,在提取语义特征上,无法让模型辨析关键特征,并且现实生活中谣言会随着时序而改变部分边缘信息,增加语义混淆度,从而降低模型对关键特征的提取能力,导致检测效果不理想。
综上所述,传统谣言检测算法存在提取文本语义和关键特征等效果不理想的问题,而一般序列模型在文本检测中无法解决特定语义下的特征提取,导致模型泛化能力差。
发明内容
本发明的目的是针对上述问题,提供一种谣言检测方法,采用自注意力机制与生成对抗网络相结合的谣言检测模型,该模型采用对抗训练方式,符合谣言在传播过程中人为增删、夸大和歪曲信息的特点,通过对抗网络生成器和判别器的相互促进作用,强化谣言指示性特征的学习,不断提高模型的学习能力;生成器采用自注意力层实现语义的提取和特征的学习;判别器采用双向LSTM,以提升对长序列谣言的判断能力。
本发明的技术方案是自注意力机制与生成对抗网络相结合的谣言检测方法,包括以下步骤:
步骤1:收集谣言文本数据形成谣言数据集;
步骤2:基于自注意力机制,构建包含自注意力层的生成对抗网络生成器;
步骤3:构建判别器网络,分别对原始谣言文本和经生成器解码的文本进行谣言检测、分类;步骤4:对生成对抗网络进行训练,调整生成器的模型参数和判别器的模型参数;
步骤5:提取生成对抗网络的判别器网络,对待检测文本进行谣言检测。
进一步地,所述谣言检测模型包括数据预处理部分、生成器、判别器网络和输出层。
优选地,所述生成器包括预处理层、多个全连接层、多个自注意力层、残差结构和分类器,跳跃连接将多个自注意力层和全连接层进行前后直连形成残差单元。
优选地,所述判别器为BiLSTM网络,包括多个正向LSTM单元和多个反向LSTM单元。
相比现有技术,本发明的有益效果:
1)本发明的采用自注意力机制与生成对抗网络相结合的谣言检测模型,相比现有的谣言检测方法,检测精度更高,鲁棒性更好;
2)本发明的生成器采用自注意力层,通过对谣言样本的语义学习,构建关键特征,生成富含表现特征的文本样例来模拟谣言传播过程的信息流失、混淆,并通过对抗训练,增强判别器的语义特征识别能力;
3)本发明的谣言检测模型采用多头自注意力结构,可以实现网络的并行计算,有效减少网络训练的时间复杂度;
4)本发明的谣言检测模型泛化能力强,对中文文本和外国语文本的谣言检测效果好;
5)本发明的谣言检测方法采用生成对抗的训练方式,少量的谣言样本即可完成谣言检测模型的训练,避免了现有的谣言检测模型的训练对谣言样本需求大、谣言样本难以收集的缺陷;
6)本发明采用GloVe算法提取文本的词向量,该算法训练词向量的时间短,训练出的词向量精准。
附图说明
下面结合附图和实施例对本发明作进一步说明。
图1为本发明实施例的谣言检测模型的结构示意图。
图2为本发明实施例的生成器的结构示意图。
图3为本发明实施例的判别器的结构示意图。
具体实施方式
采用图1所示的谣言检测模型,自注意力机制与生成对抗网络相结合的谣言检测方法,包括以下依次执行的步骤:
步骤1:收集谣言文本数据形成谣言数据集;预处理文本数据,将文本数据进行特殊符号过滤、词向量化;
步骤2:构建包含自注意力层的生成对抗网络生成器,对原始文本进行编码再解码,如图2所示,使其特征分布尽可能地偏向对立类别,使原始序列和伪装序列的差别尽可能地增大,以此来健壮判别器模型的检测谣言能力;
步骤3:构建生成对抗网络判别器,如图3所示,对原始文本和经生成器解码的文本序列进行谣言检测,对同一标签文本进行分类;
步骤4:利用判别器产生的损失值进行生成对抗训练,分批次的调整生成器网络模型的参数和判别器网络模型的参数,使谣言检测的精度提高;
步骤5:提取生成对抗模型的判别器对待检测文本进行谣言检测,确定模型泛化能力。
如图1所示,谣言检测模型包括数据预处理部分、生成器网络、判别器网络以及输出层部分。
如图2所示,生成器包括预处理层、多个全连接层、自注意力层、残差结构和分类器,跳跃连接将多个自注意力层和全连接层进行前后直连形成残差单元。
如图3所示,判别器为BiLSTM网络,包括多个正向LSTM单元和反向LSTM单元。
步骤3中,对原始谣言文本和经生成器解码的文本进行谣言检测,具体包括:
1)将谣言文本的位置信息嵌入到词向量中,对于数据集中的谣言短文本序列,通过对数据特殊符号清洗、分词、词频过滤。
利用GloVe算法对词进行向量化,定义Xij表示词汇j出现在词汇i上下文中的次数总和;Xi表示所有出现在词汇i上下文中的词汇的次数总和;Pij=P(j|i)=Xij/Xi,表示词汇j出现在词汇i上下文的概率。定义函数f(xij)表示Xij在文本中的权重,计算式如下:
式中xmax设定为100,α设定为0.75;
定义目标函数J如下:
其中n表示数据集中词的数量,wi,wk分别代表词i,j的词向量,bi,bk表示引入的词偏向。GloVe算法求出目标函数J的最小值,得到词向量wj,j=1,2…,n,然后得到由词向量组成的序列Si={w1,…,wn},i代表每个词向量的具***置;这n个词组代表了这一条序列的所有信息。将单词在序列中的位置信息标记为pos,利用三角函数对位置信息进行编码:
其中dmodel为序列中词的维度,i代表词向量的位置,x(pos,i)表示处于pos位置上的第i个单词的位置编码,再通过计算得到一组位置信息向量wpi={x1,…,xn},结合单词语义向量Si,最终输入到生成器或判别器中的是单词向量Mi=Si+wpi;
实施例中采用的GloVe模型和算法参照Pennington J等人2014年发表的会议论文“Glove:Global Vectors for Word Representation”。
2)将预处理得到的词向量输入到生成器网络中,其中自注意力层对其进行特征提取,首先初始化三个状态矩阵Wq、Wk、Wv,方便后续进行并行的注意力权重计算:
xq=Mi·Wq
xk=Mi·Wk
xv=Mi·Wv
通过计算的向量xq、xk、xv来表示Mi,即Mi={xq,xk,xv};进入自注意力层,依次将每一个词向量的q和k分向量进行矩阵运算得到score:
scorei=xq·xk
进行归一化输入到softmax函数里得到当前词向量对谣言序列输出向量ci转换的权重,注意力attention的计算式如下:
a(scorei,xv)i表示单词向量Mi对输出向量ci的贡献量,n为词的长度,取值范围为n∈[1,512];经过自注意力层之后,进入全连接层进行特征提取。对于谣言Xr和非谣言Xn的文本,生成器类似构造了如下非线性函数,使得原始特征映射到新的特征空间中,即
3)将原始文本序列和生成器生成的文本序列输入判别器,判别器采用LSTM结构单元组成,如图3所示,首先,用a0=(h0,ce0)对正向和反向的LSTM层状态进行初始化,其中,h0为LSTM显性状态、ce0为LSTM单元元胞状态,隐藏状态a0采用正态分布随机初始化。经过生成器伪装后的谣言序列数据Xi={x1,...,xn}进入判别器的LSTM单元,LSTM单元内部的输入门对序列进行信息提取:
it=σ(Wi·[ht-1,xt]+bi)
Ct=tanh(Wc·[ht-1,xt]+bc)
式中ht-1为前一个时间序列状态,xt为当前t时刻的输入,也是经自注意力层处理的谣言序列词向量。Ct是当前时刻输入词语和上一时刻输出的语义信息,Wi,Wc,Wc,bi是输入门对谣言序列的解析矩阵。为了滤掉一些和分类无关的特征信息,保留关键特征,将Ct,xt输入到遗忘门,进行如下特征过滤计算:
ft=σ(Wf·[ht-1,xt]+bf)
得到要输出的特征矩阵,LSTM控制这个状态信息和输入特征向量对当前时刻输出ot的影响,接下来进入输出门,最终得到此时序谣言词向量ρt;
ot=σ(Wo[ht-1,xt]+bo)
式中Wo,bo分别是输出门的权重矩阵,为LSTM正向或反向得到的序列向量,为LSTM正向得到的序列向量,为LSTM反向得到的序列向量。判别器网络的最后一层得到所有时序的输出Ti={ρi|0<i<n},考虑到谣言检测理应受到关键特征的影响,而不是一些边缘特征,因此,在判别器网络输出层引入注意力层。在输入序列中,构造特征矩阵对每一个LSTM单元的输出ρi分别计算出影响因子ei:
归一化后得到每一时序的权重,然后按照权重对每一时序加权求和:
最后经过softmax层计算谣言和非谣言的类别概率。
步骤4中,生成对抗网络训练时,生成器尽可能将文本序列解码成对立的类别文本,定义映射函数f(X),建立谣言伪装为非谣言或非谣言伪装为谣言的表示机制,但是单一的映射关系可能会导致序列被过度解码,原始语义可能会被改变为目标语义,从而降低判别器的分类能力。为此,需要将生成器的映射函数改为可逆的,即将生成器网络模型的输出作为其输入,保证得到原始输入。定义映射关系:
式中D代表判别器模型的分类差值的计算函数。判别器网络使用BiLSTM模型,其损失值由原始分类差值和对生成器生成序列的判别值组成:
LD=D(X)+D(fS(X))
作为分类的生成网络对抗模型,希望生成器能伪装谣言和非谣言序列,使其特征分布尽可能地偏向对立类别,使原始序列和伪装序列的差别尽可能地增大。而对于判别器而言,它需要训练其网络以判别出原始序列的类别,并尽力将伪装后的序列和原始序列归为一类,最大化它们的特征共性,这些特征就是需要判别器去学习的关键特征。对抗网络的优化模型如下:
V(G,D)=αLG+(1-α)LD
式中α为权衡对抗网络中的损失系数,默认值为0.5,V表示模型关于生成器损失函数LG和判别器损失函数LD的关系映射,G*表示模型优化方式。
生成对抗网络训练时,先更新判别器的参数,让生成器伪装的序列和期望目标序列之间尽可能大,接着优化生成器的网络结构和参数,使生成器生成的序列能近似符合期望目标序列语义,让对抗网络中的判别器无法分辨出谣言伪装序列和非谣言的特征差异。
实施结果表明:本发明的谣言检测方法相比现有的谣言检测方法,检测精度更高,鲁棒性更好;本发明的谣言检测模型泛化能力强,对中文文本和外国语文本均有极好的谣言检测效果;采用生成对抗的训练方式,少量的谣言样本即可完成谣言检测模型的训练;采用GloVe算法提取文本的词向量,GloVe模型训练词向量的时间短,训练出的词向量精准,词关系的上下文信息采集、词的权重控制方面均优化于CBOW模型、Skip-Gram模型。
Claims (6)
1.自注意力机制与生成对抗网络相结合的谣言检测方法,其特征在于,利用自注意力机制与生成对抗网络相结合的谣言检测模型进行谣言检测,包括以下步骤,
步骤1:收集谣言文本数据形成谣言数据集;
步骤2:基于自注意力机制,构建包含自注意力层的生成对抗网络生成器;
步骤3:构建判别器网络,分别对原始谣言文本和经生成器解码的文本进行谣言检测、分类;
步骤4:对生成对抗网络进行训练,调整生成器的模型参数和判别器的模型参数;
步骤5:提取生成对抗网络的判别器网络,对待检测文本进行谣言检测。
2.根据权利要求1所述的自注意力机制与生成对抗网络相结合的谣言检测方法,其特征在于,所述谣言检测模型包括数据预处理部分、生成器、判别器网络和输出层。
3.根据权利要求1所述的自注意力机制与生成对抗网络相结合的谣言检测方法,其特征在于,所述生成器包括预处理层、多个全连接层、多个自注意力层、残差结构和分类器,跳跃连接将多个自注意力层和全连接层进行前后直连形成残差单元。
4.根据权利要求1所述的自注意力机制与生成对抗网络相结合的谣言检测方法,其特征在于,所述判别器为BiLSTM网络,包括多个正向LSTM单元和多个反向LSTM单元。
5.根据权利要求1所述的自注意力机制与生成对抗网络相结合的谣言检测方法,其特征在于,所述对原始谣言文本和经生成器解码的文本进行谣言检测、分类,具体包括:
1)将谣言文本的位置信息嵌入到词向量中,对于数据集中的谣言短文本序列,通过对数据特殊符号清洗、分词、词频过滤;然后利用GloVe算法对词进行向量化,得到由词向量组成的序列Si={w1,...,wn},其中wj,j=1,2…,n代表序列中的语义词向量,i代表每个词向量的具***置;这n个词组代表了这一条序列的所有信息;
将词在序列中的位置信息标记为pos,利用三角函数对位置信息进行编码:
其中dmodel为序列中词的维度,i代表词向量的位置,x(pos,i)表示处于pos位置上的第i个词的位置编码,再通过计算得到一组位置信息向量wpi={x1,...,xn},结合词语义向量Si,最终输入到生成器或判别器中的是词向量Mi=Si+wpi;
2)将预处理得到的词向量输入到生成器网络中,其中自注意力层对其进行特征提取,首先初始化三个状态矩阵Wq、Wk、Wv,方便后续进行并行的注意力权重计算:
xq=Mi·Wq
xk=Mi·Wk
xv=Mi·Wv
通过计算的向量xq、xk、xv来表示Mi,即Mi={xq,xk,xv};进入自注意力层,依次将每一个词向量的q和k分向量进行矩阵运算得到score:
scorei=xq·xk
进行归一化输入到softmax函数里得到当前词向量对谣言序列输出向量ci转换的权重,注意力attention的计算式如下:
a(scorei,xv)i表示词向量Mi对输出向量ci的贡献量,n为词的长度;
经过自注意力层之后,进入全连接层进行特征提取;对于谣言Xr和非谣言Xn的文本,生成器类似构造了如下非线性函数,使得原始特征映射到新的特征空间中,即
3)将原始文本序列和生成器生成的文本序列输入判别器;首先,用a0=(h0,ce0)对正向和反向的LSTM层状态进行初始化,其中h0为LSTM显性状态、ce0为LSTM单元元胞状态,隐藏状态a0采用正态分布随机初始化;经过生成器伪装后的谣言序列数据Xi={x1,…,xn}进入判别器的LSTM单元,LSTM单元内部的输入门对序列进行信息提取:
it=σ(Wi·[ht-1,xt]+bi)
Ct=tanh(Wc·[ht-1,xt]+bc)
式中ht-1为前一个时间序列状态,xt为当前t时刻的输入,也是经自注意力层处理的谣言序列词向量;Ct是当前时刻输入词语和上一时刻输出的语义信息,Wi,Wc,bi,bc是输入门对谣言序列的解析矩阵;为了滤掉一些和分类无关的特征信息,保留关键特征,将Ct,xt输入到遗忘门进行特征过滤,计算式如下:
ft=σ(Wf·[ht-1,xt]+bf)
得到要输出的特征矩阵,LSTM控制这个状态信息和输入特征向量对当前时刻输出ot的影响,接下来进入输出门,最终得到此时序谣言词向量ρt:
ot=σ(Wo[ht-1,xt]+bo)
式中Wo,bo分别是输出门的权重矩阵,为LSTM正向或反向得到的序列向量,为LSTM正向得到的序列向量,为LSTM反向得到的序列向量;判别器的最后一层得到所有时序的输出Ti={ρi|0<i<n},并在判别器输出层引入注意力层;在输入序列中,构造特征矩阵对每一个LSTM单元的输出ρi分别计算出影响因子ei:
归一化后得到每一时序的权重,然后按照权重对每一时序加权求和:
最后经过softmax层计算谣言和非谣言的类别概率。
6.根据权利要求1-5任意一项所述的自注意力机制与生成对抗网络相结合的谣言检测方法,其特征在于,步骤4中,生成对抗网络训练时,生成器尽可能将文本序列解码成对立的类别文本,定义映射函数f(X),用来表示谣言伪装为非谣言或非谣言伪装为谣言;单一的映射关系可能会导致序列被过度解码,原始语义可能会被改变为目标语义,从而降低判别器的分类能力,因此生成器采用可逆的映射函数,即将生成器网络模型的输出作为其输入,保证得到原始输入,定义映射关系:
式中D表示判别器模型的分类差值的计算函数;判别器的损失值由原始分类差值和对生成器生成序列的判别值组成:
LD=D(X)+D(fS(X))
作为分类的生成网络对抗模型,希望生成器能伪装谣言和非谣言序列,使其特征分布尽可能地偏向对立类别,使原始序列和伪装序列的差别尽可能地增大;而对于判别器而言,它需要训练其网络以判别出原始序列的类别,并尽力将伪装后的序列和原始序列归为一类,最大化它们的特征共性,这些特征就是需要判别器去学习的关键特征;对抗网络的优化模型如下:
V(G,D)=αLG+(1-α)LD
式中α为权衡对抗网络中的损失系数,V表示模型关于生成器损失函数LG和判别器损失函数LD的关系映射,G*表示模型优化目标;生成对抗网络训练时,先更新判别器的参数,让生成器伪装的序列和期望目标序列之间尽可能大,接着优化生成器的网络结构和参数,使生成器生成的序列能近似符合期望目标序列语义,让对抗网络中的判别器无法分辨出谣言伪装序列和非谣言的特征差异。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310836875.4A CN117010446A (zh) | 2020-08-21 | 2020-08-21 | 采用自注意力生成器和BiLSTM判别器的谣言检测方法 |
CN202010850844.0A CN112069397B (zh) | 2020-08-21 | 2020-08-21 | 自注意力机制与生成对抗网络相结合的谣言检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010850844.0A CN112069397B (zh) | 2020-08-21 | 2020-08-21 | 自注意力机制与生成对抗网络相结合的谣言检测方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310836875.4A Division CN117010446A (zh) | 2020-08-21 | 2020-08-21 | 采用自注意力生成器和BiLSTM判别器的谣言检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112069397A true CN112069397A (zh) | 2020-12-11 |
CN112069397B CN112069397B (zh) | 2023-08-04 |
Family
ID=73659896
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010850844.0A Active CN112069397B (zh) | 2020-08-21 | 2020-08-21 | 自注意力机制与生成对抗网络相结合的谣言检测方法 |
CN202310836875.4A Pending CN117010446A (zh) | 2020-08-21 | 2020-08-21 | 采用自注意力生成器和BiLSTM判别器的谣言检测方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310836875.4A Pending CN117010446A (zh) | 2020-08-21 | 2020-08-21 | 采用自注意力生成器和BiLSTM判别器的谣言检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (2) | CN112069397B (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112541081A (zh) * | 2020-12-21 | 2021-03-23 | 中国人民解放军国防科技大学 | 一种基于领域自适应的可迁移谣言检测方法 |
CN112667784A (zh) * | 2021-01-14 | 2021-04-16 | 浙江工商大学 | 一种基于加权反向采样的谣言遏制方法 |
CN112766359A (zh) * | 2021-01-14 | 2021-05-07 | 北京工商大学 | 一种面向食品安全舆情的字词双维度微博谣言识别方法 |
CN113191144A (zh) * | 2021-03-19 | 2021-07-30 | 北京工商大学 | 一种基于传播影响力的网络谣言识别***及方法 |
CN113392932A (zh) * | 2021-07-06 | 2021-09-14 | 中国兵器工业信息中心 | 一种深度入侵检测的对抗攻击*** |
CN113434684A (zh) * | 2021-07-01 | 2021-09-24 | 北京中科研究院 | 自监督学习的谣言检测方法、***、设备及存储介质 |
CN113496123A (zh) * | 2021-06-17 | 2021-10-12 | 三峡大学 | 谣言检测方法、装置、电子设备及存储介质 |
CN113610212A (zh) * | 2021-07-05 | 2021-11-05 | 宜通世纪科技股份有限公司 | 一种多模态传感器数据的合成方法、装置及存储介质 |
CN113946680A (zh) * | 2021-10-20 | 2022-01-18 | 河南师范大学 | 一种基于图嵌入及信息流分析的线上网络谣言鉴别方法 |
CN114065759A (zh) * | 2021-11-19 | 2022-02-18 | 深圳视界信息技术有限公司 | 一种模型失效检测方法、装置、电子设备及介质 |
CN114329229A (zh) * | 2021-12-16 | 2022-04-12 | 三峡大学 | 融合用户信息和文本信息的谣言检测方法及装置 |
CN117573865A (zh) * | 2023-10-19 | 2024-02-20 | 南昌大学 | 一种基于可解释自适应学习的谣言模糊检测方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117332048B (zh) * | 2023-11-30 | 2024-03-22 | 运易通科技有限公司 | 一种基于机器学习的物流信息查询方法、装置及*** |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180285740A1 (en) * | 2017-04-03 | 2018-10-04 | Royal Bank Of Canada | Systems and methods for malicious code detection |
CN110135567A (zh) * | 2019-05-27 | 2019-08-16 | 中国石油大学(华东) | 基于多注意力生成对抗网络的图像字幕生成方法 |
CN110795556A (zh) * | 2019-11-01 | 2020-02-14 | 中山大学 | 一种基于细粒度***式解码的摘要生成方法 |
CN111061843A (zh) * | 2019-12-26 | 2020-04-24 | 武汉大学 | 一种知识图谱引导的假新闻检测方法 |
US20200134415A1 (en) * | 2018-10-30 | 2020-04-30 | Huawei Technologies Co., Ltd. | Autoencoder-Based Generative Adversarial Networks for Text Generation |
CN111476294A (zh) * | 2020-04-07 | 2020-07-31 | 南昌航空大学 | 一种基于生成对抗网络的零样本图像识别方法及*** |
CN111475546A (zh) * | 2020-04-09 | 2020-07-31 | 大连海事大学 | 一种基于双阶段注意力机制生成对抗网络的金融时间序列预测方法 |
CN111539211A (zh) * | 2020-04-17 | 2020-08-14 | 中移(杭州)信息技术有限公司 | 实体及语义关系识别方法、装置、电子设备及存储介质 |
-
2020
- 2020-08-21 CN CN202010850844.0A patent/CN112069397B/zh active Active
- 2020-08-21 CN CN202310836875.4A patent/CN117010446A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180285740A1 (en) * | 2017-04-03 | 2018-10-04 | Royal Bank Of Canada | Systems and methods for malicious code detection |
US20200134415A1 (en) * | 2018-10-30 | 2020-04-30 | Huawei Technologies Co., Ltd. | Autoencoder-Based Generative Adversarial Networks for Text Generation |
CN110135567A (zh) * | 2019-05-27 | 2019-08-16 | 中国石油大学(华东) | 基于多注意力生成对抗网络的图像字幕生成方法 |
CN110795556A (zh) * | 2019-11-01 | 2020-02-14 | 中山大学 | 一种基于细粒度***式解码的摘要生成方法 |
CN111061843A (zh) * | 2019-12-26 | 2020-04-24 | 武汉大学 | 一种知识图谱引导的假新闻检测方法 |
CN111476294A (zh) * | 2020-04-07 | 2020-07-31 | 南昌航空大学 | 一种基于生成对抗网络的零样本图像识别方法及*** |
CN111475546A (zh) * | 2020-04-09 | 2020-07-31 | 大连海事大学 | 一种基于双阶段注意力机制生成对抗网络的金融时间序列预测方法 |
CN111539211A (zh) * | 2020-04-17 | 2020-08-14 | 中移(杭州)信息技术有限公司 | 实体及语义关系识别方法、装置、电子设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
NUJUD ALOSHBAN ET AL: "ACT : Automatic Fake News Classification Through Self-Attention", 《WEBSCI \'20: 12TH ACM CONFERENCE ON WEB SCIENCE》, pages 115 - 124 * |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112541081A (zh) * | 2020-12-21 | 2021-03-23 | 中国人民解放军国防科技大学 | 一种基于领域自适应的可迁移谣言检测方法 |
CN112667784B (zh) * | 2021-01-14 | 2022-04-05 | 浙江工商大学 | 一种基于加权反向采样的谣言遏制方法 |
CN112667784A (zh) * | 2021-01-14 | 2021-04-16 | 浙江工商大学 | 一种基于加权反向采样的谣言遏制方法 |
CN112766359A (zh) * | 2021-01-14 | 2021-05-07 | 北京工商大学 | 一种面向食品安全舆情的字词双维度微博谣言识别方法 |
CN112766359B (zh) * | 2021-01-14 | 2023-07-25 | 北京工商大学 | 一种面向食品安全舆情的字词双维度微博谣言识别方法 |
CN113191144A (zh) * | 2021-03-19 | 2021-07-30 | 北京工商大学 | 一种基于传播影响力的网络谣言识别***及方法 |
CN113191144B (zh) * | 2021-03-19 | 2024-04-09 | 北京工商大学 | 一种基于传播影响力的网络谣言识别***及方法 |
CN113496123A (zh) * | 2021-06-17 | 2021-10-12 | 三峡大学 | 谣言检测方法、装置、电子设备及存储介质 |
CN113496123B (zh) * | 2021-06-17 | 2023-08-11 | 三峡大学 | 谣言检测方法、装置、电子设备及存储介质 |
CN113434684A (zh) * | 2021-07-01 | 2021-09-24 | 北京中科研究院 | 自监督学习的谣言检测方法、***、设备及存储介质 |
CN113610212A (zh) * | 2021-07-05 | 2021-11-05 | 宜通世纪科技股份有限公司 | 一种多模态传感器数据的合成方法、装置及存储介质 |
CN113610212B (zh) * | 2021-07-05 | 2024-03-05 | 宜通世纪科技股份有限公司 | 一种多模态传感器数据的合成方法、装置及存储介质 |
CN113392932B (zh) * | 2021-07-06 | 2024-01-30 | 中国兵器工业信息中心 | 一种深度入侵检测的对抗攻击*** |
CN113392932A (zh) * | 2021-07-06 | 2021-09-14 | 中国兵器工业信息中心 | 一种深度入侵检测的对抗攻击*** |
CN113946680A (zh) * | 2021-10-20 | 2022-01-18 | 河南师范大学 | 一种基于图嵌入及信息流分析的线上网络谣言鉴别方法 |
CN113946680B (zh) * | 2021-10-20 | 2024-04-16 | 河南师范大学 | 一种基于图嵌入及信息流分析的线上网络谣言鉴别方法 |
CN114065759A (zh) * | 2021-11-19 | 2022-02-18 | 深圳视界信息技术有限公司 | 一种模型失效检测方法、装置、电子设备及介质 |
CN114065759B (zh) * | 2021-11-19 | 2023-10-13 | 深圳数阔信息技术有限公司 | 一种模型失效检测方法、装置、电子设备及介质 |
CN114329229A (zh) * | 2021-12-16 | 2022-04-12 | 三峡大学 | 融合用户信息和文本信息的谣言检测方法及装置 |
CN114329229B (zh) * | 2021-12-16 | 2024-07-23 | 三峡大学 | 融合用户信息和文本信息的谣言检测方法及装置 |
CN117573865A (zh) * | 2023-10-19 | 2024-02-20 | 南昌大学 | 一种基于可解释自适应学习的谣言模糊检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN117010446A (zh) | 2023-11-07 |
CN112069397B (zh) | 2023-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112069397B (zh) | 自注意力机制与生成对抗网络相结合的谣言检测方法 | |
CN111061843B (zh) | 一种知识图谱引导的假新闻检测方法 | |
CN113378632B (zh) | 一种基于伪标签优化的无监督域适应行人重识别方法 | |
CN108595632B (zh) | 一种融合摘要与主体特征的混合神经网络文本分类方法 | |
CN107526785B (zh) | 文本分类方法及装置 | |
CN110969020B (zh) | 基于cnn和注意力机制的中文命名实体识别方法、***及介质 | |
CN111274398B (zh) | 一种方面级用户产品评论情感分析方法及*** | |
CN111126488B (zh) | 一种基于双重注意力的图像识别方法 | |
CN107885853A (zh) | 一种基于深度学习的组合式文本分类方法 | |
CN109189925A (zh) | 基于点互信息的词向量模型和基于cnn的文本分类方法 | |
CN107273818B (zh) | 遗传算法融合差分进化的选择性集成人脸识别方法 | |
CN103984943A (zh) | 一种基于贝叶斯概率框架的场景文本识别方法 | |
CN111931505A (zh) | 一种基于子图嵌入的跨语言实体对齐方法 | |
CN111400494B (zh) | 一种基于GCN-Attention的情感分析方法 | |
CN110415071A (zh) | 一种基于观点挖掘分析的汽车竞品对比方法 | |
CN114139676A (zh) | 领域自适应神经网络的训练方法 | |
CN107403153A (zh) | 一种基于卷积神经网络和哈希编码的掌纹图像识别方法 | |
CN113255366B (zh) | 一种基于异构图神经网络的方面级文本情感分析方法 | |
CN107066951A (zh) | 一种人脸自发表情的识别方法及*** | |
CN116363712B (zh) | 一种基于模态信息度评估策略的掌纹掌静脉识别方法 | |
CN116015967B (zh) | 基于改进鲸鱼算法优化delm的工业互联网入侵检测方法 | |
CN104778459A (zh) | 一种足球比赛视频中的多运动员的行为的特征融合方法 | |
CN111144462B (zh) | 一种雷达信号的未知个体识别方法及装置 | |
CN112906820A (zh) | 基于遗传算法的对抗卷积神经网络句子相似度计算方法 | |
Cheng et al. | Unified classification and rejection: A one-versus-all framework |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |