CN114880479B - 基于多级交互和图重构的异构图卷积谣言检测方法 - Google Patents

基于多级交互和图重构的异构图卷积谣言检测方法 Download PDF

Info

Publication number
CN114880479B
CN114880479B CN202210665703.0A CN202210665703A CN114880479B CN 114880479 B CN114880479 B CN 114880479B CN 202210665703 A CN202210665703 A CN 202210665703A CN 114880479 B CN114880479 B CN 114880479B
Authority
CN
China
Prior art keywords
text
graph
user
word
subgraph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210665703.0A
Other languages
English (en)
Other versions
CN114880479A (zh
Inventor
郭军军
王繁
相艳
余正涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming University of Science and Technology
Original Assignee
Kunming University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming University of Science and Technology filed Critical Kunming University of Science and Technology
Priority to CN202210665703.0A priority Critical patent/CN114880479B/zh
Publication of CN114880479A publication Critical patent/CN114880479A/zh
Application granted granted Critical
Publication of CN114880479B publication Critical patent/CN114880479B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/353—Clustering; Classification into predefined classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9536—Search customisation based on social or collaborative filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Machine Translation (AREA)

Abstract

本发明涉及多级交互和图重构的异构图卷积谣言检测方法，属自然语言处理领域。本发明包括：预处理谣言数据集，使用词频‑逆文档频率(TF‑IDF)、互信息(PMI)等方法构建文本‑词子图和文本‑用户子图；利用多图卷积编码模块和多图重构解码模块探索文本语义信息和用户传播模式，然后建立决策级检测模块通过多任务学***衡全局和局部特征融合过程；最后输出层使用线性变换和softmax函数去预测当前序列中的事件标签。本发明采用多任务学习的方式，通过图卷积和图注意力机制对文本语义和用户信息进行编码，图重构解码学习结构信息并利用选择过滤机制促进谣言检测。本发明在公共数据集上有更高的准确性并优于当前最先进模型。

Description

基于多级交互和图重构的异构图卷积谣言检测方法
技术领域
本发明涉及基于多级交互和图重构的异构图卷积谣言检测方法，属于自然语言处理领域。
背景技术
社交媒体中的谣言的早期检测需要考虑动态传播的语义信息，这是文本挖掘领域中一个重要而富有挑战性的任务。大多数的谣言检测方法只关注上下文信息、用户配置文件或传播模式的一部分，并且只有很少的人考虑在社交媒体上传播线索的全局级语义信息，然而，语义信息和传播模式对于社交媒体上的谣言检测都很重要。
随着NLP的快速发展，最近的许多研究已经融合多个特征来更好地实现检测。例如，Shu开发文本评论结合注意网络来学习句子和评论的可解释性；Wu提出一种自适应融合网络，实现文本与评论之间情感关联和语义冲突的交互融合，并建立特征关联，提高了谣言检测的性能。此外，图卷积网络(GCN)作为最近几年来很受欢迎的神经网络结构。一些研究探索了社交媒体信息的拓扑结构，以便从传播结构中获得有效的特征。Bian等人创建双向图卷积网络，通过自上而下和自下而上的模式研究谣言传播和扩散；Liu等人为了增强全局结构信息，首次将变分图自编码器(Variational graph auto-encoders，VGAE)应用于谣言检测研究，并取得了有效的结果，设计了一个捕获文本、传播和结构信息的模型。然而当前的检测方法过于关注一些上下文语义信息，很少考虑用户传播对社交媒体的影响；其次，一些更先进的模型旨在使用用户社交活动作为辅助信息，例如用户评论、回复和用户个人信息，这些信息通常为识别谣言提供有力的证据,但是大多数融合策略都基于级联、加法或简单的神经网络，并且没有充分考虑特征之间的差异；最后，尽管丰富的用户评论信息对于检测非常重要，但社交媒体上的大多数用户倾向于简单地重新分享源故事，而不留下任何评论。如何更好地表示和融合文本语义特征与用户传播模式是谣言检测的一大挑战。
发明内容
本发明提供了基于多级交互和图重构的异构图卷积谣言检测方法，充分利用异构图中文本语义特征与用户传播结构特征之间的差异并很好的学习到图中的全局结构信息以提升谣言检测任务的性能。
本发明技术方案：基于多级交互和图重构的异构图卷积谣言检测方法，所述方法的具体步骤如下：
Step1、对Twitter15、Twitter16的谣言数据集进行预处理，通过词频-逆文档频率(TF-IDF)构建文本与词之间的关系Epw，互信息(PMI)来计算词与词节点之间边的权重Eww，用户转发或回复源推文的时间倒数构建文本与用户之间的关系权重Epu；将构建的文本-词-用户图分解为文本-词子图和文本-用户子图。
Step2、通过双通道卷积层分别使用图卷积(GCN)和图注意力网络(GAT)学习子图节点特征，将图卷积层获得的节点特征利用变分图自编码(VGAE)实现图重构为节点寻找更好的嵌入向量，再对文本-词子图中的全局语义关系和文本-用户子图的用户传播信息嵌入向量利用决策级全局特征策略和自适应门控融合策略进行有效地过滤筛选，采用联合训练同时学习和更新各子图之间的参数。
作为本发明的进一步方案，所述Step1的具体步骤为：
Step1.1、通过词频-逆文档频率(TF-IDF)、互信息(PMI)、用户转发或回复时间的倒数来计算边的权重，分别构建文本-词关联图和文本-用户子图：
G＝(V，E) (1)
V＝(P，W，U) (2)
E＝(Epw，Eww，Epu) (3)
其中V＝(P，W，U)和E＝(Epw，Eww，Epu)分别表示图中节点和边的集合，由三部分组成：句子集合P、词集合W和用户集合U。P＝{p1，p2，...，pm}是网络舆情下的多条文本信息，m表示文本数量，W＝{w1，w2，...，wn}是所有文本经过分词后的单词，U＝{u1，u2，...，uo}表示社交媒体中的用户集合；Epw，Eww，Epu分别代表文本与词、词与词、文本与用户之间的关系。
Step1.2、对于文本与词的关系Epw，使用词频-逆文档频率(TF-IDF)的方法来计算句子节点i和词节点j之间边的权重，具体如下：
TF-IDFij＝TFij×IDFJ (4)
Step1.3、为了利用词的全局共现信息，使用互信息(PMI)来计算词与词节点之间边的权重Eww。
Step1.4、文本与用户之间的关系Epu是用户转发或回复与源推文相关的文本的时间倒数。
作为本发明的进一步方案，所述Step2的具体步骤如下：
Step2.1、经过分解后的文本-词子图节点表示为
文本-用户子图节点表示为/>X’P和X’U是通过变换矩阵变换后的节点表示。本发明利用GCN对子图进行编码，首先采用GCN学习高斯分布，然后从该分布中采样z，高斯分布可以由均值μ和标准差σ分别唯一地确定，最后通过图重构生成一个新的邻接矩阵。
Apw和Apu分别表示文本-词子图和文本-用户子图之间关系的邻接矩阵，通过GCN分别学习均值μ和标准偏差σ，采用重新参数化方法构造z及更新梯度，公式如下：
H1＝GCN(X，Apw)＝Apwσ(ApwXW0)W1， (6)
μ＝GCNμ(H1，Apw) (7)
logσ＝GCNσ(H1，Apw) (8)
zpw＝μ+∈σ (9)
其中表示第一层GCN的隐藏向量，/>是Apw邻接矩阵的特征向量，∈是从标准高斯分布中取样的参数，W0，W1是GCN的可训练参数，GCNμ(H1，Apw)和GCNσ(H1，Apw)共享第一层GCN参数，本发明采用相同的计算方法学习文本-用户子图的高斯分布zpu。
为了获得足够的表达能力，使用GAT学习子图中节点之间的权重，图注意力层的设计如下：
eij＝LeakyReLU(Waxi，Wqxj)，xi，xj∈Xpw(pu) (10)
其中Wa，Wq，Wk为可训练的参数，aij为节点xi和其邻居节点xj的注意力权重。
最后，本发明将自注意力机制扩展到多头自注意力以学习更稳定的嵌入。
其中||表示串联运算，是由第k个注意力机制ak计算的归一化注意力系数，Wk是经过线性变换的权重矩阵。
给定文本-词子图和文本-用户子图节点表示Xpw和Xpu，将节点表示输入子图注意力网络后，可以得到文本-词子图的节点嵌入和具有全局关系信息的文本-用户子图嵌入/>
Step2.2、变分图自编码(VGAE)主要为图中的节点寻找合适的嵌入向量，实现图的重构。解码模块本发明使用内积和sigmoid函数重建原始图，重建的邻接矩阵通过以下公式获得：
其中σ1为sigmoid函数，分别代表zpw和zpu的矩阵形式，本发明目标是希望重构后的邻接矩阵/>尽可能的与原始矩阵Apw(pu)相似。
由于Zpw和Zpu是通过采样获得，在重建邻接矩阵的过程中，噪声(标准差σ)会增加重建的难度。本发明应用分类交叉熵损失重建邻接矩阵，该过程可以表示为：
其中m和分别是Apw(pu)和/>中的元素。
除了重建损失外，为了防止噪声为0并确保模型具有生成能力，还应在损失函数中加入KL散度。最小化意味着优化概率分布参数(μ和σ)，使其尽可能接近目标分布(高斯分布)。
其中是隐藏变量Zpw(pu)的维数，/>分别表示子图中所有节点的数量。
Step2.3、文本-词子图包含文本内容的全局语义关系信息，而文本-用户子图包含源文传播所涉及的信息。然而，当融合包含两个子图的信息时，全局语义特征和用户传播特征之间的巨大差异可能会导致一些无用的特征影响检测性能，在此基础上，本发明设计一种决策级检测的子图特征融合方法，包括决策级全局特征融合策略和自适应门控融合策略。给定节点嵌入X’pw和X’pu，从高斯分布采样后的潜在表示Zpw和Zpu作为全局特征融合网络的输入，文本-词和文本-用户子图的权重计算为如下：
其中是文本-词子图的全局语义特征，/>是文本-用户子图的全局用户传播特征，attglo表示执行全局特征融合策略的前馈神经网络。
为了学***均为子图的重要性。文本-词、文本-用户子图的重要性记为Wpw(pu)，如下所示：
其中W是权重矩阵，b是偏置向量，q是全局注意力向量，以上所有参数由文本-词子图和文本-用户子图共享，在得到每个子图的重要性后，通过softmax函数进行归一化。表示子图的权重，计算公式如下所示：
最后，通过学习子图的权重系数，融合子图中的文本节点表示，得到事件源文表示Pm，计算公式如下：
Pm＝{p1，p2，...，pm} (23)
其中m是事件文本的数量，P’Φ为Φ子图中具有全局关系信息的文本句子节点表示。
通过将两个子图中的潜在表示连接起来作为自适应门控融合策略的输入，设计门单元来促进神经元之间的竞争或协作，从每个子图特征中选择更有利于谣言检测的特征，自适应门融合网络可以表示为：
S＝[S’pw；S’pu] (25)
g＝σ1(Wgat·S+b) (26)
Ggat＝tanh(g⊙S) (27)
其中S表示文本-词子图和文本-用户子图的节点特征的连接，包括全局语义特征和用户传播特征。g是自适应门控融合单元的状态，Ggat表示共享特征S经过自适应门控融合单元后的特征。Wgat是权重矩阵，b是偏置向量，σ1是sigmoid激活函数。
作为最后一层，全局注意力特征pi和局部门特征Ggat然后分别经过softmax层进行分类，公式如下：
本发明使用交叉熵损失和正则化项作为模型的目标优化函数来训练模型的参数，计算如下：
其中yi表示第i个源文的真实标签，为防止过拟合的L2正则项，η为平衡损失参数。
Step2.4、通过多图卷积编码模块对文本语义信息和用户传播信息进行编码，图重构解码模块的目的是重构数据以学习结构信息，而多特征决策检测模块是为了更好的对事件进行分类。通过最小化所有事件的损失来共同训练这些模块。
其中κ也是平衡损失参数，由于图重构解码模块的损失远大于事件源文分类的损失，本发明通过设计平衡损失参数来优化损失函数。
Step2.5、最后选择Adam优化器，它收敛速度较快且收敛过程较稳定，能基于训练数据迭代地更新神经网络权重。学***衡损失参数选择最佳实验结果，η设为0.4，κ设为0.1。
本发明的有益效果是：
(1)针对当前检测方法过于关注上下文语义信息，很少考虑用户传播对社交媒体的影响，谣言早期传播过程中用户倾向于简单的转发而不留下任何评论。同时多特征融合中特征差异较大且特征学习相对独立且存在特征误差传递的问题，提出一种基于多级交互和图重构的异构图卷积谣言检测方法实现了文本语义特征和用户传播的全局探索并更准确的学习各自的特征。
(2)提出的模型通过决策级全局特征融合策略和自适应门控融合策略充分利用异构图中文本语义特征与用户传播结构特征之间的差异并进行有效的筛选，从而提高检测效果。
附图说明
图1是本发明提出的基于多级交互和图重构的异构图卷积谣言检测方法的具体结构示意图；
图2是本发明实施例中图重构重要性可视化示意图(Twitter15)；其中左边是仅用GAT结果，右边是本发明模型结果；
图3是本发明实施例中图重构重要性可视化示意图(Twitter16)；其中左边是仅用GAT结果，右边是本发明模型结果。
具体实施方式
实施例1：图1-图3所示，基于多级交互和图重构的异构图卷积谣言检测方法，所述方法的具体步骤如下：
Step1、对Twitter15、Twitter16的谣言数据集进行预处理，通过词频-逆文档频率(TF-IDF)构建文本与词之间的关系Epw，互信息(PMI)来计算词与词节点之间边的权重Eww，用户转发或回复源推文的时间倒数构建文本与用户之间的关系权重Epu；将构建的文本-词-用户图分解为文本-词子图和文本-用户子图。
Step1.1、通过词频-逆文档频率(TF-IDF)、互信息(PMI)、用户转发或回复时间的倒数来计算边的权重，分别构建文本-词关联图和文本-用户子图：
G＝(V，E) (1)
V＝(P，W，U) (2)
E＝(Epw，Eww，Epu) (3)
其中V＝(P，W，U)和E＝(Epw，Eww，Epu)分别表示图中节点和边的集合，由三部分组成：句子集合P、词集合W和用户集合U。P＝{p1，p2，...，pm}是网络舆情下的多条文本信息，m表示文本数量，W＝{w1，w2，...，wn}是所有文本经过分词后的单词，U＝{u1，u2，...，uo}表示社交媒体中的用户集合；Epw，Eww，Epu分别代表文本与词、词与词、文本与用户之间的关系。
节点与节点之间具有一定的联系，即携带信息的边，其中Aij表示第i和j两个节点之间边的权值，每种边的定义和计算公式如下：
Step1.2、对于文本与词的关系Epw，使用词频-逆文档频率(TF-IDF)的方法来计算句子节点i和词节点j之间边的权重，具体如下：
TF-IDFij＝TFij×IDFJ (5)
其中TF表示词出现在文本中的频率，IDF表示词出现在所有文本中的频率。
Step1.3、为了利用词的全局共现信息，使用互信息(PMI)来计算词与词节点之间边的权重Eww。
其中对于词节点i和词节点j，两个词的相关性越大，其PMI值也就越大，当PMI的值小于0时意味着两个词几乎没有语义相关性，两个词之间权重为0。
Step1.4、文本与用户之间的关系Epu是用户转发或回复与源推文相关的文本的时间倒数，其中t表示用户j转发回复与源推文相关的文本时经过的时间，t越小表示用户与事件关系越密切。
Step2、通过双通道卷积层分别使用图卷积(GCN)和图注意力网络(GAT)学习子图节点特征，将图卷积层获得的节点特征利用变分图自编码(VGAE)实现图重构为节点寻找更好的嵌入向量，再对文本-词子图中的全局语义关系和文本-用户子图的用户传播信息嵌入向量利用决策级全局特征策略和自适应门控融合策略进行有效地过滤筛选，采用联合训练同时学习和更新各子图之间的参数。
Step2.1、经过分解后的文本-词子图节点表示为
文本-用户子图节点表示为/>X’P和X’U是通过变换矩阵变换后的节点表示。本发明利用GCN对子图进行编码，首先采用GCN学习高斯分布，然后从该分布中采样z，高斯分布可以由均值μ和标准差σ分别唯一地确定，最后通过图重构生成一个新的邻接矩阵。
Apw和Apu分别表示文本-词子图和文本-用户子图之间关系的邻接矩阵，通过GCN分别学习均值μ和标准偏差σ，采用重新参数化方法构造z及更新梯度，公式如下：
H1＝GCN(X，Apw)＝Apwσ(ApwXW0)W1， (7)
μ＝GCNμ(H1，Apw) (8)
logσ＝GCNσ(H1，Apw) (9)
zpw＝μ+∈σ (10)
其中表示第一层GCN的隐藏向量，/>是Apw邻接矩阵的特征向量，∈是从标准高斯分布中取样的参数，W0，W1是GCN的可训练参数，GCNμ(H1，Apw)和GCNσ(H1，Apw)共享第一层GCN参数，本发明采用相同的计算方法学习文本-用户子图的高斯分布zpu。
为了获得足够的表达能力，使用GAT学习子图中节点之间的权重，图注意力层的设计如下：
eij＝LeakyReLU(Waxi，Wqxj)，xi，xj∈Xpw(pu) (11)
其中Wa，Wq，Wk为可训练的参数，aij为节点xi和其邻居节点xj的注意力权重。
最后，本发明将自注意力机制扩展到多头自注意力以学习更稳定的嵌入。
其中||表示串联运算，是由第k个注意力机制ak计算的归一化注意力系数，Wk是经过线性变换的权重矩阵。
给定文本-词子图和文本-用户子图节点表示Xpw和Xpu，将节点表示输入子图注意力网络后，可以得到文本-词子图的节点嵌入和具有全局关系信息的文本-用户子图嵌入/>
Step2.2、变分图自编码(VGAE)主要为图中的节点寻找合适的嵌入向量，实现图的重构。解码模块本发明使用内积和sigmoid函数重建原始图，重建的邻接矩阵通过以下公式获得：
其中σ1为sigmoid函数，分别代表zpw和zpu的矩阵形式，本发明目标是希望重构后的邻接矩阵/>尽可能的与原始矩阵Apw(pu)相似。
由于Zpw和Zpu是通过采样获得，在重建邻接矩阵的过程中，噪声(标准差σ)会增加重建的难度。本发明应用分类交叉熵损失重建邻接矩阵，该过程可以表示为：
其中m和分别是Apw(pu)和/>中的元素。
除了重建损失外，为了防止噪声为0并确保模型具有生成能力，还应在损失函数中加入KL散度。最小化意味着优化概率分布参数(μ和σ)，使其尽可能接近目标分布(高斯分布)。
其中是隐藏变量Zpw(pu)的维数，/>分别表示子图中所有节点的数量。
Step2.3、文本-词子图包含文本内容的全局语义关系信息，而文本-用户子图包含源文传播所涉及的信息。然而，当融合包含两个子图的信息时，全局语义特征和用户传播特征之间的巨大差异可能会导致一些无用的特征影响检测性能，在此基础上，本发明设计一种决策级检测的子图特征融合方法，包括决策级全局特征融合策略和自适应门控融合策略。给定节点嵌入X’pw和X’pu，从高斯分布采样后的潜在表示Zpw和Zpu作为全局特征融合网络的输入，文本-词和文本-用户子图的权重计算为如下：
其中是文本-词子图的全局语义特征，/>是文本-用户子图的全局用户传播特征，attglo表示执行全局特征融合策略的前馈神经网络。
为了学***均为子图的重要性。文本-词、文本-用户子图的重要性记为Wpw(pu)，如下所示：
其中W是权重矩阵，b是偏置向量，q是全局注意力向量，以上所有参数由文本-词子图和文本-用户子图共享，在得到每个子图的重要性后，通过softmax函数进行归一化。表示子图的权重，计算公式如下所示：
最后，通过学习子图的权重系数，融合子图中的文本节点表示，得到事件源文表示Pm，计算公式如下：
Pm＝{p1，p2，...，pm} (24)
其中m是事件文本的数量，P’Φ为Φ子图中具有全局关系信息的文本句子节点表示。
通过将两个子图中的潜在表示连接起来作为自适应门控融合策略的输入，设计门单元来促进神经元之间的竞争或协作，从每个子图特征中选择更有利于谣言检测的特征，自适应门融合网络可以表示为：
S＝[S’pw；S’pu] (26)
g＝σ1(Wgat·S+b) (27)
Ggat＝tanh(g⊙S) (28)
其中S表示文本-词子图和文本-用户子图的节点特征的连接，包括全局语义特征和用户传播特征。g是自适应门控融合单元的状态，Ggat表示共享特征S经过自适应门控融合单元后的特征。Wgat是权重矩阵，b是偏置向量，σ1是sigmoid激活函数。
作为最后一层，全局注意力特征pi和局部门特征Ggat然后分别经过softmax层进行分类，公式如下：
本发明使用交叉熵损失和正则化项作为模型的目标优化函数来训练模型的参数，计算如下：
其中yi表示第i个源文的真实标签，为防止过拟合的L2正则项，η为平衡损失参数。
Step2.4、通过多图卷积编码模块对文本语义信息和用户传播信息进行编码，图重构解码模块的目的是重构数据以学习结构信息，而多特征决策检测模块是为了更好的对事件进行分类。通过最小化所有事件的损失来共同训练这些模块。
其中κ也是平衡损失参数，由于图重构解码模块的损失远大于事件源文分类的损失，本发明通过设计平衡损失参数来优化损失函数。
Step2.5、最后选择Adam优化器，它收敛速度较快且收敛过程较稳定，能基于训练数据迭代地更新神经网络权重。学***衡损失参数选择最佳实验结果，η设为0.4，κ设为0.1。
为了说明本发明的效果，设置了3组对比实验。第一组实验验证谣言检测模型的先进性，第二组实验验证本发明模型各模块的有效性，第三组实验验证图重构方法对谣言检测性能的影响。
(1)谣言检测性模型先进性验证
为了验证模型的先进性，和11个当前先进的谣言检测模型进行对比，实验结果如表1和表2所示。
根据表1和2的结果可以看出：1)在所有使用手动特征的基线模型算法(DTC、SVM-TS、SVM-TK)中，它们的性能明显低于基于深度学习的方法。毫无疑问，深度学习方法可以更好地挖掘谣言的有效特征，而基于手动特征的方法则不那么准确和高效。2)从基于
表1基准模型实验对比结果(Twitter15)
表2基准模型实验对比结果(Twitter16)
GCN的检测模型(GCAN、VAE-GCN、BI-GCN、GLAN、HGATRD)中可以发现，它们的性能相对优于其他深度学习模型(RvNN、PPC)，这表明GCN可以从社交网络中学习更全面的信息和更好的节点表示。由于GRU、RNN和CNN不能用图形结构处理数据，因此忽略了社会信息中的重要结构特征，导致性能下降。VAE-GCN和HGATRD的强大性能说明了VAE-GCN和HGATRD在谣言检测任务中的优越性。然而，这些方法忽略了语义特征和传播表示之间的差异，并且没有很好地利用全局特征，本发明实现了最佳性能，因为它选择性地捕获了更有效的特征。3)与一些特定的模型相比，虽然本发明没有占据所有的最佳评估数据，但考虑到不同性能指标之间的权衡，它表明了本发明方法在谣言检测任务中的有效性和先进性。
(2)模型有效性验证
本发明分别从模型中删除文本-词子图和文本-用户子图信息，使用GAT和VGAE对其中一个子图进行建模并学习节点表示，并直接将GAT和VGAE的输出特征送入决策级谣言检测模块进行事件分类，实验结果见表3和表4。
表3不同子图重要性对比实验(Twitter15)
表4不同子图重要性对比实验(Twitter16)
分析表3、4中结果可知，多图特征的组合比单个子图具有更好的检测效果，在社交网络中，谣言具有很强的误导性，很难从单一特征中识别出来。具体来说，文本-词子图的检测精度高于文本-用户子图，这一结果表明，文本语义信息在谣言检测任务中更为重要。
同时，为了评估本发明对有价值特征的捕获，分别删除决策级全局特征融合策略和自适应门控融合策略，此时，平衡损失参数η不再起作用，直接将经过融合策略后的输出来执行检测任务。实验结果如表5和表6所示。
表5不同融合策略重要性对比实验(Twitter15)
表6不同融合策略重要性对比实验(Twitter16)
从表中的实验结果可知，对于特征融合筛选机制，基于注意力的决策级全局特征融合策略比基于门控的自适应特征融合策略具有更好的性能改进。具体来说，决策级全局特征融合策略在Twtter15和TWtter16数据集上的精度分别比自适应门控融合策略高3.6％和3.3％，本发明模型结合了两种融合策略，证明了多特征交互融合的合理性。
(3)图重构有效性验证
本发明通过应用t-SNE算法在二维空间中可视化输出。在探索全局结构信息对谣言检测影响的过程中，删除图重构模块，仅使用GAT分别对文本-词子图和文本-用户子图建模学习节点特征，其他实验设置保持不变，实验结果如图2和图3所示。
从图2和图3可以看出数据集中不同类型的事件(NR、FR、TR、UR)可以被很好的进行分类，本发明表现出更好的性能。具体来说，仅用GAT建模图中的点分布更加分散和不规则。而本发明模型中的点有规律的分布，同一种类之间的间隔较小，不同种类之间的间隔较大。综上所述，使用变分图自编码(VGAE)学习后验分布，不仅提供更灵活的图形生成模型，而且能更好的获取结构信息。
通过以上实验数据证明了本发明使用编码器-解码器框架，利用多图卷积编码模块和多图重构解码模块探索文本语义信息和用户传播模式，然后建立决策级检测模块通过多任务学***衡全局和局部特征融合过程是合理的。实验表明本发明的方法相比多个基线模型取得了最优的效果。针对谣言早期传播过程中用户倾向于简单的转发而不留下任何评论。同时多特征融合中特征差异较大且特征学习相对独立且存在特征误差传递的谣言检测任务，本发明提出的一种基于多级交互和图重构的异构图卷积谣言检测方法对谣言检测性能提升是有效的。
上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (2)

1.基于多级交互和图重构的异构图卷积谣言检测方法，其特征在于：所述方法的具体步骤如下：
Step1、对谣言数据集进行预处理，通过词频-逆文档频率TF-IDF构建文本与词之间的关系Epw，互信息PMI来计算词与词节点之间边的权重Eww，用户转发或回复源推文的时间倒数构建文本与用户之间的关系权重Epu；将构建的文本-词-用户图分解为文本-词子图和文本-用户子图；
Step2、通过双通道卷积层分别使用图卷积GCN和图注意力网络GAT学习子图节点特征，将图卷积层获得的节点特征利用变分图自编码VGAE实现图重构为节点寻找更好的嵌入向量，再对文本-词子图中的全局语义关系和文本-用户子图的用户传播信息嵌入向量利用决策级全局特征策略和自适应门控融合策略进行有效地过滤筛选，采用联合训练同时学习和更新各子图之间的参数；
所述Step2的具体步骤如下：
Step2.1、经过分解后的文本-词子图节点表示为 文本-用户子图节点表示为/> X’P和X’U是通过变换矩阵变换后的节点表示；利用GCN对子图进行编码，首先采用GCN学习高斯分布，然后从该分布中采样z，高斯分布由均值μ和标准差σ分别唯一地确定，最后通过图重构生成一个新的邻接矩阵；
Apw和Apu分别表示文本-词子图和文本-用户子图之间关系的邻接矩阵，通过GCN分别学习均值μ和标准偏差σ，采用重新参数化方法构造z及更新梯度，公式如下：
H1＝GCN(X,Apw)＝Apwσ(ApwXW0)W1, (6)
μ＝GCNμ(H1,Apw) (7)
logσ＝GCNσ(H1,Apw) (8)
zpw＝μ+∈σ (9)
其中表示第一层GCN的隐藏向量，/>是Apw邻接矩阵的特征向量，∈是从标准高斯分布中取样的参数，W0，W1是GCN的可训练参数，GCNμ(H1,Apw)和GCNσ(H1,Apw)共享第一层GCN参数，采用相同的计算方法学习文本-用户子图的高斯分布zpu；
为了获得足够的表达能力，使用GAT学习子图中节点之间的权重，图注意力层的设计如下：
eij＝LeakyReLU(Waxi,Wqxj),xi,xj∈Xpw(pu) (10)
其中Wa，Wq，Wk为可训练的参数，aij为节点xi和其邻居节点xj的注意力权重；
最后，将自注意力机制扩展到多头自注意力以学习更稳定的嵌入；
其中||表示串联运算，是由第k个注意力机制ak计算的归一化注意力系数，Wk是经过线性变换的权重矩阵；
给定文本-词子图和文本-用户子图节点表示Xpw和Xpu，将节点表示输入子图注意力网络后，得到文本-词子图的节点嵌入和具有全局关系信息的文本-用户子图嵌入/>
Step2.2、变分图自编码VGAE为图中的节点寻找合适的嵌入向量，实现图的重构；解码模块使用内积和sigmoid函数重建原始图，重建的邻接矩阵通过以下公式获得：
其中σ1为sigmoid函数，分别代表zpw和zpu的矩阵形式，目标是希望重构后的邻接矩阵/>尽可能的与原始矩阵Apw(pu)相似；
由于Zpw和Zpu是通过采样获得，在重建邻接矩阵的过程中，噪声会增加重建的难度，应用分类交叉熵损失重建邻接矩阵，该过程表示为：
其中m和分别是Apw(pu)和/>中的元素；
除了重建损失外，为了防止噪声为0并确保模型具有生成能力，还在损失函数中加入KL散度，最小化意味着优化概率分布参数μ和σ，使其尽可能接近目标分布，即高斯分布；
其中是隐藏变量Zpw(pu)的维数，/>分别表示子图中所有节点的数量；
Step2.3、文本-词子图包含文本内容的全局语义关系信息，而文本-用户子图包含源文传播所涉及的信息；然而，当融合包含两个子图的信息时，全局语义特征和用户传播特征之间的巨大差异会导致无用的特征影响检测性能，在此基础上，设计一种决策级检测的子图特征融合方法，包括决策级全局特征融合策略和自适应门控融合策略；给定节点嵌入X’pw和X’pu，从高斯分布采样后的潜在表示Zpw和Zpu作为全局特征融合网络的输入，文本-词和文本-用户子图的权重计算为如下：
其中是文本-词子图的全局语义特征，/>是文本-用户子图的全局用户传播特征，attglo表示执行全局特征融合策略的前馈神经网络；
为了学***均为子图的重要性，文本-词、文本-用户子图的重要性记为Wpw(pu)，如下所示：
其中W是权重矩阵，b是偏置向量，q是全局注意力向量，以上所有参数由文本-词子图和文本-用户子图共享，在得到每个子图的重要性后，通过softmax函数进行归一化，表示子图的权重，计算公式如下所示：
最后，通过学习子图的权重系数，融合子图中的文本节点表示，得到事件源文表示Pm，计算公式如下：
Pm＝{p1,p2,…,pm} (23)
其中m是事件文本的数量，P’Φ为Φ子图中具有全局关系信息的文本句子节点表示；
通过将两个子图中的潜在表示连接起来作为自适应门控融合策略的输入，设计门单元来促进神经元之间的竞争或协作，从每个子图特征中选择更有利于谣言检测的特征，自适应门融合网络表示为：
S＝[S’pw；S’pu] (25)
g＝σ1(Wgat·S+b) (26)
Ggat＝tanh(g⊙S) (27)
其中S表示文本-词子图和文本-用户子图的节点特征的连接，包括全局语义特征和用户传播特征，g是自适应门控融合单元的状态，Ggat表示共享特征S经过自适应门控融合单元后的特征，Wgat是权重矩阵，b是偏置向量，σ1是sigmoid激活函数；
作为最后一层，全局注意力特征pi和局部门特征Ggat然后分别经过softmax层进行分类，公式如下：
使用交叉熵损失和正则化项作为模型的目标优化函数来训练模型的参数，计算如下：
其中yi表示第i个源文的真实标签，为防止过拟合的L2正则项，η为平衡损失参数；
Step2.4、通过多图卷积编码模块对文本语义信息和用户传播信息进行编码，图重构解码模块的目的是重构数据以学习结构信息，而多特征决策检测模块是为了更好的对事件进行分类，通过最小化所有事件的损失来共同训练模块；
其中κ也是平衡损失参数，由于图重构解码模块的损失远大于事件源文分类的损失，通过设计平衡损失参数来优化损失函数。
2.根据权利要求1所述的基于多级交互和图重构的异构图卷积谣言检测方法，其特征在于：所述Step1的具体步骤为：
Step1.1、通过词频-逆文档频率TF-IDF、互信息PMI、用户转发或回复源推文的时间的倒数来计算边的权重，分别构建文本-词关联图和文本-用户子图：
G＝(V,E) (1)
V＝(P,W,U) (2)
E＝(Epw,Eww,Epu) (3)
其中，V＝(P,W,U)和E＝(Epw,Eww,Epu)分别表示图中节点和边的集合，由三部分组成：句子集合P、词集合W和用户集合U，P＝{p1,p2,…,pm}是网络舆情下的多条文本信息，m表示文本数量，W＝{w1,w2,…,wn}是所有文本经过分词后的单词，U＝{u1,u2,…,uo}表示社交媒体中的用户集合；Epw,Eww,Epu分别代表文本与词、词与词、文本与用户之间的关系；
Step1.2、对于文本与词的关系Epw，使用词频-逆文档频率TF-IDF的方法来计算句子节点i和词节点j之间边的权重，具体如下：
TF-IDFij＝TFij×IDFJ (4)
Step1.3、为了利用词的全局共现信息，使用互信息PMI来计算词与词节点之间边的权重Eww；
Step1.4、文本与用户之间的关系权重Epu是用户转发或回复与源推文相关的文本的时间倒数。
CN202210665703.0A 2022-06-14 2022-06-14 基于多级交互和图重构的异构图卷积谣言检测方法 Active CN114880479B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210665703.0A CN114880479B (zh) 2022-06-14 2022-06-14 基于多级交互和图重构的异构图卷积谣言检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210665703.0A CN114880479B (zh) 2022-06-14 2022-06-14 基于多级交互和图重构的异构图卷积谣言检测方法

Publications (2)

Publication Number Publication Date
CN114880479A CN114880479A (zh) 2022-08-09
CN114880479B true CN114880479B (zh) 2024-06-18

Family

ID=82682516

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210665703.0A Active CN114880479B (zh) 2022-06-14 2022-06-14 基于多级交互和图重构的异构图卷积谣言检测方法

Country Status (1)

Country Link
CN (1) CN114880479B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115455258B (zh) * 2022-09-14 2023-04-18 中国电子科技集团公司第十五研究所 一种网络空间语言描述与分析方法及装置
CN115617971B (zh) * 2022-11-14 2023-03-07 湖南君安科技有限公司 基于ALBERT-Coref模型的对话文本生成方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11580363B2 (en) * 2018-11-15 2023-02-14 Servicenow Canada Inc. Systems and methods for assessing item compatibility
CN112084328A (zh) * 2020-07-29 2020-12-15 浙江工业大学 一种基于变分图自编码器与K-Means的科技论文聚类分析方法
CN112035669B (zh) * 2020-09-09 2021-05-14 中国科学技术大学 基于传播异质图建模的社交媒体多模态谣言检测方法
CN112329685A (zh) * 2020-11-16 2021-02-05 常州大学 一种融合型卷积神经网络人群异常行为检测的方法
CN113158075A (zh) * 2021-03-30 2021-07-23 昆明理工大学 融合评论的多任务联合谣言检测方法
CN113468327A (zh) * 2021-06-16 2021-10-01 浙江华巽科技有限公司 一种基于深度学习的早期舆情检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
社交媒体网络舆情谣言检测方法研究;王繁;《中国优秀硕士学位论文全文数据库 信息科技辑》;20240510;1-69 *

Also Published As

Publication number Publication date
CN114880479A (zh) 2022-08-09

Similar Documents

Publication Publication Date Title
Tan et al. Deep representation learning for social network analysis
Zhang et al. D-vae: A variational autoencoder for directed acyclic graphs
Hou et al. Network embedding: Taxonomies, frameworks and applications
CN114880479B (zh) 基于多级交互和图重构的异构图卷积谣言检测方法
Natesan Ramamurthy et al. Model agnostic multilevel explanations
Zhu et al. A survey on graph structure learning: Progress and opportunities
Yang et al. From properties to links: Deep network embedding on incomplete graphs
CN108363695B (zh) 一种基于双向依赖语法树表征的用户评论属性抽取方法
CN111079409B (zh) 一种利用上下文和方面记忆信息的情感分类方法
CN112529168A (zh) 一种基于gcn的属性多层网络表示学习方法
Phan et al. Aspect-level sentiment analysis using CNN over BERT-GCN
Wu et al. Estimating fund-raising performance for start-up projects from a market graph perspective
Xie et al. TPNE: topology preserving network embedding
CN113919440A (zh) 一种融合双重注意力机制和图卷积社交网络谣言检测***
CN113705099A (zh) 基于对比学***台谣言检测模型构建方法及检测方法
CN115204171A (zh) 基于超图神经网络的文档级事件抽取方法及***
Luo et al. Deep semantic network representation
Shen et al. UniSKGRep: A unified representation learning framework of social network and knowledge graph
Yu et al. Self-attentive attributed network embedding through adversarial learning
Wang et al. Stacked Noise Reduction Auto Encoder–OCEAN: A Novel Personalized Recommendation Model Enhanced
CN114842247B (zh) 基于特征累加的图卷积网络半监督节点分类方法
Sánchez-Morales et al. Exploiting label information to improve auto-encoding based classifiers
Jasim et al. Analyzing Social Media Sentiment: Twitter as a Case Study
Chen et al. Deep learning to predict user rating in imbalance classification data incorporating ensemble methods
Mudigonda et al. IDEAL: an inventive optimized deep ensemble augmented learning framework for opinion mining and sentiment analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant