CN114708479A - 一种基于图结构和特征的自适应防御方法 - Google Patents

一种基于图结构和特征的自适应防御方法 Download PDF

Info

Publication number
CN114708479A
CN114708479A CN202210342978.0A CN202210342978A CN114708479A CN 114708479 A CN114708479 A CN 114708479A CN 202210342978 A CN202210342978 A CN 202210342978A CN 114708479 A CN114708479 A CN 114708479A
Authority
CN
China
Prior art keywords
model
graph
node
training
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210342978.0A
Other languages
English (en)
Other versions
CN114708479B (zh
Inventor
殷昱煜
傅君芬
李尤慧子
梁婷婷
李玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202210342978.0A priority Critical patent/CN114708479B/zh
Publication of CN114708479A publication Critical patent/CN114708479A/zh
Application granted granted Critical
Publication of CN114708479B publication Critical patent/CN114708479B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于图结构和特征的自适应防御方法。目前已经有很多对抗训练、注意力机制、去噪网络等方法来提高图神经网络模型的防御能力，但是当前GCN模型倾向于保持结构相似性而不是特征相似性的问题。本发明包含了三部分的内容：基于Attention机制进行原始图和特征图的训练，自适应平衡图结构和特征的信息；基于权重学***滑方法提高模型性能。通过本发明提供的平衡图结构和特征的防御方法，可以有效的利用两方面信息提升图神经网络模型的防御能力。

Description

一种基于图结构和特征的自适应防御方法
技术领域
本发明属于图神经网络领域，涉及图神经网络安全性问题，特别涉及一种基于图结构和特征的自适应防御方法。
背景技术
近年来，深度神经网络(DNNs)取得了巨大的成功，广泛应用在图像识别、自然语言处理、人脸识别、物体识别等领域。然而，在现实生活中，并不是所有的事物都可以表示成一个序列或者一个网格，例如社交网络、知识图谱、物联网等。图由于其强大的表达能力，在现实生活中有着广泛的应用。针对具有不规则的空间结构的图数据，研究人员尝试将神经网络推广用以处理任意结构的图，图神经网络(GNN)应运而生。图神经网络可以地从图中提取特征，这些特征可以完成许多图分析任务，如节点分类、链路预测、社区检测和图分类等。
虽然图神经网络应用广泛，但近年来研究人员发现了图神经网络本身存在一些漏洞，并且容易被一些对抗性扰动误导，导致模型性能严重下降。围绕GNN的安全性问题，主要有图对抗攻击和图对抗防御两个研究方向。图攻击算法通常通过重要的数据特征，在评估函数的指导下修改图中的连边以产生对抗性扰动，使得图神经网络失效。而对抗攻击的产生降低了GNN的性能，在实际应用会导致严重后果。
针对图对抗攻击和图神经网络模型本身存在的问题，已有众多GNN模型产生以提高模型鲁棒性。目前已有的防御方法大多是基于图提纯、对抗训练、注意力机制等，最简单的图提纯方法是在训练中随机丢弃一些连边，使用更多的是依据一些相似性度量指标和图本身的特性丢弃一些可能是攻击者添加的连边；对抗训练因其出色的表现在深度学***衡来着图结构和节点特征信息是提升图神经网络模型防御能力的研究方向之一。
发明内容
本发明的目的是针对GCN倾向于保持结构相似性而不是特征相似性的问题，为了更好地利用图结构和特征两方面的信息，提出一种自适应平衡图结构和特征信息的防御方法，使得图神经网络模型不易受到对抗攻击导致性能下降。
本发明包含以下步骤：
步骤1.利用节点特征生成一个特征图，同时训练原图和特征图，训练模型采用两层GCN，第一层将学习节点的特征权重，依据学习到的特征级权重进行邻域信息的聚合，第二层则是普通的GCN卷积层，遵循其邻域聚合更新公式。
步骤2.采用Attention机制将上述步骤中得到的模型结果自适应合成综合了图结构和特征的结果。
步骤3.为了进一步利用特征信息，将单独使用特征矩阵进行训练，由于使用的数据集中相似的节点之间倾向于有边，故在训练过程中采用了对比学***滑方法，让学***滑之后的分布，使得改模型有更好的泛化效果。
步骤4.依据上述步骤设计损失函数，其中模型对齐损失是将步骤1和3分别训练的两个模型进行对齐，让两个模型向对方靠拢，学习到更有用的信息，达到共同优化的目的。
步骤5.计算损失函数，进行梯度更新，重复上述步骤直至训练结束。
步骤6.输出测试集的节点分类结果。
本发明的有益效果：
本发明提高了特征在模型中的利用率，更好地发挥特征的有益作用，解决GCN倾向于保持结构相似性而不是特征相似性的问题；
本发明中的Attention机制自适应平衡了图结构和特征的信息，提高了模型性能；
本发明提高了图神经网络模型的鲁棒性，从攻击的防御指标来看，提高了模型的防御能力，特别是提高了目标攻击场景下的防御性能。
附图说明
图1是基于图结构和特征的自适应防御方法的模型构架图。
图2是辅助模型的架构图。
图3是单独训练特征的模型架构图。
图4是该方法的训练流程图。
具体实施方式
下面结合附图进一步说明本发明；请参阅图1和图4。图1给出了本发明提出的基于图结构和特征的自适应防御方法的体系结构。以下采用的数据集是引文数据集Cora，取其最大连通子图，其中包含2485个节点，每个节点特征具有1433个维度，7个标签，5069条边。本发明具体实施步骤如下。
步骤1.首先使用节点特征X进行kNN聚类，获得特征图，依据特征图可以得到新的邻接矩阵Af，将原图G(A,X)、特征图Gf(Af,X)分别输入到设计好的两层GCN中训练，其中GCN设计如下：
第一层将进行特征权重细化，不对所有节点都进行特征权重细化，而是选取部分节点操作：首先采样M个节点，对于这M个节点都将进行如图2所示的流程：将中心节点及其邻居的特征共同输入到辅助模型中，输出的是中心节点的每个邻居的每个特征的权重，中心节点再根据特征权重聚合邻居的信息；其余节点按GCN卷积层的邻域聚合方法聚合邻居信息；聚合邻域信息之后再进行更新得到新的节点表示H1。
第二层是GCN卷积层，节点更新公式如公式1所示：
Figure BDA0003575364350000031
其中σ是非线性激活函数，本方法中使用softmax函数；
Figure BDA0003575364350000032
是归一化之后的邻接矩阵；W2是第二层的参数矩阵。
步骤2.原始图和特征图分别训练得到结果，通过Attention机制合成最终结果：将两者经过步骤1得到的特征向量输入到attention层中，会得到两者的权重分配，再按权重值获取最终结果。
步骤3.为了进一步利用特征信息，将单独使用特征矩阵进行训练，如图3所示，训练模型采用两层MLP，每层均为全连接层。由于使用的数据集是同质图，即图中相似的节点之间倾向于有边，故在训练过程中采用了对比学***滑处理，让学***滑之后的分布，使得该模型有更好的泛化效果。
步骤4.根据上述的步骤设计的损失函数，具体如公式2所示：
Figure BDA0003575364350000041
其中λm、λs、λc是超参数，可调节。
其中
Figure BDA0003575364350000042
是有标签数据的交叉熵损失，也就是训练集Vl的交叉熵损失，其中K为标签数量，
Figure BDA0003575364350000043
是节点i的预测值，在这里yi是one-hot形式，即只有正确标签对应的位置为1，其余为0，例如节点i正确标签为1，那么yi1＝1，其余均为0。
其中
Figure BDA0003575364350000044
是模型对齐的损失，尝试将两个模型的分布对齐。其中u1、u2分别为两个模型的不确定性，将使用未经过激活函数的模型输出进行交叉熵公式的计算结果作为模型的不确定性；KL散度是相对熵，是两个概率分布之间差异的非对称性度量，参与计算的两个分布一个是真实分布，一个是理论拟合分布，考虑到KL散度的不对称性，将两个模型的预测结果分别作为真实分布情况下的KL散度结果的和作为损失函数的一部分。
其中
Figure BDA0003575364350000045
将F与平滑标签S的分布对齐，使得模型有更好的泛化效果；标签平滑是一种损失函数的修正，用于解决模型过于自信的问题，也就是说在训练过程中假设标签可能存在错误，避免过分相信训练样本的标签，标签的表现形式变化如图3中所示。标签平滑的公式如公式3所示：
S＝y(1-∈)+∈/K (3)
其中∈是标签平滑调整因子，通常取一个较小的数值；K是指标签的数量。
Figure BDA0003575364350000046
是对比学习的损失，f是线性映射函数，Simij是节点i、j之间的相似度，M是依据节点特征相似度分别采样出来m个最相似的节点对和最不相似的节点对。
步骤5.每一轮epoch计算上述损失函数的值，进行梯度更新，然后重复步骤1、步骤2、步骤3直至训练任务结束。
步骤6.训练完成之后输入节点特征到MLP模型中预测测试集的节点标签，至此完成所有任务。
本实例中的模型完成的图分析任务是节点分类，故主要从测试集节点分类精度、攻击节点分类正确个数两个方面来进行模型性能及其防御能力评估。主要采取的攻击策略为拓扑攻击，也称结构攻击，包括删除边和添加边，但是不添加节点或者修改节点特征。攻击阶段是模型训练阶段，即中毒攻击，指在模型训练之前对图进行扰动，将扰动之后的图作为模型的输入。中毒攻击可以分为两种方法：
(1)非目标攻击，即攻击者的目的是使模型整体性能下降，本实例中采用的非目标攻击方法为Metattack，其扰动预算是253条边。
(2)目标攻击，即攻击者的目的是使模型将指定的节点预测错误，本实例中采用的是Nettack和FGA，其中Nettack攻击选取的节点为40个，FGA攻击选取的节点是100个。
表1为本发明的方法和基础模型在干净图、攻击图上的实验结果
Figure BDA0003575364350000051
由表1可以看出本实施案例中的改进后的基于图结构和特征的自适应防御方法在保证干净图精度的前提下，提高模型在受到攻击情况下的防御能力，尤其是在目标攻击场景下，本方法的防御性能得到了极大的提高。
以上是本发明的较佳实施过程，凡依本发明技术所做的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (4)

1.一种基于图结构和特征的自适应防御方法，其特征在于该方法包括如下步骤：
步骤1. 利用节点特征生成特征图，同时训练原图和特征图，训练模型采用两层图卷积神经网络GCN；
其中图卷积神经网络的第一层将学习节点的特征权重，将节点及其邻居的特征共同输入到辅助模型中，输出的是节点的每个邻居的每个特征的权重，中心节点再根据特征权重聚合邻居的信息；其余节点按GCN卷积层的邻域聚合方法聚合邻居信息；聚合邻域信息之后再进行更新得到新的节点表示；第二层则是普通的GCN卷积层，遵循其邻域聚合更新公式；
步骤2. 采用Attention机制将步骤1中得到的结果自适应合成，得到综合了图结构和特征的结果；
步骤3.单独使用特征举行进行训练，训练模型采用两层MLP，在训练过程中采用了对比学***滑处理，让学***滑之后的分布，使得模型有更好的泛化效果；
步骤4.设计损失函数，其中模型对齐损失是将步骤1、3分别训练的两个模型进行对齐，让两个模型向对方靠拢，学习到更有用的信息，达到共同优化的目的；
步骤5. 计算损失函数，进行梯度更新，重复上述步骤直至训练结束；
步骤6. 输出测试集的节点分类结果。
2.根据权利要求1所述的一种基于图结构和特征的自适应防御方法,其特征在于：步骤1中第一层将进行特征权重细化，不对所有节点都进行特征权重细化，而是选取部分节点操作。
3.根据权利要求1所述的一种基于图结构和特征的自适应防御方法, 其特征在于：步骤3在损失函数的设计中包括了对比学***滑公式修改的修正损失函数。
4.根据权利要求1所述的一种基于图结构和特征的自适应防御方法, 其特征在于：步骤4中的模型对齐要求获取模型输出层为经过激活函数的表示，用于获取不确定；在计算KL散度需要乘上相应的不确定性值，同时考虑KL散度的不对称性，将两个模型的结果分别作为真实分布进行计算，以便模型相互学习。
CN202210342978.0A 2022-03-31 2022-03-31 一种基于图结构和特征的自适应防御方法 Active CN114708479B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210342978.0A CN114708479B (zh) 2022-03-31 2022-03-31 一种基于图结构和特征的自适应防御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210342978.0A CN114708479B (zh) 2022-03-31 2022-03-31 一种基于图结构和特征的自适应防御方法

Publications (2)

Publication Number Publication Date
CN114708479A true CN114708479A (zh) 2022-07-05
CN114708479B CN114708479B (zh) 2023-08-29

Family

ID=82172597

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210342978.0A Active CN114708479B (zh) 2022-03-31 2022-03-31 一种基于图结构和特征的自适应防御方法

Country Status (1)

Country Link
CN (1) CN114708479B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115906980A (zh) * 2022-11-11 2023-04-04 中南大学 Gat图神经网络防御方法、构建方法及行人检测方法
CN116306779A (zh) * 2023-02-09 2023-06-23 创意信息技术股份有限公司 一种基于结构可区分表示图神经网络的知识推理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210067549A1 (en) * 2019-08-29 2021-03-04 Nec Laboratories America, Inc. Anomaly detection with graph adversarial training in computer systems
US20210192357A1 (en) * 2018-05-17 2021-06-24 Magic Leap, Inc. Gradient adversarial training of neural networks
CN113159160A (zh) * 2021-04-16 2021-07-23 杭州电子科技大学 一种基于节点注意力的半监督节点分类方法
CN113255895A (zh) * 2021-06-07 2021-08-13 之江实验室 基于图神经网络表示学习的结构图对齐方法和多图联合数据挖掘方法
CN113449853A (zh) * 2021-08-06 2021-09-28 南京邮电大学 一种图卷积神经网络模型及其训练方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210192357A1 (en) * 2018-05-17 2021-06-24 Magic Leap, Inc. Gradient adversarial training of neural networks
US20210067549A1 (en) * 2019-08-29 2021-03-04 Nec Laboratories America, Inc. Anomaly detection with graph adversarial training in computer systems
CN113159160A (zh) * 2021-04-16 2021-07-23 杭州电子科技大学 一种基于节点注意力的半监督节点分类方法
CN113255895A (zh) * 2021-06-07 2021-08-13 之江实验室 基于图神经网络表示学习的结构图对齐方法和多图联合数据挖掘方法
CN113449853A (zh) * 2021-08-06 2021-09-28 南京邮电大学 一种图卷积神经网络模型及其训练方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LIANG TINGTING ET AL: ""Mobile app recommendation via heterogeneous graph neural network in edge computing"", 《APPLIED SOFT COMPUTING》, vol. 103, pages 1 - 9 *
陈晋音等: ""面向图神经网络的对抗攻击与防御综述"", 《网络信息安全学报》, vol. 7, no. 3, pages 1 - 28 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115906980A (zh) * 2022-11-11 2023-04-04 中南大学 Gat图神经网络防御方法、构建方法及行人检测方法
CN115906980B (zh) * 2022-11-11 2023-06-30 中南大学 行人检测方法
CN116306779A (zh) * 2023-02-09 2023-06-23 创意信息技术股份有限公司 一种基于结构可区分表示图神经网络的知识推理方法

Also Published As

Publication number Publication date
CN114708479B (zh) 2023-08-29

Similar Documents

Publication Publication Date Title
CN109617909B (zh) 一种基于smote和bi-lstm网络的恶意域名检测方法
CN109639710B (zh) 一种基于对抗训练的网络攻击防御方法
CN110084610B (zh) 一种基于孪生神经网络的网络交易欺诈检测***
CN114708479A (zh) 一种基于图结构和特征的自适应防御方法
CN113570859B (zh) 一种基于异步时空膨胀图卷积网络的交通流量预测方法
CN111178504B (zh) 基于深度神经网络的鲁棒压缩模型的信息处理方法及***
CN112580728B (zh) 一种基于强化学习的动态链路预测模型鲁棒性增强方法
CN115545350B (zh) 综合深度神经网络与强化学习的车辆路径问题求解方法
CN112597993A (zh) 基于补丁检测的对抗防御模型训练方法
CN109740106A (zh) 基于图卷积神经网络的大规模网络介数逼近方法、存储装置及存储介质
CN115293235A (zh) 建立风险识别模型的方法及对应装置
CN117272195A (zh) 基于图卷积注意力网络的区块链异常节点检测方法及***
Liu et al. Bi-fidelity evolutionary multiobjective search for adversarially robust deep neural architectures
CN110889493A (zh) 针对关系网络添加扰动的方法及装置
CN117150416B (zh) 一种工业互联网异常节点的检测方法、***、介质及设备
Liu et al. Gradient‐Sensitive Optimization for Convolutional Neural Networks
CN117117850A (zh) 一种短期用电负荷预测方法及***
CN116628524A (zh) 一种基于自适应图注意力编码器的社区发现方法
CN115640845A (zh) 基于生成对抗网络的图神经网络少数类别样本生成方法
CN115102868A (zh) 一种基于SOM聚类与深度自编码器的web服务QoS预测方法
CN108427762A (zh) 利用随机游走的自编码文档表示方法
CN112215272A (zh) 一种基于贝塞尔曲线的图像分类神经网络攻击方法
Li et al. GA-SVR traffic flow prediction based on phase space reconstruction with improved KNN method
CN110852505A (zh) 基于量子遗传优化lvq神经网络的智慧城市交通流预测方法
Zong et al. Online intrusion detection mechanism based on model migration in intelligent pumped storage power stations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant