CN113806546A - 一种基于协同训练的图神经网络对抗防御方法及*** - Google Patents

一种基于协同训练的图神经网络对抗防御方法及*** Download PDF

Info

Publication number
CN113806546A
CN113806546A CN202111166143.6A CN202111166143A CN113806546A CN 113806546 A CN113806546 A CN 113806546A CN 202111166143 A CN202111166143 A CN 202111166143A CN 113806546 A CN113806546 A CN 113806546A
Authority
CN
China
Prior art keywords
graph
data
model
training
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111166143.6A
Other languages
English (en)
Other versions
CN113806546B (zh
Inventor
卢凯
邬会军
吴旭刚
王睿伯
张文喆
董勇
张伟
谢旻
周恩强
迟万庆
吴振伟
李佳鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202111166143.6A priority Critical patent/CN113806546B/zh
Publication of CN113806546A publication Critical patent/CN113806546A/zh
Application granted granted Critical
Publication of CN113806546B publication Critical patent/CN113806546B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Animal Behavior & Ethology (AREA)
  • Algebra (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于协同训练的图神经网络对抗防御方法及***，本发明每一个轮次的训练包括将图数据划分为不同视图的数据；为不同视图的数据选择对应的子模型；基于不同视图的数据完成对应子模型的训练，将未标注数据输入训练好的子模型，并按子模型对未标注数据的置信度进行排序；为筛选出来的未标注数据打上相应的伪标签并将其添加到训练数据中，使用新的训练数据重新对各个视图下的子模型进行协同训练。本发明相比于其它图神经网络对抗防御机制，在利用节点特征信息时跳出经验式地节点特征信息利用，采用基于协同训练的融合模型进行防御，使得图结构和节点特征信息在训练框架下充分融合，进而构造更加鲁棒的融合模型。

Description

一种基于协同训练的图神经网络对抗防御方法及***
技术领域
本发明涉及人工智能安全领域，具体涉及一种基于协同训练的图神经网络对抗防御方法及***。
背景技术
不同于传统的研究对象，图结构处理的是非欧几里得空间的数据，具有无序性的特征，图数据结构可以用于描述多种现实问题。例如，社交网络群体、学术论文之间的引用关系、蛋白质分子结构以及计算机程序的控制流等都可以被建模为图。图神经网络采用深度学习的方法来分析图数据，可以用于图分类、节点分类、连接预测等多种类型的分析任务。典型的图神经网络包括图卷积神经网络(GCN)，图采样和聚合网络(GraphSAGE)，图注意力网络(GAT)等。对于图数据，图神经网络往往可以获得比其它类型深度学习模型更好地性能。与处理图像的卷积神经网络类似，图神经网络也会受到对抗样本攻击的影响。典型的图神经网络对抗攻击可以描述为：通过尽可能小的扰动来误导模型产生错误的预测结果。以图结点分类任务为例，对抗样本攻击即通过篡改少量节点的属性或节点间连接关系，使得目标结点被错误分类。假设图神经网络模型为f，对应的损失函数为
Figure BDA0003291313590000011
图数据邻接矩阵为A，特征矩阵为X，对抗样本攻击的限制为邻接矩阵与特征矩阵改变最小，那么对抗样本攻击的目标可以被形式化如下：
Figure BDA0003291313590000012
Figure BDA0003291313590000013
Figure BDA0003291313590000014
上式中，
Figure BDA0003291313590000015
表示扰动后图数据邻接矩阵，
Figure BDA0003291313590000016
表示扰动后图数据特征矩阵，Vt表示攻击目标节点集合，
Figure BDA0003291313590000017
为损失函数，
Figure BDA0003291313590000018
表示训练后的图神经网络模型对目标节点的预测，yu表示目标节点的原始标签，θ*表示训练后的模型参数，
Figure BDA0003291313590000019
表示训练过程的损失函数，
Figure BDA00032913135900000110
表示训练过程中图神经网络模型对节点的预测，A表示图数据邻接矩阵，X表示图数据特征矩阵，Δ表示总扰动量的约束最大值。
攻击者采用的扰动方式一般可以概括为以下四种：a.添加/删除边：通过添加或删除一些边达到攻击的目的；b.修改节点/边属性：通过修改部分节点/边的属性来达到攻击的目的；c.边重连：通过将节点之间的边进行重新连接；d.伪节点注入：向图数据中加入本不存在的节点。相关研究表明，基于消息传递的图神经网络虽然对节点的特征信息以及结构信息各有兼顾，但在进行节点分类时，这类方法实际倾向于使用节点的结构信息对节点进行分类。相应地，节点本身的特征信息对模型的判断影响较小，有效信息未被充分利用，以上情况就导致现有图神经网络在面对对抗样本攻击时存在下列特点：a.对图结构进行扰动带来的攻击效果强于对节点特征的扰动，攻击者往往倾向于选择攻击图结构信息；b.在结构上连接图中高度不相似的节点成为最行之有效的对抗样本攻击方法。
针对以上提到的对图神经网络的对抗攻击手段，现有的防御技术可以概括如下：
图去噪。基于图去噪的对抗样本防御方法在图神经网络处理图数据前，基于正常图数据和被攻击图数据的特征，对图数据进行去噪处理，试图消除一些“干扰边”，使得图神经网络处理的是净化过后的图，进而避免错误。比如LowRank防御手段观察到图的攻击分量往往表现为小特征值，进而在特征值谱上体现为高秩部分。基于此，作者首先将图成分进行近似，去除高秩部分进行降噪，从而实现防御。Jaccard-GCN基于攻击者倾向于连接两个不相似的边进行攻击的观察，通过删除所有相似度很低的节点之间的边，在不显著影响模型性能的条件下达到防御对抗样本攻击的效果。
注意力机制。注意力机制可以视为一种“软去噪”方法，不同于上述图去噪方法中通过将扰动边进行删除的方法，基于注意力机制的防御通过和模型训练相结合，通过学习的方式为每一条边赋予不同的注意权重(可信边高权重，干扰边低权重)，从而使得图神经网络在聚合过程中关注对正确分类更有意义的图结构来提高模型的鲁棒性。
对抗训练。对抗训练指的是在模型的训练过程中生成相应的对抗样本，并将其与原始样本一起加入作为训练数据来训练模型的方法。在图像领域，对抗训练方法被证实是一个有效的提升模型鲁棒性的方法。传统的对抗训练过程通过将对抗样本加入到训练集之中参与训练，提高模型面对对抗样本的鲁棒性。采用对抗训练的方法进行防御往往存在生成对抗样本代价过高的问题，该问题可以通过在第一层隐含层上生成“流形”上的对抗样本来解决，进而降低计算量，解决数据离散化问题。
但现有对抗样本攻击的防御方式存在以下不足，即没有从本质上改变图神经网络基于消息传递实现学习型和预测的本质。相关防御方式仍然存在对节点特征使用不足，错失了图节点特征信息对对抗样本防御的潜在促进作用。
发明内容
本发明要解决的技术问题：针对现有技术的上述问题，提供一种基于协同训练的图神经网络对抗防御方法及***，本发明将以图结构信息为主的模型以及图特征信息为主的模型进行融合，能够实现更有效的图神经网络对抗防御，提升图神经网络模型面对对抗样本攻击时的鲁棒性，提高图神经网络模型在对抗样本攻击条件下的预测准确性。
为了解决上述技术问题，本发明采用的技术方案为：
一种基于协同训练的图神经网络对抗防御方法，包括：
1)将图数据划分为不同视图的数据；
2)为不同视图的数据选择对应的子模型；
3)基于不同视图的数据完成对应子模型的训练，将未标注数据输入训练好的子模型，并按子模型对未标注数据的置信度进行排序；
4)选择置信度最高的K个未标注数据，根据子模型的预测结果，为筛选出来的未标注数据打上相应的伪标签并将其添加到训练数据中，其中K为预设的超参数；
5)使用新的训练数据重新对各个视图下的子模型进行协同训练；
6)判断协同训练的轮次已经达到预设协同训练轮数是否成立，若不成立则跳转执行步骤1)继续进行下一轮训练；若成立则判定完成两个子模型的融合，得到由各个子模型融合得到的混合模型，且将各个子模型的输出的平均值作为混合模型的最终输出结果。
可选地，步骤1)中不同视图的数据包括节点特征视图的图数据X及图结构视图的图数据A，节点特征视图的图数据X反映节点本身的特征，图结构视图的图数据A反映节点在图拓扑中的结构信息。
可选地，步骤2)中为不同视图的数据选择对应的子模型是指为节点特征视图的图数据X选择以节点特征为依据判断节点类别、对图结构信息不敏感的节点特征模型ffeat，为图结构视图的图数据A选择利用图结构信息判断节点类别、对图节点特征不敏感的图特征模型fstruct。
可选地，所述节点特征模型ffeat为多层感知机模型，所述多层感知机模型的形式化表征函数表达式为：
Figure BDA0003291313590000031
上式中，
Figure BDA0003291313590000032
为第l+1层节点的表征，
Figure BDA0003291313590000033
为第l层节点的表征，σ为采用的非线性激活函数，θl和bl为多层感知机待训练的参数。
可选地，所述节点特征模型ffeat为k近邻模型，所述k近邻模型使用k近邻算法为每个节点找到k个最相似的节点进行连接构建出一个图结构，并将该图结构连同节点特征一起作为输入送到图特征模型fstruct中进行分类。
可选地，所述图特征模型fstruct为图卷积神经网络模型，所述图卷积神经网络模型的形式化表征函数表达式为：
Figure BDA0003291313590000034
上式中，X(l+1)第l+1层节点的表征，σ为采用的非线性激活函数，
Figure BDA0003291313590000035
为正则化后的邻接矩阵，X(l)为第l层节点的表征，W(l)为第l层节点待训练的参数。
可选地，所述图特征模型fstruct为图谱模型，且所述图谱模型的特征提取对象包括图拓扑A以及图拓扑的二阶邻接矩阵A2。
可选地，步骤4)为筛选出来的未标注数据打上相应的伪标签并将其添加到训练数据中具体是指：根据子模型的预测结果中原始数据中各个类别数据的分布，将原始的比例筛选置信度最高的未标注数据添加到训练数据中。
此外，本发明还提供一种基于协同训练的图神经网络对抗防御***，包括相互连接的微处理器和存储器，该微处理器被编程或配置以执行所述一种基于协同训练的图神经网络对抗防御方法的步骤。
此外，本发明还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行所述一种基于协同训练的图神经网络对抗防御方法的计算机程序。
和现有技术相比，本发明具有下述优点：本发明每一个轮次的训练包括将图数据划分为不同视图的数据；为不同视图的数据选择对应的子模型；基于不同视图的数据完成对应子模型的训练，将未标注数据输入训练好的子模型，并按子模型对未标注数据的置信度进行排序；选择置信度最高的K个未标注数据，根据子模型的预测结果，为筛选出来的未标注数据打上相应的伪标签并将其添加到训练数据中，使用新的训练数据重新对各个视图下的子模型进行协同训练。本发明相比于其它图神经网络对抗防御机制，在利用节点特征信息时跳出经验式地节点特征信息利用，采用基于协同训练的融合模型进行防御，使得图结构和节点特征信息在训练框架下充分融合，进而构造更加鲁棒的融合模型。
附图说明
图1为本发明方法的基本流程示意图。
图2为本发明实施例一方法的基本原理示意图。
图3为本发明实施例一方法的协同训练流程示意图。
具体实施方式
本发明旨在将以图结构信息为主的模型以及图特征信息为主的模型进行融合，以实现更有效的图神经网络对抗防御，提升图神经网络模型面对对抗样本攻击时的鲁棒性，提高图神经网络模型在对抗样本攻击条件下的预测准确性。模型融合是一种重要的对抗防御方法。对于一个模型，其对抗子空间定义为其受到影响的对抗样本所在的样本空间。模型的对抗样本会集中在一个连续的区间出现，这个区间的大小则决定了对抗样本在模型间迁移的能力。通过模型融合防御对抗攻击的核心思路在于降低子模型之间共享的对抗子空间，对抗样本将更难以在这些子模型之间迁移，由于融合模型的分类结果由所有子模型共同决定，对抗样本迁移性的降低就可以提高模型对于对抗样本的鲁棒性。
通过模型融合实现对抗防御的要点在于，如何保证模型之间共享的对抗子空间足够小。当前的主要有两种思路：一是通过促进子模型在训练过程中的梯度多样性来缩小子模型的共享对抗子空间。模型在训练的过程中，之所以会出现较大的共享对抗子空间，是因为子模型之间的损失梯度表现出相当的一致性。因此，通过引入一个正则项使得子模型的损失梯度变得多样且不相关，子模型间的共享对抗空间就会减小，从而使得融合模型变得更加鲁棒。二是通过促进不同子模型在分最大分类结果上的分类多样化来缩小子模型的共享对抗子空间。通过使得不同的子模型在非最大分类结果(标签)上拥有不同的表现，这样，子模型就可以呈现出分类错误上的多样性，从而提升融合模型的鲁棒性。针对图数据，由于其本身包括两个相互正交的信息(图结构信息和节点特征信息)，使用这两类相互正交的信息分别训练出来的模型从原理上来说相互独立。进一步地，两个模型之间的对抗子空间也是相互正交的，结合这两种模型将有效的提升融合模型的鲁棒性。
协同训练(co-training)方法是一种经典的模型融合和半监督学习方法，这类方法假设数据拥有不同的视图，通过不同的视图利用数据可以训练出不同的分类器。同时，这些不同视图训练出来的分类器之间是可以形成互补，进而提升模型的分类效果。协同训练方法要求数据的不同视图满足两个性质：1.充分性：如果通过任意一个视图都能够在分类问题上取得较好的分类结果，我们称视图是充分的。2.条件独立性：对于不同视图来说，如果它们将进行模型分类的线索来源是独立的，我们称视图间满足条件独立性。视图的充分性保证了可以通过各个视图获取到有效的分类器，而条件独立性保证了不同视图训练得到的分类器之间是互补的。对于图神经网络处理的图数据来说，数据本身天然的就拥有两个充分且独立的视图：图结构信息视图和节点特征信息视图。因此，此方法可以用于融合两个视图下子模型。
实施例一：
如图1所示，本实施例基于协同训练的图神经网络对抗防御方法包括：
1)将图数据划分为不同视图的数据；
2)为不同视图的数据选择对应的子模型；
3)基于不同视图的数据完成对应子模型的训练，将未标注数据输入训练好的子模型，并按子模型对未标注数据的置信度进行排序；
4)选择置信度最高的K个未标注数据，根据子模型的预测结果，为筛选出来的未标注数据打上相应的伪标签并将其添加到训练数据中，其中K为预设的超参数；
5)使用新的训练数据重新对各个视图下的子模型进行协同训练；
6)判断协同训练的轮次已经达到预设协同训练轮数是否成立，若不成立则跳转执行步骤1)继续进行下一轮训练；若成立则判定完成两个子模型的融合，得到由各个子模型融合得到的混合模型，且将各个子模型的输出的平均值作为混合模型的最终输出结果。
参见图2，本实施例步骤1)中不同视图的数据包括节点特征视图的图数据X及图结构视图的图数据A，节点特征视图的图数据X反映节点本身的特征，图结构视图的图数据A反映节点在图拓扑中的结构信息。
本实施例步骤2)中为不同视图的数据选择对应的子模型是指为节点特征视图的图数据X选择以节点特征为依据判断节点类别、对图结构信息不敏感的节点特征模型ffeat，为图结构视图的图数据A选择利用图结构信息判断节点类别、对图节点特征不敏感的图特征模型fstruct。
由于我们的目标是训练得到融合模型，为图数据的两个视角(特征视角及图结构视角)选择合适的子模型十分关键，下面分别介绍本实施例使用的节点特征模型和图结构模型。
本实施例中，节点特征模型ffeat为多层感知机模型，所述多层感知机模型的形式化表征函数表达式为：
Figure BDA0003291313590000061
上式中，
Figure BDA0003291313590000062
为第l+1层节点的表征，
Figure BDA0003291313590000063
为第l层节点的表征，σ为采用的非线性激活函数，θl和bl为多层感知机待训练的参数。
由于节点特征表现为一个向量，因此本实施例方法首先考虑使用的是多层感知机(MLP)方法，该方法处理向量作为输入的一个经典方法。多层感知机是一种前向结构的人工神经网络，由多层节点组成，每层节点全连接到下一层，每个节点后带有一个非线性激活函数。训练时使用训练数据通过反向传播的方法对模型参数进行训练。
本实施例中，图特征模型fstruct为图卷积神经网络模型，所述图卷积神经网络模型的形式化表征函数表达式为：
Figure BDA0003291313590000064
上式中，X(l+1)第l+1层节点的表征，σ为采用的非线性激活函数，
Figure BDA0003291313590000065
为正则化后的邻接矩阵，X(l)为第l层节点的表征，W(l)为第l层节点待训练的参数。图卷积神经网络是处理图数据的经典模型，在此本实施例方法使用其作为捕获图结构信息的模型。
选择好相应的子模型后，如何将所选的子模型进行集成得到融合模型是本实施例方法的另一关键，本实施例方法采用协同训练的方法将两个子模型进行融合。参见图2和图3，本实施例方法首先将图数据划分为两个视图，图结构视图以及节点特征视图，不同视图下的数据分别被送到对应的子模型进行训练。在一个训练阶段结束后，每个子模型可以得到对于未标注节点的预测，方法将两个子模型各自置信度最高的K个节点打上相应的伪标签添加进训练数据中。其中K为预先设定的超参数，与数据规模相关。在下一个训练阶段，重复此动作，加入新的伪标签数据，直到达到预先设定的迭代轮数。传统的协同训练方法直接根据模型的置信度选择打伪标签的节点，这样容易导致训练数据类别不均匀的问题。为防止训练过程中出现的数据不均衡的问题，本实施例方法中我们在添加伪标签数据时，根据原始数据中各个类别数据的分布，按照原始的比例筛选置信度最高的未标注数据进行添加。因此，本实施例中步骤4)为筛选出来的未标注数据打上相应的伪标签并将其添加到训练数据中具体是指：根据子模型的预测结果中原始数据中各个类别数据的分布，将原始的比例筛选置信度最高的未标注数据添加到训练数据中。
综上所述，本实施例解决的问题是当前的主流图神经网络模型通过消息传递机制为基础实现模型训练和预测。以节点分类问题为例，这种特性使得模型在预测时高度依赖图结构信息，而聚合过程使得结点特征信息不断模糊，为分类预测带来的信息量不足。因此，对抗样本攻击往往通过篡改少量图结构信息就可以实现高效的攻击。已有对抗样本防御方法利用这些结构信息篡改的特点，通过节点相似性等信息来间接利用结点特征信息，以边删除等方式来实现防御。这种特征信息利用方式往往是经验式地，可能不具备在多样性图数据上的广泛适用性。因此，本实施例旨在引入节点特征模型，并通过协同训练的方法，将图结构模型和节点特征模型进行有机融合。通过这两个相互正交的视图训练得到的子模型之间共享对抗攻击子空间小，因而相应的融合模型在面对对抗攻击时具有更好的防御效果。
本实施例方法包括：首先将图数据划分为节点特征视角及图结构视角，前者反映节点本身的特征，后者反映节点在图拓扑中的结构信息。得到上述两个视角后，分别为两个视角选择相应的模型。节点特征视角下的模型主要以节点特征为依据判断节点类别，对图结构信息不敏感。相应的，图结构视角下的模型主要利用图结构信息判断节点类别，对图节点特征不敏感。这样在模型面临某一视图下的攻击时，另一视图下的模型不会受到影响，我们可以通过后续的模型融合过程将未受影响模型的知识传递，进而修正被攻击的模型。选择好相应的模型后，首先在两个视图下独立的训练对应模型(如图2所示)。得到训练好的子模型后，将未标注数据输入子模型并按子模型对未标注数据的置信度进行排序。选择置信度最高的K个未标注数据(此处K为预先设定的超参数)，根据子模型的预测结果，为筛选出来的未标注数据打上相应的伪标签并将其添加到训练数据之中。使用新的训练数据重新对各个视图下的子模型进行训练，并重复上述步骤，直到达到预先设定的协同训练轮数。本实施例相比于其它图神经网络对抗防御机制，在利用节点特征信息时跳出经验式地节点特征信息利用，采用基于协同训练的融合模型进行防御，使得图结构和节点特征信息在训练框架下充分融合，进而构造更加鲁棒的融合模型。
此外，本实施例还提供一种基于协同训练的图神经网络对抗防御***，包括相互连接的微处理器和存储器，该微处理器被编程或配置以执行前述一种基于协同训练的图神经网络对抗防御方法的步骤。
此外，本实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行前述一种基于协同训练的图神经网络对抗防御方法的计算机程序。
实施例二：
本实施例与实施例一基本相同，其主要不同点为：本实施例中选用的节点特征模型ffeat不同。本实施例中，节点特征模型ffeat为k近邻模型，k近邻模型使用k近邻算法为每个节点找到k个最相似的节点进行连接构建出一个图结构，并将该图结构连同节点特征一起作为输入送到图特征模型fstruct中进行分类。采用上述可替换的技术手段，本实施例方法同样可以解决实施例一所要解决的技术问题，并取得与实施例一基本相同的技术效果。
需要说明的是，基于本发明的宗旨，其步骤1)～2)的关键在于将图数据划分为不同视图的数据、为不同视图的数据选择对应的子模型，因此即使限定不同视图的数据包括节点特征视图的图数据X及图结构视图的图数据A，节点特征视图的图数据X反映节点本身的特征，图结构视图的图数据A反映节点在图拓扑中的结构信息的前提下，节点特征视图也不应理解为不依赖于特定的节点特征模型ffeat，在此不再赘述。
此外，本实施例还提供一种基于协同训练的图神经网络对抗防御***，包括相互连接的微处理器和存储器，该微处理器被编程或配置以执行前述一种基于协同训练的图神经网络对抗防御方法的步骤。
此外，本实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行前述一种基于协同训练的图神经网络对抗防御方法的计算机程序。
实施例三：
本实施例与实施例一基本相同，其主要不同点为：本实施例中选用的图特征模型fstruct不同。本实施例中，图特征模型fstruct为图谱模型，且所述图谱模型的特征提取对象包括图拓扑A(节点的邻接矩阵)以及图拓扑的二阶邻接矩阵A2。采用上述可替换的技术手段，本实施例方法同样可以解决实施例一所要解决的技术问题，并取得与实施例一基本相同的技术效果。而且，由于传统图谱方法仅仅会基于图拓扑A进行特征提取，为了得到更强的局部图结构信息，本实施例方法同时基于二阶邻接矩阵A2进行特征提取。图谱是反映图结构的一个重要属性，该属性常常在聚类、社区发现等任务中被用于捕获图结构信息，具体的做法如下：给与一个图拓扑A，首先通过计算图拓扑A对应拉普拉斯矩阵的特征分解：
D-1Ly＝λy，
上式中，D为对角矩阵，其元素为对应节点的度，L为图拉普拉斯矩阵，y为对应的特征向量，λ为对应的特征值。
其中：D-1L＝I-D-1A是正则化的拉普拉斯矩阵，I为单位矩阵，A为图拓扑。记λ0λ1λ2...λk为k个最小的特征值，y0y1y2...yk为对应的特征向量，那么可以将每个节点u表征为一个k维向量au＝(y1u，y2u，...yku)，得到此表征后，将节点表征作为输入送到例如多层感知机在内的分类模型进行分类。
需要说明的是，基于本发明的宗旨，其步骤1)～2)的关键在于将图数据划分为不同视图的数据、为不同视图的数据选择对应的子模型，因此即使限定不同视图的数据包括节点特征视图的图数据X及图结构视图的图数据A，节点特征视图的图数据X反映节点本身的特征，图结构视图的图数据A反映节点在图拓扑中的结构信息的前提下，图结构视图也不应理解为不依赖于特定的图特征模型fstruct，在此不再赘述。
此外，本实施例还提供一种基于协同训练的图神经网络对抗防御***，包括相互连接的微处理器和存储器，该微处理器被编程或配置以执行前述一种基于协同训练的图神经网络对抗防御方法的步骤。
此外，本实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行前述一种基于协同训练的图神经网络对抗防御方法的计算机程序。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于协同训练的图神经网络对抗防御方法，其特征在于，包括：
1)将图数据划分为不同视图的数据；
2)为不同视图的数据选择对应的子模型；
3)基于不同视图的数据完成对应子模型的训练，将未标注数据输入训练好的子模型，并按子模型对未标注数据的置信度进行排序；
4)选择置信度最高的K个未标注数据，根据子模型的预测结果，为筛选出来的未标注数据打上相应的伪标签并将其添加到训练数据中，其中K为预设的超参数；
5)使用新的训练数据重新对各个视图下的子模型进行协同训练；
6)判断协同训练的轮次已经达到预设协同训练轮数是否成立，若不成立则跳转执行步骤1)继续进行下一轮训练；若成立则判定完成两个子模型的融合，得到由各个子模型融合得到的混合模型，且将各个子模型的输出的平均值作为混合模型的最终输出结果。
2.根据权利要求1所述的基于协同训练的图神经网络对抗防御方法，其特征在于，步骤1)中不同视图的数据包括节点特征视图的图数据X及图结构视图的图数据A，节点特征视图的图数据X反映节点本身的特征，图结构视图的图数据A反映节点在图拓扑中的结构信息。
3.根据权利要求2所述的基于协同训练的图神经网络对抗防御方法，其特征在于，步骤2)中为不同视图的数据选择对应的子模型是指为节点特征视图的图数据X选择以节点特征为依据判断节点类别、对图结构信息不敏感的节点特征模型ffeat，为图结构视图的图数据A选择利用图结构信息判断节点类别、对图节点特征不敏感的图特征模型fstruct。
4.根据权利要求3所述的基于协同训练的图神经网络对抗防御方法，其特征在于，所述节点特征模型ffeat为多层感知机模型，所述多层感知机模型的形式化表征函数表达式为：
Figure FDA0003291313580000011
上式中，
Figure FDA0003291313580000012
为第l+1层节点的表征，
Figure FDA0003291313580000013
为第l层节点的表征，σ为采用的非线性激活函数，θl和bl为多层感知机待训练的参数。
5.根据权利要求3所述的基于协同训练的图神经网络对抗防御方法，其特征在于，所述节点特征模型ffeat为k近邻模型，所述k近邻模型使用k近邻算法为每个节点找到k个最相似的节点进行连接构建出一个图结构，并将该图结构连同节点特征一起作为输入送到图特征模型fstruct中进行分类。
6.根据权利要求3所述的基于协同训练的图神经网络对抗防御方法，其特征在于，所述图特征模型fstruct为图卷积神经网络模型，所述图卷积神经网络模型的形式化表征函数表达式为：
Figure FDA0003291313580000014
上式中，X(l+1)第l+1层节点的表征，σ为采用的非线性激活函数，
Figure FDA0003291313580000021
为正则化后的邻接矩阵，X(l)为第l层节点的表征，W(l)为第l层节点待训练的参数。
7.根据权利要求3所述的基于协同训练的图神经网络对抗防御方法，其特征在于，所述图特征模型fstruct为图谱模型，且所述图谱模型的特征提取对象包括图拓扑A以及图拓扑的二阶邻接矩阵A2。
8.根据权利要求1所述的基于协同训练的图神经网络对抗防御方法，其特征在于，步骤4)为筛选出来的未标注数据打上相应的伪标签并将其添加到训练数据中具体是指：根据子模型的预测结果中原始数据中各个类别数据的分布，将原始的比例筛选置信度最高的未标注数据添加到训练数据中。
9.一种基于协同训练的图神经网络对抗防御***，包括相互连接的微处理器和存储器，其特征在于，该微处理器被编程或配置以执行权利要求1～8中任意一项所述一种基于协同训练的图神经网络对抗防御方法的步骤。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质中存储有被编程或配置以执行权利要求1～8中任意一项所述一种基于协同训练的图神经网络对抗防御方法的计算机程序。
CN202111166143.6A 2021-09-30 2021-09-30 一种基于协同训练的图神经网络对抗防御方法及*** Active CN113806546B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111166143.6A CN113806546B (zh) 2021-09-30 2021-09-30 一种基于协同训练的图神经网络对抗防御方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111166143.6A CN113806546B (zh) 2021-09-30 2021-09-30 一种基于协同训练的图神经网络对抗防御方法及***

Publications (2)

Publication Number Publication Date
CN113806546A true CN113806546A (zh) 2021-12-17
CN113806546B CN113806546B (zh) 2024-04-05

Family

ID=78939140

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111166143.6A Active CN113806546B (zh) 2021-09-30 2021-09-30 一种基于协同训练的图神经网络对抗防御方法及***

Country Status (1)

Country Link
CN (1) CN113806546B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114510966A (zh) * 2022-01-14 2022-05-17 电子科技大学 一种基于图神经网络的端到端大脑因果网络构建方法
CN114629798A (zh) * 2022-01-27 2022-06-14 清华大学 多智能体协同规划方法、装置、电子设备及存储介质
CN114722407A (zh) * 2022-03-03 2022-07-08 中国人民解放军战略支援部队信息工程大学 基于内生式对抗样本的图像保护方法
CN115268481A (zh) * 2022-07-06 2022-11-01 中国航空工业集团公司沈阳飞机设计研究所 一种无人机对抗策略决策方法及其***
CN115906980A (zh) * 2022-11-11 2023-04-04 中南大学 Gat图神经网络防御方法、构建方法及行人检测方法
US11715156B1 (en) * 2022-07-13 2023-08-01 Chengdu Qinchuan Iot Technology Co., Ltd. Risk assessment methods and systems for affordable housing application in a smart city based on internet of things
WO2023221592A1 (zh) * 2022-05-20 2023-11-23 腾讯科技（深圳）有限公司 模型协同训练方法及相关装置
CN117312810A (zh) * 2023-11-30 2023-12-29 中国人民解放军国防科技大学 基于博弈历史树的不完全信息攻防博弈对手识别方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738438B (zh) * 2020-07-17 2021-04-30 支付宝(杭州)信息技术有限公司 图神经网络模型训练方法、装置及***
CN113269228B (zh) * 2021-04-20 2022-06-10 重庆邮电大学 一种图网络分类模型的训练方法、装置、***及电子设备
CN113378160A (zh) * 2021-06-11 2021-09-10 浙江工业大学 一种基于生成式对抗网络的图神经网络模型防御方法及装置

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114510966A (zh) * 2022-01-14 2022-05-17 电子科技大学 一种基于图神经网络的端到端大脑因果网络构建方法
CN114629798B (zh) * 2022-01-27 2023-08-18 清华大学 多智能体协同规划方法、装置、电子设备及存储介质
CN114629798A (zh) * 2022-01-27 2022-06-14 清华大学 多智能体协同规划方法、装置、电子设备及存储介质
CN114722407A (zh) * 2022-03-03 2022-07-08 中国人民解放军战略支援部队信息工程大学 基于内生式对抗样本的图像保护方法
CN114722407B (zh) * 2022-03-03 2024-05-24 中国人民解放军战略支援部队信息工程大学 基于内生式对抗样本的图像保护方法
WO2023221592A1 (zh) * 2022-05-20 2023-11-23 腾讯科技（深圳）有限公司 模型协同训练方法及相关装置
CN115268481A (zh) * 2022-07-06 2022-11-01 中国航空工业集团公司沈阳飞机设计研究所 一种无人机对抗策略决策方法及其***
US11715156B1 (en) * 2022-07-13 2023-08-01 Chengdu Qinchuan Iot Technology Co., Ltd. Risk assessment methods and systems for affordable housing application in a smart city based on internet of things
US20230316395A1 (en) * 2022-07-13 2023-10-05 Chengdu Qinchuan Iot Technology Co., Ltd. Management methods and systems for affordable housing applications in smart city based on internet of things
CN115906980B (zh) * 2022-11-11 2023-06-30 中南大学 行人检测方法
CN115906980A (zh) * 2022-11-11 2023-04-04 中南大学 Gat图神经网络防御方法、构建方法及行人检测方法
CN117312810A (zh) * 2023-11-30 2023-12-29 中国人民解放军国防科技大学 基于博弈历史树的不完全信息攻防博弈对手识别方法
CN117312810B (zh) * 2023-11-30 2024-02-23 中国人民解放军国防科技大学 基于博弈历史树的不完全信息攻防博弈对手识别方法

Also Published As

Publication number Publication date
CN113806546B (zh) 2024-04-05

Similar Documents

Publication Publication Date Title
CN113806546A (zh) 一种基于协同训练的图神经网络对抗防御方法及***
Fu et al. Fast crowd density estimation with convolutional neural networks
Akimoto et al. Adaptive stochastic natural gradient method for one-shot neural architecture search
CN112598080B (zh) 基于注意力的宽度图卷积神经网络模型***及训练方法
Zhou et al. Locality-aware crowd counting
Berriel et al. Budget-aware adapters for multi-domain learning
CN111126488A (zh) 一种基于双重注意力的图像识别方法
Abd-Alsabour A review on evolutionary feature selection
Barman et al. Shape: A novel graph theoretic algorithm for making consensus-based decisions in person re-identification systems
CN113761359B (zh) 数据包推荐方法、装置、电子设备和存储介质
Jie et al. Anytime recognition with routing convolutional networks
Liu et al. Zk-gandef: A gan based zero knowledge adversarial training defense for neural networks
Wiggers et al. Predictive sampling with forecasting autoregressive models
CN113505855A (zh) 一种对抗攻击模型的训练方法
Chivukula et al. Adversarial learning games with deep learning models
CN107240100B (zh) 一种基于遗传算法的图像分割方法和***
Whitaker et al. Prune and tune ensembles: low-cost ensemble learning with sparse independent subnetworks
CN111881439A (zh) 一种基于对抗性正则化的识别模型设计方法
Wang et al. Leno: Adversarial robust salient object detection networks with learnable noise
Hlaing Feature selection and fuzzy decision tree for network intrusion detection
Wang et al. Energy-inspired self-supervised pretraining for vision models
Devasthale et al. Adversarially robust deepfake video detection
Jiang et al. Query-Efficient Generation of Adversarial Examples for Defensive DNNs via Multiobjective Optimization
Rakin et al. Defense-net: Defend against a wide range of adversarial attacks through adversarial detector
JP2019023801A (ja) 画像認識装置、画像認識方法、及び画像認識プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant