CN115496186A - 一种基于图结构学习提升网络鲁棒性的优化方法 - Google Patents
一种基于图结构学习提升网络鲁棒性的优化方法 Download PDFInfo
- Publication number
- CN115496186A CN115496186A CN202211201830.1A CN202211201830A CN115496186A CN 115496186 A CN115496186 A CN 115496186A CN 202211201830 A CN202211201830 A CN 202211201830A CN 115496186 A CN115496186 A CN 115496186A
- Authority
- CN
- China
- Prior art keywords
- graph
- learning
- adjacency matrix
- neural network
- gnn
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000005457 optimization Methods 0.000 title claims abstract description 12
- 239000011159 matrix material Substances 0.000 claims abstract description 48
- 238000013528 artificial neural network Methods 0.000 claims abstract description 29
- 230000006870 function Effects 0.000 claims abstract description 18
- 231100000572 poisoning Toxicity 0.000 claims abstract description 10
- 230000000607 poisoning effect Effects 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims abstract description 8
- 231100000331 toxic Toxicity 0.000 claims abstract description 4
- 230000002588 toxic effect Effects 0.000 claims abstract description 4
- 238000010586 diagram Methods 0.000 claims description 5
- 230000001131 transforming effect Effects 0.000 claims description 3
- 230000003042 antagnostic effect Effects 0.000 abstract description 3
- 230000000694 effects Effects 0.000 abstract description 3
- 241000282414 Homo sapiens Species 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000006855 networking Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 210000003792 cranial nerve Anatomy 0.000 description 2
- 231100000566 intoxication Toxicity 0.000 description 2
- 230000035987 intoxication Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000003012 network analysis Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000002574 poison Substances 0.000 description 1
- 231100000614 poison Toxicity 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9024—Graphs; Linked lists
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于图结构学***滑度来保护图数据不受攻击影响,获得训练图神经网络的总损失函数;最后进行GNN图神经网络的迭代学习得到最优的鲁棒性图神经网络。本发明有效的将对抗思想迁移到图数据来提升图神经网络的鲁棒性。本发明针对中毒图数据依旧保持良好的学习效率,在分类等各种任务上保持良好的效果。在各种对抗性攻击下都可以保持良好的整体鲁棒性,可以解决大部分的对抗性攻击。
Description
技术领域
本发明涉及图神经网络领域,增强图神经网络的鲁棒性,重构图结构,优化其节点分类表现。
背景技术
尽管传统的深度学习方法被应用在提取欧氏空间数据的特征方面取得了巨大的成功,但许多实际应用场景中的数据是从非欧式空间生成的,传统的深度学习方法在处理非欧式空间数据上的表现却仍难以使人满意。例如,在电子商务中,一个基于图(Graph)的学习***能够利用用户和产品之间的交互来做出非常准确的推荐,但图的复杂性使得现有的深度学习算法在处理时面临着巨大的挑战。这是因为图是不规则的,每个图都有一个大小可变的无序节点,图中的每个节点都有不同数量的相邻节点,导致一些重要的操作(例如卷积)在图像(Image)上很容易计算,但不再适合直接用于图。此外,现有深度学习算法的一个核心假设是数据样本之间彼此独立。然而,对于图来说,情况并非如此,图中的每个数据样本(节点)都会有边与图中其他实数据样本(节点)相关,这些信息可用于捕获实例之间的相互依赖关系。得益于其在非欧几里得空间数据中的表现,图网络研究方法正逐渐吸引着研究人员的关注。传统的深度神经网络将欧几里得空间结构化数据作为输入,这也是其在计算机视觉领域儿有着优异表现的原因之一。但现实生活中往往存在着非欧几里得的数据,例如社交网络数据、零售网络数据以及生物网络数据。以笔者所处的脑神经信息领域来说,目前常用的脑神经影像分析手段都是基于体素的形态学分析,但人脑的不同区域往往存在着相互关联和影响,以此为基础构建出的脑网络往往能反映出更深层次的大脑活动机理。而正如其他网络拓扑结构数据,脑网络通常以连接矩阵的形式表示,无法通过直观的手段将其向量化,作为机器学习模型的输入。而图网络分析方法的出现打破了这种僵局。图在很多领域都有应用。随着图形的普及,学习图形的有效表示并将其应用于解决下游任务尤为重要。GNN遵循一种消息传递方案,其中节点嵌入是通过聚合和转换其相邻节点的嵌入来获得的。所以GNNs应用于许多数据分析包括节点分类,链接预测和推荐***。它们在节点分类、链接预测等图数据挖掘任务中表现出了卓越的性能,并且突破性地应用到了现实生活中的许多领域,比如:推荐***、金融风险、生物医疗等。然而,这类新技术在带来新机遇的同时也带来了新的挑战。和深度学习模型一样,GNN模型也存在着一些安全问题。有研究表明,GNN模型对于对抗攻击十分脆弱。对抗攻击指的是:攻击者在图结构或节点属性上,通过添加人类无法察觉的细微扰动来构建一个新的样本,导致模型预测错误。这类模型的脆弱性引起了广泛的关注,尤其是当把它们应用于金融和风险管理等安全关键领域时,缺少鲁棒性的这些模型可能会对涉及安全和隐私的关键应用程序造成严重后果。例如,在***欺诈检测中,欺诈者可以与几个高信用用户创建多个交易来伪装自己,从而逃避基于GNN的检测。因此,鲁棒性图神经网络的发展很有必要。
发明内容
针对现有技术中存在的不足,本发明提供一种基于图结构学习提高网路鲁棒性的优化方法,所述的图数据包括节点和节点之间的边,所述节点具有分类标签与属性。
一种基于图结构学习提升网络鲁棒性的优化方法,包括如下步骤:
步骤一:通过重构新的低秩且稀疏的邻接矩阵来学习到新的邻接矩阵S逼近中毒图的邻接矩阵。
步骤二:针对对抗性攻击连接节点并赋予明显的特征,通过保证图数据的特征平滑度来保护图数据不受攻击影响。
步骤三:根据前两个步骤,获得训练图神经网络的总损失函数。
步骤四:进行GNN图神经网络的迭代学习,将预测邻接矩阵S初始化为中毒邻接矩阵A,随机初始化GNN网络参数,然后交替迭代地更新S和GNN参数θ得到最优的鲁棒性图神经网络Pro-GNN。
进一步的,步骤一具体方法如下:
通过重构新的低秩且稀疏的邻接矩阵来学习到新的邻接矩阵S逼近中毒图的邻接矩阵。其中邻接矩阵包含的低秩且稀疏性质能够形式化为:
其中R(S)表示加在矩阵S上的约束,以增强低秩和稀疏的性质。所以上述公式也可以写成:
其中S为学习到的新的邻接矩阵,A为中毒图的邻接矩阵。α和β分别为控制稀疏性和低秩属性的设置参数。
进一步的,步骤二具体方法如下:
针对对抗性攻击连接节点并赋予明显的特征,通过保证图数据的特征平滑度来保护图数据不受攻击影响。其中特征平滑性能够形式化为:
其中S为新的邻接矩阵,Sij为节点之间的连接,xi和xj为图数据中的不同节点。利用标准度矩阵转化上述公式,能够形式化为:
其中di表示在图学习中的学习程度。
进一步的,步骤三具体方法如下:
本发明有益效果如下:
1、有效的将对抗思想迁移到图数据来提升图神经网络的鲁棒性。
2、针对中毒图数据依旧保持良好的学习效率,在分类等各种任务上保持良好的效果。
3、在各种对抗性攻击下都可以保持良好的整体鲁棒性,可以解决大部分的对抗性攻击。
例如在信贷领域,金融机构往往会结合贷款人的金钱交易记录来评估其信用情况,在这里人与人之间的交易记录就是用图来表征的。此前蚂蚁金服就有工作使用图表示学习模型来辅助检测欺诈交易。现在假设恶意用户修改自己的一些属性信息以及与其他用户的连接,就能够躲过检测***实现攻击。而提升了鲁棒性后可以有效得防御此类攻击,恢复到干净的图数据。
附图说明
图1为本发明实施例总体框架;
图2为本发明实施例图神经网络示意图。
具体实施方式
从背景技术中可以看出传统的图神经网络缺乏可解释性和鲁棒性,传统的图神经网络拥有以下几个步骤:
首先,对所有的会话序列通过有向图进行建模。接着通过GNN,学习每一个节点的隐向量表示。然后通过一个注意力架构模型得到每个会话的嵌入。最后通过一个softmax层进行全表预测。
1.构建会话图每一个会话序列都被建模为有向图。在此会话图中每一个节点代表一个item。有向图的每一条边意味着一个用户在该会话中依次点击了起点和终点表示的item。每一个item被嵌入到统一的嵌入空间,并且我们用节点向量来指明每一个item的隐向量。基于节点向量,每一个会话被建模成一个嵌入向量。
2.学习每个item的隐向量表示利用GNN来学习每一个item的隐向量表示。图神经网络之所以适合基于会话的推荐是因为它能利用丰富的节点间关系来自动抽取出会话图的特征(Hidden layer activations)。
3.生成每个会话的嵌入以前的基于会话的推荐方法总是假设在每一个对话中,都存在明显的用户潜在表征。相反的,SR-GNN方法不对用户做出任何假设,而是将会话直接由组成它的若干节点进行表示。每一个会话利用注意力机制将整体偏好与当前偏好结合进行表示。
4.生成推荐当获得每一个会话的嵌入后,我们可以计算出所有候选item的推荐分数值。接着我们利用softmax函数和已经获得的推荐分数值来计算不同候选item的概率值,来表明在该次会话中用户下一次可能点击的不同item的概率。
对图数据的最常见的敌对攻击,是对图结构的毒害敌对攻击,修改图形数据会扰动节点特征或图结构。然而,由于结构信息的复杂性,现有的大多数针对图形数据的攻击都集中在修改图形结构,特别是添加/删除/重新布线边上,如果图神经网络的输入变为了中毒的图像,中毒图具有以下特点:它增加了邻接矩阵的奇异值,增加了邻接矩阵的秩,倾向于连接两个特征差异较大的节点,去除对边会使邻接矩阵的秩下降得更快。这些都会影响图神经网络的性能。因此,在这项工作中,我们的目标是抵御对图数据的最常见的敌对攻击,即对图形结构的毒害敌对攻击。在这个设定下,在训练模型前改变边线来扰乱图结构但不改变节点的特征。在图像攻击研究中,图像由像素点组成,而每一个像素点都可以是连续值。而对于图来说,其特征往往是离散的(例如图的结构特征,一条边要么存在,要么不存在),这样一来要设计高效的图上对抗攻击算法就更有难度;
对于一张图片而言,对其加一点微小扰动不会影响我们人类对这张图片的判断,因此很容易对其定义扰动的代价,例如像素的修改个数、修改幅度等。而对于图来说,很难定义什么是图上的“微小扰动”(即便将一张大图可视化出来,人眼也很难分辨图上的扰动),目前对于这个问题,也没有形成统一的定义。
所以针对传统图神经网络遇到对抗性攻击时常见的问题,本发明提出了一种基于图结构学习提升鲁棒性的优化方法,该方法可以有效的排除针对性攻击带来的影响,从中毒的图当中学习到干净的图结构,并拥有较好的节点分类能力。
如图1所示,本发明包括以下4个步骤:
步骤一:保证图结构的低秩性和稀疏性(Low-rank and Sparsity)。
为了从噪声和扰动图(Poisoned Graph)中恢复为干净的图结构,一种潜在的方法是通过强制执行具有低秩和稀疏性的新邻接矩阵来学习接近中毒图邻接矩阵的干净邻接矩阵。这意味着低秩和稀疏性约束可以移除敌对边而不是正常边。给定中毒图的邻接矩阵A,我们可以将上述过程表述为一个结构学习问题。为了保持低秩和稀疏性,需要满足以下公式:
其中R(S)表示加在矩阵S上的约束,以增强低秩和稀疏的性质。所以上述公式也可以写成:
其中α和β是控制矩阵低秩和稀疏性质的参数,分别控制稀疏性和低秩属性的贡献。最小化核范数S的一个重要好处是,我们可以减少每一个奇异值,从而减轻敌对攻击扩大奇异值的影响。
步骤二:保证图结构的特征平滑性(Feature Smoothness)。
很明显,图中连接的节点可能具有相似的特征。事实上,这一观察是在许多领域的图上进行的。例如,社交图中的两个连接用户可能共享相似的属性,网页图中的两个链接网页往往具有相似的内容,引用网络中的两篇连接论文通常具有相似的主题。同时,最近有证据表明,对图的对抗性攻击倾向于连接具有不同特征的节点。因此,我们的目标是确保学***滑。特征平滑度可由以下术语表示:
其中N为新邻接矩阵S中节点的个数,Sij表示矩阵中节点vi和vj的连接,xi,xj分别表示vi和vj的特征。
其中di表示在图学***方值是最小的。换句话说,如果两个连接在一起的节点之间的特征完全不同,那么Ls就会很大,那么我们期望Ls越小,那么在图上的特征X就越平滑。所以需要Ls达到最小。
步骤三:总结出训练图神经网络的损失函数。
直观地说,我们可以遵循预处理策略来防御对抗性攻击——我们首先通过公式从中毒图中学习一个图,然后根据所学习的图训练GNN模型。然而,在这种两阶段策略下,对于给定任务上的GNN模型,学习图可能是次优的。因此,我们提出了一种更好的策略来联合学习特定下游任务的图结构和GNN模型。因此我们提出了最终的优化公式:
利用这些更新和投影规则,优化算法如以上算法所示。
图2为本发明实施例图神经网络示意图。
步骤四:进行迭代训练得到最优的鲁棒性图神经网络模型Pro-GNN(Updata GNNParameters)。
其中,我们首先将估计图S初始化为中毒图A,随后我们随机初始化GNN参数,然后我们交替迭代地更新S(Updata Structure and Clean Graph)和GNN参数θ(Parametersθ)。具体地说,我们在每次迭代中训练GNN参数,同时在τ次迭代中训练图重建模型,直到获得最优鲁棒性模型Pro-GNN。
总结,传统图形神经网络GNN很容易被图形对抗攻击所愚弄。为了防御不同类型的图对抗攻击,我们引入了一种新的防御方法Pro-GNN,它可以同时学习图结构和GNN参数。我们的实验表明,我们的模型始终优于最先进的基线,并提高了在各种对抗性攻击下的整体鲁棒性。在未来,我们的目标是探索更多的特性,以进一步提高GNN的鲁棒性。
以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员,在不脱离本发明构思的前提下,其还可以对这些已描述的实施方式做出若干替代或变型,而这些替代或变型方式都应当视为属于本发明的保护范围。
本发明未详细说明部分属于本领域技术人员公知技术。
Claims (4)
1.一种基于图结构学习提升网络鲁棒性的优化方法,其特征在于,包括如下步骤:
步骤一:通过重构新的低秩且稀疏的邻接矩阵来学习到新的邻接矩阵S逼近中毒图的邻接矩阵;
步骤二:针对对抗性攻击连接节点并赋予明显的特征,通过保证图数据的特征平滑度来保护图数据不受攻击影响;
步骤三:根据前两个步骤,获得训练图神经网络的总损失函数;
步骤四:进行GNN图神经网络的迭代学习,将预测邻接矩阵S初始化为中毒邻接矩阵A,随机初始化GNN网络参数,然后交替迭代地更新S和GNN参数θ得到最优的鲁棒性图神经网络Pro-GNN。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211201830.1A CN115496186A (zh) | 2022-09-29 | 2022-09-29 | 一种基于图结构学习提升网络鲁棒性的优化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211201830.1A CN115496186A (zh) | 2022-09-29 | 2022-09-29 | 一种基于图结构学习提升网络鲁棒性的优化方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115496186A true CN115496186A (zh) | 2022-12-20 |
Family
ID=84473137
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211201830.1A Withdrawn CN115496186A (zh) | 2022-09-29 | 2022-09-29 | 一种基于图结构学习提升网络鲁棒性的优化方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115496186A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118101355A (zh) * | 2024-04-29 | 2024-05-28 | 中国电子科技集团公司第三十研究所 | 一种面向网络瘫痪、控制风险的效能损失计算方法 |
-
2022
- 2022-09-29 CN CN202211201830.1A patent/CN115496186A/zh not_active Withdrawn
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118101355A (zh) * | 2024-04-29 | 2024-05-28 | 中国电子科技集团公司第三十研究所 | 一种面向网络瘫痪、控制风险的效能损失计算方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
He et al. | Adversarial example defense: Ensembles of weak defenses are not strong | |
Machado et al. | Adversarial machine learning in image classification: A survey toward the defender’s perspective | |
Yang et al. | Neural network inversion in adversarial setting via background knowledge alignment | |
Shen et al. | Auror: Defending against poisoning attacks in collaborative deep learning systems | |
CN110334749B (zh) | 基于注意力机制的对抗攻击防御模型、构建方法及应用 | |
Wang et al. | Adversarial attacks and defenses in machine learning-empowered communication systems and networks: A contemporary survey | |
Kaviani et al. | Defense against neural trojan attacks: A survey | |
CN112883874B (zh) | 针对深度人脸篡改的主动防御方法 | |
CN113779563A (zh) | 联邦学习的后门攻击防御方法及装置 | |
Sommer et al. | Athena: Probabilistic verification of machine unlearning | |
CN113378160A (zh) | 一种基于生成式对抗网络的图神经网络模型防御方法及装置 | |
Li et al. | Black-box attack against handwritten signature verification with region-restricted adversarial perturbations | |
CN115907029B (zh) | 面向联邦学习投毒攻击的防御方法及*** | |
CN115496186A (zh) | 一种基于图结构学习提升网络鲁棒性的优化方法 | |
CN113627543A (zh) | 一种对抗攻击检测方法 | |
Lin et al. | Robust source camera identification against adversarial attacks | |
Herath et al. | Real-time evasion attacks against deep learning-based anomaly detection from distributed system logs | |
Zhang et al. | Detection and defense of topological adversarial attacks on graphs | |
Sallam et al. | Efficient implementation of image representation, visual geometry group with 19 layers and residual network with 152 layers for intrusion detection from UNSW‐NB15 dataset | |
Qiu et al. | Hijack vertical federated learning models with adversarial embedding | |
Xu et al. | FLPM: A property modification scheme for data protection in federated learning | |
Li et al. | Revisiting gradient regularization: Inject robust saliency-aware weight bias for adversarial defense | |
Gong et al. | A gan-based defense framework against model inversion attacks | |
Yang et al. | DeMAC: Towards detecting model poisoning attacks in federated learning system | |
Ma et al. | DIHBA: Dynamic, invisible and high attack success rate boundary backdoor attack with low poison ratio |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20221220 |