CN115994560A - 一种基于多尺度图对比学习的图神经网络方法 - Google Patents
一种基于多尺度图对比学习的图神经网络方法 Download PDFInfo
- Publication number
- CN115994560A CN115994560A CN202310135024.7A CN202310135024A CN115994560A CN 115994560 A CN115994560 A CN 115994560A CN 202310135024 A CN202310135024 A CN 202310135024A CN 115994560 A CN115994560 A CN 115994560A
- Authority
- CN
- China
- Prior art keywords
- graph
- global
- local
- neural network
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 36
- 230000006870 function Effects 0.000 claims abstract description 33
- 238000012512 characterization method Methods 0.000 claims abstract description 14
- 230000002708 enhancing effect Effects 0.000 claims abstract description 4
- 230000004913 activation Effects 0.000 claims description 12
- 230000007246 mechanism Effects 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 7
- 238000005295 random walk Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000000547 structure data Methods 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000011524 similarity measure Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 2
- 239000000126 substance Substances 0.000 abstract description 4
- 238000003012 network analysis Methods 0.000 abstract description 2
- 230000004853 protein function Effects 0.000 abstract description 2
- 102000004169 proteins and genes Human genes 0.000 description 4
- 108090000623 proteins and genes Proteins 0.000 description 4
- 238000007405 data analysis Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 150000001875 compounds Chemical class 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 241000894006 Bacteria Species 0.000 description 1
- 206010028400 Mutagenic effect Diseases 0.000 description 1
- 125000003275 alpha amino acid group Chemical group 0.000 description 1
- 150000001413 amino acids Chemical class 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 231100000243 mutagenic effect Toxicity 0.000 description 1
- 230000003505 mutagenic effect Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003094 perturbing effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多尺度图对比学习的图神经网络方法，包括以下步骤：收集原始图数据，并进行标记‑数据增强，并控制生成子图的规模，进而生成不同尺度的全局视图和局部视图‑学习原始图数据的全局信息潜在表示和局部信息潜在表示‑针对图神经网络学习到的全局信息潜在表示和局部信息潜在表示，分别执行不同的对比学习策略‑通过最小化目标函数，改善不同视图在表征空间中的距离，提高网络所学习到的表征质量。本发明采用上述基于多尺度图对比学习的图神经网络方法，可在不依赖数据标签信息的情况下，仅利用数据自身抽取出的自监督信号学习得到良好的图级表示，可广泛地应用于化学分子性质预测、生物蛋白质功能预测、社交网络分析等技术领域。
Description
技术领域
本发明涉及一种神经网络技术，尤其涉及一种基于多尺度图对比学习的图神经网络方法。
背景技术
图结构数据已被证明可以有效地表示各种数据，例如社交网络、金融网络和化学分子图等，具有广泛的应用价值。伴随着图数据在现实世界的场景中越来越普遍，学习图数据的表示也变得越来越重要。
图表示学习即从图中提取出高维的结构和属性信息，并将其编码为低维的表示向量，已被广泛地应用于诸多图数据分析和处理任务中。在信息化时代下，数据量的增加导致标记数据越来越稀缺，导致收集数据标签需要大量的人力资源和时间。因此，越来越多的研究人员开始关注无监督或自监督图表示学习。
传统的方法例如矩阵分解和随机游走都无法扩展到较大规模的图上，且不能很好地利用节点的属性信息，因此，不依赖于图的标签信息的情况下来学习到图的表示则变得至关重要。
目前，基于对比学习的图表示学习方法是一种可行方法，许多相关的研究也已经取得了令人期待的成果。然而，目前绝大多数研究都未曾考虑到图数据的多尺度信息，即从一个单一的尺度来进行对比学习，忽略了更加丰富的全局信息或是更加细致的局部信息。
发明内容
为解决上述问题，本发明提供一种基于多尺度图对比学习的图神经网络方法，克服了以前的方法中对于多尺度信息的缺乏，通过控制随机游走节点数量的方式提出了全局视图和局部视图的概念，同时制定不同的对比学习策略，从而对于不同的视图间执行不同的策略，从而可挖掘图数据中丰富的多尺度信息，并执行不同的对比学习策略，有效地提高了学习到的图表示的质量。
为实现上述目的，本发明提供了一种基于多尺度图对比学习的图神经网络方法，包括以下步骤：
S1、收集原始图数据，并对收集到的原始图数据进行标记；
S2、对收集到的原始图数据通过随机游走的方式进行数据增强，并控制生成子图的规模，进而生成不同尺度的全局视图和局部视图；
S3、通过图神经网络学习原始图数据的全局信息潜在表示和局部信息潜在表示；
S4、针对图神经网络学习到的全局信息潜在表示和局部信息潜在表示，分别执行不同的对比学习策略；
S5、通过最小化目标函数，改善不同视图在表征空间中的距离，提高网络所学习到的表征质量。
优选的，在步骤S1中，根据不同的数据类型，标记从网络中收集到的原始图结构数据为对应的标签文件。
优选的，在步骤S1中，定义一个图数据集D，该数据集由N个图数据
组成，对于数据集中的每个图G＝[V，E}，其中
表示该图中的节点的集合，E表示图中的边的集合，vi代表图中的第i个节点，若节点vi和vj之间存在关联，则eij＝(vi，vj)∈E为图中的边；
因此，图数据存在一个邻接矩阵A，其维度为V×V，若eij∈E则Aij＝1；
此外，图数据的每个节点还具有特征向量xi∈Rd，图中所有节点特征构成一个特征矩阵X∈R|V|×d，
是图数据对应的标签。
优选的，在步骤S2中，给定一个G∈{Gn：n∈N}，定义图一个增强图
其中
为所使用的图增强方法；增强方法主要是子图采样，通过控制节点数量来控制生成子图的规模，进而将得到拥有不同尺度信息的全局视图和局部视图，即
和
优选的，步骤S3中，通过使用对于全局视图和局部视图之间共享模型参数的五层图同构网络来学习视图的潜在表示。
优选的，步骤S4中，对于全局视图之间及全局和局部视图之间选择噪声对比估计函数，而对于局部视图之间选择使用一个回归器度量，该回归器的实现是一个拥有批次归一化和RELU激活函数的多层感知机。
优选的，在步骤S4中，图神经网络主要遵循消息传递机制，每个节点通过消息传递机制获取邻居节点的属性和结构信息，进而更新自身的节点表示，通过k层迭代，节点捕获到其k跳邻居的信息，即：
AGGREGATE(·)和COMBINE(·)分别为聚合邻域节点的信息和更新自身节点信息；即通过图同构神经网络来获取上述经过数据增强后的全局和局部视图的节点潜在表示；
而后通过池化来获取整个图的潜在表示，即：
READOUT(·)为图池化，为求和池化机制；
最后对获得图级表示通过一个非线性变换，即：
z＝g(f(G))
g(·)为非线性变换，其为一个拥有RELU激活函数的二层感知机；
从而获得了图数据的全局和局部表示，即
和
优选的，步骤S5中，通过为三个不同的损失项目分配不同的权重系数，来优化图神经网络，使其能够学习到良好的图级表征，进而用于不同的下游任务。
优选的，步骤S5具体包括以下步骤：
S51、同时考虑全局表示和局部表示，并对其实施不同的对比学习策略，进而考虑不同尺度信息来提高性能，定义噪声对比估计损失
为ls，即：
τ为温度系数，z+和z-分别为正样本和负样本；
S52、考虑最大化同一个原始图的全局表示，最小化不同原始图的全局表示的相似度，损失函数lgg定义为如下：
其中，N为批次内的样本数量；
S53、为了建立局部和全局的关联，定义一个损失函数，即：
S54、通过一种带有可学习参数的度量方式来给出局部和全局的相似度，其为一个具有RELU激活函数的五层感知机fθ，期望来自同一个图的局部视图对比来自不同图的局部视图的相似度更高，因此，定义一个损失函数ψ，即：
S55、通过最大化ψ(θd)来训练回归器，并将其输出通过Sigmoid激活函数来看作其相似度度量值，将训练后的
看作用于估计局部视图相似度的估计器ld，因此，对于局部视图之间，定义局部视图损失函数为：
S56、定义总体损失函数为如下形式：
S57、通过Adam梯度下降算法的方式，最小化总体损失
以更新编码器参数，并将预训练后的编码器用于不同的下游任务。
与现有技术相比，本发明具有以下有益效果：
1、考虑了图对比学习中的多尺度信息，并对于不同尺度信息执行不同的对比学习策略，所学习到的表征质量更优，可更好地用于一系列下游任务。
2、可用于图数据分析、图表示学习等场景，能够辅助人们更好地分析并使用图数据。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的框架示意图；
图2为本发明的算法原理图；
图3为本发明的回归器设计图。
具体实施方式
以下将结合附图对本发明作进一步的描述，需要说明的是，本实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围并不限于本实施例。
图1为本发明的框架示意图；图2为本发明的算法原理图；图3为本发明的回归器设计图，如图1-图3所示，一种基于多尺度图对比学习的图神经网络方法，包括以下步骤：
S1、收集原始图数据，并对收集到的原始图数据进行标记；
优选的，在步骤S1中，根据不同的数据类型，标记从网络中收集到的原始图结构数据为对应的标签文件。
优选的，在步骤S1中，定义一个图数据集D，该数据集由N个图数据
组成，对于数据集中的每个图G＝{V，E}，其中
表示该图中的节点的集合，E表示图中的边的集合，vi代表图中的第i个节点，若节点vi和vj之间存在关联，则eij＝(vi，vj)∈E为图中的边；
因此，图数据存在一个邻接矩阵A，其维度为V×V，若eij∈E则Aij＝1；
此外，图数据的每个节点还具有特征向量xi∈Rd，图中所有节点特征构成一个特征矩阵X∈R|V|×d，
是图数据对应的标签。
S2、图数据增强对于本文所采用的对比学习来说非常重要，若缺乏数据增强的情况下，会导致模型比未经训练的模型效果更差。数据增强的目的就在于尽可能不影响原始数据语义信息的情况下，对数据进行一定地转换，创造出一些新颖的数据。
故在本实施例中，对收集到的原始图数据通过随机游走的方式进行数据增强，并控制生成子图的规模，进而生成不同尺度的全局视图和局部视图；
优选的，在步骤S2中，给定一个G∈{Gn：n∈N}，定义图一个增强图
其中
为所使用的图增强方法；增强方法主要是子图采样，通过控制节点数量来控制生成子图的规模，进而将得到拥有不同尺度信息的全局视图和局部视图，即
和
S3、由于图神经网络是一种拥有强大表达能力的图数据分析方法，故通过图神经网络学习原始图数据的全局信息潜在表示和局部信息潜在表示；
优选的，步骤S3中，通过使用对于全局视图和局部视图之间共享模型参数的五层图同构网络来学习视图的潜在表示。
S4、针对图神经网络学习到的全局信息潜在表示和局部信息潜在表示，分别执行不同的对比学习策略；
需要说明的是，在对比学习阶段，由于全局视图包含了图数据的大部分信息，且有着较高的语义相似度，所以期望缩小它们在表征空间的距离；由于全局视图较大的尺寸，很大程度上包含了局部视图的内容，所以也期望缩小它们在表征空间的距离；而对于局部视图之间，由于其描述的内容总是不同，语义相似度较低，反而需要拉远它们在表征空间的距离，即鼓励它们的不相似性。
优选的，步骤S4中，对于全局视图之间及全局和局部视图之间选择噪声对比估计函数，而对于局部视图之间选择使用一个回归器度量，该回归器的实现是一个拥有批次归一化和RELU激活函数的多层感知机。
优选的，在步骤S4中，图神经网络主要遵循消息传递机制，每个节点通过消息传递机制获取邻居节点的属性和结构信息，进而更新自身的节点表示，通过k层迭代，节点捕获到其k跳邻居的信息，即：
AGGREGATE(·)和COMBINE(·)分别为聚合邻域节点的信息和更新自身节点信息；即通过图同构神经网络来获取上述经过数据增强后的全局和局部视图的节点潜在表示；
而后通过池化来获取整个图的潜在表示，即：
READOUT(·)为图池化，为求和池化机制；
最后对获得图级表示通过一个非线性变换，即：
z＝g(f(G))
g(·)为非线性变换，其为一个拥有RELU激活函数的二层感知机；
从而获得了图数据的全局和局部表示，即
和
S5、通过最小化目标函数，改善不同视图在表征空间中的距离，提高网络所学习到的表征质量。
优选的，步骤S5中，通过为三个不同的损失项目分配不同的权重系数，来优化图神经网络，使其能够学习到良好的图级表征，进而用于不同的下游任务。
优选的，步骤S5具体包括以下步骤：
S51、同时考虑全局表示和局部表示，并对其实施不同的对比学习策略，进而考虑不同尺度信息来提高性能，定义噪声对比估计损失
为ls，即：
τ为温度系数，z+和z-分别为正样本和负样本；
S52、由于全局视图通常包含了图的大部分内容，因此全局视图对之前拥有着极为相似的语义信息，因此，考虑最大化同一个原始图的全局表示，最小化不同原始图的全局表示的相似度，损失函数lgg定义为如下：
其中，N为批次内的样本数量；
S53、由于全局视图的尺寸较大，其很大程度上包含了局部视图的内容，可以确保它们之间共享一部分语义内容，因此，为了建立局部和全局的关联，定义一个损失函数，即：
S54、由于来自同一个原始图的局部视图通常描述了不同的内容，因此它们之间的语义相似性较低，因此，不再像之前一样缩小它们潜在表示的距离，而是去鼓励它们的不相似性。但是，鉴于其之间仍然存在一定的语义相似性，不再直接地通过噪声对比估计损失来拉远它们的距离，故通过一种带有可学习参数的度量方式来给出局部和全局的相似度，其为一个具有RELU激活函数的五层感知机fθ，期望来自同一个图的局部视图对比来自不同图的局部视图的相似度更高，因此，定义一个损失函数ψ，即：
S55、通过最大化ψ(θd)来训练回归器，并将其输出通过Sigmoid激活函数来看作其相似度度量值，将训练后的
看作用于估计局部视图相似度的估计器ld，因此，对于局部视图之间，定义局部视图损失函数为：
S56、定义总体损失函数为如下形式：
S57、通过Adam梯度下降算法的方式，最小化总体损失
以更新编码器参数，并将预训练后的编码器用于不同的下游任务。
因此，本发明采用上述基于多尺度图对比学习的图神经网络方法，可在不依赖数据标签信息的情况下，仅利用数据自身抽取出的自监督信号学习得到良好的图级表示，可广泛地应用于化学分子性质预测、生物蛋白质功能预测、社交网络分析等技术领域。
实验例
表1为数据集的图数量、节点数量和边数量的统计信息表
| Datasets | Category | Graph | Node | Edges |
| MUTAG | Molecules | 188 | 17.93 | 19.79 |
| NCI1 | Molecules | 4110 | 29.87 | 32.30 |
| PROTEINS | Molecules | 1113 | 39.06 | 72.82 |
| DD | Molecules | 1178 | 284.32 | 715.66 |
| IMDB-B | Social Network | 1000 | 19.77 | 95.63 |
| COLLAB | Social Network | 5000 | 74.49 | 2457.78 |
| RDT-B | Social Network | 2000 | 429.63 | 497.75 |
| RDT-M5K | Social Network | 5000 | 508.52 | 594.87 |
由表1可知，引用了TUDataset系列数据集进行实验，包括四个化学分子数据集和四个为社交网络数据集。其中，NCI1是有美国癌症研究所(NCI)提供的化合物数据集，包含4100个图样本，节点特征维度为37。DD是一个包含1178个蛋白质结构的数据集，每种蛋白质由一个图来表示，每个节点表示氨基酸。MUTAG数据集有188种化合物组成，根据它们对细菌的诱变作用分类两类。PROTEINS中的图数据节点是二级元素结构，并且如果两个节点在氨基酸序列或三维空间中是相邻的，那么它们之间就有一条边。REDDIT-BINARY数据集中每个图对应一个在线讨论线程，其中节点对应用户，两个节点间有相互响应则存在边。REDDIT-M5K则在REDDIT-BINARY的基础上将数据采集范围扩大到了五个不同的子社区。COLLAB是一个科学协作数据集，数据采自3个领域，即高能物理、凝聚态物理和天体物理。IMDB-BINARY是一个电影协作数据集，对于每个图，节点表示演员，如果两个演员出现在同一部电影则他们之间存在一条边。由于上述数据集不存在官方划分，因此采用随机划分，并执行10折交叉验证。
将本发明的方法与以下方法进行了对比：
WL：以WL算法为基础与图核相结合，提出WL图核方法，将图分解为子树，通过度量子树相似度来获取图相似度；
DGK：将图分解为子结构，并通过子结构来度量图相似性；
Node2vec：基于DeepWalk算法的变体，考虑了深度优先和广度优先算法；
Sub2vec：通过进行子图截断的随机游走方法来学习子图特征表示；
Graph2vec：将自然语言处理的中doc2vec扩展到图数据中，通过生成有根子图及负样本来进行无监督表示学习。
GAE：通过将图编码为潜在特征表示再将其复原为原始图来训练编码器。
DGI：将互信息最大化的思想引入图数据，实现了节点和图的互信息最大化。
ContexPred：通过最大化中心节点的表示与上下文节点的表示的相似度来训练编码器模型。
InfoGraph：与DGI类似，同样基于互信息最大化思想，但其只要关注图级的表示学习。
GraphCL：提出了四种不同的数据增强方法，并使用对比学习来优化增强视图的一致性。
JOAO：在GraphCL的基础上能够自适应、动态的选择数据增强方案。
SimGRACE：通过直接对编码器扰动来避免数据增强对于语义信息的破坏。
在实验例中进行了两个任务的实验来验证所提方法的有效性，分为无监督分类任务和半监督分类任务。对于无监督分类，采用了提出的多尺度对比学习来预训练编码器，之后再将与训练后的编码器输出的表示送入下游的线性SVM分类器。对于半监督分类，采用了在无监督基础上将表示送入下游的多层感知机进行分类，并给予一定比例的标签信息来微调模型。在两个任务中均采用Acc作为评估指标。
表2为无监督分类实验结果表
表2展示了本发明方法在八个下游任务数据集中的性能表现，由表2可知，本发明提出的方法(MSSGCL)分类性能表现最好，优于其他所有基线模型，与鼓励小尺寸视图相似度的GraphCL相比，本发明所取得的平均Acc提升能够达到2％以上。
表3为半监督分类实验结果表
表3展示了本发明方法在半监督设定下对于八个数据集的性能表现，由表3可知，报告了标签率为1％和10％的子任务。在标签率为1％设定时，本发明所提的方法高于所有基线模型，即使是与之前的最佳模型SimGRACE相比仍有提升。在标签率为10％设定时，本发明所提的方法则大大优于之前的极限模型，并在7个数据集中的6个都实现了最佳性能，与GraphCL相比，平均Acc提升达到了2％。
最后应说明的是：以上实施例仅用以说明本发明的技术方案而非对其进行限制，尽管参照较佳实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对本发明的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。
Claims (9)
1.一种基于多尺度图对比学习的图神经网络方法，其特征在于：包括以下步骤：
S1、收集原始图数据，并对收集到的原始图数据进行标记；
S2、对收集到的原始图数据通过随机游走的方式进行数据增强，并控制生成子图的规模，进而生成不同尺度的全局视图和局部视图；
S3、通过图神经网络学习原始图数据的全局信息潜在表示和局部信息潜在表示；
S4、针对图神经网络学习到的全局信息潜在表示和局部信息潜在表示，分别执行不同的对比学习策略；
S5、通过最小化目标函数，改善不同视图在表征空间中的距离，提高网络所学习到的表征质量。
2.根据权利要求1所述的一种基于多尺度图对比学习的图神经网络方法，其特征在于：在步骤S1中，根据不同的数据类型，标记从网络中收集到的原始图结构数据为对应的标签文件。
3.根据权利要求2所述的一种基于多尺度图对比学习的图神经网络方法，其特征在于：在步骤S1中，定义一个图数据集D，该数据集由N个图数据
组成，对于数据集中的每个图G＝{V，E}，其中
表示该图中的节点的集合，E表示图中的边的集合，vi代表图中的第i个节点，若节点vi和vj之间存在关联，则eij＝(vi，vj)∈E为图中的边；
因此，图数据存在一个邻接矩阵A，其维度为V×V，若eij∈E则Aij＝1；
此外，图数据的每个节点还具有特征向量xi∈Rd，图中所有节点特征构成一个特征矩阵X∈R|V|×d，yk∈y是图数据对应的标签。
4.根据权利要求1所述的一种基于多尺度图对比学习的图神经网络方法，其特征在于：在步骤S2中，给定一个G∈{Gn：n∈N}，定义图一个增强图
其中
为所使用的图增强方法；增强方法主要是子图采样，通过控制节点数量来控制生成子图的规模，进而将得到拥有不同尺度信息的全局视图和局部视图，即
和
5.根据权利要求1所述的一种基于多尺度图对比学习的图神经网络方法，其特征在于：步骤S3中，通过使用对于全局视图和局部视图之间共享模型参数的五层图同构网络来学习视图的潜在表示。
6.根据权利要求1所述的一种基于多尺度图对比学习的图神经网络方法，其特征在于：步骤S4中，对于全局视图之间及全局和局部视图之间选择噪声对比估计函数，而对于局部视图之间选择使用一个回归器度量，该回归器的实现是一个拥有批次归一化和RELU激活函数的多层感知机。
7.根据权利要求6所述的一种基于多尺度图对比学习的图神经网络方法，其特征在于：在步骤S4中，图神经网络主要遵循消息传递机制，每个节点通过消息传递机制获取邻居节点的属性和结构信息，进而更新自身的节点表示，通过k层迭代，节点捕获到其k跳邻居的信息，即：
AGGREGATE(·)和COMBINE(·)分别为聚合邻域节点的信息和更新自身节点信息；即通过图同构神经网络来获取上述经过数据增强后的全局和局部视图的节点潜在表示；
而后通过池化来获取整个图的潜在表示，即：
READOUT(·)为图池化，为求和池化机制；
最后对获得图级表示通过一个非线性变换，即：
z＝g(f(G))
g(·)为非线性变换，其为一个拥有RELU激活函数的二层感知机；
从而获得了图数据的全局和局部表示，即
和
8.根据权利要求1所述的一种基于多尺度图对比学习的图神经网络方法，其特征在于：步骤S5中，通过为三个不同的损失项目分配不同的权重系数，来优化图神经网络，使其能够学习到良好的图级表征，进而用于不同的下游任务。
9.根据权利要求8所述的一种基于多尺度图对比学习的图神经网络方法，其特征在于：步骤S5具体包括以下步骤：
S51、同时考虑全局表示和局部表示，并对其实施不同的对比学习策略，进而考虑不同尺度信息来提高性能，定义噪声对比估计损失
为ls，即：
τ为温度系数，z+和z-分别为正样本和负样本；
S52、考虑最大化同一个原始图的全局表示，最小化不同原始图的全局表示的相似度，损失函数lgg定义为如下：
其中，N为批次内的样本数量；
S53、为了建立局部和全局的关联，定义一个损失函数，即：
S54、通过一种带有可学习参数的度量方式来给出局部和全局的相似度，其为一个具有RELU激活函数的五层感知机fθ，期望来自同一个图的局部视图对比来自不同图的局部视图的相似度更高，因此，定义一个损失函数ψ，即：
S55、通过最大化ψ(θd)来训练回归器，并将其输出通过Sigmoid激活函数来看作其相似度度量值，将训练后的
看作用于估计局部视图相似度的估计器ld，因此，对于局部视图之间，定义局部视图损失函数为：
S56、定义总体损失函数为如下形式：
S57、通过Adam梯度下降算法的方式，最小化总体损失
以更新编码器参数，并将预训练后的编码器用于不同的下游任务。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310135024.7A CN115994560A (zh) | 2023-02-20 | 2023-02-20 | 一种基于多尺度图对比学习的图神经网络方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310135024.7A CN115994560A (zh) | 2023-02-20 | 2023-02-20 | 一种基于多尺度图对比学习的图神经网络方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115994560A true CN115994560A (zh) | 2023-04-21 |
Family
ID=85995142
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310135024.7A Pending CN115994560A (zh) | 2023-02-20 | 2023-02-20 | 一种基于多尺度图对比学习的图神经网络方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115994560A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117648623A (zh) * | 2023-11-24 | 2024-03-05 | 成都理工大学 | 一种基于图池化对比学习的网络分类算法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115206423A (zh) * | 2022-07-13 | 2022-10-18 | 重庆理工大学 | 基于标签指导的蛋白质作用关系预测方法 |
| US20220383108A1 (en) * | 2021-05-21 | 2022-12-01 | Nec Laboratories America, Inc. | Information-aware graph contrastive learning |
| CN115481682A (zh) * | 2022-09-11 | 2022-12-16 | 北京工业大学 | 一种基于监督对比学习与结构推断的图分类训练方法 |
-
2023
- 2023-02-20 CN CN202310135024.7A patent/CN115994560A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220383108A1 (en) * | 2021-05-21 | 2022-12-01 | Nec Laboratories America, Inc. | Information-aware graph contrastive learning |
| CN115206423A (zh) * | 2022-07-13 | 2022-10-18 | 重庆理工大学 | 基于标签指导的蛋白质作用关系预测方法 |
| CN115481682A (zh) * | 2022-09-11 | 2022-12-16 | 北京工业大学 | 一种基于监督对比学习与结构推断的图分类训练方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117648623A (zh) * | 2023-11-24 | 2024-03-05 | 成都理工大学 | 一种基于图池化对比学习的网络分类算法 |
| CN117648623B (zh) * | 2023-11-24 | 2024-06-28 | 成都理工大学 | 一种基于图池化对比学习的网络分类算法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Consensus one-step multi-view subspace clustering | |
| Wen et al. | Low-rank representation with adaptive graph regularization | |
| Shao et al. | Multiple incomplete views clustering via weighted nonnegative matrix factorization with regularization | |
| Lee et al. | Wasserstein introspective neural networks | |
| Fatras et al. | Minibatch optimal transport distances; analysis and applications | |
| Zhang et al. | Non-negative multi-label feature selection with dynamic graph constraints | |
| CN109753589A (zh) | 一种基于图卷积网络的图可视化方法 | |
| Zhang et al. | Deep learning of path-based tree classifiers for large-scale plant species identification | |
| Xie et al. | TPNE: topology preserving network embedding | |
| CN115994560A (zh) | 一种基于多尺度图对比学习的图神经网络方法 | |
| CN115983351A (zh) | 一种基于对比学习的自监督图神经网络方法 | |
| Liu et al. | Self-supervised transformer-based pre-training method using latent semantic masking auto-encoder for pest and disease classification | |
| CN115761275A (zh) | 一种基于图神经网络的无监督社区发现方法及*** | |
| Chen et al. | Variational Graph Embedding and Clustering with Laplacian Eigenmaps. | |
| Nong et al. | Hypergraph wavelet neural networks for 3D object classification | |
| CN117349494A (zh) | 空间图卷积神经网络的图分类方法、***、介质及设备 | |
| Manduchi et al. | Tree variational autoencoders | |
| CN116304367B (zh) | 基于图自编码器自监督训练用于获得社区的算法及装置 | |
| Dhanalakshmi et al. | Tomato leaf disease identification by modified inception based sequential convolution neural networks | |
| Xu et al. | Semi-supervised self-growing generative adversarial networks for image recognition | |
| CN115392474B (zh) | 一种基于迭代优化的局部感知图表示学习方法 | |
| Wei et al. | Sparse representation classifier guided Grassmann reconstruction metric learning with applications to image set analysis | |
| Cen et al. | Anae: Learning node context representation for attributed network embedding | |
| CN111126443A (zh) | 基于随机游走的网络表示学习方法 | |
| Reese et al. | LB-CNN: Convolutional neural network with latent binarization for large scale multi-class classification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |