CN113361627A - 一种面向图神经网络的标签感知协同训练方法 - Google Patents

Abstract

本发明公开了一种面向图神经网络的标签感知协同训练方法，包括：步1，用图神经网络将已知标签沿连边传播估计出各结点初步标签取值分布，衡量各结点的初步标签取值分布属于某类的初步预测置信度；步2，为初步预测置信度最高的预定个数结点标注伪标签形成增广的有标注图结构数据集；步3，利用图神经网络学习各结点的向量表示并做出全局预测，得出未标注结点的最终预测值；步4，将最终预测值作为未标注结点的初始标签，重复步1至步4，得出各未标注结点的最终分类结果。通过充分利用少量已知标签建模全局标签依赖性，结合标签传播和图神经网络特征传播优势，将全局标签依赖信息隐式融入图神经网络训练过程，得到更客观结点表示，提升分类性能。

Description

一种面向图神经网络的标签感知协同训练方法

技术领域

本发明涉及图神经网络的半监督目标分类领域，尤其涉及一种面向图神经网络的标签感知协同训练方法。

背景技术

图神经网络以图结构数据作为输入，根据“相邻的结点具有相似性”这一假设，对图中结点采用聚合其周围结点信息作为自身的表征的方式，将图中结点映射为连续向量空间中的向量，使得结构上相近的结点在嵌入空间中有相似的向量表示。近年来，面向半监督目标分类的图神经网络技术在诸如网页分类、语音识别、图像检测和蛋白质性质预测等领域取得了巨大的成就。

现有的图神经网络(包括图卷积网络-GCN、图注意力网络-GAT等)训练方式主要关注局部的结点特征信息，而对少量的已知标签利用不足，没有考虑全局的标签依赖信息。例如，图卷积网络(GCN)通过堆叠一阶Chebyshev过滤层来简化图信号的频域卷积操作，堆叠层数即考虑的邻居结点跳数，层数越少则考虑的局部范围越小；图注意力网络(GAT)通过为不同邻居结点赋值大小不一的权重来区分亲疏远近的邻居结点。上述两种经典的图神经网络都没有充分利用已知标签的信息，仅将已知标签作为监督信号，独立地对每个结点做误差反向传播。

这样的训练过程隐式地假设了给定邻域特征后，各结点的标签是条件独立的。该假设违背了传统的统计关系学习方法所认为的各结点的标签之间是存在依赖和影响关系的的基本观点。这也就限制了图神经网络的性能表现，造成现有图神经网络训练方式的缺陷与不足。

发明内容

针对现有技术所存在的问题，本发明的目的是提供一种面向图神经网络的标签感知协同训练方法，能解决现有训练方法并未有效利用各结点的标签之间存在的依赖和影响关系，存在限制图神经网络的性能表现，造成现有图神经网络训练方式存在缺陷与不足的问题。

本发明的目的是通过以下技术方案实现的：

本发明实施方式提供一种面向图神经网络的标签感知协同训练方法，用于通过图神经网络为图结构数据集中的未标注结点进行分类，所述图结构数据集由已标注结点集合和未标注结点集合组成，所述已标注结点集合占所述图结构数据集的总结点数量小于等于1％，包括：

步骤1，设定图神经网络的网络层数L、协同训练回合数K、标签传播迭代轮数T、标签传播权重α和协同训练每回合标注伪标签个数m，将所述图结构数据集对应的图邻接矩阵A、归一化邻接矩阵

结点特征矩阵X和已标注结点的已知标签Y^L输入所述图神经网络进行处理；

步骤2，所述图神经网络通过将已标注结点的已知标签沿着连边传播估计出每个结点初步的标签取值分布F^(T)，用基尼系数衡量每个结点初步的标签取值分布属于某类的初步预测置信度；

所述每个结点初步的标签取值分布F^(T)的迭代计算公式为：F^(t)＝αSF^(t-1)+(1-α)Y，t取值为1至T，

表示未标注结点的初始标签，是所述图神经网络对未标注结点的预测值，第一回合协同训练中

为空，每一回合训练中所述公式F^(t)＝αSF^(t-1)+(1-α)Y的迭代执行次数为T次；

步骤3，为初步预测置信度最高的预定m个结点标注伪标签形成增广的有标注图结构数据集L_train；

步骤4，利用所述图神经网络基于所述增广的有标注图结构数据集L_train，学习各结点的向量表示并做出全局预测，得出未标注结点的最终预测值

步骤5，将所述图神经网络对未标注结点的最终预测值

作为未标注结点的初始标签，按步骤1设定的协同训练回合数K重复进行所述步骤2至步骤5，得出各未标注结点的最终分类结果。

由上述本发明提供的技术方案可以看出，本发明实施例提供的面向图神经网络的标签感知协同训练方法，其有益效果为：

通过充分利用少量标签信息建模全局标签依赖性，结合了标签传播方式和主流图神经网络的特征传播方式的优势，捕捉全局标签依赖信息并将其隐式融入到图神经网络训练过程中，以得到更客观的结点表示，提升模型的分类性能。经实验验证，在没有引入额外的参数和计算量的情况下，本发明的方法在主流半监督结点分类数据集上达到了优越性能，超越了之前方法的性能表现。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的面向图神经网络的标签感知协同训练方法的流程图；

图2为本发明实施例提供的面向图神经网络的标签感知协同训练方法整体框架示意图。

具体实施方式

下面结合本发明的具体内容，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

参见图1，本发明实施例提供一种面向图神经网络的标签感知协同训练方法，用于通过图神经网络为图结构数据集中的未标注结点进行分类，所述图结构数据集由已标注结点集合和未标注结点集合组成，所述已标注结点集合占所述图结构数据集的总结点数量小于等于1％，包括：

步骤1，设定图神经网络的网络层数L、协同训练回合数K、标签传播迭代轮数T、标签传播权重α和协同训练每回合标注伪标签个数m，将所述图结构数据集对应的图邻接矩阵A、归一化邻接矩阵

结点特征矩阵X和已标注结点的已知标签Y^L输入所述图神经网络进行处理；

步骤2，所述图神经网络通过将已标注结点的已知标签沿着连边传播估计出每个结点初步的标签取值分布F^(T)，用基尼系数衡量每个结点初步的标签取值分布属于某类的初步预测置信度，作为估计出的全局标签依赖性；

所述每个结点初步的标签取值分布F^(T)的迭代计算公式为：F^(t)＝αSF^(t-1)+(1-α)Yt取值为1至T，

表示未标注结点的初始标签，是所述图神经网络对未标注结点的预测值，第一回合协同训练中

为空，每一回合训练中所述公式F^(t)＝αSF^(t-1)+(1-α)Y的迭代执行次数为T次；

步骤3，根据估计出的全局标签依赖性，为初步预测置信度最高的预定m个结点标注伪标签形成增广的有标注图结构数据集L_train；

步骤4，利用所述图神经网络基于所述增广的有标注图结构数据集L_train，学习各结点的向量表示并做出全局预测，得出未标注结点的最终预测值

步骤5，将所述图神经网络对未标注结点的最终预测值

作为未标注结点的初始标签，按步骤1设定的协同训练回合数K重复进行所述步骤2至步骤5，得出各未标注结点的最终分类结果。

上述方法的步骤3中，若图神经网络为图卷积网络，则图神经网络基于所述增广的有标注图结构数据集执行以下的更新公式，得到结点最终向量表示并做出全局预测，更新公式为：

其中，

是结点i在第l层图神经网络后的向量表示；X是结点特征矩阵；α_ij是图邻接矩阵A的第i行、第j列元素，表示结点i和结点j之间是否有连边；d_i是图结构数据集中结点i的度；d_j是图结构数据集中结点j的度；H⁽⁰⁾是全体结点的初始向量表示矩阵；H^(L)是全体结点在第L层图神经网络后的向量表示矩阵；

是根据H^(L)得到的对各结点的概率预测向量；

是经伪标签增广后的结点标签；

是计算出的交叉熵损失值。

上述方法的方法步骤3中，若图神经网络为图注意力网络，则图神经网络基于所述增广的有标注图结构数据集执行以下的更新公式，得到结点最终向量表示并做出全局预测，更新公式为：

其中，α_ij表示结点j对结点i的重要程度，即注意力；LeakyReLU是激活函数名；||表示向量拼接；σ(·)是非线性激活函数；K是注意力机制的头数；

和W是可学习的参数矩阵；H⁽⁰⁾是全体结点的初始向量表示矩阵；H^(L)是全体结点在第L层图神经网络后的向量表示矩阵；

是根据H^(L)得到的对各结点的概率预测向量；

是经伪标签增广后的结点标签；

是计算出的交叉熵损失值。

本发明的方法，由于充分利用了少量标签信息对全局标签依赖性建模，结合了标签传播算法和主流图神经网络特征方法的优势，捕捉全局标签依赖信息并将其隐式融入到图神经网络训练过程中，以得到更客观的结点表示，提升模型的分类性能。

下面对本发明实施例具体作进一步地详细描述。

本发明实施例为基于图神经网络为图上的少量标签结点分类任务提供一种高性能的协同训练方法，其所涉及的技术术语包括：

半监督结点分类：给定图结构数据集，用

表示，其中

是结点的集合，假设有N_n个结点，即

是连边的集合，假设有N_e条边，即|ε|＝N_e；图

的邻接矩阵为

其中a_ij＝1表示存在点i到点j的连边，即(v_i，v_j)∈ε，否则a_ij＝0；每个结点v_i都有d维特征向量

和标签向量y_i∈{0，1}^C，y_i是C维独热编码向量，C是结点类别数；半监督结点分类任务中，图结构数据集合S由已标注结点集合L和未标注结点集合U两部分组成，有标签结点数m_l远小于无标签结点数m_u；目标是根据图结构数据集

所有结点特征信息X和已知标签

学习函数

来预测未标注结点的标签Y^U。

图神经网络：是当前性能最优的结点分类方法，它以少量的已知标签Y^L、所有结点特征X和图邻接矩阵A为输入；对于每个结点，图神经网络综合该结点及其邻居结点的特征信息，得到该结点的最终向量表示；而后每个结点的向量表示被独立地用于预测其标签，并通过将已知标签作为监督信号，执行误差反向传播以纠正结点的向量表示。

参见图1、2，本发明的整体框架示意如图2所示，该方法用于通过图神经网络为图结构数据集中的未标注结点进行分类，所述图结构数据集由已标注结点集合和未标注结点集合组成，所述已标注结点集合占所述图结构数据集的总结点数量小于等于1％，具体包括以下步骤：

步骤1，设定图神经网络的网络层数L、协同训练回合数K、标签传播迭代轮数T、标签传播权重α和协同训练每回合标注伪标签个数m，将所述图结构数据集对应的图邻接矩阵A、归一化邻接矩阵

结点特征矩阵X和已标注结点的已知标签Y^L输入所述图神经网络进行处理；

步骤2，所述图神经网络通过将已标注结点的已知标签沿着连边传播估计出每个结点初步的标签取值分布F^(T)，用基尼系数衡量每个结点初步的标签取值分布属于某类的初步预测置信度，作为估计出的全局标签依赖性；

所述每个结点初步的标签取值分布F^(T)的迭代计算公式为：F^(t)＝αSF^(t-1)+(1-α)Y，

表示未标注结点的初始标签，是所述图神经网络对未标注结点的预测值，第一回合协同训练中

为空，每一回合训练中所述公式F^(t)＝αSF^(t-1)+(1-α)Y的迭代执行次数为T次；

步骤3，根据估计出的全局标签依赖性，为初步预测置信度最高的预定m个结点标注伪标签形成增广的有标注图结构数据集L_train；

步骤4，利用所述图神经网络基于所述增广的有标注图结构数据集L_train，学习各结点的向量表示并做出全局预测，得出未标注结点的最终预测值

步骤5，将所述图神经网络对未标注结点的最终预测值

作为未标注结点的初始标签，按步骤1设定的协同训练回合数K重复进行所述步骤2至步骤5，得出各未标注结点的最终分类结果。

经过预定次数的多次迭代执行，该标签感知协同训练方法能在考虑全局标签信息依赖性同时建模局部特征信息相关性。可以看出，这种协同训练方法并不会在原有图神经网络的基础上引入额外的参数，在保障训练效率的同时达到了有效建模全局标签依赖性的目标。

下面将从标签传播和特征传播两部分对本发明的方法进行具体说明。

本发明的方法吸取了经典的标签传播算法的优点，但在标签传播过程不显式考虑结点特征信息，给定图邻接矩阵A、部分已知标签Y^L和上一轮图神经网络对未标注结点(即无标签数据)的预测值

(若是第一轮则该预测值为空)，本发明方法的标签传播采用以下更新公式：

F⁽⁰⁾＝Y (2)

F^(t)＝αSF^(t-1)+(1-α)Y (3)；

其中，α∈[0，1]是预设的超参数，以平衡对迭代结果相对初始标签值的重要程度；S是对A的归一化邻接矩阵，本发明采用表现最好的随机游走归一化方式，即

更新公式F^(t)＝αSF^(t-1)+(1-α)Y被迭代执行T次，最终矩阵F^(T)即体现了各结点的标签依赖情况；

通过计算各结点标签依赖的基尼系数，得到各结点的预测置信度；

实验表明，标签传播过程以及置信度计算可以找出边界点，即连接了不同类标签的结点，这对于结点分类、社区发现等任务是有帮助的。

特征传播：

图神经网络的本质是局部特征传播，L层的图神经网络将结点的特征信息在它的L跳邻居内传播。在特征传播步骤，本发明方法并不改动图神经网络模型，使得该训练方法(即LACING)可以广泛地适用于现存的大多数图神经网络模型，特征传播阶段以图邻接矩阵A、结点特征X和已知标签Y^L为输入，采用以下更新公式进行更新：

其中，

是对称归一化的邻接矩阵，即

Θ是训练过程中的可学习参数矩阵；σ(·)是非线性激活函数，此处采用ReLU。以上是一般的特征传播过程，在实际中可替换为GCN、GAT、SGC等知名的图神经网络模型。

本发明的协同训练方法(即LACING)能充分利用少量标签信息来建模全局标签依赖性，结合了标签传播算法和主流图神经网络的特征传播算法的优势，捕捉全局标签依赖信息并将其隐式融入到图神经网络训练过程中，以得到更客观的结点表示，提升模型的分类性能。经实验验证有效。在没有引入额外的参数和计算量的情况下，该方法在主流半监督结点分类数据集上达到了优越性能，超越了之前方法的性能表现，实验结果见图1所示。根据前文的分析和说明，实验性能的提升来源于对全局标签依赖信息的考虑。

表1是本发明方法与现有方法在3个结点分类数据集上的性能对比

上述表1中结果是运行十次取平均的精度(％)结果。

以上是本发明方法的伪代码流程，根据伪代码可以复现前文的实验。

本发明的训练方法可以应用于现有的多种图神经网络模型，下面以应用于不同类型的图神经网络的实施例对该方法进行具体说明。

实施例

本实施例1是面向图神经网络的标签感知协同训练方法，是一种以图卷积网络(即GCN)为特征传播的主干模型(可称为LGCN)进行的标签感知协同训练方法，参考上述伪代码流程，该方法包括：设定协同训练回合数K、GCN的网络层数L、标签传播迭代轮数T、标签传播权重α、协同训练每回合打伪标签个数m，输入图邻接矩阵A、结点特征矩阵X和部分已知标签Y^L，在每回合协同训练中，首先，本实施例的方法将图神经网络的预测值作为未标注结点的初始标签(第一回合为空)，并按照以下三步公式进行更新(其中第三步公式迭代执行T次):

F⁽⁰⁾＝Y

F^(t)＝αSF^(t-1)+(1-α)Y；

由此实现将少量标签信息沿着连边传播来估计出全局标签依赖性，即得到每个结点初步的标签取值分布F^(T)；再通过基尼系数衡量每个结点初步的标签取值分布F^(T)属于某类的预测置信度，为预测置信度最高的m个结点打上伪标签，进而得到增广的有标注数据集L_train；最后，图卷积网络基于该增广的有标注图结构数据集L_train，执行以下的更新公式：

H⁽⁰⁾＝X

得到结点最终向量表示并做出全局预测；

按上述各步骤重复K个回合的协同训练后，即得出最终的分类结果。

实施例2

本实施例1是面向图神经网络的标签感知协同训练方法，是一种以图注意力网络(即GAT)为特征传播的主干模型(可称为LGAT)进行的标签感知协同训练方法，参考上述伪代码流程，该方法包括：设定协同训练轮数K、GAT的网络层数L、标签传播迭代轮数T、标签传播权重α、协同训练每回合打伪标签个数m，输入图邻接矩阵A、结点特征矩阵X和部分已知标签Y^L；在每回合协同训练中，首先，本实施例的方法将图神经网络的预测值作为未标注结点的初始标签(第一回合为空)，并按照以下三步公式进行更新(其中第三步公式迭代执行T次)：

F⁽⁰⁾＝Y

F^(t)＝αSF^(t-1)+(1-α)Y；

由此实现利用少量标签信息沿着连边传播来估计出全局标签依赖性，即得到每个结点初步的标签取值分布F^(T)，再用基尼系数衡量每个结点初步的标签取值分布F^(T)属于某类的预测置信度，为预测置信度最高的m个结点打上伪标签，从而得到增广的有标注数据集L_train；最后，图注意力网络基于该增广的有标注图结构数据集L_train，执行以下的更新公式：

H⁽⁰⁾＝X

得到结点最终向量表示并做出全局预测；

按上述各步骤重复K个回合的协同训练后，即得出最终的分类结果。

本领域普通技术人员可以理解：实现上述实施例方法中的全部或部分流程是可以通过程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (3)

1.一种面向图神经网络的标签感知协同训练方法，其特征在于，用于通过图神经网络为图结构数据集中的未标注结点进行分类，所述图结构数据集由已标注结点集合和未标注结点集合组成，所述已标注结点集合占所述图结构数据集的总结点数量小于等于1％，包括：

步骤1，设定图神经网络的网络层数L、协同训练回合数K、标签传播迭代轮数T、标签传播权重α和协同训练每回合标注伪标签个数m，将所述图结构数据集对应的图邻接矩阵A、归一化邻接矩阵

结点特征矩阵X和已标注结点的已知标签Y^L输入所述图神经网络进行处理；

步骤2，所述图神经网络通过将已标注结点的已知标签沿着连边传播估计出每个结点初步的标签取值分布F^(T)，用基尼系数衡量每个结点初步的标签取值分布属于某类的初步预测置信度；

所述每个结点初步的标签取值分布F^(T)的迭代计算公式为：F^(t)＝αSF^(t-1)+(1-α)Y，t取值为1至T，F⁽⁰⁾＝Y，

表示未标注结点的初始标签，是所述图神经网络对未标注结点的预测值，第一回合协同训练中

为空，每一回合训练中所述公式F^(t)＝αSF^{(t -1)}+(1-α)Y的迭代执行次数为T次；

步骤3，为初步预测置信度最高的预定m个结点标注伪标签形成增广的有标注图结构数据集L_train；

步骤4，利用所述图神经网络基于所述增广的有标注图结构数据集L_train，学习各结点的向量表示并做出全局预测，得出未标注结点的最终预测值

步骤5，将所述图神经网络对未标注结点的最终预测值

作为未标注结点的初始标签，按所述步骤1设定的协同训练回合数K重复进行所述步骤2至步骤5，得出各未标注结点的最终分类结果。

2.根据权利要求1所述的面向图神经网络的标签感知协同训练方法，其特征在于，所述方法的步骤3中，若图神经网络为图卷积网络，则图神经网络基于所述增广的有标注图结构数据集执行以下的更新公式，得到结点最终向量表示并做出全局预测，更新公式为：

其中，

是结点i在第l层图神经网络后的向量表示；X是结点特征矩阵；α_ij是图邻接矩阵A的第i行、第j列元素，表示结点i和结点j之间是否有连边；d_i是图结构数据集中结点i的度；d_j是图结构数据集中结点j的度；H⁽⁰⁾是全体结点的初始向量表示矩阵；H^(L)是全体结点在第L层图神经网络后的向量表示矩阵；

是根据H^(L)得到的对各结点的概率预测向量；

是经伪标签增广后的结点标签；

是计算出的交叉熵损失值。

3.根据权利要求1所述的面向图神经网络的标签感知协同训练方法，其特征在于，所述方法步骤3中，若图神经网络为图注意力网络，则图神经网络基于所述增广的有标注图结构数据集执行以下的更新公式，得到结点最终向量表示并做出全局预测，更新公式为：

H⁽⁰⁾＝X

其中，α_ij表示结点j对结点i的重要程度，即注意力；LeakyReLU是激活函数名；||表示向量拼接；σ(·)是非线性激活函数；K是注意力机制的头数；

和W是可学习的参数矩阵；H⁽⁰⁾是全体结点的初始向量表示矩阵；H^(L)是全体结点在第L层图神经网络后的向量表示矩阵；

是根据H^(L)得到的对各结点的概率预测向量；

是经伪标签增广后的结点标签；

是计算出的交叉熵损失值。

Images