CN115983341A - 一种基于关系聚合超图的节点分类方法 - Google Patents

Abstract

本发明公开了一种基于关系聚合超图的节点分类方法，属于复杂网络技术领域，解决现有超图构建方法单一，易造成部分高阶信息损失，影响节点分类准确率问题；方法包括以下步骤：分别基于节点间显式关系和隐式关系构建显式和隐式超边；采用全局注意力机制，计算节点与其共享隐式超边的邻居节点之间的重要性，并将其定义为隐式特征相关性系数；将隐式关系做为补充信息，与显式关系相聚合，生成关系聚合的超图结构；对生成的超图结构的关联矩阵进行加权计算，通过超图神经网络将聚合特征沿顶点‑超边‑顶点的路径进行传递，得到节点的嵌入表示，用softmax分类器进行节点分类任。

Description

一种基于关系聚合超图的节点分类方法

技术领域

本发明涉及复杂网络技术领域，尤其是基于关系聚合的超图节点分类方法。

背景技术

图是关联数据的高度抽象，可用来表示互联网、社交网络、生物网络等的多实体之间的相互关系。传统的图建模中，一条边只能连接两个节点，往往只能建模节点间的二维成对关系，难以描述真实世界中的多元、高阶关系。而超图中的超边可以包含任意多个节点，能够表示诸如科研合作网中，多个作者共同合作一篇论文；互联网中，多位用户共同购买同一种物品等更高阶的关系。相对于一般图结构，超图具有较强的数据样本间非线性高阶关联的刻画和挖掘能力，可更加准确地建模多元关系。因此，超图被广泛应用于图像分割、高维空间聚类、多模态数据建模、推荐***、社交网络等多个领域中的节点分类任务。同时，随着图神经网络在各个任务中取得的优异表现，将图神经网络应用到超图中，对超图进行表示学习已成为近些年的研究热点。

然而，面对日渐复杂的网络结构以及越来越丰富的节点特征，传统的超图构建方法只考虑单一关系，不能完全反应具有高维特征的图数据节点间高阶信息，对于高阶关系数据建模具有较大的局限性。例如，基于科研合作的超图中，只建模多个作者共同合作一篇论文的关系，而忽略了多个论文或者多个作者之间的自身关联产生的高阶关系；基于超图的社交推荐中，只建模用户和项目之间的交互关系，而忽略了用户与用户，商品与商品之间的自身关联产生的高阶关系。这样势必会造成节点表示次优影响节点分类任务的效果。

发明内容

本发明需要解决的技术问题是提供一种基于关系聚合超图的节点分类方法，能够解决传统基于超图的节点分类方法中，特征单一信息提取不完整等问题。通过聚合显式和隐式关系构建关系聚合的超图结构并通过超图上的神经网络计算节点的嵌入表示，从而提高节点分类的精度；有效地补充基于单一信息表示的稀疏性，并更好地保持网络的全局结构。

为解决上述技术问题，本发明所采用的技术方案是：

一种基于关系聚合超图的节点分类方法，包括以下步骤：

S1、根据高阶关系图数据的结构及节点特征定义显式和隐式关系；

S2、根据显式关系，构建显式超边；

S3、根据隐式关系，构建隐式超边；

S4、定义隐式特征相关性系数，采用全局注意力机制，计算隐式超边中目标节点与邻居节点间的重要性，并与显式超边聚合生成关系聚合的超图结构；

S5、采用超图神经网络对生成的关系聚合超图结构进行嵌入表示；

S6、将训练后的节点嵌入表示送入softmax分类器，根据固有标签进行节点分类。

本发明技术方案的进一步改进在于：S1中，根据高阶关系图数据的结构及节点特征给出显式关系和隐式关系的定义，节点间所有关系可表示为显式关系和隐式关系的并。

本发明技术方案的进一步改进在于：S2中，所述显式超边构建是根据网络数据中的显式关系，比如社交网络中的好友关系、敌人关系，论文合作网中的引用关系，共同作者关系，生物网络中的蛋白质间相互作用关系等，构建显式超边。

本发明技术方案的进一步改进在于：S3中，所述隐式超边构建是采用KNN和K-means两种方法，从局部和全局两个角度表示节点间的隐式关系，对于给定目标节点v，选择与它的k个近邻以及与他最近的质心顶点所在簇构成隐式超边。

本发明技术方案的进一步改进在于：S4中，所述关系聚合超图结构生成方法具体包括以下步骤：

S4.1、设输入的一组节点特征

这里n是节点数量，F是单个节点的特征维度。引入自注意力机制设置权重向量W_a∈R^2×F以及可学习的参数a。

e_ij表示在特征空间中节点j与节点i之间的相似性系数，其值越大，代表两个节点在特征空间中越接近。

S4.2、将基于隐式关系构建的隐式超边关联矩阵作为掩码注入到注意力机制当中，得到节点i与节点j的隐式特征相关性系数α_ij：

其中Z_i表示目标节点在基于隐式关系构建的超边中的所有节点的集合。

S4.3、设定阈值β，若α_ij≥β，即存在与目标节点的隐式特征相似性系数大于阈值β，则将v_j补充至E中，生成新的超边E^A，构成关系聚合的超图结构G^A＝(V,E^A,W)，其中W为代表顶点属于不同超边的权重矩阵。

本发明技术方案的进一步改进在于：S5中所述基于超图神经网络的节点嵌入方法具体包括以下步骤：

S5.1、对关系聚合超图中的点边连接关系用加权关联矩阵进行表示，即节点与显式超边的链接情况用关联矩阵H表示，与隐式超边的链接情况用H^l表示，二者聚合并用α_ij对应填充，得到加权关联矩阵H^A；

S5.2、超图神经网络的输入为关联矩阵H^A和节点特征X，节点的嵌入表示更新公式为：

其中X^(l)∈R^F是节点在第l层的特征，σ为非线性激活函数，D_v表示顶点度的对角矩阵，顶点的度即与顶点相关联的超边个数，D_e表示超边度的对角矩阵，超边度即超边中顶点的个数，E^A(l)为超边在l层的特征。

本发明技术方案的进一步改进在于：S6中将训练后的节点嵌入表示送入softmax分类器，最终输出是一个N×M的矩阵，即对应每个节点所属类别的概率。模型的损失函数选取NLLLoss(负对数似然损失)函数：

其中N为样本数量，M为样本类别，p_mn为模型输出的第n个样本属于第m个类别的概率。

其中

当第m个样本的标签为n时y_n＝1否则y_n＝0。

由于采用了上述技术方案，本发明取得的技术进步是：

1、提出了一种新的基于超图的节点分类建模方法，它既表现了网络结构信息中的显式关系又考虑了节点的隐式关系，补充了超图结构中的高阶信息；

2、结合全局注意力机制为超图的关联矩阵进行加权计算，并采用超图神经网络实现了图数据中隐式信息和显式信息的聚合表示，提高了节点嵌入的有效性；

3、本发明在公开网络数据集上进行大量的对比实验，结果表明，本发明提出的方法对于提升节点分类结果具有一定作用。

附图说明

图1是本发明中模型匹配流程示意图；

图2是本发明中整体模型图；

图3是本发明中论文合作网的超边构建案例；

图4是本发明中关系聚合超图的生成示意图；

具体实施方式

下面结合附图及实施例对本发明做进一步详细说明：

如图1和2所示，一种基于关系聚合超图的节点分类方法，包括以下步骤：

S1、根据高阶关系图数据的结构及节点特征定义显式和隐式关系；

在传统超图G中，设有节点集V＝{v₁，v₂,…,v_n}，用A(V)＝{A₁,A₂,…,A_m}表示节点的属性集合，则A_i(v_j)就表示节点v_j的第i个属性的值。如果A_i(v_j)＝{v_k|v_k∈A_j(v_j)}，任取v_j∈V,v_k∈A_i(v_j)。则节点v_j与v_k的关系称为显示关系，记为R_e。任取v_j∈V,v_k∈V,定义f(A_i(v_j),A_i(v_k))表示节点v_j与v_k的关系称为隐式关系，记为R_i。故节点间所有关系可表示为R＝{R_i}∪{R_e}。

S2、根据显式关系，构建显式超图；

传统超图通常用G＝(V,E)表示，其中V＝{v₁,…,v_n}表示n个节点集合，E＝{e₁,…,e_m}表示超图中m条超边的集合，其中每条超边为一个无序节点集合

传统超图G中节点间通过显式关系R_e连接在一起构成超边集

j≥2，为了方便描述，将传统超图定义为显式超图，称E为显式超边。如图3所示以论文合作网为例，将具有合作关系的作者用一条超边连接起来，此时超图中表现出的合作关系即为一种显式关系，基于此关系建立的超图结构为显式超图。

S3、根据隐式关系，构建隐式超图，包括以下两个步骤；

A1、利用KNN算法中相同类别的样本之间在特征空间中应当聚集在一起的这一基本法则，来挖掘节点在特征空间中的隐式关系。对于每个目标节点，找到与其距离最近的K个邻居，此目标节点与它的K个最近邻，构成一条超边。

A2、采用K-MEANS方法对KNN产生的超边进行修正。首先，将所有顶点直接分组到k个簇中，然后通过超边将同一簇中的所有顶点链接起来。对于目标顶点，计算其与各个簇中心质点的距离，选择与其最近的质心顶点所在的边为该顶点的超边。基于隐式关系的超边集

其中p条超边由KNN生成，q条超边由k-means生成。

S4、定义隐式特征相关性系数，采用全局注意力机制，计算隐式超边中目标节点与邻居节点间的重要性，并与显式超边聚合生成关系聚合的超图结构；

B1、设输入的一组节点特征

这里n是节点数量，F是单个节点的特征维度。引入自注意力机制设置权重向量W_a∈R^2×F以及可学习的参数a。

e_ij表示在特征空间中节点j与节点i之间的相似性系数，其值越大，代表两个节点在特征空间中越接近。

B2、将基于隐式关系构建的隐式超边关联矩阵作为掩码注入到注意力机制当中，得到节点i与节点j的隐式特征相关性系数α_ij：

其中Z_i表示目标节点在基于隐式关系构建的超边中的所有节点的集合。

B3、设定阈值β，若α_ij≥β，即存在与目标节点的隐式特征相似性系数大于阈值β，则将v_j补充至E中，生成新的超边E^A，构成关系聚合的超图结构G^A＝(V,E^A,W)，其中W为代表顶点属于不同超边的权重矩阵。当E^l＝{Φ}时，RAH退化为传统超图。

如图4为关系聚合超图的生成示意图。

S5、采用超图神经网络对生成的关系聚合超图结构进行嵌入表示；

S5.1、对关系聚合超图中的点边连接关系用加权关联矩阵进行表示，即节点与显式超边的链接情况用关联矩阵H表示，与隐式超边的链接情况用H^l表示，二者聚合并用α_ij对应填充，得到加权关联矩阵H^A。

S5.2、超图神经网络的输入为关联矩阵H^A和节点特征X，节点的嵌入表示更新公式为：

其中X^(l)∈R^F是节点在第l层的特征，σ为非线性激活函数。D_v表示顶点度的对角矩阵，顶点的度即与顶点相关联的超边个数。D_e表示超边度的对角矩阵，超边度即超边中顶点的个数，E^A(l)为超边在l层的特征。

S6、将训练后的节点嵌入表示送入softmax分类器，根据固有标签对节点进行分类。

模型的最终输出是一个N×M的矩阵，即对应每个节点所属类别的概率。模型的损失函数选取NLLLoss(负对数似然损失)函数：

其中N为样本数量，M为样本类别，p_mn为模型输出的第n个样本属于第m个类别的概率。

其中

当第m个样本的标签为n时y_n＝1否则y_n＝0。

采用了应用较为广泛的图数据集中Cora和20newsgroups数据集进行试验。数据集统计结果如表1所示。

表1数据集统计表

将本发明方法与其他模型进行比较，结果如表2所示：关系聚合的超图神经网络模型(RAHGNN)表现均优于对比模型。表明聚合了显式和隐式关系构建的超图，在不同节点特征维度的数据集上均能比普通图以及同质超图更好的捕捉高阶信息，因此也获得了更加准确的节点表示，验证了本发明方法的有效性。

表2结果对比

为更好地体现关系聚合的超图神经网络模型(RAHGNN)在节点分类中的性能表现，分别选取不同比例数据集在不同的模型上进行实验。以Cora数据集为例，除用固定的5.2％数据集进行训练外，重新随机抽取了一定比例的数据在Cora数据集上与其他模型进行了对比实验，实验结果如表3所示。随着训练样本数量的增加，分类精度稳定上升。在随机样本选取和按顺序选取样本分别进行实验时，分类结果都相对稳定，这说明本发明模型能够更好的捕捉网络中的高阶关系，提高节点分类的准确率。

表3：Cora数据集不同划分对比实验

为说明本发明中隐式超边和显式超边构建模块的作用，在Cora数据集和20news数据集上进行消融实验。即，将模型分为KNN构建隐式超边、K-means构建隐式超边、基于显式关系构建显式超边，基于全局注意力机制的关系聚合四个模块，在实验中分别对四个模块一一去除得到实验结果如表4所示。实验证明，去掉模型中的任何一个模块都将使模型精度降低。但是不同的超边构建方法在不同数据集上的表现结果并不相同。关系聚合超图的构造方法在不同的数据集上有较好的可扩展性，对于不同的数据分布形式，所提出方法均能取得较好的结果。

表4不同超边构建方法对节点分类精度的影响

综上所述，本发明能够解决传统超图建模方法中，特征单一信息提取不完整等问题。通过聚合显式和隐式关系构建关系聚合的超图结构并通过超图上的神经网络计算节点的嵌入表示，从而提高节点分类的精度。有效地补充基于单一信息表示的稀疏性，并更好地保持网络的全局结构。

Claims (7)

1.一种基于关系聚合超图的节点分类方法，其特征在于：包括以下步骤：

S1、根据高阶关系图数据的结构及节点特征定义显式和隐式关系；

S2、根据显式关系，构建显式超边；

S3、根据隐式关系，构建隐式超边；

S4、定义隐式特征相关性系数，采用全局注意力机制，计算隐式超边中目标节点与邻居节点间的重要性，并与显式超边聚合生成关系聚合的超图结构；

S5、采用超图神经网络对生成的关系聚合超图结构进行嵌入表示；

S6、将训练后的节点嵌入表示送入softmax分类器，根据固有标签进行节点分类。

2.根据权利要求1所述的一种基于关系聚合超图的节点分类方法，其特征在于：所述S1的具体操作如下：

显式关系定义：在传统超图G中，设有节点集V＝{v₁，v₂,…,v_n}，用A(V)＝{A₁,A₂,…,A_m}表示节点的属性集合，则A_i(v_j)就表示节点v_j的第i个属性的值，如果A_i(v_j)＝{v_k|v_k∈A_j(v_j)}，任取v_j∈V,v_k∈A_i(v_j)，则节点v_j与v_k的关系称为显示关系，记为R_e；

隐式关系定义：在传统超图G中，设有节点集V＝{v₁，v₂,…,v_n}，用A(V)＝{A₁,A₂,…,A_m}表示节点的属性集合，则A_i(v_j)就表示节点v_j的第i个属性的值，任取v_j∈V,v_k∈V,定义f(A_i(v_j),A_i(v_k))表示节点v_j与v_k的关系称为隐式关系，记为R_i，故节点间所有关系可表示为R＝{R_i}∪{R_e}。

3.根据权利要求1所述的一种基于关系聚合超图的节点分类方法，其特征在于：所述S2的具体操作如下：

传统超图：传统超图通常用G＝(V,E)表示，其中V＝{v₁,…,v_n}表示n个节点集合，E＝{e₁,…,e_m}表示超图中m条超边的集合，其中每条超边为一个无序节点集合

当超边连接节点个数为2时，超图退化成普通图；

不同于一条边只能连接两个顶点的传统图，超图结构中不限制顶点的度，即每条超边可以连接任意多个顶点，因此通常称之为图的高阶表示，将由显式关系构建的传统超图定义为显式超图，称E为显式超边。

4.根据权利要求1所述的一种基于关系聚合超图的节点分类方法，其特征在于：所述S3中，采用KNN和K-means两种方法，从局部和全局两个角度提取节点间高阶关系，构建隐式超边，为了捕捉特征空间中的全局信息，避免噪声数据及离群点以及参数选取欠佳带来的影响，采用K-MEANS方法对KNN产生的超边进行修正，基于隐式关系的超边集为

其中p条超边由KNN生成，q条超边由k-means生成。

5.根据权利要求1所述的一种基于关系聚合超图的节点分类方法，其特征在于：所述S4的具体操作为：

隐式特征相关性系数α_ij：隐式超边集中，节点与其共享隐式超边的邻居节点之间的重要性系数

e_ij为节点节点间相似性系数，Z_i为节点的邻居节点集合，exp为以e为底的指数函数；

关系聚合的超图RAH：设有节点集V＝{v₁，v₂,…,v_n}，在显式超边E和隐式超边E^l中，存在节点v_i∈E,v_j∈E^l且

若α_ij≥β，即存在与目标节点的隐式特征相似性系数大于阈值β，则将v_j补充至E中，生成新的超边E^A，构成关系聚合的超图结构G^A＝(V,E^A,W)，其中W为代表顶点属于不同超边的权重矩阵，当E^l＝{Φ}时，RAH退化为传统超图。

6.根据权利要求1所述的一种基于关系聚合超图的节点分类方法，其特征在于：所述S5的具体步骤如下：关系聚合的超图结构用加权的关联矩阵H^A表示，神经网络的输入为关联矩阵H^A和节点特征X节点的嵌入表示更新公式为：

模型的训练过程可以分为顶点卷积和超边卷积两步：

顶点卷积，节点关系聚合到超边上，

超边卷积，由超边的特征得到节点的嵌入表示，

其中，X^(l)∈R^F是节点在第l层的特征，σ为非线性激活函数，D_v表示顶点度的对角矩阵，顶点的度即与顶点相关联的超边个数，D_e表示超边度的对角矩阵，超边度即超边中顶点的个数，E^A(l)为超边在l层的特征。

7.根据权利要求1所述的一种基于关系聚合超图的节点分类方法，其特征在于：所述S6具体包括以下步骤：

将节点的嵌入表示送入softmax分类器，模型的最终输出是一个N×M的矩阵，即对应每个节点所属类别的概率，模型的损失函数选取负对数似然损失NLLLoss函数：

其中N为样本数量，M为样本类别，p_mn为模型输出的第n个样本属于第m个类别的概率；

其中

当第m个样本的标签为n时y_n＝1否则y_n＝0。

Images