CN115983341A - 一种基于关系聚合超图的节点分类方法 - Google Patents
一种基于关系聚合超图的节点分类方法 Download PDFInfo
- Publication number
- CN115983341A CN115983341A CN202211685347.5A CN202211685347A CN115983341A CN 115983341 A CN115983341 A CN 115983341A CN 202211685347 A CN202211685347 A CN 202211685347A CN 115983341 A CN115983341 A CN 115983341A
- Authority
- CN
- China
- Prior art keywords
- node
- hypergraph
- super
- implicit
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于关系聚合超图的节点分类方法,属于复杂网络技术领域,解决现有超图构建方法单一,易造成部分高阶信息损失,影响节点分类准确率问题;方法包括以下步骤:分别基于节点间显式关系和隐式关系构建显式和隐式超边;采用全局注意力机制,计算节点与其共享隐式超边的邻居节点之间的重要性,并将其定义为隐式特征相关性系数;将隐式关系做为补充信息,与显式关系相聚合,生成关系聚合的超图结构;对生成的超图结构的关联矩阵进行加权计算,通过超图神经网络将聚合特征沿顶点‑超边‑顶点的路径进行传递,得到节点的嵌入表示,用softmax分类器进行节点分类任。
Description
技术领域
本发明涉及复杂网络技术领域,尤其是基于关系聚合的超图节点分类方法。
背景技术
图是关联数据的高度抽象,可用来表示互联网、社交网络、生物网络等的多实体之间的相互关系。传统的图建模中,一条边只能连接两个节点,往往只能建模节点间的二维成对关系,难以描述真实世界中的多元、高阶关系。而超图中的超边可以包含任意多个节点,能够表示诸如科研合作网中,多个作者共同合作一篇论文;互联网中,多位用户共同购买同一种物品等更高阶的关系。相对于一般图结构,超图具有较强的数据样本间非线性高阶关联的刻画和挖掘能力,可更加准确地建模多元关系。因此,超图被广泛应用于图像分割、高维空间聚类、多模态数据建模、推荐***、社交网络等多个领域中的节点分类任务。同时,随着图神经网络在各个任务中取得的优异表现,将图神经网络应用到超图中,对超图进行表示学习已成为近些年的研究热点。
然而,面对日渐复杂的网络结构以及越来越丰富的节点特征,传统的超图构建方法只考虑单一关系,不能完全反应具有高维特征的图数据节点间高阶信息,对于高阶关系数据建模具有较大的局限性。例如,基于科研合作的超图中,只建模多个作者共同合作一篇论文的关系,而忽略了多个论文或者多个作者之间的自身关联产生的高阶关系;基于超图的社交推荐中,只建模用户和项目之间的交互关系,而忽略了用户与用户,商品与商品之间的自身关联产生的高阶关系。这样势必会造成节点表示次优影响节点分类任务的效果。
发明内容
本发明需要解决的技术问题是提供一种基于关系聚合超图的节点分类方法,能够解决传统基于超图的节点分类方法中,特征单一信息提取不完整等问题。通过聚合显式和隐式关系构建关系聚合的超图结构并通过超图上的神经网络计算节点的嵌入表示,从而提高节点分类的精度;有效地补充基于单一信息表示的稀疏性,并更好地保持网络的全局结构。
为解决上述技术问题,本发明所采用的技术方案是:
一种基于关系聚合超图的节点分类方法,包括以下步骤:
S1、根据高阶关系图数据的结构及节点特征定义显式和隐式关系;
S2、根据显式关系,构建显式超边;
S3、根据隐式关系,构建隐式超边;
S4、定义隐式特征相关性系数,采用全局注意力机制,计算隐式超边中目标节点与邻居节点间的重要性,并与显式超边聚合生成关系聚合的超图结构;
S5、采用超图神经网络对生成的关系聚合超图结构进行嵌入表示;
S6、将训练后的节点嵌入表示送入softmax分类器,根据固有标签进行节点分类。
本发明技术方案的进一步改进在于:S1中,根据高阶关系图数据的结构及节点特征给出显式关系和隐式关系的定义,节点间所有关系可表示为显式关系和隐式关系的并。
本发明技术方案的进一步改进在于:S2中,所述显式超边构建是根据网络数据中的显式关系,比如社交网络中的好友关系、敌人关系,论文合作网中的引用关系,共同作者关系,生物网络中的蛋白质间相互作用关系等,构建显式超边。
本发明技术方案的进一步改进在于:S3中,所述隐式超边构建是采用KNN和K-means两种方法,从局部和全局两个角度表示节点间的隐式关系,对于给定目标节点v,选择与它的k个近邻以及与他最近的质心顶点所在簇构成隐式超边。
本发明技术方案的进一步改进在于:S4中,所述关系聚合超图结构生成方法具体包括以下步骤:
eij表示在特征空间中节点j与节点i之间的相似性系数,其值越大,代表两个节点在特征空间中越接近。
S4.2、将基于隐式关系构建的隐式超边关联矩阵作为掩码注入到注意力机制当中,得到节点i与节点j的隐式特征相关性系数αij:
其中Zi表示目标节点在基于隐式关系构建的超边中的所有节点的集合。
S4.3、设定阈值β,若αij≥β,即存在与目标节点的隐式特征相似性系数大于阈值β,则将vj补充至E中,生成新的超边EA,构成关系聚合的超图结构GA=(V,EA,W),其中W为代表顶点属于不同超边的权重矩阵。
本发明技术方案的进一步改进在于:S5中所述基于超图神经网络的节点嵌入方法具体包括以下步骤:
S5.1、对关系聚合超图中的点边连接关系用加权关联矩阵进行表示,即节点与显式超边的链接情况用关联矩阵H表示,与隐式超边的链接情况用Hl表示,二者聚合并用αij对应填充,得到加权关联矩阵HA;
S5.2、超图神经网络的输入为关联矩阵HA和节点特征X,节点的嵌入表示更新公式为:
其中X(l)∈RF是节点在第l层的特征,σ为非线性激活函数,Dv表示顶点度的对角矩阵,顶点的度即与顶点相关联的超边个数,De表示超边度的对角矩阵,超边度即超边中顶点的个数,EA(l)为超边在l层的特征。
本发明技术方案的进一步改进在于:S6中将训练后的节点嵌入表示送入softmax分类器,最终输出是一个N×M的矩阵,即对应每个节点所属类别的概率。模型的损失函数选取NLLLoss(负对数似然损失)函数:
其中N为样本数量,M为样本类别,pmn为模型输出的第n个样本属于第m个类别的概率。
其中
当第m个样本的标签为n时yn=1否则yn=0。
由于采用了上述技术方案,本发明取得的技术进步是:
1、提出了一种新的基于超图的节点分类建模方法,它既表现了网络结构信息中的显式关系又考虑了节点的隐式关系,补充了超图结构中的高阶信息;
2、结合全局注意力机制为超图的关联矩阵进行加权计算,并采用超图神经网络实现了图数据中隐式信息和显式信息的聚合表示,提高了节点嵌入的有效性;
3、本发明在公开网络数据集上进行大量的对比实验,结果表明,本发明提出的方法对于提升节点分类结果具有一定作用。
附图说明
图1是本发明中模型匹配流程示意图;
图2是本发明中整体模型图;
图3是本发明中论文合作网的超边构建案例;
图4是本发明中关系聚合超图的生成示意图;
具体实施方式
下面结合附图及实施例对本发明做进一步详细说明:
如图1和2所示,一种基于关系聚合超图的节点分类方法,包括以下步骤:
S1、根据高阶关系图数据的结构及节点特征定义显式和隐式关系;
在传统超图G中,设有节点集V={v1,v2,…,vn},用A(V)={A1,A2,…,Am}表示节点的属性集合,则Ai(vj)就表示节点vj的第i个属性的值。如果Ai(vj)={vk|vk∈Aj(vj)},任取vj∈V,vk∈Ai(vj)。则节点vj与vk的关系称为显示关系,记为Re。任取vj∈V,vk∈V,定义f(Ai(vj),Ai(vk))表示节点vj与vk的关系称为隐式关系,记为Ri。故节点间所有关系可表示为R={Ri}∪{Re}。
S2、根据显式关系,构建显式超图;
传统超图通常用G=(V,E)表示,其中V={v1,…,vn}表示n个节点集合,E={e1,…,em}表示超图中m条超边的集合,其中每条超边为一个无序节点集合传统超图G中节点间通过显式关系Re连接在一起构成超边集j≥2,为了方便描述,将传统超图定义为显式超图,称E为显式超边。如图3所示以论文合作网为例,将具有合作关系的作者用一条超边连接起来,此时超图中表现出的合作关系即为一种显式关系,基于此关系建立的超图结构为显式超图。
S3、根据隐式关系,构建隐式超图,包括以下两个步骤;
A1、利用KNN算法中相同类别的样本之间在特征空间中应当聚集在一起的这一基本法则,来挖掘节点在特征空间中的隐式关系。对于每个目标节点,找到与其距离最近的K个邻居,此目标节点与它的K个最近邻,构成一条超边。
A2、采用K-MEANS方法对KNN产生的超边进行修正。首先,将所有顶点直接分组到k个簇中,然后通过超边将同一簇中的所有顶点链接起来。对于目标顶点,计算其与各个簇中心质点的距离,选择与其最近的质心顶点所在的边为该顶点的超边。基于隐式关系的超边集其中p条超边由KNN生成,q条超边由k-means生成。
S4、定义隐式特征相关性系数,采用全局注意力机制,计算隐式超边中目标节点与邻居节点间的重要性,并与显式超边聚合生成关系聚合的超图结构;
eij表示在特征空间中节点j与节点i之间的相似性系数,其值越大,代表两个节点在特征空间中越接近。
B2、将基于隐式关系构建的隐式超边关联矩阵作为掩码注入到注意力机制当中,得到节点i与节点j的隐式特征相关性系数αij:
其中Zi表示目标节点在基于隐式关系构建的超边中的所有节点的集合。
B3、设定阈值β,若αij≥β,即存在与目标节点的隐式特征相似性系数大于阈值β,则将vj补充至E中,生成新的超边EA,构成关系聚合的超图结构GA=(V,EA,W),其中W为代表顶点属于不同超边的权重矩阵。当El={Φ}时,RAH退化为传统超图。
如图4为关系聚合超图的生成示意图。
S5、采用超图神经网络对生成的关系聚合超图结构进行嵌入表示;
S5.1、对关系聚合超图中的点边连接关系用加权关联矩阵进行表示,即节点与显式超边的链接情况用关联矩阵H表示,与隐式超边的链接情况用Hl表示,二者聚合并用αij对应填充,得到加权关联矩阵HA。
S5.2、超图神经网络的输入为关联矩阵HA和节点特征X,节点的嵌入表示更新公式为:
其中X(l)∈RF是节点在第l层的特征,σ为非线性激活函数。Dv表示顶点度的对角矩阵,顶点的度即与顶点相关联的超边个数。De表示超边度的对角矩阵,超边度即超边中顶点的个数,EA(l)为超边在l层的特征。
S6、将训练后的节点嵌入表示送入softmax分类器,根据固有标签对节点进行分类。
模型的最终输出是一个N×M的矩阵,即对应每个节点所属类别的概率。模型的损失函数选取NLLLoss(负对数似然损失)函数:
其中N为样本数量,M为样本类别,pmn为模型输出的第n个样本属于第m个类别的概率。
其中
当第m个样本的标签为n时yn=1否则yn=0。
采用了应用较为广泛的图数据集中Cora和20newsgroups数据集进行试验。数据集统计结果如表1所示。
表1数据集统计表
将本发明方法与其他模型进行比较,结果如表2所示:关系聚合的超图神经网络模型(RAHGNN)表现均优于对比模型。表明聚合了显式和隐式关系构建的超图,在不同节点特征维度的数据集上均能比普通图以及同质超图更好的捕捉高阶信息,因此也获得了更加准确的节点表示,验证了本发明方法的有效性。
表2结果对比
为更好地体现关系聚合的超图神经网络模型(RAHGNN)在节点分类中的性能表现,分别选取不同比例数据集在不同的模型上进行实验。以Cora数据集为例,除用固定的5.2%数据集进行训练外,重新随机抽取了一定比例的数据在Cora数据集上与其他模型进行了对比实验,实验结果如表3所示。随着训练样本数量的增加,分类精度稳定上升。在随机样本选取和按顺序选取样本分别进行实验时,分类结果都相对稳定,这说明本发明模型能够更好的捕捉网络中的高阶关系,提高节点分类的准确率。
表3:Cora数据集不同划分对比实验
为说明本发明中隐式超边和显式超边构建模块的作用,在Cora数据集和20news数据集上进行消融实验。即,将模型分为KNN构建隐式超边、K-means构建隐式超边、基于显式关系构建显式超边,基于全局注意力机制的关系聚合四个模块,在实验中分别对四个模块一一去除得到实验结果如表4所示。实验证明,去掉模型中的任何一个模块都将使模型精度降低。但是不同的超边构建方法在不同数据集上的表现结果并不相同。关系聚合超图的构造方法在不同的数据集上有较好的可扩展性,对于不同的数据分布形式,所提出方法均能取得较好的结果。
表4不同超边构建方法对节点分类精度的影响
综上所述,本发明能够解决传统超图建模方法中,特征单一信息提取不完整等问题。通过聚合显式和隐式关系构建关系聚合的超图结构并通过超图上的神经网络计算节点的嵌入表示,从而提高节点分类的精度。有效地补充基于单一信息表示的稀疏性,并更好地保持网络的全局结构。
Claims (7)
1.一种基于关系聚合超图的节点分类方法,其特征在于:包括以下步骤:
S1、根据高阶关系图数据的结构及节点特征定义显式和隐式关系;
S2、根据显式关系,构建显式超边;
S3、根据隐式关系,构建隐式超边;
S4、定义隐式特征相关性系数,采用全局注意力机制,计算隐式超边中目标节点与邻居节点间的重要性,并与显式超边聚合生成关系聚合的超图结构;
S5、采用超图神经网络对生成的关系聚合超图结构进行嵌入表示;
S6、将训练后的节点嵌入表示送入softmax分类器,根据固有标签进行节点分类。
2.根据权利要求1所述的一种基于关系聚合超图的节点分类方法,其特征在于:所述S1的具体操作如下:
显式关系定义:在传统超图G中,设有节点集V={v1,v2,…,vn},用A(V)={A1,A2,…,Am}表示节点的属性集合,则Ai(vj)就表示节点vj的第i个属性的值,如果Ai(vj)={vk|vk∈Aj(vj)},任取vj∈V,vk∈Ai(vj),则节点vj与vk的关系称为显示关系,记为Re;
隐式关系定义:在传统超图G中,设有节点集V={v1,v2,…,vn},用A(V)={A1,A2,…,Am}表示节点的属性集合,则Ai(vj)就表示节点vj的第i个属性的值,任取vj∈V,vk∈V,定义f(Ai(vj),Ai(vk))表示节点vj与vk的关系称为隐式关系,记为Ri,故节点间所有关系可表示为R={Ri}∪{Re}。
5.根据权利要求1所述的一种基于关系聚合超图的节点分类方法,其特征在于:所述S4的具体操作为:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211685347.5A CN115983341A (zh) | 2022-12-27 | 2022-12-27 | 一种基于关系聚合超图的节点分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211685347.5A CN115983341A (zh) | 2022-12-27 | 2022-12-27 | 一种基于关系聚合超图的节点分类方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115983341A true CN115983341A (zh) | 2023-04-18 |
Family
ID=85969585
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211685347.5A Pending CN115983341A (zh) | 2022-12-27 | 2022-12-27 | 一种基于关系聚合超图的节点分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115983341A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116845889A (zh) * | 2023-09-01 | 2023-10-03 | 东海实验室 | 一种基于层次化超图神经网络的电力负载预测方法 |
CN117392386A (zh) * | 2023-10-13 | 2024-01-12 | 浙江省测绘科学技术研究院 | 基于实例分割的超边掩码生成网络的分类训练方法及装置 |
-
2022
- 2022-12-27 CN CN202211685347.5A patent/CN115983341A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116845889A (zh) * | 2023-09-01 | 2023-10-03 | 东海实验室 | 一种基于层次化超图神经网络的电力负载预测方法 |
CN116845889B (zh) * | 2023-09-01 | 2023-12-22 | 东海实验室 | 一种基于层次化超图神经网络的电力负载预测方法 |
CN117392386A (zh) * | 2023-10-13 | 2024-01-12 | 浙江省测绘科学技术研究院 | 基于实例分割的超边掩码生成网络的分类训练方法及装置 |
CN117392386B (zh) * | 2023-10-13 | 2024-05-10 | 浙江省测绘科学技术研究院 | 基于实例分割的超边掩码生成网络的分类训练方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Tang et al. | Unified one-step multi-view spectral clustering | |
Yang et al. | Deep transfer learning for military object recognition under small training set condition | |
Trigeorgis et al. | A deep matrix factorization method for learning attribute representations | |
Zhuang et al. | Label information guided graph construction for semi-supervised learning | |
Jia et al. | Bagging-based spectral clustering ensemble selection | |
Chu et al. | Relational learning with gaussian processes | |
CN115983341A (zh) | 一种基于关系聚合超图的节点分类方法 | |
CN110263236B (zh) | 基于动态多视图学习模型的社交网络用户多标签分类方法 | |
CN102622609B (zh) | 一种基于支持向量机的三维模型自动分类方法 | |
Zhang et al. | Flexible auto-weighted local-coordinate concept factorization: A robust framework for unsupervised clustering | |
CN112016601A (zh) | 基于知识图谱增强小样本视觉分类的网络模型构建方法 | |
CN115293919B (zh) | 面向社交网络分布外泛化的图神经网络预测方法及*** | |
Tai et al. | Growing self-organizing map with cross insert for mixed-type data clustering | |
CN114299362A (zh) | 一种基于k-means聚类的小样本图像分类方法 | |
Ren et al. | Structured optimal graph-based clustering with flexible embedding | |
Zhang | Simultaneous optimization for robust correlation estimation in partially observed social network | |
CN113516019B (zh) | 高光谱图像解混方法、装置及电子设备 | |
CN112487305B (zh) | 一种基于gcn的动态社交用户对齐方法 | |
Gao et al. | Dimensionality reduction of SPD data based on Riemannian manifold tangent spaces and local affinity | |
CN106845538A (zh) | 一种基于选择性坐标下降优化的稀疏子空间聚类方法 | |
Alam et al. | Appley: Approximate shapley value for model explainability in linear time | |
Lian et al. | SORCNet: robust non-rigid shape correspondence with enhanced descriptors by Shared Optimized Res-CapsuleNet | |
Azimi et al. | Clustering ensembles using genetic algorithm | |
Yi et al. | Inner product regularized nonnegative self representation for image classification and clustering | |
Wang et al. | Conscience online learning: an efficient approach for robust kernel-based clustering |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |