CN115130663B - 基于图神经网络和注意力机制的异质网络属性补全方法 - Google Patents
基于图神经网络和注意力机制的异质网络属性补全方法 Download PDFInfo
- Publication number
- CN115130663B CN115130663B CN202211043710.3A CN202211043710A CN115130663B CN 115130663 B CN115130663 B CN 115130663B CN 202211043710 A CN202211043710 A CN 202211043710A CN 115130663 B CN115130663 B CN 115130663B
- Authority
- CN
- China
- Prior art keywords
- attribute
- node
- target node
- nodes
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000007246 mechanism Effects 0.000 title claims abstract description 28
- 238000012512 characterization method Methods 0.000 claims abstract description 56
- 230000006870 function Effects 0.000 claims abstract description 5
- 238000012795 verification Methods 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 28
- 238000004364 calculation method Methods 0.000 claims description 21
- 238000005295 random walk Methods 0.000 claims description 18
- 239000013598 vector Substances 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 8
- 230000004931 aggregating effect Effects 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 239000012633 leachable Substances 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 2
- 230000000295 complement effect Effects 0.000 abstract description 6
- 238000004458 analytical method Methods 0.000 abstract description 2
- 238000012545 processing Methods 0.000 abstract description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000007418 data mining Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Devices For Executing Special Programs (AREA)
Abstract
本发明公开了一种基于图神经网络和注意力机制的异质网络属性补全方法，属于数据处理技术领域。首先通过结合K‑Nearest Neighbor和属性之间的余弦相似度，从网络中捕获与目标节点（带有缺失属性的节点）相似的节点，将这些节点的属性自适应的转化为目标节点的特征域的网络表征；再基于图神经网络和transformer的注意力机制，对网络中的拓扑结构和节点的属性信息进行层次化的分析，进而在空间域获得目标节点的网络表征；最后结合空间域和特征域的网络表征基于欧氏距离的损失函数去进行模型参数学习进而对缺失属性补全。经过实际验证，本发明提供的属性补全方法具有高效、高精确度的特点。
Description
技术领域
本发明涉及一种基于图神经网络和注意力机制的异质网络属性补全方法，属于数据处理技术领域。
背景技术
网络在我们现实生活中无处不在，现实世界中大多数对象间的联系都可以表示为网络，例如，用户之间的好友关系可以被视为社交网络，论文之间的引用关系可以被视为引用网络，路段之间的连接关系可以被认为是一个交通网络。上述网络都是由相同类型的节点构成，因此它们也被称为同质网络。现实世界中更广泛存在的是异质网络，构成异质网络的节点是不同类型的，例如：购物网络由用户和商品组成，学术网络由作者、作者所在单位和论文构成。虽然这些网络中包含了海量的数据，但是网络中的缺失属性（比如：在购物网络中，一些用户不愿意上传自己的年龄信息；学术网络中，论文的关键词没有被作者填写完整。）也 给挖掘网络中蕴含的潜在价值带来了巨大的挑战。对网络中的缺失属性进行补全可以有效的提高对网络进行数据挖掘的效率，但是其中的方法也是比较复杂的，考虑的因素有很多，比如网络节点之间的连接关系，网络节点现有属性和缺失属性的关系。如何高效准确地将网络中的缺失数据进行补全也越来越受到学术界和工业界的重视。
在属性补全领域中，传统的属性补全方法通常是从网络中节点的连接关系和语义文本信息进行分析补全。但是上述方法并没有考虑整个网络的拓扑结构。近年来图神经网络方法在挖掘网络信息上显示出了较高的效率和准确性，如图卷积神经网络和图注意力网络在捕获网络拓扑结构和节点属性信息上显示出了卓越的性能。图神经网络的发展也给属性补全领域带来了新的可能性，比如基于图卷积神经网络结合属性补全和商品推荐进行联合学习的方法，用图神经网络所学习到的表征进行属性补全。这些方法在属性补全中取得了显著的成果，但是仍有提升的空间。
通过对现有的属性补全方法进行分析总结，已有的方法存在下面几个不足：1）异质网络中的网络表征不同于同质网络中所有节点的类型都是相同的，补全异构网络中的节点的缺失属性需要综合考虑同质节点信息和异质节点信息。这一问题一直困扰着许多网络表征模型。2）图神经网络不能高效地捕获网络中的高阶节点信息。GCN本质上是通过在半监督的框架下通过聚合目标节点的周围节点信息来生成表征。而属性补全问题中，目标节点的属性可能不止与其周围节点相关也可能与其高阶节点相关。如果只是通过堆叠GCN的层数诚然可以捕获的目标节点的高阶信息，但是随着GCN层数增加，网络中节点与节点的表征也会越来越相似，失去特异性，进而影响属性补全的准确性。
发明内容
为了更有效地解决的异质网络属性补全问题，本发明的目的是提出一种基于图神经网络和注意力机制的属性补全方法，以进一步提高属性补全的效率和准确性，为异质网络属性补全问题提供方法与技术上的支持。
为实现上述发明目的，本发采取的具体技术方案如下：
一种基于图神经网络和注意力机制的属性补全方法，包括如下步骤：
S1：获取带有缺失属性的异质属性网络，将带有缺失属性的节点称为目标节点，将属性完整的节点称为源节点；
S2：采用K近邻（k-nearest neighbor）算法选出与目标节点现有属性最相似的K个源节点来进行在特征空间的属性补全；
S3：在利用余弦相似性将与目标节点最相似的K个源节点筛选出之后，为每个源节点赋予一个可学习的参数来动态调节各个源节点的属性对于目标节点属性补全的权重，得到特征空间的赋予权重的属性表征；
S4：将与目标节点在异质属性网络中直接相连的节点与之聚合，得到结构空间的低阶表征；具体的聚合方式是通过简化图神经网络（Simplifying graph convolutionalnetworks）来实现；
S5：首先使用随机游走的方式获得目标节点的高阶节点；
S6：基于transformer给所述高阶节点序列中的节点赋予不同的权重，得到结构空间的赋予权重的高阶表征；
S7：将所述特征空间的赋予权重的属性表征、结构空间的低阶表征和结构空间的赋予权重的高阶表征进行拼接，然后将拼接表征送入到多层感知机中，将表征转化为目标节点的属性；
S8：采用监督学习的方式，首先将部分节点的部分属性人为的去除，然后通过重构预测来补全这些属性，通过补全的属性和真实属性之间的差距不断训练，最后利用训练完成的模型用来补全其他节点的属性缺失值。
进一步的，所述S1中，将带有缺失属性的异质网络定义为表示图中顶点的集合，/>表示图中边的集合，/>代表图中顶点的属性矩阵,/>为图中顶点的个数，/>为每个顶点特征的维度，/>是一个标记矩阵，当 />时，中对应的属性是缺失的；反之，/>中对应的属性是完整的。
进一步的，所述S2中，在异质网络中通常包含大量节点，利用所有源节点的属性来补全目标节点的缺失属性是低效且不切实际的；所以，首先采用K近邻选出与目标节点现有属性最相似的K个源节点来进行在特征空间的属性补全，这里使用余弦相似性（公式（1））来度量两个属性向量的相似性；
(1)
其中，表示两个节点的相似性，/>表示目标节点的现有属性，/>表示源节点中与目标节点现有属性相对应的属性，/>数值越大表示目标节点和源节点之间的相似性越高。
进一步的，所述S3中，在异质网络中可能存在多个因素影响源节点对目标节点的属性补全关系，例如：节点之间是否直接相连和相连接点边上的权重等。所述动态调节按照公式（2）进行：
（2）
其中，为目标节点特征空间的表征，/>是与目标节点/>的最相似的/>个源节点集合，/>为每个源节点对应的可学习的调整权重，/>为源节点的特征向量。
进一步的，所述S4中，在特征空间完成对目标节点的表征学习后，需要在结构空间对目标节点学习表征；实现的具体公式（3）所示：
（3）
其中，为简化图神经网络中第/>层的权重矩阵，/>是第/>层的输出，在简化图神经网络的第一层/>为邻接矩阵。
图神经网络本质上是通过聚合目标节点的邻居属性来捕获网络中的拓扑结构信息和节点的属性信息，但是随着图神经网络层数的堆叠，目标节点聚合的特征就会出现过平滑化的现象，也就是说目标节点通过聚合特征获得的表征会失去特异性和区分性。因此，在结构空间聚合目标节点的邻居节点使用的是简化图神经网络，并且只使用一层网络，在捕获拓扑结构和属性特征的同时保留目标节点表征的特异性。
进一步的，所述S5具体：为了捕获异质网络中目标节点的高阶信息，首先使用随机游走的方式获得目标节点的高阶节点，随机游走是结合了图中深度优先遍历和广度优先遍历的优点的一种遍历图中节点的方式，具体遍历方式如公式（4）所示：
（4）
其中表示节点/>到节点/>的边的权重;
对每个目标节点，把它作为根节点，并基于其进行随机游走，获取节点序列。因为直接相连的源节点在简化图神经网络中已经被使用，所以将这些节点在随机游走的节点序列中删除。
进一步的，所述S6中，随机游走产生的节点序列对目标节点的影响各不相同，所以基于transformer给节点序列中的节点赋予不同的权重。具体为：
S6-1：首先对目标节点和源节点序列的特征进行线性变化，然后基于此线性变换计算目标节点和每个序列中的节点的权重，为了计算的稳定性，将获得到的权重进行softmax归一化操作；
S6-2：然后，再次对源节点序列中的节点特征进行独立于权重计算的新的线性变换。
S6-3：最后，将权重赋予每个线性变换之后的源节点序列节点特征，将其累加起来获得目标节点高阶的节点表征;计算方法如公式（5）所示：
（5）
其中表示节点/>通过简化图神经网络所聚合的表征，/>表示节点/>的特征，/>，/>和/>表示参数可学习的投影参数矩阵，/>表示节点/>的高阶网络表征。
S6-4：在这基础上，将上述的注意力机制拓展到多头的注意力机制以捕获目标节点与高阶源节点之间的多重依赖关系。然后，将多重依赖关系送入到平均池化层获得最终的高阶网络表征，计算方法如公式（6）所示：
（6）
其中，表示节点/>在第/>次注意力机制中的获得的高阶网络表征，/>表示一共需要进行注意力机制计算的次数。
进一步的，所述S7中，所述拼接的具体计算方式如公式（7）所示：
(7)
其中表示向量拼接操作，/>为预测的目标节点/>的属性值。
进一步的，所述S8具体为：
S8-1：在获得到目标节点的预测属性之后，将其原有存在的属性保留，将预测的属性填入其缺失的属性完成属性补全的任务，填充方法如公式（8）所示：
（8）
其中，表示经过属性补全之后所有节点的预测属性，/>表示哈达玛积，/>为元素全为1的矩阵:
S8-2：基于欧氏距离的公式，来设置损失函数度量预测属性和真实属性之间的差距，具体计算方式如公式（9）所示：
（9）
其中表示目标节点集合，/>为节点/>真实的缺失属性数值，/>为节点预测的缺失属性数值。
本发明在进行异质网络属性补全时同时考虑了目标节点和源节点之间在属性空间的关联性和在结构空间的关联性，具体表现为：在属性空间使用了近邻算法寻找出与目标节点最相似的/>个源节点，然后自适应地赋予其对应的/>个权值进行相加，获得目标节点的属性空间表征。在结构空间，使用简化图神经网络来聚合目标节点的一阶邻居信息，获得目标节点的低阶表征；然后使用基于transformer和随机游走的多头注意力机制来捕获目标节点在结构空间的高阶邻居信息获得目标节点的高阶表征。最后，将这三个表征融合，在基于欧氏距离的损失函数的引导下对整体模型进行参数更新，最后补全目标节点的缺失属性。
本发明的优点和有益效果：
相比于传统的属性补全方法，本发明引入了网络表征学***滑问题。
经过实际验证，本发明提供的属性补全方法具有高效、高精确度的特点。
附图说明
图1是本发明的整体流程图。
图2是本发明的框架图。
图3是本发明中获得的节点之间的权重的拓扑结构图一。
图4是本发明中获得的节点之间的权重的拓扑结构图二。
图5是本发明基于注意力机制获得高阶节点表征的流程图。
具体实施方式
下面将结合附图1-5及与具体实施例对本发明做进一步说明。
实施例1：
一种基于图神经网络和注意力机制的属性补全方法，整体流程如图1所示。包括如下步骤：
S1：获取有缺失属性的异质属性网络，将带有缺失属性的节点称为目标节点，将属性完整的节点称为源节点；将带有缺失属性的异质属性网络定义为表示图中顶点的集合/> 表示图中边的集合，/>代表图中顶点的属性矩阵，n为图中顶点的个数，/>为每个顶点特征的维度，/>是一个标记矩阵，如果/>，则表示/>中对应的属性是缺失的；反之，则表示/>中对应的属性是完整的；
S2：采用K近邻（k-nearest neighbor）算法选出与目标节点现有属性最相似的K个源节点来进行在特征空间的属性补全；在异质网络中通常包含大量节点，利用所有源节点的属性来补全目标节点的缺失属性是低效且不切实际的；所以，首先采用K近邻选出与目标节点现有属性最相似的K个源节点来进行在特征空间的属性补全，这里使用余弦相似性（公式（1））来度量两个属性向量的相似性；
(1)
其中，表示两个节点的相似性，/>表示目标节点的现有属性，/>表示源节点中与目标节点现有属性相对应的属性，/>数值越大表示目标节点和源节点之间的相似性越高；
S3：在利用余弦相似性将与目标节点最相似的K个源节点筛选出之后，为每个源节点赋予一个可学习的参数来动态调节各个源节点的属性对于目标节点属性补全的权重，得到特征空间的赋予权重的属性表征；在异质网络中可能存在多个因素影响源节点对目标节点的属性补全关系，例如：节点之间是否直接相连和相连接点边上的权重等。所述动态调节按照公式（2）进行：
（2）
其中，为目标节点特征空间的表征，/>是与目标节点/>的最相似的/>个源节点集合，/>为每个源节点对应的可学习的调整权重，/>为源节点的特征向量；
S4：将与目标节点在异质属性网络中直接相连的节点与之聚合，得到结构空间的低阶表征；具体的聚合方式是通过简化图神经网络（Simplifying graph convolutionalnetworks）来实现；在特征空间完成对目标节点的表征学习后，需要在结构空间对目标节点学习表征；实现的具体公式（3）所示：
（3）
其中，为简化图神经网络中第/>层的权重矩阵，/>是第/>层的输出，在简化图神经网络的第一层/>为邻接矩阵；
S5：首先使用随机游走的方式获得目标节点的高阶节点；为了捕获异质网络中目标节点的高阶信息，首先使用随机游走的方式获得目标节点的高阶节点，随机游走是结合了图中深度优先遍历和广度优先遍历的优点的一种遍历图中节点的方式，具体遍历方式如公式（4）所示：
（4）
其中表示节点/>到节点/>的边的权重；
对每个目标节点，把它作为根节点，并基于其进行随机游走，获取节点序列。因为直接相连的源节点在简化图神经网络中已经被使用，所以将这些节点在随机游走的节点序列中删除；
S6：基于transformer给所述高阶节点序列中的节点赋予不同的权重，得到结构空间的赋予权重的高阶表征；具体为：
S6-1：首先对目标节点和源节点序列的特征进行线性变化，然后基于此线性变换计算目标节点和每个序列中的节点的权重，为了计算的稳定性，将获得到的权重进行softmax归一化操作；
S6-2：然后，再次对源节点序列中的节点特征进行独立于权重计算的新的线性变换。
S6-3：最后，将权重赋予每个线性变换之后的源节点序列节点特征，将其累加起来获得目标节点高阶的节点表征;计算方法如公式（5）所示：
（5）
其中表示节点/>通过简化图神经网络所聚合的表征，/>表示节点/>的特征，/>，/>和/>表示参数可学习的投影参数矩阵，/>表示节点/>的高阶网络表征。
S6-4：在这基础上，将上述的注意力机制拓展到多头的注意力机制以捕获目标节点与高阶源节点之间的多重依赖关系。然后，将多重依赖关系送入到平均池化层获得最终的高阶网络表征，计算方法如公式（6）所示：
（6）
其中，表示节点/>在第/>次注意力机制中的获得的高阶网络表征，/>表示一共需要进行注意力机制计算的次数；
S7：将所述特征空间的赋予权重的属性表征、结构空间的低阶表征和结构空间的赋予权重的高阶表征进行拼接，然后将拼接表征送入到多层感知机中，将表征转化为目标节点的属性；所述拼接的具体计算方式如公式（7）所示：
（7）
其中表示向量拼接操作，/>为预测的目标节点/>的属性值。
S8：采用监督学习的方式，首先将部分节点的部分属性人为的去除，然后通过重构预测来补全这些属性，通过补全的属性和真实属性之间的差距不断训练，最后利用训练完成的模型用来补全其他节点的属性缺失值；具体为：
S8-1：在获得到目标节点的预测属性之后，将其原有存在的属性保留，将预测的属性填入其缺失的属性完成属性补全的任务，填充方法如公式（8）所示：
（8）
其中，表示经过属性补全之后所有节点的预测属性，/>表示哈达玛积，/>为元素全为1的矩阵；
S8-2：基于欧氏距离的公式，来设置损失函数度量预测属性和真实属性之间的差距，具体计算方式如公式（9）所示：
（9）
其中表示目标节点集合，/>为节点/>真实的缺失属性数值，/>为节点预测的缺失属性数值。
实施例2：该实施例以实施例1为基本方法，进行模块设计。
一种基于图神经网络和注意力机制的属性补全***，由数据预处理模块、标记矩阵构建模块、特征空间表征学习模块、低阶邻居表征学习模块、高阶邻居表征学习模块、表征融合模块和属性推理模块组成，如图2所示，以下对各部分进行详细说明：
所述数据预处理模块：首先将原始数据集中的属性特征归一化，然后将数据划分训练集、测试集和验证集，随机去除其中节点的属性信息，把去掉的属性信息记录作为真值来引导模型进行学习。
所述标记矩阵构建模块：对数据集中的节点属性进行遍历，将节点的缺失属性值进行标记，进而构成属性标记矩阵。
所述特征空间表征学习模块：选取目标节点在结构空间中相似的节点，然后赋予这些节点权重，将这些节点的特征求和，获得目标节点的属性空间的表征。
所述低阶邻居表征学习模块：利用简化图神经网络，聚合目标节点一阶邻居节点的属性，如图3所示，获取目标节点的低阶邻居表征。
所述高阶邻居表征学习模块：通过随机游走和基于transformer的注意力机制聚合目标节点高阶邻居节点的属性，如图4、5所示，获取目标节点的高阶邻居表征。
所述表征融合模块：将目标节点的特征空间表征、低阶邻居节点表征和高阶邻居节点表征融合。
所述属性推理模块：将目标节点的融合表征通过多层感知机进行预测，获得目标节点的预测属性，通过标记矩阵，将预测到的属性填补到对应的缺失属性中。
实施例3：该实施例以上述方法和***为基础进行实例验证
为了验证本发明提出模型属性补全的准确性，在三个数据集：数据库***与程序逻辑网络（DataBase systems and Logic Programming,DBLP）、国际计算机学会网络（Association for Computing Machinery,ACM）和互联网电影数据库（Internet MovieDatabase,IMDb）上进行了实验，使用Heat Kernel和Correlation为评价指标，并与七个已有的模型进行比较。
七个已有模型分别为：矩阵补全（Matrix Completion，MC）、最大似然估计（Expectation Maximization，EM）、多层感知机（Multilayer Perceptron,MLP
）、支持向量回归（Support Vector Regression,SVR）、异构图注意力网络（heterogeneous graph attention networks，HGAT）、自适应图神经网络（Adaptive GraphConvolutional Network，AGCN）和通过属性补全方式的异构图神经网络（HeterogeneousGraph Neural Network via Attribute Completion，HGNN-AC）。
表1 对比实验结果
最终的实验结果如表1所示，其中AC-HEN是本发明所提供的方法。可以看到在三个真实数据集上，本发明提供的属性补全方法的Heat Kernel和Correlation都要显著高于其他的方法，这也就说明，本发明构建的模型优于其他现有的模型，属性补全的准确性较高。
以上计划方案，仅为本发明中的实施方法，但本发明的保护范围不限于此，所有熟悉该技术的人员在本发明所披露的技术范围以内，可理解想到的替换或者变换，都应该包含在本发明的保护范围之内，所以，本发明的保护范围应以权利要求书的保护范围为准。
Claims (9)
1.一种基于图神经网络和注意力机制的属性补全***，其特征在于，该***由数据预处理模块、标记矩阵构建模块、特征空间表征学习模块、低阶邻居表征学习模块、高阶邻居表征学习模块、表征融合模块和属性推理模块组成：所述数据预处理模块：首先将原始数据集中的属性特征归一化，所述数据集包括：数据库***与程序逻辑网络、国际计算机学会网络和互联网电影数据库；然后将数据划分训练集、测试集和验证集，随机去除其中节点的属性信息，把去掉的属性信息记录作为真值来引导模型进行学习；所述标记矩阵构建模块：对数据集中的节点属性进行遍历，将节点的缺失属性值进行标记，进而构成属性标记矩阵M；所述特征空间表征学习模块：选取目标节点在结构空间中相似的节点，然后赋予这些节点权重，将这些节点的特征求和，获得目标节点的属性空间的表征；所述低阶邻居表征学习模块：利用简化图神经网络，聚合目标节点一阶邻居节点的属性，获取目标节点的低阶邻居表征；所述高阶邻居表征学习模块：通过随机游走和基于transformer的注意力机制聚合目标节点高阶邻居节点的属性，获取目标节点的高阶邻居表征；所述表征融合模块：将目标节点的特征空间表征、低阶邻居节点表征和高阶邻居节点表征融合；所述属性推理模块：将目标节点的融合表征通过多层感知机进行预测，获得目标节点的预测属性，通过标记矩阵，将预测到的属性填补到对应的缺失属性中；基于所述图神经网络和注意力机制的属性补全***的补全方法，包括如下步骤：
S1：获取带有缺失属性的异质属性网络，将带有缺失属性的节点称为目标节点，将属性完整的节点称为源节点；
S2：采用K近邻算法选出与目标节点现有属性最相似的K个源节点来进行在特征空间的属性补全；
S3：在利用余弦相似性将与目标节点最相似的K个源节点筛选出之后，为每个源节点赋予一个学习的参数来动态调节各个源节点的属性对于目标节点属性补全的权重，得到特征空间的赋予权重的属性表征；
S4：将与目标节点在异质属性网络中直接相连的节点与之聚合，得到结构空间的低阶表征；具体的聚合方式是通过简化图神经网络来实现；
S5：首先使用随机游走的方式获得目标节点的高阶节点；
S6：基于transformer给所述高阶节点序列中的节点赋予不同的权重，得到结构空间的赋予权重的高阶表征；
S7：将所述特征空间的赋予权重的属性表征、结构空间的低阶表征和结构空间的赋予权重的高阶表征进行拼接，然后将拼接表征送入到多层感知机中，将表征转化为目标节点的属性；
S8：采用监督学习的方式，首先将部分节点的部分属性人为的去除，然后通过重构预测来补全这些属性，通过补全的属性和真实属性之间的差距不断训练，最后利用训练完成的模型用来补全其他节点的属性缺失。
2.如权利要求1所述的属性补全***，其特征在于，所述S1中，将带有缺失属性的异质网络定义为 表示图中顶点的集合，ε表示图中边的集合，/>代表图中顶点的属性矩阵，n为图中顶点的个数，m为每个顶点特征的维度，/>是一个标记矩阵，当/>时，/>中对应的属性是缺失的；反之，/>中对应的属性是完整的。
3.如权利要求1所述的属性补全***，其特征在于，所述S2中，首先采用K近邻选出与目标节点现有属性最相似的K个源节点来进行在特征空间的属性补全，使用余弦相似性来度量两个属性向量的相似性；
其中，Su，v表示两个节点的相似性，表示目标节点的现有属性，/>表示源节点中与目标节点现有属性相对应的属性，Su，v数值越大表示目标节点和源节点之间的相似性越高。
4.如权利要求1所述的属性补全***，其特征在于，所述S3中，所述动态调节按照公式(2)进行：
其中，为目标节点特征空间的表征，Nk(Vu)是与目标节点Vu的最相似的k个源节点集合，/>为每个源节点对应的可学习的调整权重，Xv为源节点的特征向量。
5.如权利要求1所述的属性补全***，其特征在于，所述S4中，在特征空间完成对目标节点的表征学习后，需要在结构空间对目标节点学习表征；实现的具体公式(3)所示：
H(l)＝A*H(l-1)*W(l) (3)
其中，W(l)为简化图神经网络中第l层的权重矩阵，H(l)是第l层的输出，在简化图神经网络的第一层A为邻接矩阵。
6.如权利要求1所述的属性补全***，其特征在于，所述S5具体：为了捕获异质网络中目标节点的高阶信息，首先使用随机游走的方式获得目标节点的高阶节点，随机游走是结合了深度优先遍历和广度优先遍历的优点的一种遍历图中节点的方式，具体遍历方式如公式(4)所示：
其中wvt表示节点vv到节点vt的边的权重。
7.如权利要求1所述的属性补全***，其特征在于，所述S6具体为：
S6-1：首先对目标节点和源节点序列的特征进行线性变化，然后基于此线性变换计算目标节点和每个序列中的节点的权重，为了计算的稳定性，将获得到的权重进行softmax归一化操作；
S6-2：然后，再次对源节点序列中的节点特征进行独立于权重计算的新的线性变换；
S6-3：最后，将权重赋予每个线性变换之后的源节点序列节点特征，将其累加起来获得目标节点高阶的节点表征；计算方法如公式(5)所示：
其中表示节点vu通过简化图神经网络所聚合的表征，/>表示节点vu的特征，/> 和/>表示参数可学习的投影参数矩阵，/>表示节点vu的高阶网络表征；
S6-4：将上述的注意力机制拓展到多头的注意力机制以捕获目标节点与高阶源节点之间的多重依赖关系；然后，将多重依赖关系送入到平均池化层获得最终的高阶网络表征，计算方法如公式(6)所示：
其中，表示节点vu在第i次注意力机制中的获得的高阶网络表征，#head表示一共需要进行注意力机制计算的次数。
8.如权利要求1所述的属性补全***，其特征在于，所述S7中，所述拼接的具体计算方式如公式(7)所示：
其中Concat(，，)表示向量拼接操作，为预测的目标节点vu的属性值。
9.如权利要求1所述的属性补全***，其特征在于，所述S8具体为：
S8-1：在获得到目标节点的预测属性之后，将其原有存在的属性保留，将预测的属性填入其缺失的属性完成属性补全的任务，填充方法如公式(8)所示：
其中，表示经过属性补全之后所有节点的预测属性，⊙表示哈达玛积，E为元素全为1的矩阵；
S8-2：基于欧氏距离的公式，来设置损失函数度量预测属性和真实属性之间的差距，具体计算方式如公式(9)所示：
其中vtarget表示目标节点集合，为节点vu真实的缺失属性数值，/>为节点vu预测的缺失属性数值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211043710.3A CN115130663B (zh) | 2022-08-30 | 2022-08-30 | 基于图神经网络和注意力机制的异质网络属性补全方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211043710.3A CN115130663B (zh) | 2022-08-30 | 2022-08-30 | 基于图神经网络和注意力机制的异质网络属性补全方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115130663A CN115130663A (zh) | 2022-09-30 |
| CN115130663B true CN115130663B (zh) | 2023-10-13 |
Family
ID=83388013
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211043710.3A Active CN115130663B (zh) | 2022-08-30 | 2022-08-30 | 基于图神经网络和注意力机制的异质网络属性补全方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115130663B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115759199B (zh) * | 2022-11-21 | 2023-09-26 | 山东大学 | 基于层次化图神经网络的多机器人环境探索方法及*** |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113094484A (zh) * | 2021-04-07 | 2021-07-09 | 西北工业大学 | 基于异质图神经网络的文本视觉问答实现方法 |
| WO2021179838A1 (zh) * | 2020-03-10 | 2021-09-16 | 支付宝(杭州)信息技术有限公司 | 一种基于异构图神经网络模型进行预测的方法和*** |
| WO2021179640A1 (zh) * | 2020-03-10 | 2021-09-16 | 深圳大学 | 一种基于图模型的短视频推荐方法、和智能终端和存储介质 |
| CN114692867A (zh) * | 2022-03-24 | 2022-07-01 | 大连理工大学 | 一种结合高阶结构和注意力机制的网络表示学习算法 |
| CN114723037A (zh) * | 2022-02-25 | 2022-07-08 | 上海理工大学 | 一种聚合高阶邻居节点的异构图神经网络计算方法 |
-
2022
- 2022-08-30 CN CN202211043710.3A patent/CN115130663B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021179838A1 (zh) * | 2020-03-10 | 2021-09-16 | 支付宝(杭州)信息技术有限公司 | 一种基于异构图神经网络模型进行预测的方法和*** |
| WO2021179640A1 (zh) * | 2020-03-10 | 2021-09-16 | 深圳大学 | 一种基于图模型的短视频推荐方法、和智能终端和存储介质 |
| CN113094484A (zh) * | 2021-04-07 | 2021-07-09 | 西北工业大学 | 基于异质图神经网络的文本视觉问答实现方法 |
| CN114723037A (zh) * | 2022-02-25 | 2022-07-08 | 上海理工大学 | 一种聚合高阶邻居节点的异构图神经网络计算方法 |
| CN114692867A (zh) * | 2022-03-24 | 2022-07-01 | 大连理工大学 | 一种结合高阶结构和注意力机制的网络表示学习算法 |
Non-Patent Citations (3)
| Title |
|---|
| "Self-training method based on GCN for semi-supervised short text classification";Hongyan Cui等;《Information Sciences》;全文 * |
| 基于注意力机制增强图卷积神经网络的个性化新闻推荐;杨宝生;;兰州文理学院学报(自然科学版)(第05期);全文 * |
| 网络表示学习算法综述;丁钰;魏浩;潘志松;刘鑫;;计算机科学(第09期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115130663A (zh) | 2022-09-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ou et al. | Asymmetric transitivity preserving graph embedding | |
| CN109389151B (zh) | 一种基于半监督嵌入表示模型的知识图谱处理方法和装置 | |
| CN113961759B (zh) | 基于属性图表示学习的异常检测方法 | |
| CN113255895B (zh) | 基于图神经网络表示学习的结构图对齐方法和多图联合数据挖掘方法 | |
| Liu et al. | Fast attributed multiplex heterogeneous network embedding | |
| CN110442802B (zh) | 一种社交用户的多行为偏好预测方法 | |
| CN115859793A (zh) | 基于注意力的异构信息网络用户异常行为检测方法及*** | |
| CN115130663B (zh) | 基于图神经网络和注意力机制的异质网络属性补全方法 | |
| CN116628597A (zh) | 一种基于关系路径注意力的异质图节点分类方法 | |
| Ma et al. | Class-imbalanced learning on graphs: A survey | |
| CN115699058A (zh) | 通过边缘搜索的特征交互 | |
| Du et al. | Image recommendation algorithm combined with deep neural network designed for social networks | |
| Zhang et al. | Graph alternate learning for robust graph neural networks in node classification | |
| CN117408336A (zh) | 一种结构与属性注意力机制的实体对齐方法 | |
| Wang et al. | Community discovery algorithm of complex network attention model | |
| CN116467466A (zh) | 基于知识图谱的编码推荐方法、装置、设备及介质 | |
| Pamir et al. | Electricity theft detection for energy optimization using deep learning models | |
| Zhou et al. | A structure distinguishable graph attention network for knowledge base completion | |
| CN114611668A (zh) | 一种基于异质信息网络随机游走的向量表示学习方法及*** | |
| Zhu et al. | Self-explainable graph neural networks for link prediction | |
| CN113159976A (zh) | 一种微博网络重要用户的识别方法 | |
| Ghadirian et al. | Hybrid adaptive modularized tri-factor non-negative matrix factorization for community detection in complex networks | |
| Miao et al. | A Renovated CNN‐Based Model Enhances KGC Task Performance | |
| Chen et al. | Content and structure based attention for graph node classification | |
| CN114298854B (zh) | 一种联合学习表示和对齐的弱监督用户身份链接方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |