CN114124729A - 一种基于元路径的动态异质网络表示方法 - Google Patents
一种基于元路径的动态异质网络表示方法 Download PDFInfo
- Publication number
- CN114124729A CN114124729A CN202111393567.6A CN202111393567A CN114124729A CN 114124729 A CN114124729 A CN 114124729A CN 202111393567 A CN202111393567 A CN 202111393567A CN 114124729 A CN114124729 A CN 114124729A
- Authority
- CN
- China
- Prior art keywords
- node
- time
- path
- meta
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 239000013598 vector Substances 0.000 claims abstract description 44
- 230000007246 mechanism Effects 0.000 claims abstract description 18
- 230000004931 aggregating effect Effects 0.000 claims abstract description 17
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 238000005070 sampling Methods 0.000 claims abstract description 7
- 238000005516 engineering process Methods 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 10
- 230000002123 temporal effect Effects 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000006116 polymerization reaction Methods 0.000 claims description 7
- 241000288105 Grus Species 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 4
- 230000002457 bidirectional effect Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000002474 experimental method Methods 0.000 claims description 2
- 230000000379 polymerizing effect Effects 0.000 claims description 2
- 238000012549 training Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 241001522296 Erithacus rubecula Species 0.000 description 2
- 239000013604 expression vector Substances 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明属于图网络表示学习领域,尤其涉及一种基于元路径的动态异质网络表示方法,包括构造动态异质网络,并根据时间加权元路径从网络中采样不同的时间加权元路径序列;将网络节点的向量进行预处理,通过GRU来聚合预处理后每条元路径的网络节点序列的信息;采用相对时间编码技术对节点序列的时间进行编码;采用Bi‑GRU方法获取节点序列的信息的深层次特征信息,将时间特征和结构特征进行聚合;使用带注意力机制的Bi‑GRU来交互不同时间下不同序列的特征信息,得到节点的最终表示;本发明能适应动态异质网络下节点学习任务以及网络的动态演化,下游任务可以对节点进行分类和聚类,能够有效提升了图网络节点的学习和表示能力。
Description
技术领域
本发明属于图网络表示学习领域,尤其涉及一种基于元路径的动态异质网络表示方法。
背景技术
网络数据通常是非结构化数据,直接使用机器学习模型来挖掘网络中的信息是很困难的。网络表示学习是将高维稀疏图数据映射到低维空间,同时保留网络中的结构信息,从而得到低维稠密的结构化向量表示。
目前,在静态网络表示学习和动态同质网络表示学习上的研究比较成熟,但是更加趋近于网络实际的动态异质网络研究处于起步阶段,对其进行探讨研究很有必要的。
网络表示学习是在保留网络结构和语义信息的同时,将网络中的节点表示成低维向量,以利于图挖掘的后续任务,例如链路预测、节点分类,聚类等。现有许多异质网络表示学习方法是为静态异质网络设计,忽略了网络空间信息(拓扑结构和属性)会随时间变化的特点,而只是简单地将不同时间对应的空间(结构)压缩在一起。由于网络是随时间不断变化的,前一秒没有关系的两个节点可能会在下一秒关联,而节点之间链接的建立显然会改变网络的拓扑结构(空间)。因此,只考虑静态的处理方式不符合实际网络的演化规律。而另一类动态同质网络表示学习方法并未考虑网络节点和链接的差异,如果将其直接应用于动态异质网络中,将不可避免地丢失一些语义信息。
发明内容
为了使下游任务可以对接节点分类、聚类、可视化等,有效提升动态异质图网络节点的学习和表示能力,本发明提出一种基于元路径的动态异质网络表示学习方法,构建DHNR模型对网络节点进行表示学习,DHNR模型中包括GRU和带注意力机制的Bi-GRU,DHNR模型获取节点表示向量的过程具体包括以下步骤:
S1:将网络节点建立链接的时间作为链接权重,保留在网络中,构造动态异质网络;
S2:根据时间加权元路径从网络中采样不同的时间加权元路径序列;
S3:对网络进行预处理,得到每个节点初始向量,将每条时间加权元路径序列及其向量进行输入,通过GRU来聚合每条元路径的网络节点序列的信息;
S4:采用相对时间编码技术作为时间编码器,对节点序列的时间进行编码;
S5:采用Bi-GRU方法获取节点序列的信息的深层次特征信息,将时间特征和结构特征进行聚合;
S6:使用带注意力机制的Bi-GRU来交互不同时间下不同序列的特征信息,得到节点的最终表示。
进一步的,动态异质网络表示为G=(V,E,T),其中V表示节点集合,E表示链接集合,T表示链接上时间集合,动态异质网络中节点和节点类型间的映射函数为A表示节点类型集合;链接和链接类型间的映射函数为ψ:E→R,R表示链接类型集合,动态异质网络中|A|+|R|>2,动态异质网络中的一条时间链接表示为(i,j,t)且(i,j,t)∈E,时间链接(i,j,t)表示t时刻节点i连接到节点j,|A|表示求节点类型集合中节点类型的数量,|R|表示求链接类型集合中链接类型的数量。
进一步的,根据时间加权元路径从网络中采样不同的时间加权元路径序列包括以下步骤:
构建时间加权路径,即对一个元路径在时间属性值的引导下得到该类型元路径对应的时间加权元路径;
进一步的,对网络节点的向量进行预处理包括:
为每种类型的节点设置一个变换矩阵,使得每种类型的节点通过变换矩阵投影到相同的特征空间中,所述的特征空间中包含所有类型的节点特征空间中的特征,则节点类型为φi的节点ni投影过程表示为:
进一步的,通过GRU来聚合每条元路径的网络节点序列的信息包括以下过程:
将节点的不同时间加权元路径信息进行聚合,形成一个初步的向量表示,则节点n0的聚合过程包括:
其中,为节点ni的投影特征;φ(ni)为节点ni的节点类型,ni为节点n0在时间加权元路径序列上的m+1-a跳邻居节点;为序列中目标节点的m+1跳邻居节点的隐藏状态;表示节点ni通过GRU输出的第a层隐藏状态,且0<a≤m1+,m为序列链接数量;Am+1为目标节点的m+1跳邻居类型;Am+1-a为m+1-a跳邻居类型;表示将第a-1层隐藏层输出的隐藏信息与输入GRU的节点ni的投影特征进行聚合。
其中,Az、Ar、Ah和Bz、Br、Bh是GRU的模型参数;zi、ri是GRU中的更新门和遗忘门,其取值范围都是[0,1];表示逐元素乘法;为对输入向量和前一时刻状态向量进行遗忘后的新状态;σ为激活函数;为经过一个GRU单元处理的最终状态。
进一步的,对节点序列的时间进行编码,即定义一组固定的正弦函数作为时间偏置对每个序列上的时间进行编码,编码过程包括:
进一步的,将时间特征和结构特征进行聚合包括:
其中,表示将时间特征和结构特征进行聚合后得到的特征;是节点的特征,当i为st时表示节点的时间特征,当i为RT(t)时表示节点的语义特征;Mean()表示求数组平均值的函数,对双向GRU隐藏状态求均值;表示双向GRU的表示形式。
进一步的,使用带注意力机制的Bi-GRU来交互不同时间下不同序列的特征信息包括以下步骤:
使用Bi-GRU来交互不同时间下的特征信息,以此来模拟网络的演化,即:
引用注意力机制来捕获重要的特征向量,其中节点ni注意力权重αi的计算公式如下:
利用计算得到的注意力值将节点n0的所有状态特征聚合为节点的最终向量表示:
其中,O={o1,o2,....,ok|T|}是Bi-GRU的状态向量序列集合,ok|T|表示第k×|T|个状态向量;Leak ReLU为激活函数,a∈R1×2d'为注意力参数,d为向量的表示维度,具体数值由实验决定。
进一步的,通过GRU获取序列的结构特征,再通过带注意力机制的Bi-GRU获取网络节点语义和时间特征,在网络的表示训练过程中,采用最小化所有标记节点的真实值和预测值的交叉熵作为损失函数,通过梯度下降算法优化模型,损失函数表示为:
本发明针对动态异质网络中包含的时间信息和不同节点和链接带来的丰富的语义信息,提出了一种动态异质网络表示学习的方法,该方法通过一种时间加权元路径对动态异质网络的耦合时空进行划分,并且捕获了网络的丰富语义信息。利用带有注意机制的双向门控循环单元很好地捕获了网络的时序信息。此方式能够生成动态异质网络节点的表示,下游任务可以对接节点分类,节点聚类等,有效提升动态异质网络节点的学习和表示能力。
附图说明
图1为本发明一种基于元路径的动态异质网络表示学习方法的流程示意图;
图2为本发明一种基于元路径的动态异质网络表示学习方法的一种实施方式;
图3为本发明一种基于元路径的动态异质网络表示学习方法的模型框架图;
图4为中GRU聚合示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明提出一种基于元路径的动态异质网络表示方法,构建DHNR模型对网络节点进行表示学习,DHNR模型中包括GRU和带注意力机制的Bi-GRU,DHNR模型获取节点表示向量的过程具体包括以下步骤:
S1:将网络节点建立链接的时间作为链接权重,保留在网络中,构造动态异质网络;
S2:根据时间加权元路径从网络中采样不同的时间加权元路径序列;
S3:对输入的序列,将网络节点的向量进行预处理,得到一个初始化向量,通过GRU来聚合每条元路径的网络节点序列的信息;
S4:采用相对时间编码技术作为时间编码器,对节点序列的时间进行编码;
S5:采用Bi-GRU方法获取节点序列的信息的深层次特征信息,将时间特征和结构特征进行聚合;
S6:使用带注意力机制的Bi-GRU来交互不同时间下不同序列的特征信息,得到节点的最终表示。
本发明提出了DHNR模型,先将节点的邻域结构按照时间划分出不同的子空间结构,并为每个节点采样出所有时间加权元路径的序列,再通过门控循环单元(GRU)将节点的全部时间加权元路径序列上的邻域信息进行集成,最后利用带注意力机制的双向门控循环单元(Bi-GRU)对融合后的节点序列进行时空上下文信息学习,获得每个节点的最终表示向量。本实施例中,如图1、图2和图3所示,根据时间将每个节点的结构邻域划分为不同时间下的加权元路径序列;通过门控循环单元(GRU)聚合每个时间加权元路径序列中的邻居信息;使用带注意力机制的双向门控循环单元(Bi-GRU)进行过滤筛选。
构造动态异质网络过程中,将节点建立链接的时间作为链接权重,保留在网络中,动态异质网络表示为G=(V,E,T),其中V表示节点集合,E表示链接集合,T表示链接上时间集合。
网络中节点和节点类型间的映射函数为链接和链接类型间的映射函数为ψ:E→R,其中A和R表示节点类型和链接类型,动态异质网络中|A|+|R|>2,每条时间链接(i,j,t)∈E表示t时刻节点i连接到节点j。
对于给定一个节点类型为的节点,在时间加权元路径的引导下,得到节点n0在时间属性值为t0的一条时间加权元路径序列;利用多条不同类型的元路径P1,P2,...,Pk,并对每条元路径设置|T|种不同的时间属性值,来构造不同类型的时间加权元路径,最终为每个节点获取到时间加权的元路径序列集合
将每个节点的不同时间加权元路径信息分别进行聚合,形成一个初步的向量表示。如图4,对于n0的时间加权元路径序列中所有邻居信息及其自身信息聚合起来,GRU聚合模块在时间加权元路径序列上的基本递归过程如下:
采用相对时间编码技术作为时间编码器,对节点序列的时间进行编码时,定义了一组固定的正弦函数作为时间偏置对每个序列上的时间进行编码:
将时间特征和结构语义聚合到前述节点特征向量中,即:
使用带注意力机制的Bi-GRU来交互不同时间下不同序列的特征信息,得到节点的最终表示,具体包括以下步骤:
S61:使用Bi-GRU来交互不同时间下的特征信息,以此来模拟网络的演化:
其中{o1,o2,....,ok|T|}是Bi-GRU的状态向量序列集合;
S62:引用注意力机制来捕获重要的特征向量,其中注意力权重αi的计算公式如下:
其中αi越高,oi则越重要。LeakReLU为激活函数,a∈R1×2d’为注意力参数;
S63:利用计算得到的注意力值将节点n0的所有状态特征聚合为节点的最终向量表示:
其中u0∈Rd’是节点n0的最终向量表示;
S64:采用了最小化所有标记节点的真实值和预测值的交叉熵作为损失函数:
其中C是分类器参数,yl是节点标签的索引集。Yl和ul是节点标签值和节点特征向量预测标签值。通过梯度下降算法,优化模型。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
Claims (10)
1.一种基于元路径的动态异质网络表示方法,其特征在于,构建DHNR模型对网络节点进行表示学习,DHNR模型中包括GRU和带注意力机制的Bi-GRU,DHNR模型获取节点表示向量的过程具体包括以下步骤:
S1:将网络节点建立链接的时间作为链接权重,保留在网络中,构造动态异质网络;
S2:根据时间加权元路径从网络中采样不同的时间加权元路径序列;
S3:对网络进行预处理,得到每个节点初始向量,将每条时间加权元路径序列及其向量进行输入,通过GRU来聚合每条元路径的网络节点序列的信息;
S4:采用相对时间编码技术作为时间编码器,对节点序列的时间进行编码;
S5:采用Bi-GRU方法获取节点序列的信息的深层次特征信息,将时间特征和结构特征进行聚合;
S6:使用带注意力机制的Bi-GRU来交互不同时间下不同序列的特征信息,得到节点的最终表示。
5.根据权利要求1所述的一种基于元路径的动态异质网络表示方法,其特征在于,通过GRU来聚合每条元路径的网络节点序列的信息包括以下过程:
将节点的不同时间加权元路径信息进行聚合,形成一个初步的向量表示,则节点n0的聚合过程包括:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111393567.6A CN114124729A (zh) | 2021-11-23 | 2021-11-23 | 一种基于元路径的动态异质网络表示方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111393567.6A CN114124729A (zh) | 2021-11-23 | 2021-11-23 | 一种基于元路径的动态异质网络表示方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114124729A true CN114124729A (zh) | 2022-03-01 |
Family
ID=80439929
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111393567.6A Pending CN114124729A (zh) | 2021-11-23 | 2021-11-23 | 一种基于元路径的动态异质网络表示方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114124729A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117131938A (zh) * | 2023-10-26 | 2023-11-28 | 合肥工业大学 | 基于图深度学习的动态隐性关系挖掘方法和*** |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110555050A (zh) * | 2018-03-30 | 2019-12-10 | 华东师范大学 | 一种基于元路径的异构网络节点表示学习方法 |
WO2020199524A1 (zh) * | 2019-04-02 | 2020-10-08 | 长安大学 | 一种基于网络表示学习的网约共享出行人员匹配方法 |
CN113191482A (zh) * | 2021-04-19 | 2021-07-30 | 安徽农业大学 | 一种基于元路径的异质图神经网络表示方法 |
-
2021
- 2021-11-23 CN CN202111393567.6A patent/CN114124729A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110555050A (zh) * | 2018-03-30 | 2019-12-10 | 华东师范大学 | 一种基于元路径的异构网络节点表示学习方法 |
WO2020199524A1 (zh) * | 2019-04-02 | 2020-10-08 | 长安大学 | 一种基于网络表示学习的网约共享出行人员匹配方法 |
CN113191482A (zh) * | 2021-04-19 | 2021-07-30 | 安徽农业大学 | 一种基于元路径的异质图神经网络表示方法 |
Non-Patent Citations (1)
Title |
---|
袁铭: "基于变分推断和元路径分解的异质网络表示方法", 《上海交通大学学报》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117131938A (zh) * | 2023-10-26 | 2023-11-28 | 合肥工业大学 | 基于图深度学习的动态隐性关系挖掘方法和*** |
CN117131938B (zh) * | 2023-10-26 | 2024-01-19 | 合肥工业大学 | 基于图深度学习的动态隐性关系挖掘方法和*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110245655B (zh) | 一种基于轻量级图像金字塔网络的单阶段物体检测方法 | |
Tan et al. | RelativeNAS: Relative neural architecture search via slow-fast learning | |
CN110851654A (zh) | 基于张量化数据降维的工业设备故障检测分类方法 | |
CN108549692A (zh) | Spark框架下的稀疏多元逻辑回归模型对文本情感分类的方法 | |
CN113628201A (zh) | 基于深度学习的病理切片分析方法、电子设备及可读存储介质 | |
CN113688253B (zh) | 一种层次感知的时态知识图谱表示学习方法 | |
CN113554100B (zh) | 异构图注意力网络增强的Web服务分类方法 | |
CN112784929A (zh) | 一种基于双元组扩充的小样本图像分类方法及装置 | |
Yang et al. | Mutualnet: Adaptive convnet via mutual learning from different model configurations | |
CN114124729A (zh) | 一种基于元路径的动态异质网络表示方法 | |
Le et al. | GCRINT: network traffic imputation using graph convolutional recurrent neural network | |
CN115983341A (zh) | 一种基于关系聚合超图的节点分类方法 | |
CN116894096A (zh) | 一种基于递归双超图神经网络的新闻事件预测方法 | |
CN116306780B (zh) | 一种动态图链接生成方法 | |
CN114841778B (zh) | 一种基于动态图神经网络的商品推荐方法 | |
CN116467466A (zh) | 基于知识图谱的编码推荐方法、装置、设备及介质 | |
CN110020379B (zh) | 一种基于深度动态网络嵌入表示模型的链路预测方法 | |
CN113537613B (zh) | 一种模体感知的时态网络预测方法 | |
CN115664970A (zh) | 基于双曲空间的网络异常点检测方法 | |
US20210334623A1 (en) | Natural graph convolutions | |
CN114792384A (zh) | 融合高阶结构嵌入与复合池化的图分类方法及*** | |
Manoju et al. | Conductivity based agglomerative spectral clustering for community detection | |
CN114254214A (zh) | 一种基于时空层次化网络的交通预测方法及*** | |
Ko et al. | Deep model compression and inference speedup of sum–product networks on tensor trains | |
Chen et al. | Image Recognition Based on Convolution Neural Network with Small Data Set |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |