CN112925953B - 一种动态网络表示方法及*** - Google Patents
一种动态网络表示方法及*** Download PDFInfo
- Publication number
- CN112925953B CN112925953B CN202110256274.7A CN202110256274A CN112925953B CN 112925953 B CN112925953 B CN 112925953B CN 202110256274 A CN202110256274 A CN 202110256274A CN 112925953 B CN112925953 B CN 112925953B
- Authority
- CN
- China
- Prior art keywords
- sequence
- representation
- node
- edge
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 239000013598 vector Substances 0.000 claims abstract description 152
- 239000011159 matrix material Substances 0.000 claims abstract description 58
- 230000007246 mechanism Effects 0.000 claims abstract description 22
- 238000004891 communication Methods 0.000 claims abstract description 17
- 238000013507 mapping Methods 0.000 claims description 78
- 230000004927 fusion Effects 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000005295 random walk Methods 0.000 claims description 10
- 238000012935 Averaging Methods 0.000 claims description 7
- 238000011478 gradient descent method Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000007418 data mining Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9024—Graphs; Linked lists
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/90335—Query processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Computational Linguistics (AREA)
- Algebra (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种动态网络表示方法及***。该方法包括：生成通信网络的节点序列；构建多个独立的隐空间，以节点位置信息作为约束，采用自注意力机制对节点序列进行节点序列关系学习，得到融合节点之间多重潜在关系信息的第一节点表示序列；将第一节点表示序列转换为边表示序列，以时间戳信息作为约束，采用自注意力机制对边表示序列进行边序列关系学习，得到融合边之间多重潜在关系信息的第一边表示序列；由第一边表示序列确定序列向量表示，计算交叉熵损失，并将交叉熵损失停止下降时对应的节点表示矩阵确定为通信网络的最优节点表示。本发明能准确挖掘网络结构的演化特征，从而提高链接预测、节点分类等下游任务服务的准确性。
Description
技术领域
本发明涉及网络数据挖掘领域，特别是涉及一种动态网络表示方法及***。
背景技术
随着互联网的兴起，基于各种网络(例如社交网络、通信网络、合作网络等)的数据挖掘任务变得越来越重要，动态网络是一种十分重要的用于表示网络的工具。各种网络的网络数据通常是复杂难处理的，且其网络结构实时变化，因此，如何从历史的网络结构中挖掘动态的演变特征、学习节点的低维向量表示是十分必要的。
在现实生活中，许多网络是动态的，其会随着时间的发展发生结构上的变化。动态网络表示方法通过捕获网络的动态变化，大大提高学习到的节点表示向量的表示能力，从而更好地为下游任务服务。网络表示学习，又称为网络嵌入、图嵌入，它旨在将网络中的节点表示成低维、实值、稠密的向量形式，使得得到的向量形式可以在向量空间中具有表示以及推理的能力，同时可轻松方便的作为机器学习模型的输入，进而可将得到的向量表示运用到网络中常见的应用中。网络表示学习是挖掘网络结构的动态演变特征、学习节点的低维向量表示的有效方法。
早期的动态网络表示方法根据连续的截止时间点将网络分为多个静态网络(即snapshot)，通过学***滑的正则项。这类方法往往忽略了snapshot中的动态性，例如在某个snapshot中，节点对之间先产生连接后断开连接，反应到snapshot中的信息是节点之间没有产生连接，显然这两种信息对节点表示的学习差异是巨大的。
为了解决基于snapshot方法的动态信息大量丢失问题，基于序列学习的动态网络表示方法被提出。这类方法将动态网络转换为按时间排列的节点序列，并通过不同的序列学习方法学习节点表示。CTDNE通过时域随机游走产生节点序列。但是CTDNE使用Skip-Gram模型来学习序列，丢失了节点序列中蕴含的顺序信息。由于Skip-Gram模型只关心中心节点和上下文节点的共现概率，并不关心节点出现的顺序。HTNE通过将节点在序列中的位置信息集成到学习过程中来保留节点之间的顺序信息，从而改进了CTDNE。现有的基于序列学习的动态网络表示方法只在序列生成阶段考虑了时间，但是在后续的序列学习模型中缺乏对时间信息甚至节点位置信息的学习，而且学习的节点关系是单一的，并没有考虑序列中的节点关系的多样性。因此，现有的基于序列学习的动态网络表示方法，并不能准确挖掘网络结构的演化特征，从而链接预测、节点分类等下游任务服务的准确性也会受到影响。
发明内容
基于此，有必要提供一种动态网络表示方法及***，以准确挖掘网络结构的演化特征，从而提高链接预测、节点分类等下游任务服务的准确性。
为实现上述目的，本发明提供了如下方案：
一种动态网络表示方法，包括：
生成网络的节点序列；
构建多个独立的隐空间，以节点位置信息作为约束，采用自注意力机制对所述节点序列进行节点序列关系学习，得到融合节点之间多重潜在关系信息的第一节点表示序列；
将所述第一节点表示序列转换为边表示序列，以时间戳信息作为约束，采用自注意力机制对所述边表示序列进行边序列关系学习，得到融合边之间多重潜在关系信息的第一边表示序列；
由所述第一边表示序列确定序列向量表示，计算所有的所述序列向量表示中正样本的序列表示和负样本的序列表示之间的交叉熵损失，并将所述交叉熵损失停止下降时对应的节点表示矩阵确定为所述网络的最优节点表示。
可选的，所述生成网络的节点序列，具体包括：
采用时域随机游走的方式生成网络的节点序列。
可选的，所述构建多个独立的隐空间，以节点位置信息作为约束，采用自注意力机制对所述节点序列进行节点序列关系学习，得到融合节点之间多重潜在关系信息的第一节点表示序列，具体包括：
随机初始化生成节点表示矩阵和位置表示矩阵；
由所述节点序列确定节点位置信息；
根据所述节点序列、所述节点位置信息、所述节点表示矩阵和所述位置表示矩阵确定融合节点位置信息的第二节点表示序列；
构建多个独立的隐空间；
对于各所述隐空间，采用三个全连接层分别对所述第二节点表示序列映射得到节点的映射向量；所述映射向量包括查询向量、关键词向量和值向量；
基于所述节点的映射向量得到融合节点之间多重潜在关系信息的第一节点表示序列。
可选的，所述将所述第一节点表示序列转换为边表示序列，以时间戳信息作为约束，采用自注意力机制对所述边表示序列进行边序列关系学习，得到融合边之间多重潜在关系信息的第一边表示序列，具体包括：
计算所述第一节点表示序列中相邻两个节点的向量的平均值，得到边表示序列；
由所述时间戳信息构建时间戳序列；
将所述边表示序列和所述时间戳序列连接，得到融合时间信息的第二边表示序列；
对于各所述隐空间，采用三个全连接层分别对所述第二边表示序列映射得到边的映射向量；
基于所述边的映射向量得到融合边之间多重潜在关系信息的第一边表示序列。
可选的，所述由所述第一边表示序列确定序列向量表示，计算所有的所述序列向量表示中正样本的序列表示和负样本的序列表示之间的交叉熵损失，并将所述交叉熵损失停止下降时对应的节点表示矩阵确定为所述网络的最优节点表示，具体包括：
对所述第一边表示序列求平均值，得到序列向量表示；
对于所有的节点序列对应的序列向量表示，计算正样本的序列表示和负样本的序列表示之间的交叉熵损失；所述的交叉熵损失为
其中，loss表示交叉熵损失，N表示节点序列的总数量，i表示第i个节点序列，yi表示第i个节点序列是正样本还是负样本，δi表示将第i个节点序列的向量映射到一维得到的一维向量；
根据所述交叉熵损失，采用梯度下降法更新学习参数，并当所述交叉熵损失停止下降时停止迭代，并将所述交叉熵损失停止下降时对应的节点表示矩阵确定为所述网络的最优节点表示；所述学习参数包括所述节点表示矩阵、所述位置表示矩阵、所述节点的映射向量中的权重、所述节点的映射向量中的偏差、所述边的映射向量中的权重和所述边的映射向量中的偏差。
本发明还提供了一种动态网络表示***，包括：
节点序列生成模块，用于生成网络的节点序列；
第一序列关系学习模块，用于构建多个独立的隐空间，以节点位置信息作为约束，采用自注意力机制对所述节点序列进行节点序列关系学习，得到融合节点之间多重潜在关系信息的第一节点表示序列；
第二序列关系学习模块，用于将所述第一节点表示序列转换为边表示序列，以时间戳信息作为约束，采用自注意力机制对所述边表示序列进行边序列关系学习，得到融合边之间多重潜在关系信息的第一边表示序列；
最优节点表示确定模块，用于由所述第一边表示序列确定序列向量表示，计算所有的所述序列向量表示中正样本的序列表示和负样本的序列表示之间的交叉熵损失，并将所述交叉熵损失停止下降时对应的节点表示矩阵确定为所述网络的最优节点表示。
可选的，所述节点序列生成模块，具体包括：
节点序列生成单元，用于采用时域随机游走的方式生成网络的节点序列。
可选的，所述第一序列关系学习模块，具体包括：
初始化单元，用于随机初始化生成节点表示矩阵和位置表示矩阵；
位置信息确定单元，用于由所述节点序列确定节点位置信息；
第一融合单元，用于根据所述节点序列、所述节点位置信息、所述节点表示矩阵和所述位置表示矩阵确定融合节点位置信息的第二节点表示序列；
隐空间构建单元，用于构建多个独立的隐空间；
节点映射单元，用于对于各所述隐空间，采用三个全连接层分别对所述第二节点表示序列映射得到节点的映射向量；所述映射向量包括查询向量、关键词向量和值向量；
第二融合单元，用于基于所述节点的映射向量得到融合节点之间多重潜在关系信息的第一节点表示序列。
可选的，所述第二序列关系学习模块，具体包括：
边表示序列计算单元，用于计算所述第一节点表示序列中相邻两个节点的向量的平均值，得到边表示序列；
时间戳序列构建单元，用于由所述时间戳信息构建时间戳序列；
第三融合单元，用于将所述边表示序列和所述时间戳序列连接，得到融合时间信息的第二边表示序列；
边映射单元，用于对于各所述隐空间，采用三个全连接层分别对所述第二边表示序列映射得到边的映射向量；
第四融合单元，用于基于所述边的映射向量得到融合边之间多重潜在关系信息的第一边表示序列。
可选的，所述最优节点表示确定模块，具体包括：
序列向量表示计算单元，用于对所述第一边表示序列求平均值，得到序列向量表示；
损失计算单元，用于对于所有的节点序列对应的序列向量表示，计算正样本的序列表示和负样本的序列表示之间的交叉熵损失；所述的交叉熵损失为
其中，loss表示交叉熵损失，N表示节点序列的总数量，i表示第i个节点序列，yi表示第i个节点序列是正样本还是负样本，δi表示将第i个节点序列的向量映射到一维得到的一维向量；
迭代更新单元，用于根据所述交叉熵损失，采用梯度下降法更新学习参数，并当所述交叉熵损失停止下降时停止迭代，并将所述交叉熵损失停止下降时对应的节点表示矩阵确定为所述网络的最优节点表示；所述学习参数包括所述节点表示矩阵、所述位置表示矩阵、所述节点的映射向量中的权重、所述节点的映射向量中的偏差、所述边的映射向量中的权重和所述边的映射向量中的偏差。
与现有技术相比，本发明的有益效果是：
本发明提出了一种动态网络表示方法及***，通过学习节点序列的位置信息和边序列的时间戳信息，使得学习的节点表示具有位置合理性和时间合理性，能准确挖掘网络结构的演化特征，提高了链接预测、节点分类等下游任务服务的准确性；在节点序列学习和边序列学习中，在多个独立的隐空间中使用自注意力机制挖掘序列相关性，极大地提高了挖掘序列潜在多样关系的能力；相较于基于RNN的序列学习方法，基于自注意力机制的计算不依赖上一时刻的输出，因此，可以进行并行化计算，时间效率更高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的动态网络表示方法的流程图；
图2为本发明实施例提供的动态网络表示方法的具体实现过程图；
图3为本发明实施例提供的通信网络中不同序列学习方法的比对示意图；
图4为本发明实施例提供的动态网络表示***的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明采用表示输入的动态网络，即通信网络。V＝(v0,v1,…,v|V|)是动态网络所有节点的集合，其中|V|代表节点数量。E是动态网络所有边的集合。/>是一个映射函数，维护每一条边和其对应的时间属性t的映射关系。动态网络表示旨在为网络中的每一个节点学习一个维度为D的向量表示，其中D＜＜|V|。
图1为本发明实施例提供的动态网络表示方法的流程图。
参见图1，本实施例的动态网络表示方法，包括：
步骤101：生成网络的节点序列。具体的，采用时域随机游走的方式生成网络的节点序列。所述网络可以为社交网络、通信网络或合作网络等。
采用时域随机游走的方式生成网络的节点序列，具体实现方式为：
时域随机游走是一种改进的随机游走方式，它在时域邻居中进行有时间有偏的游走。假设从上个节点Vla游走到当前节点Vcu，其中e＝<vla,vcu>∈E，f(e)＝t。Vcu在时刻t的时域邻居为：
Γt(vcu)＝{vne|<vcu,vne>∈E∧f(<vcu,vne>)>t}。
基于时间有偏的概率选择下一跳节点vne∈Γt(vcu)。时间有偏的概率定义为：
其中是vla与vne之间的最短路径的距离，p是返回参数，q是进出参数，Pt(vla,vcu,vne,t)是时间转移概率，其定义如下：
在最大长度Kmax的限制下，随机选取两个相连的节点作为初始的Vla和Vcu，根据上述定义选取下一跳节点Vne。其后Vcu变Vla，Vne变Vcu，以此类推继续游走，按照游走顺序将遍历到的节点添加到节点序列中去。多次游走之后得到多个节点序列，作为后面节点序列学习的输入。
步骤102：构建多个独立的隐空间，以节点位置信息作为约束，采用自注意力机制对所述节点序列进行节点序列关系学习，得到融合节点之间多重潜在关系信息的第一节点表示序列。
所述步骤102，是在节点序列学习在节点位置信息的约束下，学习节点之间的序列关系。假设输入序列的长度为Ls，用表示。该步骤具体包括：
1)为了将节点的位置信息纳入到学习过程，为离散的位置变量维护一个可学习的表示矩阵。首先随机初始化生成节点表示矩阵HV和位置表示矩阵HP，其中HV∈R|V|*D，
2)由所述节点序列确定节点位置信息。S的位置信息可以表示为P＝[0,1,…,Ls-1]。
3)根据所述节点序列、所述节点位置信息、所述节点表示矩阵和所述位置表示矩阵确定融合节点位置信息的第二节点表示序列。
具体的，将S和P分别输入节点表示矩阵和位置表示矩阵，得到节点表示序列SV和位置表示序列SP：
SV＝LookUp(HV,S)，
SP＝LookUp(HP,P)，
其中LookUp是一个通过下标从矩阵中查找向量的函数。为了联合学习关系信息和位置信息，将SV和SP连接起来：
其中S'V是融合了节点位置信息的节点表示序列，即第二节点表示序列。
4)为了学习节点之间的多重潜在关系，在m个独立的隐空间中使用自注意力机制。具体为：
构建多个独立的隐空间。对于各所述隐空间，采用三个全连接层分别对所述第二节点表示序列映射得到节点的映射向量；所述映射向量包括查询向量、关键词向量和值向量。基于所述节点的映射向量得到融合节点之间多重潜在关系信息的第一节点表示序列。
例如，在第i(0≤i<m)个隐空间中，通过三个全连接层将S'V分别映射为查询向量Qi，关键词向量Ki和值向量Vi，其中，Qi＝S'v*WQi+bQi，Ki＝S'v*WKi+bKi，Vi＝S'v*WVi+bVi。利用公式计算得到序列中任意两个节点表示之间的关系权重weight，D表示为网络中的每一个节点学***均得到，因此/>融合了节点之间的多重潜在关系信息，即第一节点表示序列。算法实现过程如下：
步骤103：将所述第一节点表示序列转换为边表示序列，以时间戳信息作为约束，采用自注意力机制对所述边表示序列进行边序列关系学习，得到融合边之间多重潜在关系信息的第一边表示序列。
所述步骤103，是在边序列学习在时间信息的约束下，学习边之间的序列关系。具体包括：
1)节点序列中连接两个相邻节点的边的向量表示可以通过对这两个节点的向量表示取平均值得到。因此，计算所述第一节点表示序列中相邻两个节点的向量的平均值，得到边表示序列，这样，第一节点表示序列转为边表示序列/>
2)由所述时间戳信息构建时间戳序列。时间戳是一个实数，为了包含边上的时间戳信息，时间戳序列被转为/>
ST＝T*wt，
其中wt∈R2D是一个0均值的高斯向量。
3)为了将时间戳作为边序列关系学习的约束，将所述边表示序列SE和所述时间戳序列ST连接，得到融合时间信息的第二边表示序列
其中
4)为了学习边之间的多重序列关系，在m个独立的隐空间中使用自注意力机制。对于各所述隐空间，采用三个全连接层分别对所述第二边表示序列映射得到边的映射向量；基于所述边的映射向量得到融合边之间多重潜在关系信息的第一边表示序列。
例如，在第i(0≤i<m)个隐空间中，通过三个全连接层将S'E分别映射为查询向量Q1i，关键词向量K1i和值向量V1i，其中，Q1i＝S'E*W1Qi+b1Qi，K1i＝S'E*W1Ki+b1Ki，V1i＝S'E*W1Vi+b1Vi。利用公式计算得到序列中任意两个节点表示之间的关系权重weight1，W1Qi和b1Qi表示边的查询向量的权重和偏置，W1Ki和b1Ki表示边的关键词向量的权重和偏置，W1Vi和b1Vi表示边的值向量的权重和偏置。利用这个权重融合序列中其他节点表示得到 最后的/>由m个/>求平均得到，因此/>融合了边之间的多重潜在关系信息，即第一边表示序列。算法实现过程如下：
步骤104：由所述第一边表示序列确定序列向量表示，计算所有的所述序列向量表示中正样本的序列表示和负样本的序列表示之间的交叉熵损失，并将所述交叉熵损失停止下降时对应的节点表示矩阵确定为所述网络的最优节点表示。
所述步骤104，具体包括：
1)序列表示效果评估。
①对所述第一边表示序列求平均值，得到序列向量表示。
②对于所有的节点序列对应的序列向量表示，计算正样本的序列表示和负样本的序列表示之间的交叉熵损失。正样本的序列表示和负样本的序列表示应在向量空间中尽可能地分离。正负样本在向量空间越分离，构成序列的节点表示效果越好。为了衡量序列在向量空间中的位置，利用全连接层将第i个序列的高维向量表示映射到一维变量δi∈[0,1]，表示在一维空间中的位置。正样本的δi值应接近1，负样本的δi值应接近0。交叉熵损失被用来度量分离程度，所述的交叉熵损失的计算公式为
其中，loss表示交叉熵损失，N表示节点序列的总数量，i表示第i个节点序列，yi表示第i个节点序列是正样本还是负样本，δi表示将第i个节点序列的向量映射到一维得到的一维向量。
2)节点表示优化
根据所述交叉熵损失，采用梯度下降法更新学习参数，并当所述交叉熵损失停止下降时停止迭代，并将所述交叉熵损失停止下降时对应的节点表示矩阵确定为所述网络的最优节点表示；所述学习参数包括所述节点表示矩阵、所述位置表示矩阵、所述节点的映射向量中的权重、所述节点的映射向量中的偏差、所述边的映射向量中的权重和所述边的映射向量中的偏差。
在实际应用中，在序列表示性能度量之后，利用梯度下降法Adam算法优化模型的学习参数θ，学习参数θ包括两个表示矩阵HV和HP，权重W*和偏差b*，权重W1*和偏差b1*。为了防止模型过拟合，采用了早停技术。如果交叉熵损失停止下降，模型将等待几个轮次。如果在等待轮次之后损失还没有继续下降，则优化停止，认为节点表示无法进一步优化。
本实施例的动态网络表示方法的具体实现过程如图2所示。
下面对本实施例的动态网络表示方法的优势进行说明。
比如在通信网络中，如图3所示，每个节点就是一个人，M如果在时刻t给N打电话，那么在通信网络中，M和N之间产生一条边，边的时间属性就是t。从这个网络中游走出一条长度为3的序列，包含Allen、Carl和Ben。
针对这条序列，已有的序列学习方法学习的信息不同，比如CTDNE使用的Skip-Gram模型只学习了人与人之间的关系信息(Correlation)，即：Allen和Carl、Ben有过电话上的往来，说明Allen是同时认识Carl和Ben的，如图3中的A部分所示。而HTNE在关系信息的基础上进一步学习了每个人在序列上的位置信息(Correlation+Position)，即：Carl先给Allen打的电话，然后Allen再给Ben打的电话，如图3中的B部分所示。而本实施例的方法进一步将边上的时间信息纳入到学习中去(Correlation+Position+Timestamp)，即：Carl在2019.1给Allen打的电话，然后Allen在2020.9给Ben打的电话，如图3中的C部分所示。因此，本实施例对序列中的信息学习的更加全面，包含了关系信息、位置信息和时间信息。关系的多样性学习基于这样一种考虑，两个人之间的电话交流可能是职场沟通，也有可能是私下朋友间的沟通，甚至其他类型的关系，而已有的方法基本只考虑了单关系的学习，本实施例的方法通过多个隐空间的假设增加了对多关系的学习。
本发明还提供了一种动态网络表示***，参见图4，本实施例的动态网络表示***，包括：
节点序列生成模块201，用于生成网络的节点序列。
第一序列关系学习模块202，用于构建多个独立的隐空间，以节点位置信息作为约束，采用自注意力机制对所述节点序列进行节点序列关系学习，得到融合节点之间多重潜在关系信息的第一节点表示序列。
第二序列关系学习模块203，用于将所述第一节点表示序列转换为边表示序列，以时间戳信息作为约束，采用自注意力机制对所述边表示序列进行边序列关系学习，得到融合边之间多重潜在关系信息的第一边表示序列。
最优节点表示确定模块204，用于由所述第一边表示序列确定序列向量表示，计算所有的所述序列向量表示中正样本的序列表示和负样本的序列表示之间的交叉熵损失，并将所述交叉熵损失停止下降时对应的节点表示矩阵确定为所述网络的最优节点表示。
作为一种可选的实施方式，所述节点序列生成模块201，具体包括：
节点序列生成单元，用于采用时域随机游走的方式生成网络的节点序列。
作为一种可选的实施方式，所述第一序列关系学习模块202，具体包括：
初始化单元，用于随机初始化生成节点表示矩阵和位置表示矩阵。
位置信息确定单元，用于由所述节点序列确定节点位置信息。
第一融合单元，用于根据所述节点序列、所述节点位置信息、所述节点表示矩阵和所述位置表示矩阵确定融合节点位置信息的第二节点表示序列。
隐空间构建单元，用于构建多个独立的隐空间。
节点映射单元，用于对于各所述隐空间，采用三个全连接层分别对所述第二节点表示序列映射得到节点的映射向量；所述映射向量包括查询向量、关键词向量和值向量。
第二融合单元，用于基于所述节点的映射向量得到融合节点之间多重潜在关系信息的第一节点表示序列。
作为一种可选的实施方式，所述第二序列关系学习模块203，具体包括：
边表示序列计算单元，用于计算所述第一节点表示序列中相邻两个节点的向量的平均值，得到边表示序列。
时间戳序列构建单元，用于由所述时间戳信息构建时间戳序列。
第三融合单元，用于将所述边表示序列和所述时间戳序列连接，得到融合时间信息的第二边表示序列。
边映射单元，用于对于各所述隐空间，采用三个全连接层分别对所述第二边表示序列映射得到边的映射向量。
第四融合单元，用于基于所述边的映射向量得到融合边之间多重潜在关系信息的第一边表示序列。
作为一种可选的实施方式，所述最优节点表示确定模块204，具体包括：
序列向量表示计算单元，用于对所述第一边表示序列求平均值，得到序列向量表示。
损失计算单元，用于对于所有的节点序列对应的序列向量表示，计算正样本的序列表示和负样本的序列表示之间的交叉熵损失；所述的交叉熵损失为
其中，loss表示交叉熵损失，N表示节点序列的总数量，i表示第i个节点序列，yi表示第i个节点序列是正样本还是负样本，δi表示将第i个节点序列的向量映射到一维得到的一维向量。
迭代更新单元，用于根据所述交叉熵损失，采用梯度下降法更新学习参数，并当所述交叉熵损失停止下降时停止迭代，并将所述交叉熵损失停止下降时对应的节点表示矩阵确定为所述网络的最优节点表示；所述学习参数包括所述节点表示矩阵、所述位置表示矩阵、所述节点的映射向量中的权重、所述节点的映射向量中的偏差、所述边的映射向量中的权重和所述边的映射向量中的偏差。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的***而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种动态网络表示方法，其特征在于，包括：
生成网络的节点序列；所述网络为通信网络；每个节点就是所述通信网络中的一个人，所述通信网络中的M如果在时刻t给N打电话，那么M和N之间产生一条边；
构建多个独立的隐空间，以节点位置信息作为约束，采用自注意力机制对所述节点序列进行节点序列关系学习，得到融合节点之间多重潜在关系信息的第一节点表示序列；
将所述第一节点表示序列转换为边表示序列，以时间戳信息作为约束，采用自注意力机制对所述边表示序列进行边序列关系学习，得到融合边之间多重潜在关系信息的第一边表示序列；
由所述第一边表示序列确定序列向量表示，计算所有的所述序列向量表示中正样本的序列表示和负样本的序列表示之间的交叉熵损失，并将所述交叉熵损失停止下降时对应的节点表示矩阵确定为所述网络的最优节点表示。
2.根据权利要求1所述的一种动态网络表示方法，其特征在于，所述生成网络的节点序列，具体包括：
采用时域随机游走的方式生成网络的节点序列。
3.根据权利要求1所述的一种动态网络表示方法，其特征在于，所述构建多个独立的隐空间，以节点位置信息作为约束，采用自注意力机制对所述节点序列进行节点序列关系学习，得到融合节点之间多重潜在关系信息的第一节点表示序列，具体包括：
随机初始化生成节点表示矩阵和位置表示矩阵；
由所述节点序列确定节点位置信息；
根据所述节点序列、所述节点位置信息、所述节点表示矩阵和所述位置表示矩阵确定融合节点位置信息的第二节点表示序列；
构建多个独立的隐空间；
对于各所述隐空间，采用三个全连接层分别对所述第二节点表示序列映射得到节点的映射向量；所述映射向量包括查询向量、关键词向量和值向量；
基于所述节点的映射向量得到融合节点之间多重潜在关系信息的第一节点表示序列。
4.根据权利要求3所述的一种动态网络表示方法，其特征在于，所述将所述第一节点表示序列转换为边表示序列，以时间戳信息作为约束，采用自注意力机制对所述边表示序列进行边序列关系学习，得到融合边之间多重潜在关系信息的第一边表示序列，具体包括：
计算所述第一节点表示序列中相邻两个节点的向量的平均值，得到边表示序列；
由所述时间戳信息构建时间戳序列；
将所述边表示序列和所述时间戳序列连接，得到融合时间信息的第二边表示序列；
对于各所述隐空间，采用三个全连接层分别对所述第二边表示序列映射得到边的映射向量；
基于所述边的映射向量得到融合边之间多重潜在关系信息的第一边表示序列。
5.根据权利要求4所述的一种动态网络表示方法，其特征在于，所述由所述第一边表示序列确定序列向量表示，计算所有的所述序列向量表示中正样本的序列表示和负样本的序列表示之间的交叉熵损失，并将所述交叉熵损失停止下降时对应的节点表示矩阵确定为所述网络的最优节点表示，具体包括：
对所述第一边表示序列求平均值，得到序列向量表示；
对于所有的节点序列对应的序列向量表示，计算正样本的序列表示和负样本的序列表示之间的交叉熵损失；所述的交叉熵损失为
其中，loss表示交叉熵损失，N表示节点序列的总数量，i表示第i个节点序列，yi表示第i个节点序列是正样本还是负样本，δi表示将第i个节点序列的向量映射到一维得到的一维向量；
根据所述交叉熵损失，采用梯度下降法更新学习参数，并当所述交叉熵损失停止下降时停止迭代，并将所述交叉熵损失停止下降时对应的节点表示矩阵确定为所述网络的最优节点表示；所述学习参数包括所述节点表示矩阵、所述位置表示矩阵、所述节点的映射向量中的权重、所述节点的映射向量中的偏差、所述边的映射向量中的权重和所述边的映射向量中的偏差。
6.一种动态网络表示***，其特征在于，包括：
节点序列生成模块，用于生成网络的节点序列；所述网络为通信网络；每个节点就是所述通信网络中的一个人，所述通信网络中的M如果在时刻t给N打电话，那么M和N之间产生一条边；
第一序列关系学习模块，用于构建多个独立的隐空间，以节点位置信息作为约束，采用自注意力机制对所述节点序列进行节点序列关系学习，得到融合节点之间多重潜在关系信息的第一节点表示序列；
第二序列关系学习模块，用于将所述第一节点表示序列转换为边表示序列，以时间戳信息作为约束，采用自注意力机制对所述边表示序列进行边序列关系学习，得到融合边之间多重潜在关系信息的第一边表示序列；
最优节点表示确定模块，用于由所述第一边表示序列确定序列向量表示，计算所有的所述序列向量表示中正样本的序列表示和负样本的序列表示之间的交叉熵损失，并将所述交叉熵损失停止下降时对应的节点表示矩阵确定为所述网络的最优节点表示。
7.根据权利要求6所述的一种动态网络表示***，其特征在于，所述节点序列生成模块，具体包括：
节点序列生成单元，用于采用时域随机游走的方式生成网络的节点序列。
8.根据权利要求6所述的一种动态网络表示***，其特征在于，所述第一序列关系学习模块，具体包括：
初始化单元，用于随机初始化生成节点表示矩阵和位置表示矩阵；
位置信息确定单元，用于由所述节点序列确定节点位置信息；
第一融合单元，用于根据所述节点序列、所述节点位置信息、所述节点表示矩阵和所述位置表示矩阵确定融合节点位置信息的第二节点表示序列；
隐空间构建单元，用于构建多个独立的隐空间；
节点映射单元，用于对于各所述隐空间，采用三个全连接层分别对所述第二节点表示序列映射得到节点的映射向量；所述映射向量包括查询向量、关键词向量和值向量；
第二融合单元，用于基于所述节点的映射向量得到融合节点之间多重潜在关系信息的第一节点表示序列。
9.根据权利要求8所述的一种动态网络表示***，其特征在于，所述第二序列关系学习模块，具体包括：
边表示序列计算单元，用于计算所述第一节点表示序列中相邻两个节点的向量的平均值，得到边表示序列；
时间戳序列构建单元，用于由所述时间戳信息构建时间戳序列；
第三融合单元，用于将所述边表示序列和所述时间戳序列连接，得到融合时间信息的第二边表示序列；
边映射单元，用于对于各所述隐空间，采用三个全连接层分别对所述第二边表示序列映射得到边的映射向量；
第四融合单元，用于基于所述边的映射向量得到融合边之间多重潜在关系信息的第一边表示序列。
10.根据权利要求9所述的一种动态网络表示***，其特征在于，所述最优节点表示确定模块，具体包括：
序列向量表示计算单元，用于对所述第一边表示序列求平均值，得到序列向量表示；
损失计算单元，用于对于所有的节点序列对应的序列向量表示，计算正样本的序列表示和负样本的序列表示之间的交叉熵损失；所述的交叉熵损失为
其中，loss表示交叉熵损失，N表示节点序列的总数量，i表示第i个节点序列，yi表示第i个节点序列是正样本还是负样本，δi表示将第i个节点序列的向量映射到一维得到的一维向量；
迭代更新单元，用于根据所述交叉熵损失，采用梯度下降法更新学习参数，并当所述交叉熵损失停止下降时停止迭代，并将所述交叉熵损失停止下降时对应的节点表示矩阵确定为所述网络的最优节点表示；所述学习参数包括所述节点表示矩阵、所述位置表示矩阵、所述节点的映射向量中的权重、所述节点的映射向量中的偏差、所述边的映射向量中的权重和所述边的映射向量中的偏差。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110256274.7A CN112925953B (zh) | 2021-03-09 | 2021-03-09 | 一种动态网络表示方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110256274.7A CN112925953B (zh) | 2021-03-09 | 2021-03-09 | 一种动态网络表示方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112925953A CN112925953A (zh) | 2021-06-08 |
| CN112925953B true CN112925953B (zh) | 2024-02-20 |
Family
ID=76172181
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110256274.7A Active CN112925953B (zh) | 2021-03-09 | 2021-03-09 | 一种动态网络表示方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112925953B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110334219A (zh) * | 2019-07-12 | 2019-10-15 | 电子科技大学 | 基于注意力机制融入文本语义特征的知识图谱表示学习方法 |
| CN110414665A (zh) * | 2019-05-21 | 2019-11-05 | 浙江工业大学 | 一种基于深度神经网络的网络表示学习方法 |
| CN111159425A (zh) * | 2019-12-30 | 2020-05-15 | 浙江大学 | 一种基于历史关系和双图卷积网络的时态知识图谱表示方法 |
| CN111275562A (zh) * | 2020-01-17 | 2020-06-12 | 福州大学 | 基于递归卷积神经网络和自编码器的动态社区发现方法 |
-
2021
- 2021-03-09 CN CN202110256274.7A patent/CN112925953B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110414665A (zh) * | 2019-05-21 | 2019-11-05 | 浙江工业大学 | 一种基于深度神经网络的网络表示学习方法 |
| CN110334219A (zh) * | 2019-07-12 | 2019-10-15 | 电子科技大学 | 基于注意力机制融入文本语义特征的知识图谱表示学习方法 |
| CN111159425A (zh) * | 2019-12-30 | 2020-05-15 | 浙江大学 | 一种基于历史关系和双图卷积网络的时态知识图谱表示方法 |
| CN111275562A (zh) * | 2020-01-17 | 2020-06-12 | 福州大学 | 基于递归卷积神经网络和自编码器的动态社区发现方法 |
Non-Patent Citations (2)
| Title |
|---|
| Attributed Heterogeneous Network Embedding for Link Prediction;Tingting Wang等;17th Pacific Rim Knowledge Acquisition Workshop, PKAW 2020;20210220;全文 * |
| Attributed Network Embedding for Learning in a Dynamic Environment;Jundong Li等;CIKM’17;20171130;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112925953A (zh) | 2021-06-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111159425B (zh) | 基于历史关系和双图卷积网络的时态知识图谱表示方法 | |
| CN111625361A (zh) | 一种基于云端服务器和IoT设备协同的联合学习框架 | |
| Zhang et al. | A short-term traffic forecasting model based on echo state network optimized by improved fruit fly optimization algorithm | |
| CN112418482A (zh) | 一种基于时间序列聚类的云计算能耗预测方法 | |
| CN112184391A (zh) | 一种推荐模型的训练方法、介质、电子设备和推荐模型 | |
| Rusek et al. | Message-passing neural networks learn little’s law | |
| CN114265986B (zh) | 一种融合知识图谱结构与路径语义的信息推送方法和*** | |
| Liao et al. | Accurate sub-swarms particle swarm optimization algorithm for service composition | |
| CN113191530B (zh) | 一种具有隐私保护的区块链节点可靠性预测方法及*** | |
| CN110263236A (zh) | 基于动态多视图学习模型的社交网络用户多标签分类方法 | |
| CN113487018A (zh) | 一种基于会话推荐的全局上下文增强图神经网络方法 | |
| CN116431914A (zh) | 一种基于个性化偏好转移模型的跨域推荐方法及*** | |
| CN116166875A (zh) | 基于元路径增强的异质图神经网络的双向跨域推荐方法 | |
| CN115470994A (zh) | 基于显式时间和级联注意力的信息流行度预测方法和*** | |
| CN114372680A (zh) | 一种基于工人流失预测的空间众包任务分配方法 | |
| CN112288154B (zh) | 一种基于改进神经协同过滤的区块链服务可靠性预测方法 | |
| CN112925953B (zh) | 一种动态网络表示方法及*** | |
| CN117556133A (zh) | 一种基于图神经网络的神经时间门时序增强会话推荐方法 | |
| Wang | A neural network method of density estimation for univariate unimodal data | |
| Danesh et al. | Predicting trust in a social network based on structural similarities using a multi-layered perceptron neural network | |
| CN112882914A (zh) | 开源软件生态***健康性的多维度度量*** | |
| Xi et al. | Intuitionistic fuzzy petri nets model based on back propagation algorithm for information services | |
| Jeon et al. | Scalable private p2p network for distributed and hierarchical machine learning in vanets | |
| CN117274616B (zh) | 一种多特征融合深度学习服务QoS预测***及预测方法 | |
| Cui et al. | Large-scale network decomposition and mathematical programming based web service composition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |