CN114826921B - 基于抽样子图的网络资源动态分配方法、***及介质 - Google Patents
基于抽样子图的网络资源动态分配方法、***及介质 Download PDFInfo
- Publication number
- CN114826921B CN114826921B CN202210479810.4A CN202210479810A CN114826921B CN 114826921 B CN114826921 B CN 114826921B CN 202210479810 A CN202210479810 A CN 202210479810A CN 114826921 B CN114826921 B CN 114826921B
- Authority
- CN
- China
- Prior art keywords
- node
- network
- nodes
- sampling
- graph data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- 238000005070 sampling Methods 0.000 title claims abstract description 65
- 238000013468 resource allocation Methods 0.000 title claims abstract description 21
- 239000013598 vector Substances 0.000 claims abstract description 36
- 238000012545 processing Methods 0.000 claims abstract description 24
- 210000002569 neuron Anatomy 0.000 claims abstract description 19
- 238000005295 random walk Methods 0.000 claims abstract description 10
- 230000008569 process Effects 0.000 claims description 31
- 238000000605 extraction Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0893—Assignment of logical groups to network elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/142—Network analysis or design using statistical or mathematical methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Algebra (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Pure & Applied Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于抽样子图的网络资源动态分配方法、***及介质,包括对当前的网际网络和网络节点进行建模以得到图数据;确定图数据的最终特征向量;将最终特征向量输入抽样子图模型中进行处理,并计算隐层神经元被开启的概率分布,然后根据概率分布继续采样,并对显层神经元进行采样,从而更新网络的权重和偏置,并根据图数据的结构相似度来判断是否继续更新,若当前网络和上一次网络的结构相似度超过预设阈值时,则停止更新网络的权重和偏置;构建多层带权重的网络,并进行随机游走以得到满足预设条件的目标上下文,进而根据目标上下文中各个节点的状态自动分配网络资源。本发明不仅能够在小型网络中使用,更能在超大规模网络上进行网络资源分配。
Description
技术领域
本发明涉网络资源分配领域,特别涉及一种基于抽样子图的网络资源动态分配方法、***及介质。
背景技术
网络信息资源是指以数字化形式记录的,以多媒体形式表达的,存储在网络计算机磁介质、光介质以及各类通信介质上的,并通过计算机网络通信方式进行传递的信息内容的集合,比如各种形式的与教育相关的知识、资料、情报、消息、馆藏电子文献、数据库、数字化文献信息、数字化书目信息、电子报刊等以电子数据的形式将文字、图像、声音、动画等多种形式的信息存放在光盘等非印刷型的载体中并通过网络通信、计算机或终端方式再现出来的信息资源,即网络信息资源是指通过计算机网络利用的各种信息资源的总和。
传统的图卷积神经网络只能处理欧氏空间数据,如图像、文本、语音等,这些领域的数据具有平移不变性,平移不变性是指以任意像素点为中心,可以获取相同尺寸的局部结构。平移不变性使得在输入数据空间定义全局共享的卷积核,从而定义卷积网络。而图数据是一种非欧空间数据,其每个节点的局部结构各异,使得平移不变性不再满足,即图数据不具有平移不变性,故传统卷积神经网络中的基本算子(卷积和池化)都无法在图数据上实现应用的功能。
目前的大部分图神经网络模型主要集中在解决相对较小的图上浅层模型,如GraphSAGE、VRGCN、PinSage、ASGCN、FastGCN、ClusterGCN等。GraphSAGE、VRGCN、PinSage需要限制邻居采样数量到很小的水平,FastGCN和ASGCN在规模化、精度和计算复杂度方面还面临挑战;ClusterGCN通过先对图进行聚类,然后在小图上进行图神经网络训练的方式,这虽然加速了训练过程,不会遇到“邻居***”问题,但引入了偏差。
因此,现在需要一种能够解决上述问题的基于抽样子图的网络资源动态分配方法、***及介质。
发明内容
本发明的目的是提供一种可以高效处理超大规模网络的资源分配问题的基于抽样子图的网络资源动态分配方法、***及介质,利用图嵌入方法来动态捕获现实网络中的资源变化情况,并以此为基础实现对网络资源的自动化分配。
为达到上述目的,本发明采用的技术方案如下:
一种基于抽样子图的网络资源动态分配方法,所述动态分配方法用于动态分配网络资源,所述动态分配方法包括以下步骤:
S1、对当前的网际网络和网络节点进行建模以得到图数据;所述图数据包括边集合和节点集合,所述边集合与所述网际网络相关,所述节点集合与所述网络节点相关;
S2、确定所述图数据的最终特征向量,其过程包括使用Graph2vec模型来获得原始的特征表示,并对处理后的节点进行合并聚类,然后采样子图;所述采样子图的过程包括随机选择图数据中的任意一个节点,并将该节点作为当前节点,对所述当前节点的邻接节点进行采样,从而将所述采样的结果与所述合并聚类的结果共同作为所述子图;
S3、将步骤S2确定的所述最终特征向量输入抽样子图模型中进行处理,并计算隐层神经元被开启的概率分布,然后根据所述概率分布继续采样,并对显层神经元进行采样,从而更新网络的权重和偏置,并根据所述图数据的结构相似度来判断是否继续更新,若当前网络和上一次网络的结构相似度超过预设阈值时,则停止更新网络的权重和偏置,否则继续更新;
S4、根据步骤S3中最终更新得到的网络的权重和相应的结构相似度以及步骤S2确定的所述图数据的最终特征向量来构建多层带权重的网络,并进行随机游走以得到满足预设条件的目标上下文,进而根据所述目标上下文中各个节点的状态自动分配网络资源,然后对分配后的网际网络和网络节点继续执行步骤S1至S4;所述节点的状态根据网络资源的紧缺程度设置。
进一步地,步骤S2还包括:在所述采样子图前,利用独热编码的方式对节点进行处理,并基于所述处理的结果进行合并聚类;和/或,
所述合并聚类的方式包括将相同类别的节点归为一个超节点,从而生成一个向量。
进一步地,所述节点间的结构相似度通过下式计算确定:
式中,g(i,j)为节点i和j的结构相似度,g(i-1,j)为节点i-1和节点j的结构相似度,d(i,j)为节点i和节点j之间的距离,g(i-1,j-1)为节点i-1和节点j-1的结构相似度,g(i,j-1)为节点i和节点j-1的结构相似度,min是指以所有值的最小值作为输出。
进一步地,步骤S4中构建的网络的每一层均包括一个带权重的完全图,所述完全图中的任意两个节点均存在相连的边,每条边的权重值根据以下公式确定:
wk(u,v)=e-f(u,v)
式中,wk(u,v)为节点u和节点v的权重值,e为自然底数,f(u,v)为节点u和节点v之间的结构距离。
进一步地,步骤S4中构建的网络中层与层之间的权重值根据以下公式确定:
式中,w(v,t)为第v层和第t层之间的权重值,log是求对数操作,e为自然底数,表示第k层中所有指向节点u的边中权重大于该层平均权重的数量。
进一步地,步骤S4中还包括:在构建的网络中依照下式从当前节点游走至其他节点的概率根据下式确定:
式中,p(i,j)为从当前节点i游走至其他节点j的概率,e为自然底数,f(i,j)为当前节点i和其他节点j间的结构距离,Tu为归一化因子。
进一步地,步骤S4中的预设条件包括游走时间、重复次数、当前网络和上一次网络的结构相似度比较结果中的一种或多种。
进一步地,步骤S2还包括:在所述采样子图前,将采集到的节点序列输入至Skipgram模型进行处理以得到最终的特征提取向量的方法,其过程包括在反向传播时更新隐藏层的部分权重,且根据与所述权重相关的节点出现概率判断是否更新所述权重,并继续对部分节点进行采样,且控制所述节点被采样的概率;
所述权重被更新的概率根据下式确定:
式中,Z(i)vi为节点vi出现概率,Z(it)为节点vt的权值,Z(ij)为节点vj的权值,vi、vt、vj来自于图数据的节点集合;
所述节点出现概率根据下式确定:
式中,O(p)为根据现有权重所构建的网络中节点p出现概率,Z(pi)为根据现有权重所构建的网络中节点pi的权重。
一种基于抽样子图的网络资源动态分配***,所述网络资源动态分配***包括:
建模单元,其被配置为对当前的网际网络和网络节点进行建模以得到图数据;
特征提取单元,其被配置为确定所述图数据的最终特征向量;
第一处理单元,其被配置为将所述最终特征向量输入抽样子图模型中进行处理,并计算隐层神经元被开启的概率分布,然后根据所述概率分布继续采样,并对显层神经元进行采样,从而更新网络的权重和偏置;
第二处理单元,其被配置为构建多层带权重的网络并进行随机游走以得到满足预设条件的目标上下文,进而根据所述目标上下文中各个节点的状态自动分配网络资源。
一种存储介质,所述存储介质被配置为存储计算机程序,所述计算机程序被配置为执行上文所述的网络资源动态分配方法。
本发明具有的优点:将所有的网络资源的动态变化抽象化为向量的表示,通过神经网络的计算和拟合来实现完成对网络资源的智能化自动分配,不仅能够在小型网络中使用,更能在超大规模网络上进行高效的网络资源分配,避免出现由于网络规模的扩大而网络资源分配效率降低的问题,可以克服传统图神经网络在计算拟合过程中出现的邻居***问题,提高了大规模网络上进行特征提取、特征拟合和预测的效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的网络资源动态分配***的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,更清楚地了解本发明的目的、技术方案及其优点,以下结合具体实施例并参照附图对本发明实施例中的技术方案进行清楚、完整地描述。需要说明的是,附图中未绘示或描述的实现方式,为所属技术领域中普通技术人员所知的形式。另外,虽然本文可提供包含特定值的参数的示范,但应了解,参数无需确切等于相应的值,而是可在可接受的误差容限或设计约束内近似于相应的值。显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。除此,本发明的说明书和权利要求书中的术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本发明的一个实施例中,提供了一种基于抽样子图的网络资源动态分配方法,本动态分配方法用于动态分配网络资源,动态分配方法包括以下步骤:
S1、现实建模
对当前的网际网络和网络节点进行建模以得到图数据;图数据包括边集合和节点集合,边集合与网际网络相关,节点集合与网络节点相关。
具体地,首先将当前的网际网络和网络节点进行建模。根据图网络的结构特点,网际网络将被抽象化为图数据的边集E{e1,e2,e3,...,en},其中,E表示边的总集合,e1,e2,e3,……,en表示n条边,e代表任意一条边,并且,重要的网络节点将被抽象化为图数据的节点V{v1,v2,v3...vn},其中,V表示节点的总集合,v1,v2,……,vn表示n个节点,v代表任意一个节点。根据网络间的互通关系,节点与节点之间将存在互相连接的边,本实施例用邻接矩阵矩阵W来描述关系。
通过S1能够获得网际网络的网络数据,并得出点集合、边集合和邻接矩阵来描述交通资源网络。
S2、特征提取
确定图数据的最终特征向量,其过程包括使用Graph2vec模型来获得原始的特征表示,并对处理后的节点进行合并聚类,然后采样子图;采样子图的过程包括随机选择图数据中的任意一个节点,并将该节点作为当前节点,对当前节点的邻接节点进行采样,从而将采样的结果与合并聚类的结果共同作为子图。
具体地,使用图嵌入来对S1生成的图数据进行特征提取。首先使用Graph2vec模型来获得原始的特征表示,使用但不限于独热编码方法处理节点以获得其表示,然后逐渐合并聚类节点,比如将几个属于同一个类的节点归为一个超节点,最后变成一个向量Sg。之后开始采样子图。本实施例采用随机方式选择图中的某个节点作为当前节点,这样能够大大提高采样效率,采样只选当前节点周围的邻接节点,并将其与Sg构成新的子图Gs。
本实施例还提供了以下方法来优化采样过程:
在采样子图前,将采集到的节点序列输入至Skipgram模型进行处理以得到最终的特征提取向量的方法,其过程包括在反向传播时更新隐藏层的部分权重,且根据与权重相关的节点出现概率判断是否更新权重,并继续对部分节点进行采样,且控制节点被采样的概率;
权重被更新的概率根据下式确定:
式中,Z(i)vi为节点vi出现概率,Z(it)为节点vt的权值,Z(ij)为节点vj的权值,vi、vt、vj来自于图数据的节点集合;
节点出现概率根据下式确定:
式中,O(p)为根据现有权重所构建的网络中节点p出现概率,Z(pi)为根据现有权重所构建的网络中节点pi的权重。
S2是对S1生成的图网络中的特征进行降维提取,为下文S3对节点的结构相似性的计算做好准备,S2使用的特征提取工具为Graph2vec模型,Graph2vec模型通过一个双目标网络分别对节点属性、关系进行建模,最终得到的图嵌入向量受属性、关系训练数据的制约,得到一个融合了属性和关系信息的图嵌入向量。
S3、计算结构相似度
将步骤S2确定的最终特征向量输入抽样子图模型中进行处理,并计算隐层神经元被开启的概率分布,然后根据概率分布继续采样,并对显层神经元进行采样,从而更新网络的权重和偏置,并根据图数据的结构相似度来判断是否继续更新,若当前网络和上一次网络的结构相似度超过预设阈值时,则停止更新网络的权重和偏置,否则继续更新;
具体地,如果两个节点的度相同,那么这两个节点结构相似;如果这两个节点的邻居度也相同,那么这两个节点的结构相似性比前者更高。在得出图数据的特征向量后计算结构相似度。
节点间的结构相似度通过下式计算确定:
式中,g(i,j)为节点i和节点j的结构相似度,g(i-1,j)为节点i-1和节点j的结构相似度,d(i,j)为节点i和节点j之间的距离,g(i-1,j-1)为节点i-1和节点j-1的结构相似度,g(i,j-1)为节点i和节点j-1的结构相似度,min是指以所有值的最小值作为输出。
然后,将最终特征向量输入抽样子图模型获得处理后的向量结果并进行傅里叶变换。首先进行基于RBM的无监督预训练,利用CD-k方法进行权值初始化,然后赋给显层并根据下式计算它使得隐层置信神经元被开启的概率:
式中,为概率分布,/>i(0)来自于图数据的节点集合,θ为学习率,Bj为待处理的向量矩阵,tj为偏置量。
最后,根据计算得到的概率分布继续进行吉布斯采样(GIBBS采样),并对显层中的神经元抽取相应的值进行采样重构,从而更新得到新的权重和偏置。
S3使用处理模型抽样子图,本网络由若干神经元构成,组成元件为图卷积网络和SAINT抽样器。通过相似度来衡量是否需要更新,相似度越高,说明没有新的内容出现,当前网络和上一次网络的相似度超过某个阈值时,停止更新,这样做的好处在于,可以加快学习速度,及早完成学习,减少不必要的无用更新,提高效率。
S4、构建多层次带权重网络并随机游走采样上下文
根据步骤S3中最终更新得到的网络的权重和相应的结构相似度以及步骤S2确定的图数据的最终特征向量来构建多层带权重的网络,并进行随机游走以得到满足预设条件的目标上下文,进而根据目标上下文中各个节点的状态自动分配网络资源,然后对分配后的网际网络和网络节点继续执行步骤S1至S4;其中,预设条件包括游走时间、重复次数、当前网络和上一次网络的结构相似度比较结果中的一种或多种;节点的状态根据网络资源的紧缺程度设置。
对于构建网络阶段,S4中构建的网络的每一层均包括一个带权重的完全图,完全图中的任意两个节点均存在相连的边,每条边的权重值根据以下公式确定:
wk(u,v)=e-f(u,v)
式中,wk(u,v)为节点u和节点v的权重值,e为自然底数,f(u,v)为节点u和节点v之间的结构距离。如果节点u和节点v越相似,那么它们的结构距离就越小或者越趋向于0,那么wk(u,v)在图中的权重越大,当f(u,v)为0时权重达到最大值1,也就是说,在每层的图中,边表示任意两个节点的结构相似性,相似性越大的权重越大。
S4中构建的网络中层与层之间的权重值根据以下公式确定:
式中,w(v,t)为第v层和第t层之间的权重值,log是求对数操作,e为自然底数,表示第k层中所有指向节点u的边中权重大于该层平均权重的数量。
对于随机游走采样上下文,假设随机游走走到了节点u,那么它下一步可能的走向是节点v。留在本层继续游走的概率为q,自然跳层的概率就是1-q。在本层中,从当前节点向其他节点游走的概率跟边的权重有关,也就是对权重做一次归一化得到概率,具体地,在构建的网络中依照下式从当前节点游走至其他节点的概率根据下式确定:
式中,p(i,j)为从当前节点i游走至其他节点j的概率,e为自然底数,f(i,j)为当前节点i和其他节点j间的结构距离,Tu为归一化因子。
需要说明的是,S4通过图卷积神经网络来完成,主要通过GCN网络结构模型来实现。在传播过程中,目标节点即当前节点会不断更新节点的特征表示,并泛化更新节点的特征序列,并改变每个节点的状态。最终,通过每个节点的状态可以完成对网络资源的自动化分配,给出合理的分配节点序列,为网际资源的最优决策提供科学性支撑。
现以某个大型公司网络G为例。在公司网络G中,存在数以千计的资源节点,每个资源节点占据网络的部分资源。每个节点的网络资源根据其任务需求而变动,如果无法及时为资源紧缺的网络节点投入足够的资源,则可能导致该节点卡死,从而对整个网络产生难以估量的影响。现使用抽样子图网络结构来高效实现对网络G的资源分配,通过更新网络中每个节点的标签,划分为资源紧缺的集合,从而定向投入网络资源,保障网络节点需求。具体地,假设网络G中某节点v1的状态现以数字3表示,这表明此时节点v1的网络资源充足,并以数字2表示节点资源适中,以数字1表示节点资源紧缺。当进行一轮资源重分配以后,v1的邻居节点获得了更多资源,此时抽样子图网络通过子网采样的方式快速进行节点传播、节点聚合、节点特征更新的操作。由于v1的邻居节点获得更多资源,导致v1节点的网络资源出现紧缺,当节点特征更新结束后,v1的状态更新为1,v1的邻居节点的状态更新为3。说明v1节点资源出现紧缺,***将输出状态为1的网络节点集合,然后自动或通知网络监管员根据节点状态来重新进行网络资源的分配。
在本发明的一个实施例中,提供了一种基于抽样子图的网络资源动态分配***。
本网络资源动态分配***包括建模单元、特征提取单元、第一处理单元、第二处理单元,建模单元被配置为对当前的网际网络和网络节点进行建模以得到图数据;特征提取单元被配置为确定所述图数据的最终特征向量;第一处理单元被配置为将所述最终特征向量输入抽样子图模型中进行处理,并计算隐层神经元被开启的概率分布,然后根据所述概率分布继续采样,并对显层神经元进行采样,从而更新网络的权重和偏置;第二处理单元被配置为构建多层带权重的网络并进行随机游走以得到满足预设条件的目标上下文,进而根据所述目标上下文中各个节点的状态自动分配网络资源。
具体地,本网络资源动态分配***的具体工作方式结合图1并参照上文对本网络资源动态分配方法的具体说明,此处不再赘述。
本网络资源动态分配***实施例的思想与上述实施例中网络资源动态分配方法的工作过程属于同一思想,通过全文引用的方式将上述网络资源动态分配方法实施例的全部内容并入本网络资源动态分配***实施例,不再赘述。
在本发明的一个实施例中,提供了一种存储介质,存储介质被配置为存储计算机程序,计算机程序被配置为执行上文所述的网络资源动态分配方法。
存储介质实施例的思想与上述实施例中网络资源动态分配方法的工作过程属于同一思想,通过全文引用的方式将上述网络资源动态分配方法实施例的全部内容并入本存储介质实施例,不再赘述。
本发明设计了一种智能的网络资源的分配方法,以图数据为输入,以现实环境的高精度建模为基础,使用图嵌入方法和结合抽样子图的图卷积神经网络来实现对网络资源的自动化分配,可以根据各个网络节点资源的现实表征来计算当前节点网络的紧张程度,并以此为基础不断对相邻节点进行采样和传播,同时不断更新节点的特征,最终实现对网络资源的智能最优分配,更重要的是,本发明不仅能够在小型网络中使用,更能在超大规模网络上进行网络资源分配,不会由于网络规模的扩大导致网络资源分配效率的降低,不仅在精度上有提升,在速度上也有提高。
以上所述仅为本发明的优选实施例,并非因此限制其专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (9)
1.一种基于抽样子图的网络资源动态分配方法,其特征在于,所述动态分配方法用于动态分配网络资源,所述动态分配方法包括以下步骤:
S1、对当前的网际网络和网络节点进行建模以得到图数据;所述图数据包括边集合和节点集合,所述边集合与所述网际网络相关,所述节点集合与所述网络节点相关;
S2、确定所述图数据的最终特征向量,其过程为使用Graph2vec模型来获得原始的特征表示,并对处理后的节点进行合并聚类得到向量Sg,然后采样子图;所述采样子图的过程包括随机选择图数据中的任意一个节点,并将该节点作为当前节点,对所述当前节点的邻接节点进行采样,从而将所述采样的结果与合并聚类得到的所述向量Sg构成新的子图Gs;
S3、将步骤S2确定的所述最终特征向量输入抽样子图模型中进行处理,并计算隐层神经元被开启的概率分布,然后根据所述概率分布继续采样,并对显层神经元进行采样,从而更新网络的权重和偏置,并根据所述图数据的节点间的结构相似度来判断是否继续更新,若当前网络和上一次网络的图数据的节点间的结构相似度超过预设阈值时,则停止更新网络的权重和偏置,否则继续更新,所述隐层神经元被开启的概率通过下式计算确定:
;
式中,、/>为概率分布,/>、/>为来自于图数据的节点集合,/>为学习率,/>为待处理的向量矩阵,/>为偏置量;
所述节点间的结构相似度通过下式计算确定:
;
式中,为节点i和节点j的结构相似度,/>为节点i-1和节点j的结构相似度,/>为节点i和节点j之间的距离,/>为节点i-1和节点j-1的结构相似度,为节点i和节点j-1的结构相似度,min是指以所有值的最小值作为输出;
S4、根据步骤S3中最终更新得到的网络的权重和相应的结构相似度以及步骤S2确定的所述图数据的最终特征向量来构建多层带权重的网络,并进行随机游走以得到满足预设条件的目标上下文,进而根据所述目标上下文中各个节点的状态自动分配网络资源,然后对分配后的网际网络和网络节点继续执行步骤S1至S4;所述节点的状态根据网络资源的紧缺程度设置。
2.根据权利要求1所述的基于抽样子图的网络资源动态分配方法,其特征在于,步骤S2还包括:在所述采样子图前,利用独热编码的方式对节点进行处理,并基于所述处理的结果进行合并聚类;和/或,
所述合并聚类的方式包括将相同类别的节点归为一个超节点,从而生成一个向量。
3.根据权利要求1所述的基于抽样子图的网络资源动态分配方法,其特征在于,步骤S4中构建的网络的每一层均包括一个带权重的完全图,所述完全图中的任意两个节点均存在相连的边,每条边的权重值根据以下公式确定:
;
式中,为节点/>和节点/>的权重值,/>为自然底数,/>为节点/>和节点/>之间的结构距离。
4.根据权利要求3所述的基于抽样子图的网络资源动态分配方法,其特征在于,步骤S4中构建的网络中层与层之间的权重值根据以下公式确定:
;
式中,为第/>层和第/>层之间的权重值,/>是求对数操作,/>为自然底数,/>表示第k层中所有指向节点u的边中权重大于该层平均权重的数量。
5.根据权利要求1所述的基于抽样子图的网络资源动态分配方法,其特征在于,步骤S4中还包括:在构建的网络中依照下式从当前节点游走至其他节点的概率根据下式确定:
;
式中,为从当前节点/>游走至其他节点/>的概率,/>为自然底数,/>为当前节点/>和其他节点/>间的结构距离,/>为归一化因子。
6.根据权利要求1所述的基于抽样子图的网络资源动态分配方法,其特征在于,步骤S4中的预设条件包括游走时间、重复次数、当前网络和上一次网络的图数据的节点间的结构相似度比较结果中的一种或多种。
7.根据权利要求1所述的基于抽样子图的网络资源动态分配方法,其特征在于,步骤S2还包括:在所述采样子图前,将采集到的节点序列输入至Skipgram模型进行处理以得到最终的特征提取向量的方法,其过程包括在反向传播时更新隐藏层的部分权重,且根据与所述权重相关的节点出现概率判断是否更新所述权重,并继续对部分节点进行采样,且控制所述节点被采样的概率;
所述权重被更新的概率根据下式确定:
;
式中,为节点v i 出现概率,/>为节点v t 的权值,/>为节点v j 的权值,v i 、v t 、v j 来自于图数据的节点集合;
所述节点出现概率根据下式确定:
;
式中,为根据现有权重所构建的网络中节点p出现概率,/>为根据现有权重所构建的网络中节点p i 的权重。
8.一种基于抽样子图的网络资源动态分配***,其特征在于,所述网络资源动态分配***包括:
建模单元,其被配置为对当前的网际网络和网络节点进行建模以得到图数据;
特征提取单元,其被配置为确定所述图数据的最终特征向量,包括使用Graph2vec模型来获得原始的特征表示,并对处理后的节点进行合并聚类得到向量Sg,然后采样子图;所述采样子图的过程包括随机选择图数据中的任意一个节点,并将该节点作为当前节点,对所述当前节点的邻接节点进行采样,从而将所述采样的结果与合并聚类得到的所述向量Sg构成新的子图Gs;
第一处理单元,其被配置为将所述最终特征向量输入抽样子图模型中进行处理,并计算隐层神经元被开启的概率分布,然后根据所述概率分布继续采样,并对显层神经元进行采样,从而更新网络的权重和偏置,所述隐层神经元被开启的概率通过下式计算确定:
;
式中,、/>为概率分布,/>、/>为来自于图数据的节点集合,/>为学习率,/>为待处理的向量矩阵,/>为偏置量;
并根据所述图数据的节点间的结构相似度来判断是否继续更新,若当前网络和上一次网络的图数据的节点间的结构相似度超过预设阈值时,则停止更新网络的权重和偏置,否则继续更新;其中,所述节点间的结构相似度通过下式计算确定:
;
式中,为节点i和节点j的结构相似度,/>为节点i-1和节点j的结构相似度,/>为节点i和节点j之间的距离,/>为节点i-1和节点j-1的结构相似度,为节点i和节点j-1的结构相似度,min是指以所有值的最小值作为输出;
第二处理单元,其被配置为根据所述第一处理单元得到的网络的权重和相应的结构相似度以及所述特征提取单元确定的最终特征向量来构建多层带权重的网络,并进行随机游走以得到满足预设条件的目标上下文,进而根据所述目标上下文中各个节点的状态自动分配网络资源。
9.一种存储介质,其特征在于,所述存储介质被配置为存储计算机程序,所述计算机程序被配置为执行权利要求1至7中任意一项所述的网络资源动态分配方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210479810.4A CN114826921B (zh) | 2022-05-05 | 2022-05-05 | 基于抽样子图的网络资源动态分配方法、***及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210479810.4A CN114826921B (zh) | 2022-05-05 | 2022-05-05 | 基于抽样子图的网络资源动态分配方法、***及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114826921A CN114826921A (zh) | 2022-07-29 |
CN114826921B true CN114826921B (zh) | 2024-05-17 |
Family
ID=82512338
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210479810.4A Active CN114826921B (zh) | 2022-05-05 | 2022-05-05 | 基于抽样子图的网络资源动态分配方法、***及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114826921B (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103516624A (zh) * | 2012-06-27 | 2014-01-15 | 华为技术有限公司 | 网络资源分配方法及装置 |
CN108763360A (zh) * | 2018-05-16 | 2018-11-06 | 北京旋极信息技术股份有限公司 | 一种分类方法及装置、计算机可读存储介质 |
CN108880871A (zh) * | 2018-06-04 | 2018-11-23 | 佛山科学技术学院 | 一种无线传感器网拓扑资源分配方法及装置 |
CN109831788A (zh) * | 2019-01-25 | 2019-05-31 | 北京邮电大学 | 用于边缘接入场景的网络资源动态分配方法及*** |
CN110196995A (zh) * | 2019-04-30 | 2019-09-03 | 西安电子科技大学 | 一种基于带偏置随机游走的复杂网络特征提取方法 |
CN110728457A (zh) * | 2019-10-17 | 2020-01-24 | 广西电网有限责任公司电力科学研究院 | 一种考虑配电网多层级薄弱环节的运行风险态势感知方法 |
CN111008447A (zh) * | 2019-12-21 | 2020-04-14 | 杭州师范大学 | 一种基于图嵌入法的链路预测方法 |
CN112256870A (zh) * | 2020-10-15 | 2021-01-22 | 大连理工大学 | 基于自适应随机游走的属性网络表示学习方法 |
WO2021146977A1 (zh) * | 2020-01-22 | 2021-07-29 | 深圳市大疆创新科技有限公司 | 网络结构搜索方法和装置 |
CN113254717A (zh) * | 2021-06-10 | 2021-08-13 | 中国人民解放军国防科技大学 | 多维图网络节点聚类处理方法、装置和设备 |
WO2021196240A1 (zh) * | 2020-04-03 | 2021-10-07 | 清华大学 | 面向跨网络的表示学习算法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108009933B (zh) * | 2016-10-27 | 2021-06-11 | 中国科学技术大学先进技术研究院 | 图中心性计算方法及装置 |
-
2022
- 2022-05-05 CN CN202210479810.4A patent/CN114826921B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103516624A (zh) * | 2012-06-27 | 2014-01-15 | 华为技术有限公司 | 网络资源分配方法及装置 |
CN108763360A (zh) * | 2018-05-16 | 2018-11-06 | 北京旋极信息技术股份有限公司 | 一种分类方法及装置、计算机可读存储介质 |
CN108880871A (zh) * | 2018-06-04 | 2018-11-23 | 佛山科学技术学院 | 一种无线传感器网拓扑资源分配方法及装置 |
CN109831788A (zh) * | 2019-01-25 | 2019-05-31 | 北京邮电大学 | 用于边缘接入场景的网络资源动态分配方法及*** |
CN110196995A (zh) * | 2019-04-30 | 2019-09-03 | 西安电子科技大学 | 一种基于带偏置随机游走的复杂网络特征提取方法 |
CN110728457A (zh) * | 2019-10-17 | 2020-01-24 | 广西电网有限责任公司电力科学研究院 | 一种考虑配电网多层级薄弱环节的运行风险态势感知方法 |
CN111008447A (zh) * | 2019-12-21 | 2020-04-14 | 杭州师范大学 | 一种基于图嵌入法的链路预测方法 |
WO2021146977A1 (zh) * | 2020-01-22 | 2021-07-29 | 深圳市大疆创新科技有限公司 | 网络结构搜索方法和装置 |
WO2021196240A1 (zh) * | 2020-04-03 | 2021-10-07 | 清华大学 | 面向跨网络的表示学习算法 |
CN112256870A (zh) * | 2020-10-15 | 2021-01-22 | 大连理工大学 | 基于自适应随机游走的属性网络表示学习方法 |
CN113254717A (zh) * | 2021-06-10 | 2021-08-13 | 中国人民解放军国防科技大学 | 多维图网络节点聚类处理方法、装置和设备 |
Non-Patent Citations (1)
Title |
---|
GraphSAINT: GRAPH SAMPLING BASED INDUCTIVE LEARNING METHOD;Anonymous authors;International Conference on Learning Representations;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN114826921A (zh) | 2022-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110263227B (zh) | 基于图神经网络的团伙发现方法和*** | |
CN109948149B (zh) | 一种文本分类方法及装置 | |
CN111667022A (zh) | 用户数据处理方法、装置、计算机设备和存储介质 | |
CN112685504B (zh) | 一种面向生产过程的分布式迁移图学习方法 | |
CN111931505A (zh) | 一种基于子图嵌入的跨语言实体对齐方法 | |
CN113326377A (zh) | 一种基于企业关联关系的人名消歧方法及*** | |
CN113378913A (zh) | 一种基于自监督学习的半监督节点分类方法 | |
CN113569895A (zh) | 图像处理模型训练方法、处理方法、装置、设备及介质 | |
CN116503676B (zh) | 一种基于知识蒸馏小样本增量学习的图片分类方法及*** | |
CN113590863A (zh) | 图像聚类方法、装置及计算机可读存储介质 | |
CN112418320A (zh) | 一种企业关联关系识别方法、装置及存储介质 | |
CN114298122A (zh) | 数据分类方法、装置、设备、存储介质及计算机程序产品 | |
CN113609337A (zh) | 图神经网络的预训练方法、训练方法、装置、设备及介质 | |
CN115293919A (zh) | 面向社交网络分布外泛化的图神经网络预测方法及*** | |
CN114781611A (zh) | 自然语言处理方法、语言模型训练方法及其相关设备 | |
Hada et al. | Sparse oblique decision trees: A tool to understand and manipulate neural net features | |
CN113869609A (zh) | 一种根因分析频繁子图置信度预测方法及*** | |
CN114417063A (zh) | 一种基于多视图的图神经网络的重要节点识别方法 | |
CN115129902B (zh) | 媒体数据处理方法、装置、设备及存储介质 | |
CN114826921B (zh) | 基于抽样子图的网络资源动态分配方法、***及介质 | |
CN115858725A (zh) | 一种基于无监督式图神经网络的文本噪声筛选方法及*** | |
CN115878891A (zh) | 直播内容生成方法、装置、设备以及计算机存储介质 | |
CN114898184A (zh) | 模型训练方法、数据处理方法、装置及电子设备 | |
CN112926368B (zh) | 一种识别障碍物的方法和装置 | |
CN111091198B (zh) | 一种数据处理方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |