CN110365568A - 一种基于深度强化学习的虚拟网络映射方法 - Google Patents
一种基于深度强化学习的虚拟网络映射方法 Download PDFInfo
- Publication number
- CN110365568A CN110365568A CN201910527463.6A CN201910527463A CN110365568A CN 110365568 A CN110365568 A CN 110365568A CN 201910527463 A CN201910527463 A CN 201910527463A CN 110365568 A CN110365568 A CN 110365568A
- Authority
- CN
- China
- Prior art keywords
- network
- state
- mapping
- node
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/46—Interconnection of networks
- H04L12/4641—Virtual LANs, VLANs, e.g. virtual private networks [VPN]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
一种基于深度强化学***均收益。
Description
技术领域
本发明涉及软件定义网络中虚拟网络的映射问题,特别涉及一种基于深度强化学习的虚拟网络映射方法。
背景技术
随着云计算、移动互联网等技术的快速发展,多租户网络的需求越来越多和灵活,传统的以IP为核心的基础框架存在着扩展能力差和核心功能单一等问题,不能满足多租户网络的业务需求。
网络虚拟化技术是解决上述问题的有效方法,它能融合现有的通信和计算资源虚拟化技术,采用分层的技术手段解决此问题,是未来互联网应具备的关键特性之一。网络虚拟化技术使用解耦合和复用的方法使底层网络的物理资源被多个虚拟网络共享,为共享的异构上层网络提供差异化服务。可自组织、重构的上层虚拟网络能够动态的映射到底层物理网络之上,实现快速的异构网络部署。
但是在现有环境下实现网络虚拟化存在很大的局限性,于是一种新兴的网络体系架构—SDN应运而生。它将控制与转发分离,并且实现了可编程的集中控制,支持网络虚拟化,二者相辅相成,是两种具有高度相关性的技术的有效结合,可以很好的满足未来网络对组网的灵活性,网络的集中管理等需求。
虚拟网络映射或者虚拟网络嵌入是实现网络虚拟化的一项重要挑战,它能够实现将底层网络资源分配给虚拟网络,即在节点上分配CPU资源,在链路上分配带宽资源。VNE是一个NP难问题,即使所有的虚拟节点已被映射后,映射带有带宽资源约束的虚拟链路仍然是NP难的。面向软件定义网络的虚拟网络映射是对底层网络设备的虚拟化,使其可以支持更多的可扩展应用,同一个物理基础设施可以运行多样的虚拟网络。
由于传统的深度强化学习无法解决Q学习算法的固有缺点-过优估计,过优估计指的是估计的值函数比真实的值函数偏大,如果过优估计在所有状态都是均匀的,那么根据贪心策略,依然能够找到值函数的最大动作,但是往往过优估计在各个状态不是均匀的,因此过优估计会影响到策略决策,从而导致获取的不是最优策略。
发明内容
本发明的目的在于针对软件定义网络中虚拟网络映射问题,提出一种基于深度强化学习的虚拟网络映射方法。
为了达到上述目的,本发明采用了以下技术方案:
一种基于深度强化学习的虚拟网络映射方法,包括以下步骤:
步骤1,将虚拟网络映射中节点映射问题建模为马尔可夫决策过程;
步骤2,在马尔可夫决策过程基础上,利用DDQN算法进行虚拟节点的映射;
步骤3,利用最短路径算法进行虚拟网络链路映射:
步骤4,更新物理网络资源,包括CPU资源和链路带宽资源。
本发明进一步的改进在于,步骤1的具体过程如下:
2.1定义状态集合St
假设在给定状态St中,代理选择一个物理节点映射到虚拟节点然后进入下一个状态St+1,其中是能够承载虚拟节点nv的所有物理节点的集合,是所有未被映射的虚拟节点的集合;t时刻状态集合被定义为:
其中是承载先前虚拟节点的物理节点,在初始状态,没有节点被映射,故
2.2定义动作集合At
代理选择节点的动作At按如下方式定义:
其中ε表示能够到达终端状态的任意动作;当代理选择当前虚拟节点的物理节点时,它转换到下一个状态St+1;
2.3定义状态转移概率矩阵Pr
当处于状态St时,代理选择节点的动作At转换到下一个状态St+1的状态转移可能性被定义为:
2.4定义回报函数R
其中,j表示第j个样本,γ为衰减因子,Q为当前Q网络,Q′为目标Q网络,a′为在当前Q网络中最大Q值对应的动作。
本发明进一步的改进在于,步骤2的具体过程如下:
3.1随机初始化所有状态和动作对应的价值Q,随机初始化当前Q网络的所有参数θ,初始化目标Q网络的参数θ′=θ,清空经验回放集合D;
3.2初始化状态集合S为当前状态的第一个状态,得到状态集合S的特征向量,并用表示;
3.3在当前Q网络中使用状态集合S的特征向量作为输入,得到当前Q网络的所有动作对应的Q值输出,在当前Q值输出中选择对应的动作A;
3.4在状态S执行当前动作A,得到新状态S′、特征向量奖励R以及终止状态标志is_end;
3.5将这五元组存入经验回放集合D;
3.6令初始状态S=S′;
3.7从经验回放集合D中采集m个样本计算当前价值Q值yj:
3.8使用均方差损失函数更新当前Q网络的所有参数θ;
3.9重复步骤3.1-步骤3.8多次,如果重复次数达到目标网络的更新频率C,则更新目标网络参数θ′=θ;如果重复次数没有达到目标网络的更新频率C,则继续重复步骤3.1-步骤3.8;
3.10判断终止状态标志is_end是否为终止状态;如果终止状态标志is_end是终止状态,则进行步骤4,否则转到步骤3.2。
本发明进一步的改进在于,步骤3.3中,使用ε-贪婪法在当前Q值输出中选择对应的动作A。
本发明进一步的改进在于,步骤3.8中,通过神经网络的梯度反向传播更新当前Q网络的所有参数θ。
本发明进一步的改进在于,步骤3的具体过程如下:
4.1对于虚拟链路luw,首先排除ReqBWL(luw)>BWL(lmn)的物理链路;其中,ReqBWL(luw)为虚拟链路luw请求的带宽,BWL(lmn)为物理链路lmmn的剩余可用带宽;
4.2初始化计数变量count=0;
4.3对于连接两个终端节点uv,wv的虚拟链路luw,首先找到虚拟链路luw终端映射的物理节点ms,ns,然后寻找ms,ns间的最短路径ps;
4.4若ms,ns间的最短路径ps存在,则技术变量count++,继续执行步骤4.1-步骤4.3,直到技术变量count等于虚拟链路总数时执行步骤5,否则输出虚拟网络映射失败。
本发明进一步的改进在于,步骤4.3中,使用Floyd算法寻找ms,ns间的最短路径ps。
与现有技术相比,本发明具有的有益效果:本发明通过马尔可夫决策过程(MDP模型)获取当前的VNE环境,在每次映射开始时,第一个映射的节点被随机传送到某个物理节点,然后基于DDQN算法获得奖励值R,更新网络参数,然后移动到下一个状态St+1。本发明中使用的DDQN算法,它是一种将Double Q-learning引入到DQN,即将action的选择和评估解耦开的算法。DDQN中存在两个结构完全相同但是参数却不同的网络,用当前Q网络中Q值选择对应的action,在目标Q网络中评估这个action中的Q值。目标Q网络中网络参数不需要迭代更新,而是每隔一段时间从当前Q网络中复制过来,实现延时更新,这样可以减少两个网络的相关性。因为DDQN算法的核心思想是将目标动作的选择和目标动作的评估分别使用不同的值函数来实现,所以可以有效地解决过优估计问题。通过这种自适应学***均收益。
附图说明
图1为本发明中所用DDQN算法的流程图。
具体实施方式
下面结合附图1和具体实施方式对本发明进行详细的描述。
本发明提出的一种SDN场景下基于深度强化学习的虚拟网络映射方法,具体包括以下步骤:
步骤1,获取底层物理网络和虚拟网络的相关信息:
衬底网络拓扑使用无向图表示:其中Ns表示底层网络中的节点集合;LS表示衬底网络中链路的集合;表示衬底节点的属性集合,即CPU资源等等;表示衬底链路的属性集合,包含带宽资源、时延信息等。衬底网络中所有非闭合环路路径记作Ps,衬底节点的剩余容量记为RN(ns),衬底链路的剩余容量记为RL(ls)。
虚拟网络同样使用加权无向图表示:其中Nv表示虚拟节点的集合,Lv表示虚拟链路的集合,表示的CPU资源请求,表示的链路带宽资源请求。
VNE问题可描述为:M(Gv):其中N′∈Ns,Ps∈P′,RN,RL分别表示分配给虚拟网络请求的节点资源和链路资源。
步骤2,将虚拟网络映射中节点映射问题建模为马尔可夫决策过程:
2.1定义状态集合St
假设在给定状态St中,代理选择一个物理节点映射到虚拟节点然后进入下一个状态St+1,其中是可以承载虚拟节点nv的所有物理节点的集合,是所有未被映射的虚拟节点的集合。t时刻状态集合被定义为:
其中是承载先前虚拟节点的物理节点,在初始状态,没有节点被映射,故
2.2定义动作集合At
代理选择节点的动作At按如下方式定义:
其中ε表示可以到达终端状态的任意动作。当代理选择当前虚拟节点的物理节点时,它转换到下一个状态St+1。
2.3定义状态转移概率矩阵Pr
当处于状态St时,代理选择节点的动作At转换到下一个状态St+1的状态转移可能性被定义为:
2.4定义回报函数R
其中,j表示第j个样本,γ为衰减因子,Q为当前Q网络,Q′为目标Q网络,a′为在当前Q网络中最大Q值对应的动作。
步骤3,利用DDQN算法进行虚拟节点的映射;参见图1,具体如下:
3.1随机初始化所有状态和动作对应的价值Q,随机初始化当前Q网络(MainNet)的所有参数θ,初始化目标Q网络(TargetNet)的参数θ′=θ,清空经验回放集合D。
3.2初始化状态集合S为当前状态的第一个状态,得到状态集合S的特征向量,并用表示。
3.3在MainNet中使用状态集合S的特征向量作为输入,得到MainNet的所有动作对应的Q值输出,使用ε-贪婪法在当前Q值输出中选择对应的动作A。
3.4在状态S执行当前动作A,得到新状态S′,特征向量和奖励R,以及终止状态标志is_end;
3.5将这五元组存入经验回放集合D。
3.6令初始状态S=S′;
3.7从经验回放集合D中采集m个样本计算当前价值Q值yj:
3.8使用均方差损失函数通过神经网络的梯度反向传播来更新当前Q网络的所有参数θ。
3.9重复步骤3.1-步骤3.8多次,如果重复次数达到目标网络的更新频率C,则更新目标网络参数θ′=θ。如果重复次数没有达到目标网络的更新频率C,则继续重复步骤3.1-步骤3.8。
3.10判断终止状态标志is_end是否为终止状态;如果终止状态标志is_end是终止状态,则进行步骤4,否则转到步骤3.2。
步骤4,利用最短路径算法进行虚拟网络链路映射:
4.1对于虚拟链路luw,首先排除ReqBWL(luw)>BWL(lmn)的物理链路;其中,ReqBWL(luw)为虚拟链路luw请求的带宽,BWL(lmn)为物理链路lmn的剩余可用带宽;
4.2初始化计数变量count=0;
4.3对于连接两个终端节点uv,wv的虚拟链路luw,首先找到虚拟链路luw终端映射的物理节点ms,ns,然后使用Floyd算法寻找ms,ns间的最短路径ps。
4.4若ms,ns间的最短路径ps存在,则count++,继续执行步骤4.1-步骤4.3,直到count等于虚拟链路总数时执行步骤5,否则输出虚拟网络映射失败。
步骤5,更新物理网络资源,包括CPU资源和链路带宽资源。
本发明通过马尔可夫决策过程(MDP模型)获取当前的VNE环境,例如物理网络的资源情况、链路连接状态以及虚拟网络的请求量。在每次映射开始时,第一个映射的节点被随机传送到某个物理节点,然后基于DDQN算法获得奖励值R,更新网络参数,然后移动到下一个状态St+1。
本发明中使用的DDQN算法,它是一种将Double Q-learning引入到DQN,即将action的选择和评估解耦开的算法。DDQN中存在两个结构完全相同但是参数却不同的网络,用当前Q网络中Q值选择对应的action,在目标Q网络中评估这个action中的Q值。目标Q网络中网络参数不需要迭代更新,而是每隔一段时间从当前Q网络中复制过来,实现延时更新,这样可以减少两个网络的相关性。
因为DDQN算法的核心思想是将目标动作的选择和目标动作的评估分别使用不同的值函数来实现,所以可以有效地解决过优估计问题。通过这种自适应学习方案,可以通过节约能耗和提高VNR接收率来获得全局最优的映射方法,比传统方法相比,有更好的灵活性。
该方法首先将将虚拟节点映射问题建模为马尔可夫决策过程,使用DDQN算法进行虚拟节点映射,最后使用最短路径算法完成虚拟链路的映射。实验表明,该方法能够降低能耗,提高请求接受率并提高长期平均收益。
Claims (7)
1.一种基于深度强化学习的虚拟网络映射方法,其特征在于,包括以下步骤:
步骤1,将虚拟网络映射中节点映射问题建模为马尔可夫决策过程;
步骤2,在马尔可夫决策过程基础上,利用DDQN算法进行虚拟节点的映射;
步骤3,利用最短路径算法进行虚拟网络链路映射:
步骤4,更新物理网络资源,包括CPU资源和链路带宽资源。
2.根据权利要求1所述的基于深度强化学习的虚拟网络映射方法,其特征在于,步骤1的具体过程如下:
2.1定义状态集合St
假设在给定状态St中,代理选择一个物理节点映射到虚拟节点然后进入下一个状态St+1,其中是能够承载虚拟节点nv的所有物理节点的集合,是所有未被映射的虚拟节点的集合;t时刻状态集合被定义为:
其中是承载先前虚拟节点的物理节点,在初始状态,没有节点被映射,故
2.2定义动作集合At
代理选择节点的动作At按如下方式定义:
其中ε表示能够到达终端状态的任意动作;当代理选择当前虚拟节点的物理节点时,它转换到下一个状态St+1;
2.3定义状态转移概率矩阵Pr
当处于状态St时,代理选择节点的动作At转换到下一个状态St+1的状态转移可能性被定义为:
2.4定义回报函数R
其中,j表示第j个样本,γ为衰减因子,Q为当前Q网络,Q′为目标Q网络,a′为在当前Q网络中最大Q值对应的动作。
3.根据权利要求2所述的基于深度强化学习的虚拟网络映射方法,其特征在于,步骤2的具体过程如下:
3.1随机初始化所有状态和动作对应的价值Q,随机初始化当前Q网络的所有参数θ,初始化目标Q网络的参数θ′=θ,清空经验回放集合D;
3.2初始化状态集合S为当前状态的第一个状态,得到状态集合S的特征向量,并用表示;
3.3在当前Q网络中使用状态集合S的特征向量作为输入,得到当前Q网络的所有动作对应的Q值输出,在当前Q值输出中选择对应的动作A;
3.4在状态S执行当前动作A,得到新状态S′、特征向量奖励R以及终止状态标志is_end;
3.5将这五元组存入经验回放集合D;
3.6令初始状态S=S′;
3.7从经验回放集合D中采集m个样本计算当前价值Q值yj:
3.8使用均方差损失函数更新当前Q网络的所有参数θ;
3.9重复步骤3.1-步骤3.8多次,如果重复次数达到目标网络的更新频率C,则更新目标网络参数θ′=θ;如果重复次数没有达到目标网络的更新频率C,则继续重复步骤3.1-步骤3.8;
3.10判断终止状态标志is_end是否为终止状态;如果终止状态标志is_end是终止状态,则进行步骤4,否则转到步骤3.2。
4.根据权利要求3所述的基于深度强化学习的虚拟网络映射方法,其特征在于,步骤3.3中,使用ε-贪婪法在当前Q值输出中选择对应的动作A。
5.根据权利要求3所述的基于深度强化学习的虚拟网络映射方法,其特征在于,步骤3.8中,通过神经网络的梯度反向传播更新当前Q网络的所有参数θ。
6.根据权利要求3所述的基于深度强化学习的虚拟网络映射方法,其特征在于,步骤3的具体过程如下:
4.1对于虚拟链路luw,首先排除ReqBWL(luw)>BWL(lmn)的物理链路;其中,ReqBWL(luw)为虚拟链路luw请求的带宽,BWL(lmn)为物理链路lmn的剩余可用带宽;
4.2初始化计数变量count=0;
4.3对于连接两个终端节点uv,wv的虚拟链路luw,首先找到虚拟链路luw终端映射的物理节点ms,ns,然后寻找ms,ns间的最短路径ps;
4.4若ms,ns间的最短路径ps存在,则技术变量count++,继续执行步骤4.1-步骤4.3,直到技术变量count等于虚拟链路总数时执行步骤5,否则输出虚拟网络映射失败。
7.根据权利要求6所述的基于深度强化学习的虚拟网络映射方法,其特征在于,步骤4.3中,使用Floyd算法寻找ms,ns间的最短路径ps。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910527463.6A CN110365568A (zh) | 2019-06-18 | 2019-06-18 | 一种基于深度强化学习的虚拟网络映射方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910527463.6A CN110365568A (zh) | 2019-06-18 | 2019-06-18 | 一种基于深度强化学习的虚拟网络映射方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110365568A true CN110365568A (zh) | 2019-10-22 |
Family
ID=68216354
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910527463.6A Pending CN110365568A (zh) | 2019-06-18 | 2019-06-18 | 一种基于深度强化学习的虚拟网络映射方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110365568A (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111106960A (zh) * | 2019-12-23 | 2020-05-05 | 北京邮电大学 | 一种虚拟网络的映射方法、映射装置及可读存储介质 |
CN111158790A (zh) * | 2019-12-31 | 2020-05-15 | 清华大学 | 面向云端深度学习推理的fpga虚拟化方法 |
CN112101729A (zh) * | 2020-08-18 | 2020-12-18 | 华南理工大学 | 一种基于深度双q学习的移动边缘计算***能源分配方法 |
CN112766782A (zh) * | 2021-01-28 | 2021-05-07 | 哈尔滨工业大学(深圳) | 政务流程的建模方法、调度方法、智能设备和存储介质 |
CN113193999A (zh) * | 2021-04-29 | 2021-07-30 | 东北大学 | 一种基于深度确定性策略梯度的虚拟网络映射方法 |
CN113537731A (zh) * | 2021-06-25 | 2021-10-22 | 中国海洋大学 | 基于强化学习的设计资源能力评估方法 |
CN113641462A (zh) * | 2021-10-14 | 2021-11-12 | 西南民族大学 | 基于强化学习的虚拟网络层次化分布式部署方法及*** |
CN113708969A (zh) * | 2021-08-27 | 2021-11-26 | 华东师范大学 | 一种基于深度强化学习的云数据中心虚拟网络的协同嵌入方法 |
CN115001978A (zh) * | 2022-05-19 | 2022-09-02 | 华东师范大学 | 一种基于强化学习模型的云租户虚拟网络智能映射方法 |
CN115941506A (zh) * | 2022-09-29 | 2023-04-07 | 重庆邮电大学 | 一种基于策略网络强化学习的多类型服务资源编排方法 |
US11973662B1 (en) * | 2023-08-31 | 2024-04-30 | East China Normal University | Intelligent mapping method for cloud tenant virtual network based on reinforcement learning model |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104348695A (zh) * | 2014-10-31 | 2015-02-11 | 北京邮电大学 | 一种基于人工免疫***的虚拟网络映射方法及其*** |
CN108401015A (zh) * | 2018-02-02 | 2018-08-14 | 广州大学 | 一种基于深度强化学习的数据中心网络路由方法 |
-
2019
- 2019-06-18 CN CN201910527463.6A patent/CN110365568A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104348695A (zh) * | 2014-10-31 | 2015-02-11 | 北京邮电大学 | 一种基于人工免疫***的虚拟网络映射方法及其*** |
CN108401015A (zh) * | 2018-02-02 | 2018-08-14 | 广州大学 | 一种基于深度强化学习的数据中心网络路由方法 |
Non-Patent Citations (4)
Title |
---|
MAHDI DOLATI: "Virtual Network Embedding with Deep Reinforcement Learning", 《IEEE INFOCOM 2019-IEEE CONFERENCE ON COMPUTER COMMUNICATIONS WORKSHOPS(INFOCOM WKSHPS》 * |
SOROUSH HAERI: "Virtual Network Embedding via Monte Carlo Tree Search", 《VIRTUAL NETWORK EMBEDDING VIA MONTE CARLO TREE SEARCH》 * |
刘建平: "强化学习(十)Double DQN (DDQN)", 《博客园》 * |
赵季红: "SDN中基于Q_learning的动态交换机迁移算法", 《电视技术》 * |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111106960A (zh) * | 2019-12-23 | 2020-05-05 | 北京邮电大学 | 一种虚拟网络的映射方法、映射装置及可读存储介质 |
CN111158790A (zh) * | 2019-12-31 | 2020-05-15 | 清华大学 | 面向云端深度学习推理的fpga虚拟化方法 |
CN112101729B (zh) * | 2020-08-18 | 2023-07-21 | 华南理工大学 | 一种基于深度双q学习的移动边缘计算***能源分配方法 |
CN112101729A (zh) * | 2020-08-18 | 2020-12-18 | 华南理工大学 | 一种基于深度双q学习的移动边缘计算***能源分配方法 |
CN112766782A (zh) * | 2021-01-28 | 2021-05-07 | 哈尔滨工业大学(深圳) | 政务流程的建模方法、调度方法、智能设备和存储介质 |
CN113193999A (zh) * | 2021-04-29 | 2021-07-30 | 东北大学 | 一种基于深度确定性策略梯度的虚拟网络映射方法 |
CN113193999B (zh) * | 2021-04-29 | 2023-12-26 | 东北大学 | 一种基于深度确定性策略梯度的虚拟网络映射方法 |
CN113537731A (zh) * | 2021-06-25 | 2021-10-22 | 中国海洋大学 | 基于强化学习的设计资源能力评估方法 |
CN113537731B (zh) * | 2021-06-25 | 2023-10-27 | 中国海洋大学 | 基于强化学习的设计资源能力评估方法 |
CN113708969B (zh) * | 2021-08-27 | 2023-09-29 | 华东师范大学 | 一种基于深度强化学习的云数据中心虚拟网络的协同嵌入方法 |
CN113708969A (zh) * | 2021-08-27 | 2021-11-26 | 华东师范大学 | 一种基于深度强化学习的云数据中心虚拟网络的协同嵌入方法 |
CN113641462B (zh) * | 2021-10-14 | 2021-12-21 | 西南民族大学 | 基于强化学习的虚拟网络层次化分布式部署方法及*** |
CN113641462A (zh) * | 2021-10-14 | 2021-11-12 | 西南民族大学 | 基于强化学习的虚拟网络层次化分布式部署方法及*** |
CN115001978A (zh) * | 2022-05-19 | 2022-09-02 | 华东师范大学 | 一种基于强化学习模型的云租户虚拟网络智能映射方法 |
CN115001978B (zh) * | 2022-05-19 | 2023-10-03 | 华东师范大学 | 一种基于强化学习模型的云租户虚拟网络智能映射方法 |
CN115941506A (zh) * | 2022-09-29 | 2023-04-07 | 重庆邮电大学 | 一种基于策略网络强化学习的多类型服务资源编排方法 |
US11973662B1 (en) * | 2023-08-31 | 2024-04-30 | East China Normal University | Intelligent mapping method for cloud tenant virtual network based on reinforcement learning model |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110365568A (zh) | 一种基于深度强化学习的虚拟网络映射方法 | |
CN109684075B (zh) | 一种基于边缘计算和云计算协同进行计算任务卸载的方法 | |
CN111953759B (zh) | 基于强化学习的协同计算任务卸载和迁移的方法及装置 | |
US11153229B2 (en) | Autonomic resource partitions for adaptive networks | |
WO2020168761A1 (zh) | 训练模型的方法和装置 | |
CN107566194B (zh) | 一种实现跨域虚拟网络映射的方法 | |
Bernárdez et al. | Is machine learning ready for traffic engineering optimization? | |
CN107846371B (zh) | 一种多媒体业务QoE资源分配方法 | |
CN112953761B (zh) | 一种面向多跳网络中虚网构建的资源虚实映射方法 | |
CN107196806B (zh) | 基于子图辐射的拓扑临近匹配虚拟网络映射方法 | |
CN108111335A (zh) | 一种调度和链接虚拟网络功能的方法及*** | |
Zhu et al. | Drl-based deadline-driven advance reservation allocation in eons for cloud–edge computing | |
CN109347657B (zh) | Sdn模式下支撑科技业务的虚拟数据域构建方法 | |
AU2021413737B2 (en) | Distributed artificial intelligence fabric controller | |
Li et al. | An optimized content caching strategy for video stream in edge-cloud environment | |
Nguyen et al. | Efficient virtual network embedding with node ranking and intelligent link mapping | |
Ben-Ameur et al. | Cache allocation in multi-tenant edge computing via online reinforcement learning | |
Ghalehtaki et al. | A bee colony-based algorithm for micro-cache placement close to end users in fog-based content delivery networks | |
Kumar et al. | Machine learning-based QoS and traffic-aware prediction-assisted dynamic network slicing | |
Li et al. | A distributed ADMM approach with decomposition-coordination for mobile data offloading | |
CN115225512B (zh) | 基于节点负载预测的多域服务链主动重构机制 | |
Gupta et al. | Fedfm: Towards a robust federated learning approach for fault mitigation at the edge nodes | |
Abdellah et al. | RAP-G: Reliability-aware service placement using genetic algorithm for deep edge computing | |
Han et al. | Multi-SP Network Slicing Parallel Relieving Edge Network Conflict | |
Duan et al. | Towards learning-based energy-efficient online coordinated virtual network embedding framework |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191022 |
|
RJ01 | Rejection of invention patent application after publication |