CN110247795A - 一种基于意图的云网资源服务链编排方法及*** - Google Patents
一种基于意图的云网资源服务链编排方法及*** Download PDFInfo
- Publication number
- CN110247795A CN110247795A CN201910461367.6A CN201910461367A CN110247795A CN 110247795 A CN110247795 A CN 110247795A CN 201910461367 A CN201910461367 A CN 201910461367A CN 110247795 A CN110247795 A CN 110247795A
- Authority
- CN
- China
- Prior art keywords
- service
- layout
- cost
- intention
- net resource
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明实施例提供了一种基于意图的云网资源服务链编排方法及***,方法包括:基于预设的北向接口参考架构,对云网资源提供端到端服务;基于深度强化学习的服务链编排框架,对所述端到端服务进行在线编排和动态调整,其中,在所述在线编排和动态调整中,求解预设多目标优化问题模型以最小化服务链编排成本和延迟。本发明实施例提供的一种基于意图的云网资源服务链编排方法及***,通过提供预设的北向接口参考架构和基于DRL的SFC编排框架,并构建了一个多目标优化问题模型,以最大限度地降低长期服务链编排成本。
Description
技术领域
本发明涉及通信技术领域,尤其涉及一种基于意图的云网资源服 务链编排方法及***。
背景技术
具有不同QoS要求的物联网服务的快速增长给网络运营商带来了 快速交付和QoS保证方面的巨大挑战。网络功能虚拟化(Network Function Virtualization,NFV)和软件定义网络(Software Defined Networking,SDN)已成为灵活资源分配和动态服务供应的关键技术。 但是,这两种技术仍然需要应用手动操作来定义服务模型和配置网络 细节,进而需要高技能的管理员和大量的时间。这些手动任务对提高 可靠性和快速提供服务有不利作用。因此,提出了基于意图的网络(the Intent Based Networking,IBN)以简化低级配置并加快服务交付。
支持基于意图的服务供应的一个关键方面是与供应商无关且与技 术无关的北向接口(northbound interface,NBI),用于将客户语言转换 为服务链(Service FunctionChain,SFC)的抽象定义。另一个关键步 骤是基于SFC模型的抽象定义的在线编排,以实现需求驱动,自动调 整的服务交付方式。
然而上述方法仍需要提前获得完整的网络细节以获得全局最优解, 但这些准确的信息通常难以收集。因此现在亟需一种基于意图的云网 资源服务链编排方法来解决上述问题。
发明内容
为了解决上述问题,本发明实施例提供一种克服上述问题或者至 少部分地解决上述问题的一种基于意图的云网资源服务链编排方法及 ***。
第一方面本发明实施例提供一种基于意图的云网资源服务链编排 方法,包括:
基于预设的北向接口参考架构,对云网资源提供端到端服务;
基于深度强化学习的服务链编排框架,对所述端到端服务进行在 线编排和动态调整,其中,在所述在线编排和动态调整中,求解预设 多目标优化问题模型以最小化服务链编排成本和延迟。
其中,所述多目标优化问题模型表示为:
min{cost(server)+cost(link)}
其中,cost(server)为服务器资源的相关成本、cost(link)流量转发的成 本,C1,C2,C3,C4,C5,C6,C7为资源约束条件。
其中,所述求解预设多目标优化问题模型以最小化服务链编排成 本和延迟,包括:
基于预设的双层深度Q网络算法获取所述多目标优化问题模型的 最优解。
其中,所述基于预设的双层深度Q网络算法获取所述多目标优化 问题模型的最优解,包括:
对业务流程进行初始化;
基于预设的双层深度Q网络,对初始化后的业务流程进行业务编 排。
其中,所述对业务流程进行初始化,包括:
从云服务器集中随机选择满足要求的目标方案;
基于最短路径选择算法,确定VNF之间的目标路由方案;
计算所有服务链的编排费用。
其中,所述基于预设的双层深度Q网络,对初始化后的业务流程 进行业务编排,包括:
状态空间初始化后向双层深度Q网络输入状态;
获取输入状态对应的动作并计算目标Q值;
基于梯度下降法更新输入状态直至达到预设的终止条件。
第二方面本发明实施例还提供一种基于意图的云网资源服务链编 排***,包括:
服务模块,用于基于预设的北向接口参考架构,对云网资源提供 端到端服务;
编排调整模块,用于基于深度强化学习的服务链编排框架,对所 述端到端服务进行在线编排和动态调整,其中,在所述在线编排和动 态调整中,求解预设多目标优化问题模型以最小化服务链编排成本和 延迟。
第三方面本发明实施例提供了一种电子设备,包括:
处理器、存储器、通信接口和总线;其中,所述处理器、存储器、 通信接口通过所述总线完成相互间的通信;所述存储器存储有可被所 述处理器执行的程序指令,所述处理器调用所述程序指令能够执行上 述基于意图的云网资源服务链编排方法。
第四方面本发明实施例提供了一种非暂态计算机可读存储介质, 所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使 所述计算机执行上述基于意图的云网资源服务链编排方法。
本发明实施例提供的一种基于意图的云网资源服务链编排方法及 ***,通过提供预设的北向接口参考架构和基于DRL的SFC编排框架, 并构建了一个多目标优化问题模型,以最大限度地降低长期服务链编 排成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面 将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显 而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普 通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附 图获得其他的附图。
图1是本发明实施例提供的一种基于意图的云网资源服务链编排 方法流程示意图;
图2是本发明实施例提供的不同学习速率下的训练步数示意图;
图3是本发明实施例提供的不同算法下的训练步数示意图;
图4是本发明实施例提供的不同算法的平均时延示意图;
图5是本发明实施例提供的不同算法的总成本示意图;
图6是本发明实施例提供的一种基于意图的云网资源服务链编排 ***结构示意图;
图7是本发明实施例提供的电子设备的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结 合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚地 描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的 实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创 造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1是本发明实施例提供的一种基于意图的云网资源服务链编排 方法流程示意图,如图1所示,包括:
101、基于预设的北向接口参考架构,对云网资源提供端到端服务;
102、基于深度强化学习的服务链编排框架,对所述端到端服务进 行在线编排和动态调整,其中,在所述在线编排和动态调整中,求解 预设多目标优化问题模型以最小化服务链编排成本和延迟。
需要说明的是,本发明实施例的应用场景是在于物联网中如何实 现对云网资源的服务链编排,在此场景下,本发明实施例提出了一个 IBN参考架构来管理物联网基础设施并跨多个域提供端到端服务。具 体的,在步骤101中,本发明实施例提供的IBN参考架构包括:VNF 管理器(VNF Manager,VNFM)和NFV编排器(NFV Orchestrator, NFVO)、管理和控制平面以及数据平面。VNF管理器和NFV编排器 用于允许客户使用人类可读语言声明IR,然后通过基于意图的NBI将 声明性策略转换为高级服务抽象,例如VNF性质,QoS功能和阈值。管理和控制平面包括虚拟化基础架构管理器(VIM)和控制器,VIM 将高级抽象策略映射为低级服务链编排策略,协调SDN_C和云控制器 (Cloud_C)以自动化SFC编排。数据平面用于通过南向接口 (Southbound Interface,SBI)接收控制消息,并为云域中的VNF放置 和流量路由提供物理资源,而物联网域的传感器和执行器负责数据收 集。那么通过上述本发明实施例所提供的IBN参考架构能够实现管理 物联网基础设施并跨多个域提供端到端服务。
进一步的,在步骤102中,本发明实施例提供了一种基于深度强 化学习的服务链编排框架,即基于DRL的SFC编排框架。该DRL的 SFC编排框架可以通过基于意图的NBI和网络学习模型获得SFC抽象 模型和环境细节。然后基于DRL的SFC编排框架能够协调控制器,通 过技术特定的SBI实现当前网络的相应动作,同时,网络提供有关奖 励或惩罚的反馈,以促使DRL的SFC编排框架调整其行为,经过有效 的训练使得DRL的SFC编排框架实现最优策略,该最优策略即本发明 实施例所需的云网资源服务链编排方案。其中,在获取最优策略的过 程中,本发明实施例建立了一个多目标优化问题模型来最小化SFC编 排成本和延迟,通过对该多目标优化问题模型的最优求解得到最终所 需的云网资源服务链编排方案。
其中,在本发明实施例建立的多目标优化问题模型中,SFC由三 元组s={(vso,vde)s,Fs,rs}表示,其中(vso,vde)s表示s的源节点对和目标节点对。 vso生成具有数据传输速率为rs的流量。Fs表示特定的SFC信息,包括 VNF的属性,顺序和连通性。云服务器中所需的CPU,内存资源和 VNF的f∈Fs的处理延迟由cpuf,memf和df表示。VNF的u和w之间的虚 拟链接由表示。定义Ds为延迟阈值。
那么云域的物理网络由加权无向图G=(N,L)表示,其中N和L分别 表示节点和有线链路。节点分为两类:第一类为用于转发流量的交换 机,第二类为用于托管虚拟机v∈V的云服务器。服务器和链接的数量用 M和H表示。云服务器v具有用于放置VNF实例的CPU计算和内存资 源,这些实例分别由Capcpu(v)和Capmem(v)表示。节点i和j之间的物理链路lij具有最大数据传输速率bij和传输延迟dij。 表示s中的VNF 的f映射到了云服务器,否则为 表示s中的虚拟链路映 射到了物理链路,否则为0。
VNF实例需要CPU计算资源和云服务器中的内存资源。需要考虑 负载均衡,因为维护服务器和链路之间的负载均衡可以避免流量拥塞 并进一步提高网络成本效率。因此,本发明实施例提出了两个负载均 衡因子Φv和Θij,用于指示网络的负载状态,它们的值与资源使用率有 正相关关系。Φv计算如下:
其中α1,β1,χ1是正参数,用于调整成本计算过程中Φv的值。Φv是Uv的线性函数还是指数函数是否取决于Uv的范围。Uv表示CPU和内存使 用率的加权和,由下式计算:
其中,ep和em代表CPU和内存使用率的权重,ep+em=1。服务器资 源的相关成本由下式计算:
CPU和内存资源的单价分别用c1和c2表示。接下来考虑流量路由中 的转发成本,负载平衡因子Θij计算如下:
其中α2,β2,χ2是正参数并用于调整Θij的值。Uij表示链路lij中传输速 率的使用率,计算方式如下:
流量转发的成本计算方式如下:
其中,c3表示链路传输速率的单价。(el·Θij+ed·dij/Ds)代表Θij的加权 和延迟dij,el+ed=1。cost(link)由三部分组成:Θij,固定延迟dij和单价。 从上述计算式可以看出,具有较大剩余资源的节点或链路具有相对较 低的成本。
SFC编排流程的总成本Cost_total计算如下:
Cost_total=cost(server)+cost(link);
资源约束由下式得到:
延迟约束由下式得到:
从而建立了旨在提高成本效率和保证QoS的多目标优化问题模型:
min{cost(server)+cost(link)}
本发明实施例提供的一种基于意图的云网资源服务链编排方法及 ***,通过提供预设的北向接口参考架构和基于DRL的SFC编排框架, 并构建了一个多目标优化问题模型,以最大限度地降低长期服务链编 排成本。
在上述实施例的基础上,所述求解预设多目标优化问题模型以最 小化服务链编排成本和延迟,包括:
基于预设的双层深度Q网络(DDQN)算法获取所述多目标优化 问题模型的最优解。
针对上述实施例中提出的多目标优化问题模型,本发明实施例设 计了一个双层深度Q网络算法来求出多目标优化问题模型的最优解。
具体的,本发明实施例将优化问题被表述为马尔可夫决策过程 {ST,A,Rd,P},其中ST表示状态空间,A表示动作空间,Rd被定义为奖励 函数,P是状态转移概率。定义如下:
状态空间为:每个代理在某个时刻都有相应的编排方案。该状态 被定义为所有SFC的QoS要求的满足程度,并由下式计算:
ST={st1,sts,...,stK};
其中,sts={0,1},K是SFC的数量。sts=1表示在当前的编排方案下 SFC的延迟要求能够得到满足。否则,sts=0。所有状态的数量是2K。
动作空间为:SFC的两个状态之间的转换表示通过采取动作来改 变VNF的放置或路由。动作集A定义如下式所示:
其中,X被设计为SFC业务流程中VNF放置的可用动作集。另外, 如果给出X,则可以通过最短路径算法获得VNF之间的路由。
Y被设计为VNF之间的流量路由的可用动作集。因此,VNF放置 和流量路由的操作空间表示为A={X,Y}。s的动作数为2M+H。
奖励为:如果代理人采取某种行动,状态sts将转移到新的状态st's。 代理s也可以获得立即奖励Rds(as,st,st'),定义为sts转移到st's时的降低成 本。
Rds(as,st,st')=cost(sts)-cost(st's);
其中cost(sts)和cost(st's)代表状态sts和st's的编排费用和。通过积累长期 奖励Rds(as,st,st')可以实现最高的成本效率,根据当前状态,策略π可以 获得SFC将采取的相应行动。最佳行动是Qs(st,a)被定义为 状态-动作函数,并表示指定的状态-动作的预期累积折扣奖励。Qs(st,a)表 示为:
其中,γ是折扣因子,表示未来奖励在学习中的重要性。根据 Bellman方程,可以如下获得最优
Ps(as,st,st')表示从状态st到状态st'的转换概率。因此,可以基于上 式得到最优策略并表示为:
在实践中,通常很难获得准确的转换概率。因此,Q学习被设计 为基于可用信息以迭代方式找到最优解,并且它使用以下等式来更新Q 值函数:
其中,δ为学习效率,影响到Qs(st,a)的更新率。
可以理解的是,Q学习基于Q值表完成迭代,因此如果状态和动 作空间非常大,则很难获得最优解。为了克服这个弱点,本发明实施 例提供的深度Q网络(DQN)通过深度神经网络(DNN)而不是Q值 表来近似Q值函数。DNN可以被视为具有多个处理层的深度图。θ表 示这些层的权重,并通过梯度下降更新。DQN使用的值函数的近似值 由下式计算:
Qs(st,a,θ)≈Qs(st,a)。
除此之外,DQN利用经验重放和独立目标网络来消除数据依赖性。 定义目标网络以基于权重θ-计算目标Q值。θ和θ-之间的差异是θ在每 次迭代中更新,但是θ-在固定次数的迭代中更新。目标Q值函数由下 式给出:
DQN的损失函数定义为均方误差,由下式计算:
L(θ)=E[(Target_Qs-Qs(st,a,θ))2];
在每次迭代中,需要更新权重θ以根据梯度最小化损失函数。 更新函数由下式计算:
值得强调的是,DQN和Q学习都利用最大函数进行计算Target_Qs, 这导致了高估问题。作为改进,DDQN首先在当前网络中找到具有最 大Q值的相应动作,而不是直接在目标网络中的所有动作的最大Q值:
amax(st',θ)=argmaxa'∈AQs(st',a',θ);
然后使用所选动作amax(st',θ)重写Target_Qs。DDQN中的新Target_Qs由 下式计算:
类似地,在DDQN中L(θ)和θ'也需要一起更新。
具体的,本发明实施例所提供的双层深度Q网络算法可以包括两 部分,第一部分为业务流程初始化,业务流程初始化可以包括以下步 骤:
1、从σf,s随机选择f∈Fs的可行的放置方案σf,s表示对于f∈Fs可 行的云服务器集。
2、通过最短路径算法获得VNF之间的路由方案。
3、计算所有SFC的编排费用。
第二部分为利用DDQN网络的业务编排,该部分可以包括以下步 骤:
1、状态空间被初始化为ST={st1,sts,...,stK}。
2、对于SFCs,它将sts作为输入添加进Q值网络Qs(sts,a,θ)。
3、通过ε-greedy策略获取动作。该策略分别以概率ε和1-ε选择随 机动作和最佳动作。
4、所有SFC的转换存储在经验重放存储器中。
5、每个代理从ER中取样(st,a,Rd,st'),并根据是否为最终状态计算其 目标Q值。
6、它们相对于Q值网络的θ执行梯度下降步骤(Target_Qs-Qs(st,a,θ))2。 在每ufθ步后,θ被替换为θ。
7、如果当前状态ST={1,1,...,1},训练将被终止。
综合上述过程可以看出,本发明实施例设计的DDQN算法能够获 取多目标优化问题模型的最优解,且该算法具有更好的成本效率和收 敛性,并且可以保证QoS要求,使流量均衡。
为了验证本发明实施例所提出方法的性能,本发明实施例进行了 仿真实验。具体的,本发明实施例利用由30个节点(10个云服务器和 20个交换机)和50个链路组成的云网络对所提算法进行仿真。链路的 最大数据传输速率固定为1Gbps。链路的传输延迟是1-3ms。服务器的 CPU和内存资源分别设置为32和100-200GB。每个SFC需要2-4个 VNF,其数据传输速率为20-50Mbps。每个VNF需要2-4个CPU和 5-10GB内存资源,其处理延迟为2-5ms。DNN的结构包括三个完全连 接的神经网络的隐层,具有64、32、32个神经元。主要从算法的收敛 性能、优化性能这两方面来进行仿真。
首先在在不同学习率下评估收敛性能:图2是本发明实施例提供 的不同学习速率下的训练步数示意图,如图2所示,具有三种学习速 率的DDQN算法在episode开始时具有巨大的训练步数。训练步数随 着episode的增加而趋于下降,这反映了DDQN的良好收敛性能。另 一方面,学习率是收敛性能的关键因素。以EP=90为例,δ=0.001的DDQN 需要92个训练步骤。作为比较,δ=0.01和δ=0.1算法只需要40和26步 就可以获得最优解。
然后再比较不同强化学习算法下的收敛性能,图3是本发明实施 例提供的不同算法下的训练步数示意图,如图3所示。可以看出,Q 学习在不同episode下具有较低的收敛性能,因为它消除数据依赖性所 需的措施较少。相反,DQN和DDQN建立了经验重放和独立目标网络 来解决数据相关性,因此他们的训练步骤少于Q学习。以Q-learning, DQN,DDQN的训练步骤为例,分别为51、32、26。因此,与DQN 相比,解决高估问题也是DDQN的优势。
进一步的,本发明实施例用以下两种算法作为对比来评估平均延 迟,总奖励和负载平衡状态。QoS驱动的布局算法(QPA):它首先获 得SFC的端到端路径,然后扩展到路径之上,以最小化成本和延迟, 同时满足资源需求。随机拟合放置算法(RPA):VNF的放置以随机拟 合的形式执行,从而考虑满足所有约束的所有方案,并随机选择其中 一个,然后也随机选择其中的路径。图4是本发明实施例提供的不同 算法的平均时延示意图,如图4所示,由于SFC请求的数量很少,因 此四种算法的平均延迟在开始时较低。随着SFC的增加,延迟随着不 同的幅度而增加。当SFC数量为200时,DDQN,DQN,QPA和RPA 的平均延迟分别为38ms,43ms,48ms,56ms。由于RPA的随机性, RPA的延迟性能较差。尽管DQN和QPA将延迟最小化考虑在内,但 它们忽略了负载平衡的影响,这可能导致网络拥塞。相比之下,在不 同的SFC请求数量下,DDQN具有更好的延迟性能。
图5是本发明实施例提供的不同算法的总成本示意图,如图5所 示,在不同数量的SFC下,DDQN,DQN,QPA的总成本总是低于RPA,因为它们都考虑了目标函数的成本最小化。例如,当SFC数量 为300时,RPA的成本比QPA,DQN,DDQN高16%,20%,27%。 在这三种算法中,DDQN具有最佳的成本效率,因为它克服了高估问 题且侧重于负载平衡,QPA和DQN忽略了这一点。因此,DDQN可 以在SFC编排过程中获得最佳延迟和成本。
对于负载均衡状态而言,以SFCs=300为例,DDQN链路使用率 的方差比RPA,SPA和DQN低62%,55%,41%。同样,DDQN服 务器使用率的变化也比81%,65%,48%低。在SFC编排优化模型中, Φv和Θij设计用于维护网络平衡,使得DDQN可以有效避免网络拥塞。
图6是本发明实施例提供的一种基于意图的云网资源服务链编排 ***结构示意图,如图6所示,包括:服务模块601和编排调整模块 602,其中:
服务模块601用于基于预设的北向接口参考架构,对云网资源提 供端到端服务;
编排调整模块602用于基于深度强化学习的服务链编排框架,对 所述端到端服务进行在线编排和动态调整,其中,在所述在线编排和 动态调整中,求解预设多目标优化问题模型以最小化服务链编排成本 和延迟。
具体的如何通过服务模块601和编排调整模块602可用于执行图1所示的基于意图的云网资源服务链编排方法实施例的技术方案,其实 现原理和技术效果类似,此处不再赘述。
本发明实施例提供的一种基于意图的云网资源服务链编排***, 通过提供预设的北向接口参考架构和基于DRL的SFC编排框架,并构 建了一个多目标优化问题模型,以最大限度地降低长期服务链编排成 本。
在上述实施例的基础上,所述多目标优化问题模型表示为:
min{cost(server)+cost(link)}
其中,cost(server)为服务器资源的相关成本、cost(link)流量转发的成 本,C1,C2,C3,C4,C5,C6,C7为资源约束条件。
在上述实施例的基础上,所述编排调整模块包括:
DDQN单元,用于基于预设的双层深度Q网络算法获取所述多目 标优化问题模型的最优解。
在上述实施例的基础上,所述DDQN单元包括:
初始化部分,用于对业务流程进行初始化;
业务编排部分,用于基于预设的双层深度Q网络,对初始化后的 业务流程进行业务编排。
在上述实施例的基础上,所述初始化部分具体用于:
从云服务器集中随机选择满足要求的目标方案;
基于最短路径选择算法,确定VNF之间的目标路由方案;
计算所有服务链的编排费用。
在上述实施例的基础上,所述业务编排部分具体用于:
状态空间初始化后向双层深度Q网络输入状态;
获取输入状态对应的动作并计算目标Q值;
基于梯度下降法更新输入状态直至达到预设的终止条件。
本发明实施例提供一种电子设备,包括:至少一个处理器;以及 与所述处理器通信连接的至少一个存储器,其中:
图7是本发明实施例提供的电子设备的结构框图,参照图7,所述 电子设备,包括:处理器(processor)701、通信接口(Communications Interface)702、存储器(memory)703和总线704,其中,处理器701,通 信接口702,存储器703通过总线704完成相互间的通信。处理器701 可以调用存储器703中的逻辑指令,以执行如下方法:基于预设的北 向接口参考架构,对云网资源提供端到端服务;基于深度强化学习的 服务链编排框架,对所述端到端服务进行在线编排和动态调整,其中, 在所述在线编排和动态调整中,求解预设多目标优化问题模型以最小 化服务链编排成本和延迟。
本发明实施例公开一种计算机程序产品,所述计算机程序产品包 括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程 序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行 上述各方法实施例所提供的方法,例如包括:基于预设的北向接口参 考架构,对云网资源提供端到端服务;基于深度强化学习的服务链编 排框架,对所述端到端服务进行在线编排和动态调整,其中,在所述 在线编排和动态调整中,求解预设多目标优化问题模型以最小化服务 链编排成本和延迟。
本发明实施例提供一种非暂态计算机可读存储介质,所述非暂态 计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机 执行上述各方法实施例所提供的方法,例如包括:基于预设的北向接 口参考架构,对云网资源提供端到端服务;基于深度强化学习的服务 链编排框架,对所述端到端服务进行在线编排和动态调整,其中,在 所述在线编排和动态调整中,求解预设多目标优化问题模型以最小化 服务链编排成本和延迟。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解 到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然 也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现 有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软 件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光 盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机, 服务器,或者网络设备等)执行每个实施例或者实施例的某些部分所 述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而 非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领 域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技 术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修 改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方 案的精神和范围。
Claims (9)
1.一种基于意图的云网资源服务链编排方法,其特征在于,包括:
基于预设的北向接口参考架构,对云网资源提供端到端服务;
基于深度强化学习的服务链编排框架,对所述端到端服务进行在线编排和动态调整,其中,在所述在线编排和动态调整中,求解预设多目标优化问题模型以最小化服务链编排成本和延迟。
2.根据权利要求1所述的基于意图的云网资源服务链编排方法,其特征在于,所述多目标优化问题模型表示为:
min{cost(server)+cost(link)}
其中,cost(server)为服务器资源的相关成本、cost(link)流量转发的成本,C1,C2,C3,C4,C5,C6,C7为资源约束条件。
3.根据权利要求1所述的基于意图的云网资源服务链编排方法,其特征在于,所述求解预设多目标优化问题模型以最小化服务链编排成本和延迟,包括:
基于预设的双层深度Q网络算法获取所述多目标优化问题模型的最优解。
4.根据权利要求3所述的基于意图的云网资源服务链编排方法,其特征在于,所述基于预设的双层深度Q网络算法获取所述多目标优化问题模型的最优解,包括:
对业务流程进行初始化;
基于预设的双层深度Q网络,对初始化后的业务流程进行业务编排。
5.根据权利要求4所述的基于意图的云网资源服务链编排方法,其特征在于,所述对业务流程进行初始化,包括:
从云服务器集中随机选择满足要求的目标方案;
基于最短路径选择算法,确定VNF之间的目标路由方案;
计算所有服务链的编排费用。
6.根据权利要求4所述的基于意图的云网资源服务链编排方法,其特征在于,所述基于预设的双层深度Q网络,对初始化后的业务流程进行业务编排,包括:
状态空间初始化后向双层深度Q网络输入状态;
获取输入状态对应的动作并计算目标Q值;
基于梯度下降法更新输入状态直至达到预设的终止条件。
7.一种基于意图的云网资源服务链编排***,其特征在于,包括:
服务模块,用于基于预设的北向接口参考架构,对云网资源提供端到端服务;
编排调整模块,用于基于深度强化学习的服务链编排框架,对所述端到端服务进行在线编排和动态调整,其中,在所述在线编排和动态调整中,求解预设多目标优化问题模型以最小化服务链编排成本和延迟。
8.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至6任一项所述基于意图的云网资源服务链编排方法的步骤。
9.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至6任一项所述基于意图的云网资源服务链编排方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910461367.6A CN110247795B (zh) | 2019-05-30 | 2019-05-30 | 一种基于意图的云网资源服务链编排方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910461367.6A CN110247795B (zh) | 2019-05-30 | 2019-05-30 | 一种基于意图的云网资源服务链编排方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110247795A true CN110247795A (zh) | 2019-09-17 |
CN110247795B CN110247795B (zh) | 2020-09-25 |
Family
ID=67885322
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910461367.6A Active CN110247795B (zh) | 2019-05-30 | 2019-05-30 | 一种基于意图的云网资源服务链编排方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110247795B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111865686A (zh) * | 2020-07-20 | 2020-10-30 | 北京百度网讯科技有限公司 | 云产品扩容方法、装置、设备以及存储介质 |
CN112040011A (zh) * | 2020-06-30 | 2020-12-04 | 北京来也网络科技有限公司 | 基于rpa及ai的模拟训练方法、装置、计算设备和介质 |
CN112583629A (zh) * | 2019-09-30 | 2021-03-30 | 华为技术有限公司 | 一种信息处理方法、相关设备及计算机存储介质 |
CN112637064A (zh) * | 2020-12-31 | 2021-04-09 | 广东电网有限责任公司电力调度控制中心 | 一种基于改进深度优先搜索算法的业务链编排方法 |
CN114827284A (zh) * | 2022-04-21 | 2022-07-29 | 中国电子技术标准化研究院 | 工业物联网中服务功能链编排方法、装置及联邦学习*** |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107438983A (zh) * | 2014-09-22 | 2017-12-05 | 沃尔廷控股公司 | 确定软件定义网络,存储和计算的物理和虚拟资源的编译器和方法 |
US20180123974A1 (en) * | 2015-09-28 | 2018-05-03 | Centurylink Intellectual Property Llc | Intent-Based Services Orchestration |
CN108536144A (zh) * | 2018-04-10 | 2018-09-14 | 上海理工大学 | 一种融合稠密卷积网络和竞争架构的路径规划方法 |
CN108600101A (zh) * | 2018-03-21 | 2018-09-28 | 北京交通大学 | 一种针对端到端时延性能优化的网络服务跨域编排方法 |
CN108900419A (zh) * | 2018-08-17 | 2018-11-27 | 北京邮电大学 | Sdn架构下基于深度强化学习的路由决策方法及装置 |
CN109245916A (zh) * | 2018-08-15 | 2019-01-18 | 西安电子科技大学 | 一种意图驱动的云化接入网***及方法 |
CN109358971A (zh) * | 2018-10-30 | 2019-02-19 | 电子科技大学 | 动态网络环境中快速且负载均衡的服务功能链部署方法 |
-
2019
- 2019-05-30 CN CN201910461367.6A patent/CN110247795B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107438983A (zh) * | 2014-09-22 | 2017-12-05 | 沃尔廷控股公司 | 确定软件定义网络,存储和计算的物理和虚拟资源的编译器和方法 |
US20180123974A1 (en) * | 2015-09-28 | 2018-05-03 | Centurylink Intellectual Property Llc | Intent-Based Services Orchestration |
CN108600101A (zh) * | 2018-03-21 | 2018-09-28 | 北京交通大学 | 一种针对端到端时延性能优化的网络服务跨域编排方法 |
CN108536144A (zh) * | 2018-04-10 | 2018-09-14 | 上海理工大学 | 一种融合稠密卷积网络和竞争架构的路径规划方法 |
CN109245916A (zh) * | 2018-08-15 | 2019-01-18 | 西安电子科技大学 | 一种意图驱动的云化接入网***及方法 |
CN108900419A (zh) * | 2018-08-17 | 2018-11-27 | 北京邮电大学 | Sdn架构下基于深度强化学习的路由决策方法及装置 |
CN109358971A (zh) * | 2018-10-30 | 2019-02-19 | 电子科技大学 | 动态网络环境中快速且负载均衡的服务功能链部署方法 |
Non-Patent Citations (8)
Title |
---|
FRANCO CALLEGATI: "Performance of Intent-based Virtualized Network Infrastructure Management", 《IEEE ICC 2017 SAC SYMPOSIUM SDN & NFV TRACK》 * |
HAMED RAHMANI KHEZRI: "Deep Q-Learning for Dynamic Reliability Aware NFV-Based Service Provisioning", 《谷歌学术》 * |
NGUYEN CONG LUONG: "Applications of Deep Reinforcement Learning in communication and networking: A Survey", 《IEEE》 * |
WENCHEN HE: "Markov Approximation Method for Optimal Service Orchestration in IoT Network", 《IEEE ACCESS》 * |
左国玉: "基于动作注意策略的树形DDQN目标候选区域提取方法", 《电子与信息学报》 * |
肖逸凯: "基于软件定义网络的虚拟网络功能服务链在线调度技术", 《万方学位论文》 * |
马骋乾: "强化学习研究综述", 《指挥控制与仿真》 * |
魏亮: "基于强化学习的服务链映射算法,", 《通信学报》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112583629A (zh) * | 2019-09-30 | 2021-03-30 | 华为技术有限公司 | 一种信息处理方法、相关设备及计算机存储介质 |
CN112583629B (zh) * | 2019-09-30 | 2022-06-10 | 华为技术有限公司 | 一种信息处理方法、相关设备及计算机存储介质 |
CN112040011A (zh) * | 2020-06-30 | 2020-12-04 | 北京来也网络科技有限公司 | 基于rpa及ai的模拟训练方法、装置、计算设备和介质 |
CN112040011B (zh) * | 2020-06-30 | 2023-06-09 | 北京来也网络科技有限公司 | 基于rpa及ai的模拟训练方法、装置、计算设备和介质 |
CN111865686A (zh) * | 2020-07-20 | 2020-10-30 | 北京百度网讯科技有限公司 | 云产品扩容方法、装置、设备以及存储介质 |
CN112637064A (zh) * | 2020-12-31 | 2021-04-09 | 广东电网有限责任公司电力调度控制中心 | 一种基于改进深度优先搜索算法的业务链编排方法 |
CN114827284A (zh) * | 2022-04-21 | 2022-07-29 | 中国电子技术标准化研究院 | 工业物联网中服务功能链编排方法、装置及联邦学习*** |
CN114827284B (zh) * | 2022-04-21 | 2023-10-03 | 中国电子技术标准化研究院 | 工业物联网中服务功能链编排方法、装置及联邦学习*** |
Also Published As
Publication number | Publication date |
---|---|
CN110247795B (zh) | 2020-09-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110247795A (zh) | 一种基于意图的云网资源服务链编排方法及*** | |
Liu et al. | Dynamic service function chain orchestration for NFV/MEC-enabled IoT networks: A deep reinforcement learning approach | |
CN110365514B (zh) | 基于强化学习的sdn多级虚拟网络映射方法和装置 | |
CN109768940A (zh) | 多业务sdn网络的流量分配方法及装置 | |
Rjoub et al. | Trust-driven reinforcement selection strategy for federated learning on IoT devices | |
Yuan et al. | A Q-learning-based approach for virtual network embedding in data center | |
CN110022230A (zh) | 基于深度强化学习的服务链并行部署方法及装置 | |
WO2023216489A1 (zh) | 算力网络节点评价及操作方法和装置 | |
Wang et al. | VNE solution for network differentiated QoS and security requirements: from the perspective of deep reinforcement learning | |
CN110198280A (zh) | 一种基于bp神经网络的sdn链路分配方法 | |
CN108111335A (zh) | 一种调度和链接虚拟网络功能的方法及*** | |
Dalgkitsis et al. | Dynamic resource aware VNF placement with deep reinforcement learning for 5G networks | |
Wang et al. | A reinforcement learning approach for online service tree placement in edge computing | |
Li et al. | MEC-based dynamic controller placement in SD-IoV: A deep reinforcement learning approach | |
Liu et al. | Multi-objective optimization service function chain placement algorithm based on reinforcement learning | |
Yamansavascilar et al. | Deepedge: A deep reinforcement learning based task orchestrator for edge computing | |
Dalgkitsis et al. | SCHE2MA: Scalable, energy-aware, multidomain orchestration for beyond-5G URLLC services | |
Tang et al. | Multi-user layer-aware online container migration in edge-assisted vehicular networks | |
CN110233763B (zh) | 一种基于时序差分学习的虚拟网络嵌入算法 | |
Faraji-Mehmandar et al. | A self-learning approach for proactive resource and service provisioning in fog environment | |
CN115225512B (zh) | 基于节点负载预测的多域服务链主动重构机制 | |
CN116566891A (zh) | 时延敏感的服务功能链并行路由优化方法、装置及介质 | |
Xia et al. | Learn to optimize: Adaptive VNF provisioning in mobile edge clouds | |
Rădulescu et al. | Analysing congestion problems in multi-agent reinforcement learning | |
CN116389255A (zh) | 一种改进双深度q网络的服务功能链部署方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |