CN113992520A

CN113992520A - 一种虚拟网络资源的部署方法和***

Info

Publication number: CN113992520A
Application number: CN202111249185.6A
Authority: CN
Inventors: 王�华; 花梦圆; 刘小慧
Original assignee: Shandong University
Current assignee: Shandong University
Priority date: 2021-10-26
Filing date: 2021-10-26
Publication date: 2022-01-28
Anticipated expiration: 2041-10-26
Also published as: CN113992520B

Abstract

本公开提供了一种虚拟网络资源的部署方法及***，包括：获取虚拟网络资源相关数据；依据获取的虚拟网络资源相关数据和预设的虚拟网络资源部署模型，得到虚拟网络资源的部署方案；其中，所述虚拟网络资源部署模型在弹性通信网络中，以最小化部署成本和最小化信息年龄为优化目标，采用自适应的深度强化学习模型得到帕累托最优解，进行虚拟网络资源的部署；本公开利用多目标优化，能够得到部署成本和信息年龄同时较优的方案；利用自适应的深度强化学习模型，从而能够处理大量的数据，并且能够应对网络以及用户需求的动态变化。

Description

一种虚拟网络资源的部署方法和***

技术领域

本公开属于虚拟网络技术领域，尤其涉及一种虚拟网络资源的部署方法和***。

背景技术

伴随着网络普及到人们生活的方方面面，网络的规模也呈现成指数增长的趋势，而各地的用户需求形形色色，网络的状态也是呈现动态变化的，因而不确定性和多变性可能会成为当下的通信网络所面临的最大的困难。在这样的时代背景下，弹性通信网络应运而生。

针对于当下一些轻型的新兴运营商给很多核心电信业务带来了巨大的冲击的情况，以及传统意义上的通信产业中坚持的“高成本、高性能、高可靠”的“三高”发展理念已经不适应当下时代的发展需求。传统的基础网络通信总是采用一种软硬件垂直一体化架构，所以尽管它给网络更好的可靠性和刚性，但也带来了网络的高复杂性、高成本性以及低创新性。最严重的一点是，这种传统的基础网络架构限制了云计算在灵活动态利用以及分配资源时的发展，这也使得基础网络通信成本大大增加。因而，急需一种“去电信化”的网络变革的出现。在此背景下，网络功能虚拟化(Network Functions Virtualization，NFV)应运而生。

因此，部署NFV中的虚拟网络功能模块(VNF)就成了需要解决的问题，而其中的主要挑战是在NFV基础设施中所需网络服务的最佳资源配置。虚拟网络的功能配置和路由可以表述为一个数学优化问题，它涉及一组表示网络基础设施和服务契约约束的可行性约束。该问题已被报道为一个NP_Hard的问题，因此该领域的大部分优化工作都集中在设计启发式算法和元启发式算法上。

本公开发明人发现，对上述问题大部分研究都使用监督学习模型进行资源分配，这导致了许多模型无法在没有显著性能下降的情况下进行推广，也无法跟上网络的动态变化。

发明内容

本公开为了解决上述问题，提出了一种虚拟网络资源的部署方法和***，本公开利用多目标优化，能够得到部署成本和信息年龄(age of information)同时较优的方案；利用自适应的深度强化学习模型，从而能够处理大量的数据，并且能够应对网络以及用户需求的动态变化。

为了实现上述目的，本发明是通过如下的技术方案来实现：

第一方面，本公开提供了一种虚拟网络资源的部署方法，包括：

获取虚拟网络资源相关数据；

依据获取的虚拟网络资源相关数据和预设的虚拟网络资源部署模型，得到虚拟网络资源的部署方案；

其中，所述虚拟网络资源部署模型在弹性通信网络中，以最小化部署成本和最小化信息年龄为优化目标，采用自适应的深度强化学习模型得到帕累托最优解，进行虚拟网络资源的部署。

进一步的，所述的弹性通信网络包括环境可感知、万物可互联、能力可调整、属性可变化和容量可伸缩特征。

进一步的，所述信息年龄，指描述信息的新鲜度，是捕获状态更新随机性的指标。

进一步的，所述自适应的深度强化学习模型，将深度学习与强化学习结合，实现从感知到动作的端到端的算法。

进一步的，所述帕累托最优解，是指在最小化部署成本和最小化信息年龄多目标背景下，在变量空间中不存在其他解优于拍累托最优解。

进一步的，进行虚拟网络资源的部署包括：

获取网络拓扑图，确定虚拟网络节点和虚拟链路的数量；

初始化帕累托近似解为空集，初始化智能体的状态，根据虚拟网络节点上的部署成本、到达每个虚拟网络节点的信息年龄和定义的两个常量，确定优化目标函数；

采用自适应的深度强化学习模型得到帕累托最优解，进行虚拟网络资源的部署。

进一步的，采用自适应的深度强化学习模型得到帕累托最优解包括：

通过更新参数u来使Q函数逼近最优Q值，Q-Learning的更新公式如下：

Q^*(s，a)＝Q(s，a)+α(r+γmaxa^′Q(s^′，a^′)-Q(s，a))

其中，u为网络参数，s为智能体的状态，a为智能体下一步所采取的动作，r为在s状态下采取a动作所带来的回报，γ为折扣因子；

损失函数如下：

L(u)＝E[(TargetQ-Q(s，a；u))²]

目标为：

″′

TargetQ＝r+γmaxaQ(s，a；u)

求L(u)关于u的梯度，更新网络参数u；把每个时间步智能体与环境交互得到的转移样本储存到回放记忆单元，用于训练；根据损失函数更新MainNet的参数，经过多轮迭代，将MainNet的参数复制给TargetNet，最后将结果给帕累托近似解，得到部署虚拟网络节点解集。

第二方面，本公开还提供了一种虚拟网络资源的部署***，包括数据采集模块和方案生成模块；

所述数据采集模块，被配置为：获取虚拟网络资源相关数据；

所述方案生成模块，被配置为：依据获取的虚拟网络资源相关数据和预设的虚拟网络资源部署模型，得到虚拟网络资源的部署方案；

第三方面，本公开还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现了第一方面所述的虚拟网络资源的部署方法的步骤。

第四方面，本公开还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现了第一方面所述的虚拟网络资源的部署方法的步骤。

与现有技术相比，本公开的有益效果为：

本公开利用多目标优化，从而能够得到部署成本和信息年龄同时较优的方案；利用自适应的深度强化学习模型，从而能够处理大量的数据，并且能够应对网络以及用户需求的动态变化。

附图说明

构成本实施例的一部分的说明书附图用来提供对本实施例的进一步理解，本实施例的示意性实施例及其说明用于解释本实施例，并不构成对本实施例的不当限定。

图1为本公开实施例1的网络虚拟化的网络结构图；

图2为本公开实施例1的随机生成的网络拓扑图；

图3为本公开实施例1的深度强化学习模型。

具体实施方式：

下面结合附图与实施例对本公开作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

实施例1：

提供了一种虚拟网络资源的部署方法，包括：

获取虚拟网络资源相关数据；

在本实施例中，所述的弹性通信网络包括环境可感知、万物可互联、能力可调整、属性可变化和容量可伸缩特征。

在本实施例中，所述信息年龄，指描述信息的新鲜度，是捕获状态更新随机性的指标。

在本实施例中，所述自适应的深度强化学习模型，将深度学习与强化学习结合，实现从感知到动作的端到端的算法。

在本实施例中，所述帕累托最优解，是指在最小化网络时延和最小化信息年龄多目标背景下，在变量空间中不存在其他解优于拍累托最优解。

在本实施例中，进行虚拟网络资源的部署包括：

获取网络拓扑图，确定虚拟网络节点和虚拟链路的数量；

本实施例中，虚拟网络资源的部署方法的具体步骤如下：如图2所示，根据Waxman-Salama模型，确定生成的虚拟网络节点的数量为N，虚拟链路的数量为L，得到网络拓扑图，再用相邻矩阵或者链表等数据结构来存储图。

初始化帕累托近似解N^R为空集，初始化智能体的状态，设定虚拟节点上N_i的部署成本为C_i，到达每个虚拟节点N_i的信息年龄为A_i，定义两个常量u₁、u₂，而用y_i表示结果集是否选择虚拟节点N_i，则优化目标可以表示为:

本实施例中，输入数据为复杂的网络数据，深度神经网络自动提取复杂特征，设定s为智能体的状态，a为智能体下一步所采取的动作，r表示在s状态下采取a动作所带来的回报，γ表示折扣因子，通过更新参数u来使Q函数逼近最优Q值，Q-Learning的更新公式如下：

Q^*(s，a)＝Q(s，a)+α(r+γmaxa′Q(s′，a′)-Q(s，a))

而损失函数如下：

L(u)＝E[(TargetQ-Q(s，a；u))²]

其中u是网络参数，目标为：

TargetQ＝r+γmaxa′Q(s′，a′；u)

显然损失函数是基于Q-Learning更新公式的第二项确定的，使当前的Q值逼近Target Q值。接下来，求L(u)关于u的梯度，使用SGD等方法更新网络参数u。即把每个时间步智能体与环境交互得到的转移样本(s_t，a_t，r_t，s_t+1)储存到回放记忆单元，要训练时就随机拿出一些来训练。用Q(s，a；u_i)表示当前网络MainNet的输出，用来评估当前状态动作对的值函数；Q(s，a；u^- _i)表示TargetNet的输出，代入上面求TargetQ值的公式中得到目标Q值。根据上面的损失函数更新MainNet的参数，每经过k轮迭代，将MainNet的参数复制给TargetNet，最后再将结果给帕累托近似解N^R，得到所需部署虚拟节点解集。

实施例2：

本实施例提供了一种虚拟网络资源的部署***，包括数据采集模块和方案生成模块；

实施例3：

本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现了实施例1所述的虚拟网络资源的部署方法的步骤。

实施例4：

本实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现了实施例1所述的虚拟网络资源的部署方法的步骤。

以上所述仅为本实施例的优选实施例而已，并不用于限制本实施例，对于本领域的技术人员来说，本实施例可以有各种更改和变化。凡在本实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本实施例的保护范围之内。

Claims

1.一种虚拟网络资源的部署方法，其特征在于，包括：

获取虚拟网络资源相关数据；

2.如权利要求1所述的一种虚拟网络资源的部署方法，其特征在于，所述的弹性通信网络包括环境可感知、万物可互联、能力可调整、属性可变化和容量可伸缩特征。

3.如权利要求1所述的一种虚拟网络资源的部署方法，其特征在于，所述信息年龄，指描述信息的新鲜度，是捕获状态更新随机性的指标。

4.如权利要求1所述的一种虚拟网络资源的部署方法，其特征在于，所述自适应的深度强化学习模型，将深度学习与强化学习结合，实现从感知到动作的端到端的算法。

5.如权利要求1所述的一种虚拟网络资源的部署方法，其特征在于，所述帕累托最优解，是指在最小化部署成本和最小化信息年龄多目标背景下，在变量空间中不存在其他解优于拍累托最优解。

6.如权利要求1所述的一种虚拟网络资源的部署方法，其特征在于，进行虚拟网络资源的部署包括：

获取网络拓扑图，确定虚拟网络节点和虚拟链路的数量；

7.如权利要求6所述的一种虚拟网络资源的部署方法，其特征在于，采用自适应的深度强化学习模型得到帕累托最优解包括：

Q^*(s，a)＝Q(s，a)+α(r+γmaxa^′Q(s^′，a^′)-Q(s，a))

损失函数如下：

L(u)＝E[(TargetQ-Q(s，a；u))²]

目标为：

″′

TargetQ＝r+γmaxaQ(s，a；u)

8.一种虚拟网络资源的部署***，其特征在于，包括数据采集模块和方案生成模块；

9.一种计算机可读存储介质，其上存储有计算机程序，用于指纹图谱相似度计算，其特征在于，该程序被处理器执行时实现了如权利要求1-7任一项所述的虚拟网络资源的部署方法的步骤。

10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现了如权利要求1-7任一项所述的虚拟网络资源的部署方法的步骤。