CN113015196A - 一种基于状态感知的网络切片故障愈合方法 - Google Patents

Abstract

本发明涉及一种基于状态感知的网络切片故障愈合方法，属于移动通信技术领域。首先提出了一种基于状态感知的VNF愈合策略选择方法，该方法通过物理节点上的VNF的故障状态与节点资源使用情况，进行VNF愈合策略的选择，以适应不同的故障场景。进一步地，针对需要进行迁移的VNF，提出了一种基于最小化愈合开销的计算模型。最后，通过深度强化学习方法DQN，寻找得到VNF的最佳迁移策略。本发明所提方法能够在进行网络切片故障愈合的同时，减少愈合开销，提高网络的可靠性。

Description

一种基于状态感知的网络切片故障愈合方法

技术领域

本发明属于移动通信技术领域，涉及一种基于状态感知的网络切片故障愈合方法。

背景技术

网络切片整合了SDN、NFV等技术，通过在同一个基础设施平台上同时实现多个异构逻辑网络切片来实现网络运营商的愿景。每个逻辑切片都是为满足特定客户QoS或弹性需求而定制的网络资源集，通过可编程方式将VNF以一定的顺序组合成SFC。网络切片使运营商能够构建敏捷、灵活的网络，以适应不同行业垂直领域的各种用例，通过单个底层物理网络满足垂直行业中不同用例的定制需求，有效降低移动通信网络CAPEX。SDN、NFV等技术的应用也为网络切片的自动化管理提供了技术支撑，自愈合技术的部署能够为移动通信网络带来更高的可靠性保障。

传统网络的可靠性由专用硬件保证，在网络切片场景下，网络功能实现软硬件解耦，昂贵且难以重新配置的专用硬件由运行在通用平台上的VNF代替，降低成本并提高灵活性的同时也对网络的可靠性提出了新的挑战。因为VNF容易受到各种问题的影响，如硬件问题、软件崩溃和过载等，其中底层物理节点故障对网络性能影响最为严重。网络切片的共享特性导致部署在故障物理节点上的所有VNF相关SFC可能均出现服务降级甚至中断。为了避免在物理节点故障发生后出现严重的QoS下降，甚至导致违反SLA的情况，需要为网络切片提供自愈合能力，即SFC从异常中自动恢复，保证网络服务可靠运行的能力。

发明内容

有鉴于此，本发明的目的在于提供一种基于状态感知的网络切片故障愈合方法。

为达到上述目的，本发明提供如下技术方案：

一种基于状态感知的网络切片故障愈合方法，该方法包括以下步骤：

S1：建立基于状态感知的虚拟化网络功能VNF愈合策略选择方法；

S2：建立基于最小化愈合开销的迁移开销计算模型；

S3：建立基于强化学习DQN的VNF迁移学习方法。

可选的，所述S1具体包括：

S21：将VNF性能观测时间序列数据输入到CNN-GRU网络中，检测物理节点上的各VNF是否处于故障状态；

S22：根据物理节点上VNF的故障状态信息计算物理节点的异常指数Θ，并根据Θ是否超出异常阈值Θ_Thr判定物理节点是否处于异常情况；Θ＞Θ_Thr为异常，反之为正常；

S23：联合考虑物理节点是否异常以及物理节点是否处于过载两个因素，确定故障VNF愈合策略：在当前节点愈合故障VNF、故障VNF迁移及物理节点全部VNF迁移；

S24：根据愈合策略选择方法，获得待迁移的VNF列表与故障的物理节点，并将其相关信息发送至网络功能虚拟化NFVMANO处，并根据最新的实时网络拓扑结构与网络状态信息，在NFVMANO处运行VNF迁移算法，确定待迁移VNF的迁移策略。

可选的，所述S2具体包括：

在网络切片的愈合中，愈合开销主要来自网络重配置开销与VNF状态迁移开销；网络重配置开销指控制器选择迁移目的节点和链路，完成链路与节点配置产生的开销；VNF状态迁移开销是VNF状态数据从异常物理节点迁移到目的节点的开销；

把VNFi从物理节点m迁移到n的愈合开销定义为：

C(i,m,n)＝k_i(T_T(i,m,n)+T_C)

其中，k_i为VNFi上平均每秒接收到的数据量；T_T(i,m,n)为将VNFi从底层物理节点m迁移到n的迁移实施时长，T_C为网络重配置时长。

可选的，所述S3具体包括：

S41：监测当前时隙t下的网络状态r(t)，包括全局节点状态ζ(t)以及全局链路状态η(t)；

S42：将当前状态r(t)作为Q网络的输入；

S43：计算以最小化愈合开销为目标的最优VNF迁移策略；

S44：基于最优动作执行VNF的迁移。

本发明的有益效果在于：本发明基于VNFs状态进行了不同类故障愈合策略的选择，避免了无效的VNF迁移，同时建立了一种基于最小化愈合开销的迁移模型，并且引入了深度强化学习方法DQN来确定迁移策略的，保障了网络的可靠性，减少了愈合开销。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为故障VNF愈合策略选择示意图；

图2为网络切片场景示意图；

图3为DQN网络模型示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

参阅图1～图3，为本发明方法原理示意。

实施例一

本实施例提供了一种基于状态感知的VNF愈合策略选择方法，该方法具体如下：

首先，采用基于CNN-GRU网络的故障检测方法检测VNF是否异常。该方法将经过预处理的VNFs观测数据作为输入，采用CNN网络提取特征，并将提取的特征输入GRU预测网络的未来工作状态值。通过计算预测值与真实值之间的重构误差来计算异常分数，并通过判定重构误差是否大于一定阈值，来判定各VNF是否处于故障状态；

其次，根据物理节点上VNF的故障状态信息计算物理节点的异常指数Θ，并根据Θ是否超出异常阈值Θ_Thr判定物理节点是否处于异常情况。Θ＞Θ_Thr为异常，反之为正常；

定义物理节点异常指数Θ，以及物理节点异常指数的阈值Θ_Thr：

其中，|A|代表物理节点m上故障VNF的个数，|m|是物理节点m上VNF的个数。

当Θ＞Θ_Thr时，认为物理设备发生了故障，导致物理节点处于不可用的严重异常状态，处于保障网络可靠性及QoS的考虑，当前物理节点无法继续提供服务，此时异常物理节点上的所有VNF需要立即迁移以实现网络切片中SFC的自愈合。

若Θ＜Θ_Thr，物理节点上处于性能下降阶段或正常状态，此时，VNF的故障可能是由软件运行问题或VNF所需资源不足等原因造成的。为了精确的确定VNF愈合策略，避免无效的VNF迁移所带来的开销问题，进一步考虑物理节点资源使用情况对VNF故障的影响。

定义SFC中VNFi的CPU资源需求和内存资源需求分别为

和

物理节点m的CPU资源与内存资源分别为

和

则物理节点m的CPU负载与内存负载为

与

其中，SFC中每个VNFi的CPU资源需求和内存资源需求分别为

和

θ_i,m为二进制变量，θ_i,m＝1表示VNFi部署在底层物理节点m上，θ_i,m＝0表示VNFi不部署在底层物理节点m上。设定阈值

与

当

或

时，物理节点m处于资源过载的状态。

(1)当物理节点上的资源使用情况处于过载状态时，此时VNF的故障可能是由资源不足等问题引起的，并且考虑到网络的负载均衡，因此选择迁移故障的VNF；(2)当物理节点处于正常负载状态时，在当前物理节点进行故障VNF的愈合，实施虚拟机重启、资源重分配等措施。

最后，根据愈合策略选择方法，获得待迁移的VNF列表与故障的物理节点列表，并将其相关信息发送至NFV MANO处，并根据最新的实时网络拓扑结构与网络状态信息，在NFVMANO处运行VNF迁移算法，确定待迁移VNF的迁移策略。

实施例二

本实施例提供了一种基于最小化愈合开销的成本模型，用以计算迁移策略所产生的成本，具体如下：

为了保证虚拟网络功能恢复到其他物理节点的过程中数据无丢失且对用户透明，恢复机制必须先将所有发往待恢复VNF的数据包存储，在完成VNF内部状态迁移后将其依次转发至目标VNF。在迁移过程中网络需要缓存所有本应由待迁移VNF接收的数据包。假设待迁移VNF每秒钟收到a个数据包，整个迁移操作花费b秒，那么网络在SFC愈合期间需要缓存a×b个数据包。随着网络规模的增大，需缓存的数据量迅速增加。

在网络切片愈合中，愈合开销主要来自网络重配置开销与VNF状态迁移开销。网络重配置开销指控制器选择迁移目的节点和链路，完成链路与节点配置产生的开销；VNF状态迁移开销是VNF状态数据从异常物理节点迁移到目的节点的开销。

给出网络重配置时长T_C和状态迁移时长T_T的定义，其中重配置时长T_C由网络的规模和计算能力决定。VNF状态迁移的数据量主要来源于内存数据的迁移，因此，将VNF的状态迁移时长定义为待迁移VNF内存数据与可用网络带宽的比值，将VNFi从底层物理节点m迁移到n的迁移实施时长为：

其中，

为η_p最大的路径上的剩余可用带宽，η_p为路径p的效率，其定义为：

其中，|p|为路径p上的物理节点数目，d_ml为底层物理节点m和l之间的距离，将其定义为网络跳数。网络中信息传输源节点与目的节点之间的距离越远，为了实现信息传输所消耗的资源量越大。由上式可以看出，路径p上的物理节点数目越多，路径效率η_p的值越小。

因此，把VNFi从物理节点m迁移到n的愈合开销定义为：

C(i,m,n)＝k_i(T_T(i,m,n)+T_C)

其中，k_i为VNFi上平均每秒接收到的数据量，T_T(i,m,n)状态迁移时长，T_C网络重配置时长。

实施例三

本实施例提供了一种DQN的迁移策略学习方法，具体如下：

强化学习是一种基于马尔可夫决策过程的增强在线学习方法。在学习过程中，智能学习体agent通过与环境的不断交互作用，以“试错”的方式来寻找最优的决策动作。每次决策动作会使环境从一个状态转换为另一个状态，从而获得一个瞬时回报值。Agent的目的就是学习寻找能够使得环境获得最大回报值的动作。强化学习的策略可以表示为π:s→A，其中π代表学习策略，s代表当前环境状态，A代表选择的执行动作。由于动作执行的影响是多方面的，其不但会影响瞬时奖惩评价值，从而会影响下一个环境状态，进而影响到下一动作的选择，从而会影响整体的最终奖惩评价值。

Q学习是一种模型无关的强化学习方法。Q学习是通过对状态动作对的Q值函数进行评估使得折算累积回报的期望值最大。评价函数Q(s_t,a_t)表示的是从状态s_t开始并执行动作a_t后获得的瞬时立即回报加上以后遵循最优策略的折算累积回报值，定义为：

其中：r_t+1表示当前状态s_t下执行动作a_t后的瞬时回报值，γ表示折扣因子，δ(s_t,a_t)表示状态s_t下执行动作a_t后的结果状态。

表示在状态δ(s_t,a_t)下遵循最优策略可以获得的最大折算累积回报值。而在状态s_t下最优的策略即为使立即回报和立即后继状态折算累积回报值最大的动作策略：

同时

因此递归定义下的Q值评估函数可以表示为：

将其转换为迭代模式下的Q函数更新表示为：

其中：α表示学习率，决定了新的信息对已有信息的影响，控制着收敛速度。Q学习过程中，agent只需比较每个状态动作对的Q(s_t,a_t)函数，就可以确定最优的策略动作。

DQN网络采用经验回放，目标网络和自适应性学习率调整方法的机制。经验回放是指在Agent与环境交互过程中，经验会以(s_t,a_t,r_t+1,s_t+1)的形式存放在记忆库D中，每次训练会从D中随机抽样出一批数据来进行训练，这样就可以在一定程度上消除样本之间的相关性。目标网络是指DQN中使用两个网络，一个网络是当前网络，与环境交互，并不断更新。另一个网络是目标网络，它并不与环境交互，也不在每个时间步进行更新，而是每隔一定时间步才会更新，每次更新都是把当前网络的参数直接赋值给它。

1.首先，进行DQN网络的训练：

1)初始化记忆库D，容量为N，用于存储训练样本；

2)初始化当前值卷积神经网络N1，随机初始化权重参数θ；

3)初始化目标值卷积神经网络N2，其结构以及初始化权重参数θ与N1相同。

4)采用∈-greedy方法为每个状态选择一个执行动作a_t；

5)得到执行动作a_t后的奖励r_t+1和下一个网络的输入s_t+1；

6)令状态从s_t转到s_t+1；

7)在记忆库D中存储经验(s_t,a_t,r_t+1,s_t+1)；

8)随机从D中选取一批数据；

9)计算每一个数据的目标值TargetQ以及当前值Q(s,a；θ)。

10)计算损失函数L(θ)，定义为目标值TargetQ与当前值Q(s,a；θ)之间的均方误差：

L(θ)＝E[(TargetQ-Q(s,a；θ))²]

11)通过SGD随机梯度下降的方式更新网络参数θ，

12)每C次迭代后更新目标值网络的参数θ^-为当前值网络的参数θ，即θ^-＝θ；

13)重复4)～12)，直到收敛；

2.其次，当完成DQN网络训练之后，通过监测当前时隙t下的网络状态r(t)，包括全局节点状态ζ(t)以及全局链路状态η(t)；

3.将当前状态r(t)作为Q网络的输入；

4.计算以最小化愈合开销为目标的最优VNF迁移策略；

5.最后基于最优动作执行VNF的迁移。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (4)

1.一种基于状态感知的网络切片故障愈合方法，其特征在于：该方法包括以下步骤：

S1：建立基于状态感知的虚拟化网络功能VNF愈合策略选择方法；

S2：建立基于最小化愈合开销的迁移开销计算模型；

S3：建立基于强化学习DQN的VNF迁移学习方法。

2.根据权利要求1所述的一种基于状态感知的网络切片故障愈合方法，其特征在于：所述S1具体包括：

S21：将VNF性能观测时间序列数据输入到CNN-GRU网络中，检测物理节点上的各VNF是否处于故障状态；

S22：根据物理节点上VNF的故障状态信息计算物理节点的异常指数Θ，并根据Θ是否超出异常阈值Θ_Thr判定物理节点是否处于异常情况；

Θ＞Θ_Thr为异常，反之为正常；

S23：联合考虑物理节点是否异常以及物理节点是否处于过载两个因素，确定故障VNF愈合策略：在当前节点愈合故障VNF、故障VNF迁移及物理节点全部VNF迁移；

S24：根据愈合策略选择方法，获得待迁移的VNF列表与故障的物理节点，并将其相关信息发送至网络功能虚拟化NFVMANO处，并根据最新的实时网络拓扑结构与网络状态信息，在NFVMANO处运行VNF迁移算法，确定待迁移VNF的迁移策略。

3.根据权利要求2所述的一种基于状态感知的网络切片故障愈合方法，其特征在于：所述S2具体包括：

在网络切片的愈合中，愈合开销来自网络重配置开销与VNF状态迁移开销；

网络重配置开销指控制器选择迁移目的节点和链路，完成链路与节点配置产生的开销；

VNF状态迁移开销是VNF状态数据从异常物理节点迁移到目的节点的开销；

把VNFi从物理节点m迁移到n的愈合开销定义为：

C(i,m,n)＝k_i(T_T(i,m,n)+T_C)

其中，k_i为VNFi上平均每秒接收到的数据量；T_T(i,m,n)为将VNFi从底层物理节点m迁移到n的迁移实施时长，T_C为网络重配置时长。

4.根据权利要求3所述的一种基于状态感知的网络切片故障愈合方法，其特征在于：所述S3具体包括：

S41：监测当前时隙t下的网络状态r(t)，包括全局节点状态ζ(t)以及全局链路状态η(t)；

S42：将当前状态r(t)作为Q网络的输入；

S43：计算以最小化愈合开销为目标的最优VNF迁移策略；

S44：基于最优动作执行VNF的迁移。

Images