CN111367668A - 一种基于改进bp神经网络的云服务资源弹性伸缩方法 - Google Patents

Abstract

本发明公开一种基于改进BP神经网络的云服务资源弹性伸缩方法，该方法包括：一种优化的激励函数，增加调节因子，改进Sigmoid函数的不足。一种学习率动态调整算法，减少迭代次数，加快收敛速率。一种通过预测CPU未来使用趋势，对云服务资源进行弹性伸缩的方法，通过虚拟机动态的增加或释放，节省计算资源，保证云服务的安全与稳定。

Description

一种基于改进BP神经网络的云服务资源弹性伸缩方法

技术领域

本发明涉及深度学习和云计算领域，具体涉及一种基于改进BP神经网络的云服务资源弹性伸缩方法。

背景技术

深度学习领域快速发展，BP神经网络得到了广泛应用。BP算法的核心是将产生的结果与正确的结果进行比较，得到误差，再逆推对神经网中的权重进行反馈修正，从而完成学习的过程。但传统BP算法也存在一定局限，激励函数的选取，固定的学习率，原始的权值梯度计算方式使BP神经网络出现训练过程震荡、收敛缓慢、训练时间过长等问题。

弹性伸缩策略是云计算的关键技术之一。目前主流云计算***的自动伸缩为基于阈值确定，即当服务负载达到某个阈值将增加相应的资源，或者当负载低于某个阈值减少资源。这种固定的策略不够完善，存在计算资源浪费与服务器稳定性缺失等问题。

发明内容

为解决上述技术问题，提出一种基于改进BP神经网络的云服务资源弹性伸缩方法。提出一种改进后的激励函数，增加调节因子，克服梯度消失问题。一种优化的学习率动态调整算法，加速收敛，缩短训练时间。提出一种计算方法，根据预测后的CPU使用情况，提前进行虚拟机资源的动态伸缩，节省资源，稳定高效。

本发明包括以下技术方案及步骤：

步骤1、监控各虚拟机CPU使用量，每12分钟记录一次，形成数据集合。数据集合中的数据个数作为输入层和输出层的节点个数。

确定隐含层节点个数。n为输入层节点个数，m为输出层节点个数。s为调节项，初始值为1，采用节点扩张法，取值区间[1，10]。l表示隐含层节点个数，公式表达如下：

随机函数生成[-1，1]内随机数，作为权值和阈值的初始值。初始化输入层到隐含层权值ω_ij，隐含层到输出层权值ω_jk。初始化隐含层节点阈值θ_j，输出层节点阈值θ_k。

步骤2、计算隐含层节点数值。i为输入层节点，j为输出层节点，m为输出层节点个数。θ_j表示隐含层节点阈值，O_j表示隐含层节点数值，公式表达如下：

传统BP算法中激励函数Sigmoid存在饱和区，使网络陷入局部最小，梯度更新速度缓慢。提出一种激活函数，保证权值更新的稳定性。调节因子λ的取值区间为(0，1)。取值方式为，当输入数据的绝对值位于区间[0，10^b]，λ取值10^-b，

b为正整数。x为输入数值，公式记为f，表达如下:

步骤3、计算输出层节点数值。j为隐含层节点，k为输出层节点，l为隐含层节点个数。θ_k表示输出层节点阈值，O_j表示隐含层节点数值，ω_jk表示隐含层到输出层权值。O_k表示输出层节点数值，公式表达如下：

步骤4、计算误差。k为输出层节点，l为隐含层节点个数，d_k为期望输出值。误差表示为E，公式表达如下：

步骤5、更新输入层到隐含层权值梯度Δω_ij，隐含层到输出层权值梯度Δω_jk。x为输入数值，η为学习率。k为输出层节点，m为输出层节点个数。ω_ij表示输入层到隐含层权值，ω_jk表示隐含层到输出层权值，O_j表示隐含层节点数值，E表示误差，公式表达如下：

Δω_jk＝ηO_jE (7)

固定的学习率的存在诸多局限。提出一种学习率动态更新算法，在迭代过程中自适应调整，减小震荡趋势，加快网络的收敛速度。公式表达如下:

其中，h为迭代次数，E为误差。学习率η初始值为0.1，若本次误差较上次有所增加，0.85倍减小学习率。若本次误差较上次有所减少，1.15倍增加学习率。若两次相等，则不变化。

步骤6、更新隐含层阈值梯度Δθ_j，输出层阈值梯度Δθ_k。η为学习率，O_j表示隐含层节点数值，ω_jk表示隐含层到输出层权值。E表示误差，公式表达如下：

Δθ_k＝E (10)

步骤7、更新输入层到隐含层权值ω_ij，隐含层到输出层权值ω_jk。更新隐含层阈值θ_j，输出层阈值θ_k。h为迭代次数，公式表达式如下：

步骤8、对云服务资源进行弹性伸缩。提出一种动态弹性伸缩计算方法，使用改进后神经网络预测下一个12分钟的CPU使用量。根据使用量，计算CPU利用率和CPU使用系数。结合可接受的CPU利用率，决定是否伸缩。

虚拟机a的CPU利用率表示为U_a，

为虚拟机a下个12分钟的CPU使用量，

表示虚拟机a的CPU总量，公式表达如下：

CPU使用系数表示为U_coe，b为虚拟机运行数量，U_tar为预设可接受的CPU利用率，公式表达如下：

若虚拟机CPU利用率U_a大于CPU使用系数U_coe与可接受CPU利用率U_tar之和，则进行扩容，增加虚拟机，公式表达为：

U_a＞U_coe+U_tar (14)

若虚拟机CPU利用率U_a小于CPU使用系数U_coe与可接受CPU利用率U_tar之和，则进行缩容，释放虚拟机，公式表达为：

U_a＜U_coe+U_tar (15)

需要伸缩的虚拟机数量表示为N_exp，N_cur为当前启动的CPU数量，

表示向上取整，公式表达如下：

若虚拟机CPU利用率U_a和CPU使用系数U_coe与可接受CPU利用率U_tar之和相等，则不进行伸缩，返回步骤1进行下一轮预测。

附图说明

图1为本发明的神经网络结构图

图2为本发明的执行流程图

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地述。

本发明提出一种基于改进BP神经网络的云服务资源弹性伸缩方法，具体实施步骤如下：

步骤1、使用OpenStack或其他云计算服务平台，在虚拟机中编写定时执行脚本，监控虚拟机CPU使用数量，每隔12分钟记录一次，形成相关日志文件。文件中的数据清洗后作为神经网络的输入层数据集合，数据集合中的数据个数作为输入层和输出层的节点个数。

参阅图1，确定隐含层节点个数。n为输入层节点个数，m为输出层节点个数。s为调节项，取值为3。l表示隐含层节点个数，公式表达如下：

随机函数生成[-1，1]内随机数，作为权值和阈值的初始值。初始化输入层到隐含层权值ω_ij，隐含层到输出层权值ω_jk。初始化隐含层节点阈值θ_j，输出层节点阈值θ_k。

步骤2、计算隐含层节点数值。i为输入层节点，j为输出层节点，m为输出层节点个数。θ_j表示隐含层节点阈值，O_j表示隐含层节点数值，公式表达如下：

传统BP算法中激励函数Sigmoid存在饱和区，使网络陷入局部最小，降低梯度更新速度。提出一种激活函数，保证权值更新的稳定性。调节因子λ取值0.01。x为输入数值，公式记为f，表达如下:

步骤3、计算输出层节点数值。j为隐含层节点，k为输出层节点，l为隐含层节点个数。θ_k表示输出层节点阈值，O_j表示隐含层节点数值，ω_jk表示隐含层到输出层权值。O_k表示输出层节点数值，公式表达如下：

步骤4、计算误差。k为输出层节点，l为隐含层节点个数，d_k为期望输出值。误差表示为E，公式表达如下：

步骤5、更新输入层到隐含层权值梯度Δω_ij，隐含层到输出层权值梯度Δω_jk。x为输入数值，η为学习率。k为输出层节点，m为输出层节点个数。ω_ij表示输入层到隐含层权值，ω_jk表示隐含层到输出层权值，O_j表示隐含层节点数值，E表示误差，公式表达如下：

Δω_jk＝ηO_jE (7)

固定的学习率的存在诸多局限。提出一种学习率动态更新算法，在迭代过程中自适应调整，减小震荡趋势，加快网络的收敛速度。公式表达如下:

其中，h为迭代次数，E为误差。学习率η取值0.1，若本次误差较上次有所增加，0.85倍减小学习率。若本次误差较上次有所减少，1.15倍增加学习率。若两次相等，则不变化。

步骤6、更新隐含层阈值梯度Δθ_j，输出层阈值梯度Δθ_k。η为学习率，O_j表示隐含层节点数值，ω_jk表示隐含层到输出层权值，E表示误差，公式表达如下：

Δθ_k＝E (10)

步骤7、更新输入层到隐含层权值ω_ij，隐含层到输出层权值ω_jk。更新隐含层阈值θ_j，输出层阈值θ_k。h为迭代次数，公式表达式如下：

步骤8、参阅图2，对云服务资源进行弹性伸缩。提出一种动态弹性伸缩计算方法，使用改进后神经网络预测下一个12分钟的CPU使用量。根据使用量，计算CPU利用率和CPU使用系数。结合可接受的CPU利用率，决定是否伸缩。

虚拟机a的CPU利用率表示为U_a，

为虚拟机a下一个12分钟的CPU使用量，

为虚拟机a的CPU总量，公式表达如下：

CPU使用系数表示为U_coe，b为虚拟机运行数量，U_tar为预设可接受的CPU利用率，公式表达如下：

若虚拟机CPU利用率U_a大于CPU使用系数U_coe与可接受CPU利用率U_tar之和，则进行扩容，增加虚拟机，公式表达为：

U_a＞U_coe+U_tar (14)

若虚拟机CPU利用率U_a小于CPU使用系数U_coe与可接受CPU利用率U_tar之和，则进行缩容，释放虚拟机，公式表达为：

U_a＜U_coe+U_tar (15)

需要伸缩的虚拟机数量表示为N_exp，N_cur为当前启动的CPU数量，

表示向上取整，公式表达如下：

若虚拟机CPU利用率U_a和CPU使用系数U_coe与可接受CPU利用率U_tar之和相等，则不进行伸缩，返回步骤1进行下一轮预测。

本发明能够克服现有BP算法学习速度慢、网络稳定性差等缺点。改进后的算法能够避免神经网络陷入局部最小，加快神经网络的学习速度和收敛速度。有效减少震荡，使神经网络的训练过程更加稳定高效。

与现有云计算中虚拟资源的固定阈值伸缩方法相比，本发明提出的动态伸缩方法更加灵活，在降低资源消耗的同时提高了用户满意度，使云计算***运行时更加稳定，具有较高优越性。

Claims (1)

1.一种基于改进BP神经网络的云服务资源弹性伸缩方法，其特征在于：

步骤1、监控各虚拟机CPU使用量，每12分钟记录一次，形成数据集合；数据集合中的数据个数作为输入层和输出层的节点个数；

确定隐含层节点个数；n为输入层节点个数，m为输出层节点个数；s为调节项，取值区间[1，10]；l表示隐含层节点个数，公式表达如下：

随机函数生成[-1，1]内随机数，作为权值和阈值的初始值；初始化输入层到隐含层权值ω_ij，隐含层到输出层权值ω_jk；初始化隐含层节点阈值θ_j，输出层节点阈值θ_k；

步骤2、计算隐含层节点数值；i为输入层节点，j为隐含层节点；m为输出层节点个数，θ_j表示隐含层节点阈值；O_j表示隐含层节点数值，公式表达如下：

提出一种激活函数，增加调节因子λ，λ取值区间为(0，1)；x为输入数值，公式记为f，表达如下：

步骤3、计算输出层节点数值；j为隐含层节点，k为输出层节点，l为隐含层节点个数；θ_k表示输出层节点阈值，O_j表示隐含层节点数值，ω_jk表示隐含层到输出层权值；O_k表示输出层节点数值，公式表达如下：

步骤4、计算误差；k为输出层节点，l为隐含层节点个数；d_k表示期望输出值，O_k表示输出层节点数值；误差表示为E，公式表达如下：

步骤5、更新输入层到隐含层权值梯度Δω_ij，隐含层到输出层权值梯度Δω_jk；x为输入数值，η为学习率；k为输出层节点，m为输出层节点个数；ω_ij表示输入层到隐含层权值，ω_jk表示隐含层到输出层权值，O_j表示隐含层节点数值，E表示误差，公式表达如下：

Δω_jk＝ηO_jE (7)

学习率动态更新，在迭代过程中自适应调整；η为学习率，h为迭代次数，E表示误差，公式表达如下：

步骤6、更新隐含层阈值梯度Δθ_j，输出层阈值梯度Δθ_k；η为学习率，O_j表示隐含层节点数值，ω_jk表示隐含层到输出层权值，E表示误差，公式表达如下：

Δθ_k＝E (10)

步骤7、更新输入层到隐含层权值ω_ij，隐含层到输出层权值ω_jk；更新隐含层阈值θ_j，输出层阈值θ_k；h为迭代次数，公式表达式如下：

θ_k(h+1)＝θ_k(h)+Δθ_k(h)

步骤8、对云服务资源进行弹性伸缩；预测下一个12分钟的CPU使用量；根据使用量，计算CPU利用率和CPU使用系数；结合可接受的CPU利用率，决定是否伸缩；

虚拟机a的CPU利用率表示为U_a；

为虚拟机a下个12分钟的CPU使用量，

为虚拟机a的CPU总量，公式表达如下：

CPU使用系数表示为U_coe，b为虚拟机运行数量，U_tar为预设可接受的CPU利用率，公式表达如下：

扩容条件为：

U_a＞U_coe+U_tar (14)

缩容条件为：

U_a＜U_coe+U_tar (15)

需要伸缩的虚拟机数量表示为N_exp，N_cur为当前启动的CPU数量，

表示向上取整，公式表达如下：

若相等则不进行伸缩，返回步骤1进行下一轮预测。

Images