CN110389820A - 一种基于v-TGRU模型进行资源预测的私有云任务调度方法 - Google Patents

Abstract

针对私有云环境中存在的大量异构计算节点以及资源池间频繁调度资源产生的计算成本、网络传输成本等问题，本发明提出了一种基于v‑TGRU模型进行资源预测的私有云任务调度方法，通过统计历史记录以及结合当前工作负载下不同任务的先验资源使用(如CPU，内存等消耗)，并根据工作负载特性、主机特征和同一资源池中任务之间的亲和性情况，预测多任务的资源占用，进行多目标任务优化调度，实验结果表明与传统调度算法相比，通过人工智能算法可以以可接受的精度预测***行为，并且与精确的或近似的调度器组合能够将任务分配给主机，从而在执行任务的收益、服务质量和功耗之间取得平衡。

Description

一种基于v-TGRU模型进行资源预测的私有云任务调度方法

技术领域

本发明涉及私有云资源预测及调度领域，尤其涉及一种基于v-TGRU模型进行资源预测的私有云任务调度方法。

背景技术

云计算是一种通过可配置的网络、存储、服务器、应用软件、服务等计算资源共享池进行计算，按需分配和付费的服务模型。云计算环境下的资源分配和调度是云计算服务中最基础也是最核心的的研究问题之一，随着云计算技术的不断发展和计算机的更新迭代，云环境也越来越复杂，这种情况下的任务调度算法须在机器选择过程中根据机器负载性能或任务应用行为、故障表现、能源效率、亲和性等等因素，确定最优调度方案。而机器学习是根据过去的经验创建模型的能力，因此需要机器学习组件来提高复杂决策的准确性和有效性，以优化调度算法。

人工智能学习算法在预测领域应用以及云计算调度算法研究有很多，Modellingrelational statistics with Bayes Nets、Advances in artificial neural networks,machine learning,and computational intelligence提出了将经典模型，如决策树、支持向量机和神经网络等机器学习算法在云计算等特定的不同场景中的应用，经试验证实具有可行性。Modeling Machine Health Using Gated Recurrent Units with EntityEmbeddings and K-Means Clustering建议使用强化学习算法管理权力和资源分配。这些在云计算资源调度中的应用都是基于单因素进行训练，但在实际调度过程中需要要求许多考虑因素，包括精度、训练时间、参数数量、特性数量和变量之间的关系等。ADynamicConfiguration Model for Power-efficient Virtualized Server Clusters提出了虚拟化服务器集群中电源优化的动态配置方法，并概述了动态管理该方法的算法。GreenCloud:a New Architecture for Green Data Center对虚拟机迁移和虚拟机放置优化进行了研究，以更好地改进虚拟机放置和整合。Ttust-driven and QoS demend clusteringanalysis based cloud workflow scheduling strategies提出了基于信任驱动和Qos需求的工作流聚类分析云资源调度方法。Task scheduling scheme based on clusteringin heterogeneous cloud computing platform提出了云环境下基于分簇的云资源感知任务调度方案。这些方法都为任务调度和云资源聚类提供了有价值的借鉴，但在任务调度的过程中，存在大量闲散未被利用的计算资源，以及任务的反复调度，造成资源浪费。

发明内容

本发为了解决上述问题，在大规模日趋复杂的私有云环境下，提出了一种基于人工智能算法进行模拟训练并推演预测结果的基础下进行私有云资源调度的优化算法，构建私有云平台的智能资源预测及调度算法，建立智能资源预测和资源弹性伸缩的经验应用模型，以降低大规模私有云资源调度的运营成本及调度复杂性反复性。

本发明提出了一种基于v-TGRU模型进行资源预测的私有云任务调度优化方法，采用的技术方案为：通过统计历史记录以及结合当前工作负载下不同任务的先验资源使用(如CPU，内存等消耗)，并根据工作负载特性、主机特征和同一资源池中任务之间的亲和性情况，预测多任务的资源占用情况，并根据预测结果结合任务运行现状和要求进行多目标任务优化调度。具体步骤如下：

1.采集时间段T内的应用实例占用资源时间序列数据和资源池性能时间序列数据，得到历史时间段的应用实例占用资源时间序列矩阵X和历史时间段的资源池性能时间序列矩阵Y；

2.对矩阵X和矩阵Y进行标准化处理；

3.用编码器对标准化处理后的矩阵X和矩阵Y进行编码，得到编码后的历史时间段的应用实例占用资源时间序列矩阵X′和历史时间段的资源池性能时间序列矩阵Y′；

4.建立v-TGRU模型，采用步骤3所述的矩阵X′和矩阵Y′分别对v-TGRU模型进行训练，得到应用实例模型和资源池性能模型；

5.采集实时运行的应用实例占用资源时间序列数据和实时运行的资源池性能时间序列数据，根据步骤4所述的应用实例模型和资源池性能模型，得到未来时间段的预测应用实例占用资源时间序列矩阵和未来时间段的预测资源池性能时间序列矩阵

6.将步骤5所述的矩阵和矩阵作为调度算法的增量输入进行资源任务调度。

进一步的，所述步骤1具体如下：

以步长t采集时间段T内的n个应用实例占用资源时间序列数据和m个资源池性能时间序列数据，共T/t个采集点，得到历史时间段的应用实例占用资源时间序列矩阵X，X＝[x₁,…x_i,…x_p]和历史时间段的资源池性能时间序列矩阵Y，Y＝[y₁,…y_i,…y_q]，其中x_i为第i个占用资源参数向量，y_i为第i个资源池性能参数向量，X∈R^nT/t×p，Y∈R^mT/t×q。

进一步的，步骤2所述标准化处理的计算公式如下：

其中，r_ij表示第i个资源池的第j个参数，r′_jmin表示第j个参数标准化的最小值，r′_jmax表示第j个参数标准化的最大值，表示第j个参数的平均值，S_j表示第j个参数的标准差。

进一步的，所述步骤3具体如下：

采用编码器对标准化后的矩阵X和标准化后的矩阵Y进行编码，得到编码后的历史时间段的应用实例占用资源时间序列矩阵X′，X′＝[x′₁,…x′_i,…x′_p]和历史时间段的资源池性能时间序列矩阵Y′，Y′＝[y′₁,…y′_i,…y′_q]；所述编码器使用tanh激活函数，公式如下：

X′＝f(x)＝tanh(W_XX+b_X)

Y′＝f(y)＝tanh(W_YY+b_Y)

其中，其中，tanh(·)表示双曲正切函数计算，W_X、W_Y表示可训练的权重矩阵，b_X、b_Y表示可训练的权重矩阵。

进一步的，所述步骤4具体如下：

建立v-TGRU模型一，将矩阵X′随机分为训练数据集X′₁和预测数据集X′₂，使用X′₁对v-TGRU模型一进行训练，得到应用实例模型；建立v-TGRU模型二，将矩阵Y′随机分为训练数据集Y′₁和预测数据集Y′₂，使用Y′₁对v-TGRU模型二进行训练，得到资源池性能模型；

所述v-TGRU模型一和v-TGRU模型二均使用SGD梯度下降优化算法更新权重和偏差，权重设计如下：

其中w_k表示迭代权值，j、k表示随机时间步长参数总量，T表示参数总量；

分别使用X′₂和Y′₂对应用实例模型和资源池性能模型进行测试，将测试结果与标签数据进行方差和偏差分析，根据测试结果对应用实例模型和资源池性能模型的参数进行迭代优化。

进一步的，所述步骤5具体为：采集实时运行的n个应用实例占用资源时间序列数据和实时运行的m个资源池性能时间序列数据分别作为应用实例模型和资源池性能模型的输入，设定未来时间段和资源需求，得到未来时间段的预测应用实例占用资源时间序列矩阵和未来时间段的预测资源池性能时间序列矩阵

本发明与现有技术相比具有如下优点：经实验测试证明此方法通过对大量历史数据的采集、训练、建模、分析，更为精确的预测未来时效内的用用实例占用资源状况、运行状态以及资源池被占用情况，通过结合更准确的预测结果和实时采集到的状态数据进行综合分析调度，更有效地完成了应用实例对资源的预判选择，从而减少了调度时间，避免了应用实例的反复调度次数，节省了云资源的强制占用和反复调度消耗的调度资源及带宽，使应用任务更稳定运行，提升了用户满意度。

附图说明

图1 V-TGRU的结构示意图；

图2私有云平台的分层架构与调度模型示意图；

图3机器学习算法模型示意图；

图4基于机器学习的预测调度算法和***架构示意图。

具体实施方式

实验硬件环境为华为RH2288V3，CPU规格E5-2680V4*2，56核，内存128GB和384GB，硬盘规格800G[ssd]*12和6T[sata,7200rpm]*12，共96台服务器。本发明基于OpenStack的技术架构，构建私有云平台的智能资源预测及调度算法，建立智能资源预测和资源弹性伸缩的经验应用模型，构建不同场景的智能运维算法和应用模型。

***前端是私有云管平台的核心，是为开发人员、测试人员、运维人员和IT管理人员提供面向服务交付的云资源自服务管理工具。通过该平台的服务门户和服务目录，用户可以申请用于开发、测试和生产的计算资源和存储资源，构建类生产环境、编译代码、测试代码和部署应用。***后端采用OpenStack Ocata，主要分为控制节点和存储计算融合节点。控制节点是OpenStack的中枢，新组建的管理端都配置在控制节点上。存储计算融合节点又叫资源节点，主要提供了分布式的计算能力和基于Ceph的存储空间，除了大量的用户数据和信息存放在资源节点外，资源节点也作为缓存，为Glance镜像提供临时存放空间。

本发明建立的v-TGRU模型如图1所示，由于GRU算法存在两个问题：一是需要多个手动经验来预处理网络数据包，二是内存使用率高。因此，在本方法中引入了变量门控递归单元变量w。变量w和变量激活意味着变量w中的权重和激活功能与GRU相同，但v-TGRU中的权重w和激活功能是二值化的。此外，v-TGRU使用编码器进行自动预处理。而编码器是输入数据的压缩，通常比原始输入提供更规整的输入表示，以降低内存占用率，解决GRU算法存在的两个问题。

本发明基于的私有云平台的分层架构与调度模型如图2所示。云平台***通过执行APP任务为用户提供服务，APP被部署在VM节点中，APP可以看做任务。任务调度就是选择哪个VM节点来执行APP，而执行APP需要特定的资源，通过VM为设定APP所需资源额度，再通过调度来分配资源，以满足用户SLA(Service-Level Agreement，服务等级协议)要求。虚拟机资源分配就是为VM分配PM资源，使需求得到满足，达到QoS(Quality of Service，服务质量)要求或避免故障发生，从而满足用户SLA。可以为VM分配不同资源大小，由不同的QoS，可以实现QoS控制，任务调度问题转化为虚拟机资源分配问题。

本发明涉及的机器学习算法模型如图3所示，根据采集应用实例的负载数据、物理机、虚拟机资源状态数据，并进行编码处理，形成样例标记数据集，通过编程设计的学习算法v-TGRU对采集并编码处理后的数据集进行训练并建立资源占用状态模型，再通过输入实时采集到的样例未标记数据集进行权重迭代和调参，最终输出解码后的预测时间段内数据形成在线未打标签数据集。

整体预测调度算法和***架构的示意图如图4，主要包括资源预测子***和资源调度子***两个***模块，预测***和调度***的算法框架都是基于控制器模块进行匹配调用，其中智能资源预测子***是接收底层云平台***和应用实例的负载预测请求，调用智能资源预测处理算法，完成负载预测，并向智能资源调度子***输出预测结果数据集。资源调度子***接收底层云平台的调度决策请求，调用资源调度算法资源池的算法进行决策，并将调度结果输出。

下面对本发明的具体实施步骤做进一步阐述和说明。

第一步：以步长t采集时间段T内的n个应用实例占用资源时间序列数据和m个资源池性能时间序列数据，共T/t个采集点，得到历史时间段的应用实例占用资源时间序列矩阵X，X＝[x₁,…x_i,…x_p]和历史时间段的资源池性能时间序列矩阵Y，Y＝[y₁,…y_i,…y_q]，其中x_i为第i个占用资源参数向量，y_i为第i个资源池性能参数向量，X∈R^nT/t×p，Y∈R^mT/t×q。

第二步：对历史时间段的应用实例占用资源时间序列矩阵X和资源池性能时间序列矩阵Y进行标准化处理，消除量纲对数据的影响，将r′_jmin、r′_jmax迭代入标准化公式进行优化，所述标准化处理的计算公式如下：

其中，r_ij表示第i个资源池的第j个参数，r′_jmin表示第j个参数标准化的最小值，r′_jmax表示第j个参数标准化的最大值，表示第j个参数的平均值，S_j表示第j个参数的标准差

第三步：采用编码器对标准化处理后的矩阵X和标准化处理后的矩阵Y进行编码，得到编码后的历史时间段的应用实例占用资源时间序列矩阵X′，X′＝[x′₁,…x′_i,…x′_p]和历史时间段的资源池性能时间序列矩阵Y′，Y′＝[y′₁,…y′_i,…y′_h]；所述编码器使用tanh激活函数，公式如下：

X′＝f(x)＝tanh(W_XX+b_X)

Y′＝f(y)＝tanh(W_YY+b_Y)

其中，其中，tanh(·)表示激活函数，W_X表示n×p矩阵,W_Y表示m×q矩阵，b_X表示n×1偏差矢量，b_Y表示m×1偏差矢量。

第四步：建立v-TGRU模型一，将矩阵X′随机分为训练数据集X′₁和预测数据集X′₂，使用X′₁对v-TGRU模型一进行训练，得到应用实例模型；建立v-TGRU模型二，将矩阵Y′随机分为训练数据集Y′₁和预测数据集Y′₂，使用Y′₁对v-TGRU模型二进行训练，得到资源池性能模型；

所述v-TGRU模型一和v-TGRU模型二均使用SGD梯度下降优化算法更新权重，为了突出中间局部特征的影响，权重设计如下：

其中w_k表示迭代权值，j、k表示随机时间步长参数总量，T表示参数总量；

分别使用X′₂和Y′₂对应用实例模型和资源池性能模型进行测试，将测试结果与标签数据进行方差和偏差分析，公式如下；

var(x)＝E[(f(x；d)-E(f(x；d))²)]

bias²(x)＝(E(f(x；d))-y)

其中var(x)表示矢量x的方差，bias²(x)表示矢量x的偏差，f(x；d)表示矢量x在训练集d上的预测值，E(f(x；d))表示矢量x在训练集d上的期望预测值，y表示矢量x的实际记录值。

第五步：采集实时运行的n个应用实例占用资源时间序列数据和实时运行的m个资源池性能时间序列数据分别作为应用实例模型和资源池性能模型的输入，设定未来时间段和资源需求，得到未来时间段的预测应用实例占用资源时间序列矩阵和未来时间段的预测资源池性能时间序列矩阵

第六步：将未来时间段的预测应用实例占用资源时间序列矩阵和未来时间段的预测资源池性能时间序列矩阵作为调度算法的增量输入进行资源任务调度，根据m个资源池的资源总量，可用资源量进行聚类排序，同时根据所有应用任务的时间优先级、资源需求量、应用亲和性进行分类排序，根据分类排序的优先级进行多目标任务调度，最终输出实例T_i调度在资源池R_j上执行：<T_i,R_j,C_Rjk>，其中T_i表示第i个应用实例，R_j表示第j个资源池，C_Rjk表示第j个资源池属于第k个私有云资源聚类。

以上所述，仅为本发明的优选实施方式，但本发明的保护范围并不局限于此，对于任何熟悉本技术领域的技术人员来说，在本发明提出的技术范围内，可轻易想到变化或者替代，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (6)

1.一种基于v-TGRU模型进行资源预测的私有云任务调度方法，其特征在于包括如下步骤：

(1)采集时间段T内的应用实例占用资源时间序列数据和资源池性能时间序列数据，得到历史时间段的应用实例占用资源时间序列矩阵X和历史时间段的资源池性能时间序列矩阵Y；

(2)对矩阵X和矩阵Y进行标准化处理；

(3)用编码器对标准化处理后的矩阵X和矩阵Y进行编码，得到编码后的历史时间段的应用实例占用资源时间序列矩阵X′和历史时间段的资源池性能时间序列矩阵Y′；

(4)建立v-TGRU模型，采用步骤(3)所述的矩阵X′和矩阵Y′分别对v-TGRU模型进行训练，得到应用实例模型和资源池性能模型；

(5)采集实时运行的应用实例占用资源时间序列数据和实时运行的资源池性能时间序列数据，根据步骤(4)所述的应用实例模型和资源池性能模型，得到未来时间段的预测应用实例占用资源时间序列矩阵和未来时间段的预测资源池性能时间序列矩阵

(6)将步骤(5)所述的矩阵和矩阵作为调度算法的增量输入进行资源任务调度。

2.如权利要求1所述的基于v-TGRU模型进行资源预测的私有云任务调度优化方法，其特征在于所述步骤(1)具体如下：

以步长t采集时间段T内的n个应用实例占用资源时间序列数据和m个资源池性能时间序列数据，共T/t个采集点，得到历史时间段的应用实例占用资源时间序列矩阵X，X＝[x₁,…x_i,…x_p]和历史时间段的资源池性能时间序列矩阵Y，Y＝[y₁,…y_i,…y_q]，其中x_i为第i个占用资源参数向量，y_i为第i个资源池性能参数向量，X∈R^nT/t×p，Y∈R^mT/t×q。

3.如权利要求1所述的基于v-TGRU模型进行资源预测的私有云任务调度优化方法，其特征在于步骤(2)所述标准化处理的计算公式如下：

其中，r_ij表示第i个资源池的第j个参数，r′_jmin表示第j个参数标准化的最小值，r′_jmax表示第j个参数标准化的最大值，表示第j个参数的平均值，S_j表示第j个参数的标准差。

4.如权利要求1所述的基于v-TGRU模型进行资源预测的私有云任务调度优化方法，其特征在于所述步骤(3)具体如下：

采用编码器对标准化后的矩阵X和标准化后的矩阵Y进行编码，得到编码后的历史时间段的应用实例占用资源时间序列矩阵X′，X′＝[x′₁,…x′_i,…x′_p]和历史时间段的资源池性能时间序列矩阵Y′，Y′＝[y′₁,…y′_i,…y′_q]；所述编码器使用tanh激活函数，公式如下：

X′＝f(x)＝tanh(W_XX+b_X)

Y^′＝f(y)＝tanh(W_YY+b_Y)

其中，其中，tanh(·)表示双曲正切函数计算，W_X、W_Y表示可训练的权重矩阵，b_X、b_Y表示可训练的权重矩阵。

5.如权利要求1所述的基于v-TGRU模型进行资源预测的私有云任务调度优化方法，其特征在于所述步骤(4)具体如下：

建立v-TGRU模型一，将矩阵X′随机分为训练数据集X′₁和预测数据集X′₂，使用X′₁对v-TGRU模型一进行训练，得到应用实例模型；建立v-TGRU模型二，将矩阵Y′随机分为训练数据集Y′₁和预测数据集Y′₂，使用Y′₁对v-TGRU模型二进行训练，得到资源池性能模型；

所述v-TGRU模型一和v-TGRU模型二均使用SGD梯度下降优化算法更新权重和偏差，权重设计如下：

其中w_k表示迭代权值，j、k表示随机时间步长参数总量，T表示参数总量；

分别使用X′₂和Y′₂对应用实例模型和资源池性能模型进行测试，将测试结果与标签数据进行方差和偏差分析，根据测试结果对应用实例模型和资源池性能模型的参数进行迭代优化。

6.如权利要求1所述的基于v-TGRU模型进行资源预测的私有云任务调度优化方法，其特征在于所述步骤(5)具体为：采集实时运行的n个应用实例占用资源时间序列数据和实时运行的m个资源池性能时间序列数据分别作为应用实例模型和资源池性能模型的输入，设定未来时间段和资源需求，得到未来时间段的预测应用实例占用资源时间序列矩阵和未来时间段的预测资源池性能时间序列矩阵