CN103024048B - 一种云环境下的资源调度方法 - Google Patents

Abstract

本发明公开了一种云环境下的资源调度方法，属于分布式计算和计算机网络应用领域。本发明从***级节能角度出发，在满足云任务的执行时间和费用两个QoS需求的前提下，以***总能耗最小为目标，对资源进行调度，可有效降低云数据中心的能源消耗；并进一步采用改进的遗传算法进行最优资源调度方案的搜索，通过引入正态分布的选择算子提高适应度适中的个体以保持种群多样性，利用正态分布模型根据适应度和进化代数设计交叉算子和变异算子以保持种群多样性和种群结构，从而有效提高了算法的收敛性能，减少了算法完成时间。

Description

一种云环境下的资源调度方法

技术领域

本发明涉及一种云环境下的资源调度方法，属于分布式计算和计算机网络应用领域。

背景技术

随着用户对云计算的需求不断增长，云中的IT设备越来越多，数据中心规模越来越大，云环境下的能耗问题也越来越突出。据美国环保署(US EPA)报告，2006年美国数据中心共消耗了高达610亿千瓦的电量。据估计，一个拥有50000个计算节点的数据中心每年耗电量超过1亿千瓦时，电费达到930万美元。在国内，***数据中心年耗电99亿千瓦时，总计年需消耗92万吨标准煤；中国电信数据中心年耗电112亿千瓦时，总计年需消耗102.95万吨标准煤。据绿色和平的一份报告观测，到2020年，全球主要IT营运商“云计算”(包括数据处理和电信网络)的能耗将近2万亿千瓦时，超过德、法、加和巴西等4国的能耗总和。因此寻求一种节能的方法来降低数据中心的能耗十分必要。

云计算通过虚拟化技术，将云数据中心各种计算资源、存储资源和网络资源等整合到一起，形成一个资源池。由于资源的种类多、规模大，因此合理调度资源，对构建节能的资源调度算法具有重要的研究价值。对数据中心节能技术的研究主要集中在三个方面：芯片级节能技术、基础架构级节能技术和***级节能技术。前两种是从硬件方面实施节能技术，第三种是通过软件的方式从***层次对各资源进行调度以实现节能的目的。本发明从***级节能角度出发，研究云环境下的资源调度算法。

发明内容

本发明所要解决的技术问题在于克服现有技术不足，提供一种云环境下的资源调度方法，从***级节能角度出发，在满足云任务的执行时间和费用两个QoS需求的前提下，以***总能耗最小为目标，对资源进行调度，可有效降低云数据中心的能源消耗。

本发明具体采用以下技术方案解决上述技术问题：

一种云环境下的资源调度方法，将切分后得到的M个任务分配至N个物理主机进行处理，其特征在于，任务分配的具体方案通过求解以下数学模型得到：

Mnimize ${\mathrm{EC}}_{\mathrm{total}}=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\left({\mathrm{EC}}_j\right)$

Subject to

$\∀t_i,r_i,i=\mathrm{1,2},\·\·\·,M,j=\mathrm{1,2},\·\·\·,N,$

T_ijexec≤T_iexpt,cost_ijvm≤cost_iexpt，

式中，EC_total为***总能耗，EC_j表示第j个物理主机r_j的能耗，T_ijexec、T_iexpt分别表示第i个任务t_i的预计执行时间、期待执行时间，cost_ijvm、cost_iexpt分别表示任务t_i的预计执行费用、期待执行费用。

上述数学模型可采用现有的各种算法进行优化求解，优选地，所述数学模型的求解使用遗传算法，所述遗传算法的染色体编码方法如下：采用实数编码方式，染色体的长度等于任务的数量M，其中的基因与M个任务一一对应；基因的值为该基因所对应的任务占用的物理主机编号；

所述遗传算法的适应度函数如下：

f=k_adapt/lg(EC_total+1)，

式中，k_adapt为适应参数，EC_total为***总能耗。

优选地，所述遗传算法中的选择操作具体按照以下方法：按照正态选择算子的概率值，用轮盘赌方法选择两个染色体；正态选择算子的计算公式如下：

$P_s\left(X_k^t\right)=\frac{e^{-\frac{{[f\left(X_k^t\right)-\mathrm{\μ}]}^2}{2{\mathrm{\σ}}^2}}}{\underset{j=1}{\overset{\mathrm{popSize}}{\mathrm{\Σ}}}{e}^{-\frac{[{f\left(X_k^t\right)-\mathrm{\μ}]}^2}{2{\mathrm{\σ}}^2}}}$

其中，popSize为种群规模，μ表示第t代种群的平均适应度，σ²表示每个种群个体适应度的方差， ${\mathrm{\σ}}^2=\frac{\underset{j=1}{\overset{\mathrm{popSize}}{\mathrm{\Σ}}}{[f\left(X_j^t\right)-\mathrm{\μ}]}^2}{\mathrm{popSize}}.$

优选地，所述遗传算法中的交叉和变异操作使用两点交叉和均匀变异方法，具体为：对选择的两个染色体分别按照正态交叉算子的概率和正态变异算子的概率进行交叉和变异操作，生成两个新的染色体；正态交叉算子和正态变异算子分别表示如下：

$P_c\left(X_k^t\right)=\left\{\begin{array}{cc}{k}_c(1-\sqrt{t/t_{\max }})e^{-\frac{{[f\left(X_k^t\right)-\mathrm{\&mu;}]}^2}{2{\mathrm{\&sigma;}}^2}},& f\left(X_k^t\right)\&GreaterEqual;\mathrm{\&mu;}\\ k_c,& f\left(X_k^t\right)<\mathrm{\&mu;}\end{array}\right.$

$P_m\left(X_k^t\right)=\left\{\begin{array}{cc}{k}_m(1-\sqrt{t/t_{\max }})e^{-\frac{{[f\left(X_k^t\right)-\mathrm{\&mu;}]}^2}{2{\mathrm{\&sigma;}}^2}},& f\left(X_k^t\right)\&GreaterEqual;\mathrm{\&mu;}\\ k_m,& f\left(X_k^t\right)<\mathrm{\&mu;}\end{array}\right.$

其中，k_c和k_m分别表示交叉系数和变异系数，k_c、k_m∈[0,1]，t表示当前迭代次数，t_max为最大迭代次数。

本发明从***级节能角度出发，在满足云任务的执行时间和费用两个QoS需求的前提下，以***总能耗最小为目标，对资源进行调度，可有效降低云数据中心的能源消耗；并进一步采用改进的遗传算法进行最优资源调度方案的搜索，通过引入正态分布的选择算子提高适应度适中的个体以保持种群多样性，利用正态分布模型根据适应度和进化代数设计交叉算子和变异算子以保持种群多样性和种群结构，从而有效提高了算法的收敛性能，减少了算法完成时间。

附图说明

图1是云环境下的资源调度模型；

图2本发明方法中所使用的遗传算法的染色体编码图；

图3是本发明方法的整体流程示意图。

具体实施方式

下面结合附图对本发明的技术方案进行详细说明：

本发明的云环境下的资源调度模型如图1所示，采用两级调度模型，具体结构如下：

第一级调度实现用户任务到虚拟机的映射，可以描述为一个三元组，即S₁={T,V,f₁}。其中，T为用户任务集合，V为虚拟机集合,f₁为任务集合到虚拟机集合的一个映射。用集合T={t₁,t₂,…,t_M}表示云计算环境中经Mapreduce切分后的M个任务所构成的集合。其中的每一个任务t_i(i∈[1,M])可以用一个四元组表示为：t_i={tid,tdata,tneed,tQoS}，其中，tid表示任务编号；tdata表示云任务相关信息（或参数）的集合，包括任务的指令条数、任务读写的数据量和任务传输的数据量；tneed表示任务对资源的基本需求集合，如CPU、内存、外存、带宽等；tQoS表示完成任务的服务质量要求集合，如任务执行时间和费用。用集合V={v₁,v₂,…,v_M}表示与M个任务对应的虚拟机的集合。其中的每一个虚拟机vm_i(i∈[1,M])可以用一个四元组表示为：vm_i={vmid,tdata,tneed,tQoS}，vmid表示虚拟机的编号，其它参数与任务中的一致。映射f₁:T→V表示任务到虚拟机的映射。由于本发明的第一级调度根据任务的需求来配置虚拟机，因此建立虚拟机与任务的一一对应的关系。

第二级调度是将虚拟机映射到物理主机层，可以用一个三元组描述如下S₂={V,R,f₂}。其中，V为虚拟机集合，R为物理主机集合，f₂为虚拟机集合到物理主机集合的一个映射，即一种调度算法。用集合R={r₁,r₂,…,r_N}表示N个物理机组成的云计算资源的集合。其中的每一个资源r_j(j∈[1,N])可以用一个四元组表示为：r_j={rid,rtre,rcre,tdata}，其中rid表示物理主机编号；rtre表示资源总的硬件配置，包括CPU、内存、外存、带宽等；rcre表示资源当前的可用配置；rdata表示资源的功耗及相关信息，如计算功耗、存储功耗、传输功耗、磁盘读写速率、各种部件的费用等。映射f₂:V→R表示虚拟机到物理主机的映射。第二级调度则根据虚拟机的配置信息以整个云环境的节能为目标寻找最合适的物理资源。本发明重点研究实现第二级调度的方法，即给出虚拟机集合到物理主机集合之间的映射。为此，本发明以***总能耗最小为目标，以满足云任务的执行时间和费用两个QoS需求作为约束条件建立如下的资源调度模型：

Minimize ${\mathrm{EC}}_{\mathrm{total}}=\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}\left({\mathrm{EC}}_j\right)$

Subject to

$\&ForAll;t_i,r_i,i=\mathrm{1,2},\&CenterDot;\&CenterDot;\&CenterDot;,M,j=\mathrm{1,2},\&CenterDot;\&CenterDot;\&CenterDot;,N,$

T_ijexec≤T_iexpt,cost_ijvm≤cost_iexpt，

式中，EC_total为***总能耗，EC_j表示第j个物理主机r_j的能耗，T_ijexec、T_iexpt分别表示第i个任务t_i的预计执行时间、期待执行时间，cost_ijvm、cost_iexpt分别表示任务t_i的预计执行费用、期待执行费用。其中，物理主机r_j的能耗EC_j可利用各种现有方法得到，本发明优选采用Anton Beloglazov等人提出的能耗计算方法[Beloglazov，A.,J.Abawajy andR.Buyya,Energy-aware resource allocation heuristics for efficient management of datacenters for cloud computing[J].Future Generation Computer Systems,2011,28:755–768]。

通过对上述数学模型进行优化求解，例如采用贪心算法、拉格朗日算法、惩罚函数法、粒子群算法等，即可在满足云任务的执行时间和费用两个QoS需求的前提下，得到使***总能耗最小的资源配置方案。本发明优选采用遗传算法进行最优资源调度方案的搜索。遗传算法是借鉴生物界自然选择和进化的一种全局寻优算法。它将问题的解编码成个体(又称染色体)，多个个体构成初始群体，基于优胜劣汰的自然选择机制，利用选择、交叉、变异等算子使得初始群体不断进化，向着最优解的方向移动，最终搜索到问题的最优解。

使用遗传算法进行优化求解，必须确定染色体编码方法以及设计合适的适应度函数，本发明的染色体编码方法如图2所示：采用实数编码方式，染色体的长度等于任务的数量M，其中的基因与M个任务一一对应；基因的值为该基因所对应的任务占用的物理主机（资源）编号。

本发明所设计的适应度函数如下：

f=k_adapt/lg(EC_total+1)，

式中，k_adapt为适应参数，用来保证适应值能清楚显示；EC_total为***总能耗。

根据上述染色体编码方法及适应度函数，即可采用各种现有遗传算法进行最优解的搜索。为了提高算法的收敛性能，减少完成时间，本发明又进一步地对传统遗传算法进行了改进：通过引入正态分布的选择算子提高适应度适中的个体以保持种群多样性，利用正态分布模型根据适应度和进化代数设计交叉算子和变异算子以保持种群多样性和种群结构。具体地，本发明方法中，选择操作具体按照以下方法：按照正态选择算子的概率值，用轮盘赌方法选择两个染色体；正态选择算子的计算公式如下：

$P_s\left(X_k^t\right)=\frac{e^{-\frac{{[f\left(X_k^t\right)-\mathrm{\&mu;}]}^2}{2{\mathrm{\&sigma;}}^2}}}{\underset{j=1}{\overset{\mathrm{popSize}}{\mathrm{\&Sigma;}}}{e}^{-\frac{[{f\left(X_k^t\right)-\mathrm{\&mu;}]}^2}{2{\mathrm{\&sigma;}}^2}}}$

其中，popSize为种群规模，μ表示第t代种群的平均适应度，σ²表示每个种群个体适应度的方差， ${\mathrm{\&sigma;}}^2=\frac{\underset{j=1}{\overset{\mathrm{popSize}}{\mathrm{\&Sigma;}}}{[f\left(X_j^t\right)-\mathrm{\&mu;}]}^2}{\mathrm{popSize}}.$

交叉和变异操作使用两点交叉和均匀变异方法，具体为：对选择的两个染色体分别按照正态交叉算子的概率和正态变异算子的概率进行交叉和变异操作，生成两个新的染色体；正态交叉算子和正态变异算子分别表示如下：

$P_c\left(X_k^t\right)=\left\{\begin{array}{cc}{k}_c(1-\sqrt{t/t_{\max }})e^{-\frac{{[f\left(X_k^t\right)-\mathrm{\&mu;}]}^2}{2{\mathrm{\&sigma;}}^2}},& f\left(X_k^t\right)\&GreaterEqual;\mathrm{\&mu;}\\ k_c,& f\left(X_k^t\right)<\mathrm{\&mu;}\end{array}\right.$

$P_m\left(X_k^t\right)=\left\{\begin{array}{cc}{k}_m(1-\sqrt{t/t_{\max }})e^{-\frac{{[f\left(X_k^t\right)-\mathrm{\&mu;}]}^2}{2{\mathrm{\&sigma;}}^2}},& f\left(X_k^t\right)\&GreaterEqual;\mathrm{\&mu;}\\ k_m,& f\left(X_k^t\right)<\mathrm{\&mu;}\end{array}\right.$

其中，k_c和k_m分别表示交叉系数和变异系数，k_c、k_m∈[0,1]，t表示当前迭代次数，t_max为最大迭代次数。

本发明的云环境下的资源调度方法，如图3所示，具体包括以下步骤：

步骤1）染色体编码：如图2所示，采用实数编码方式，染色体的长度等于任务的数量M，其中的基因与M个任务一一对应；基因的值为该基因所对应的任务占用的物理主机（资源）编号；

步骤2）遗传算法初始化：初始化种群规模为popSize，最大迭代次数t_max，令算法执行当前代数t＝0，下一代种群个数m=0；

步骤3）产生初始种群P(t)，即资源的初始分配方案：按步骤1）的编码规则随机生成一个染色体，判断是否满足任务的QoS需求，如果满足，则将其加入初始种群；直到初始种群规模达到popSize；

步骤4）评价资源调度方案：每个染色体对应了一种资源调度方案，计算各染色体的适应度，将适应度最高的一个个体直接复制到下一代；适应度函数表示如下：

f=k_adapt/lg(EC_total+1)

其中k_adapt为适应参数，用来保证适应值能清楚显示，EC_total为***总能耗；

步骤5）选择个体：从P(t)中按照正态选择算子的概率值，用轮盘赌方法选择两个染色体；设个体的适应度为f(X_k)，则个体X_k在第t代被选择的概率为：

$P_s\left(X_k^t\right)=\frac{e^{-\frac{{[f\left(X_k^t\right)-\mathrm{\&mu;}]}^2}{2{\mathrm{\&sigma;}}^2}}}{\underset{j=1}{\overset{\mathrm{popSize}}{\mathrm{\&Sigma;}}}{e}^{-\frac{[{f\left(X_k^t\right)-\mathrm{\&mu;}]}^2}{2{\mathrm{\&sigma;}}^2}}}$

式中，popSize为种群规模，μ表示第t代种群的平均适应度，表示每个种群个体适应度的方差；

步骤6）个体交叉和变异：采用两点交叉和均匀变异方法，对步骤5）中选择的两个染色体分别按照正态交叉算子的概率和正态变异算子的概率进行交叉和变异操作生成两个新个体；正态交叉算子和正态变异算子表示如下：

$P_c\left(X_k^t\right)=\left\{\begin{array}{cc}{k}_c(1-\sqrt{t/t_{\max }})e^{-\frac{{[f\left(X_k^t\right)-\mathrm{\&mu;}]}^2}{2{\mathrm{\&sigma;}}^2}},& f\left(X_k^t\right)\&GreaterEqual;\mathrm{\&mu;}\\ k_c,& f\left(X_k^t\right)<\mathrm{\&mu;}\end{array}\right.$

$P_m\left(X_k^t\right)=\left\{\begin{array}{cc}{k}_m(1-\sqrt{t/t_{\max }})e^{-\frac{{[f\left(X_k^t\right)-\mathrm{\&mu;}]}^2}{2{\mathrm{\&sigma;}}^2}},& f\left(X_k^t\right)\&GreaterEqual;\mathrm{\&mu;}\\ k_m,& f\left(X_k^t\right)<\mathrm{\&mu;}\end{array}\right.$

其中，k_c和k_m分别表示交叉系数和变异系数，k_c、k_m∈[0,1]，t表示当前迭代次数，t_max为最大迭代次数；

步骤7）个体筛选：判断新生成的两个染色体是否满足任务的QoS需求，若满足，比较父个体与子个体的适应度，将适应度高的两个个体加入下一代种群P(t+1)；不满足，则转向步骤6）；

步骤8）生成新种群：判断种群规模，若m<popSize，转向步骤5）；否则t＝t+1，得到新一代资源调度方案；

步骤9）若t>t_max，终止迭代，输出种群中最优个体，得到使***总能耗最小的资源调度方案；否则，转步骤4)，进行迭代操作。

本发明在满足云任务的执行时间和费用两个QoS需求的前提下，采用改进的遗传算法，以***总能耗最小为目标，对资源进行调度，在保证QoS需求的同时能够降低***的能耗，且算法收敛性能好，所需时间短。

Claims (2)

1.一种云环境下的资源调度方法，将切分后得到的M个任务分配至N个物理主机进行处理，其特征在于，任务分配的具体方案通过求解以下数学模型得到：

Subject to

T_ijexec≤T_iexpt,cost_ijvm≤cost_iexpt，

式中，EC_total为***总能耗，EC_j表示第j个物理主机r_j的能耗，T_ijexec、T_iexpt分别表示第i个任务t_i的预计执行时间、期待执行时间，cost_ijvm、cost_iexpt分别表示任务t_i的预计执行费用、期待执行费用；

所述数学模型的求解使用遗传算法，所述遗传算法的染色体编码方法如下：采用实数编码方式，染色体的长度等于任务的数量M，其中的基因与M个任务一一对应；基因的值为该基因所对应的任务占用的物理主机编号；

所述遗传算法的适应度函数如下：

f＝k_adapt/lg(EC_total+1)，

式中，k_adapt为适应参数，EC_total为***总能耗；

所述遗传算法中的选择操作具体按照以下方法：按照正态选择算子的概率值，用轮盘赌方法选择两个染色体；正态选择算子的计算公式如下：

其中，popSize为种群规模，μ表示第t代种群的平均适应度，σ²表示每个种群个体适应度的方差，f(X_k)表示种群中个体X_k的适应度，表示个体X_k在第t代被选择的概率。

2.如权利要求1所述云环境下的资源调度方法，其特征在于，所述遗传算法中的交叉 和变异操作使用两点交叉和均匀变异方法，具体为：对选择的两个染色体分别按照正态交叉算子的概率和正态变异算子的概率进行交叉和变异操作，生成两个新的染色体；正态交叉算子和正态变异算子分别表示如下：

其中，k_c和k_m分别表示交叉系数和变异系数，k_c、k_m∈[0,1]，t表示当前迭代次数，t_max为最大迭代次数。