CN104811491A - 一种基于遗传算法的云计算资源调度方法 - Google Patents

Abstract

本发明公开了一种基于遗传算法的云计算资源调度方法，利用遗传算法获取到云计算中资源的调度方案，遗传算法中染色体中的每个基因为该云任务中的子任务，染色体的位序号表示每个子任务代表分配到虚拟机的号码；本发明方法中根据云任务设置预期的Qos，在种群迭代更新过程中将满足预期的Qos的染色体留下，将不满足预期的Qos的染色体进行丢弃，并且根据选择概率将当前种群适应度值高的染色体直接复制到下一代种群中，然后针对当前种群剩下染色体进行交叉和变异操作，保证了种群中染色体的质量，实现了云计算的资源按需使用、弹性扩展，实时做出云计算资源调度安排，决策出最佳的资源构建和调整策略，在保障云计算网络服务质量的前提下，提高了云计算的效用比。

Description

一种基于遗传算法的云计算资源调度方法

技术领域

本发明属于云计算领域，特别涉及一种基于遗传算法的云计算资源调度方法。

背景技术

近年来，云计算作为一种新型的信息处理方式，已深入到我们生活工作的各个领域中。云计算是以虚拟化技术为技术支撑，最基本的理念就是按需使用，而在此过程中，由于云数据中心的能耗及其资源提供效率成为影响云计算性能的关键性问题，如何有效合理的使用云计算的资源也成了一个关键点。

随着互联网时代信息与数据的快速增长,科学、工程和商业计算领域需要处理大规模、海量的数据,对计算能力的需求远远超出自身IT架构的计算能力,这时就需要不断加大***硬件投入来实现***的可扩展性。另外,由于传统并行编程模型应用的局限性,客观上要求一种容易学***台服务、软件服务、存储服务的***。通常云***由第三方拥有的机制提供服务,用户只关心云所提供的服务。目前关于云计算***没有统一的定义,云计算供应商根据自己企业业务推出相关的云计算战略。美国国家标准技术研究院(NIST)给出了目前权威的云计算定义：(1)云计算是一种能够通过网络以便利的、按需的方式访问一个可配置的计算资源共享池(包括网络、服务器、存储、应用和服务等)的模式，这个资源共享池能以最少的管理开销及最少的与供应商的交互，迅速配置、提供或释放资源；(2)云计算模式具有5个基本特征：按需自助服务、广泛的网络访问、共享的资源池、快速弹性能力、可度量的服务，还包括3种服务模式：软件即服务(SaaS)、平台即服务(PaaS)、基础设施即服务(IaaS)，以及4种部署方式：私有云、社区云、公有云、混合云。

云计算所提供的服务面向的用户群是庞大的，因此“云”中任务数量是巨大的，***每时每刻都出来海量的人物，所以资源管理是云计算的一个关键性问题，它的调度策略与算法直接影响着云***的性能及成本。随着用户对云计算需求的不断增长，云数据中心规模日益庞大，其能耗问题也越来越严重。据文献报告，全球数据中心在2005年～2010年增加了约56％，美国数据中心的能耗增加了36％。一个5万个节点的数据中心每年消耗的电能超过1亿千瓦，能耗占了一个数据中心运维成本中的40％。在国内，通信运营商的数据中心是耗电大户，中国电信数据中心年耗电11.2亿千瓦时，***数据中心为9.9亿千瓦时到2020年，全球主要云计算运营商的能耗将接近2万亿千瓦时。因此，研究云计算环境下的如何有效的利用资源有迫切的需求。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种基于遗传算法的云计算资源调度方法。该方法能够实时做出云计算资源的调度安排，决策出最佳的资源构建和调整策略，在保障云计算网络服务质量的前提下，提高了云计算的效用比。

本发明的目的通过下述技术方案实现：一种基于遗传算法的云计算资源调度方法，步骤如下：

S1、将用户提交的云任务切分成若干个子任务，并且根据云任务设置一个预期的Qos(Quality of Service，服务质量)；预期的Qos是指用户获取云计算资源时，所花费时间和费用的一个要求；

S2、初始化：初始化种群规模，并且设置种群最大迭代次数；

S3、生成初始种群：按照编码规则随机生成染色体，将云任务抽象为染色体的编码输入，染色体中的每个基因为该云任务中的子任务，染色体的位序号表示每个子任务代表分配到虚拟机的号码；然后判断染色体是否满足预期的Qos，若满足，则将该染色体加入到初始种群中，若不满足，则丢弃该染色体，直到达到初始种群的规模；

S4、根据适应度函数计算当前种群中每条染色体的适应度值；

S5、选择、交叉和变异操作：根据选择概率选择适应度值高的染色体，将这些染色体复制到下一代新种群；并且针对当前种群中剩下的染色体进行交叉和变异操作；

S6、判断步骤S5中交叉和变异操作后的染色体是否满足预期的Qos，若满足，则加入到下一代新种群中，若不满足，则丢弃，直到新种群达到种群规模，并并且种群迭代次数加1；

S7、判断种群迭代次数是否达到最大迭代次数，若否，则返回步骤S4，若是，则进入步骤S8；

S8、将最终得到的新种群中适应度值最高的染色体作为最优解，并且针对该染色体进行解码操作得到虚拟机的号码，将该染色体作为资源调度的最优解。

优选的，所述步骤S3中采用基于路径的编码方式进行染色体编码。

优选的，所述步骤S4中通过以下自适应函数计算出种群中各染色体的适应度：

f(X_k)＝1/(lg(EC_total+1))；

其中EC_total为染色体X_k中的资源调度方案的总能耗，f(X_k)为染色体X_k的适应度。

更进一步的，所述染色体X_k中的资源调度方案的总能耗EC_total为：

${\mathrm{EC}}_{\mathrm{total}}=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}({\mathrm{DEC}}_j+{\mathrm{IEC}}_j+{\mathrm{WEC}}_j);$

其中WEC_j为宿主机j在一个周期内的工作能耗，m_j为宿主机j上运行的子任务数；DEC_j为宿主机j在一个周期内休眠状态时的能耗；IEC_j为宿主机j空闲时的能耗；N为宿主机的个数；

${\mathrm{WEC}}_j=\underset{i=1}{\overset{m_j}{\mathrm{\Σ}}}({\mathrm{CEC}}_{\mathrm{ij}}+{\mathrm{SEC}}_{\mathrm{ij}});$

其中CEC_ij为：

CEC_ij＝CT_ij×PC_j＝CI_i/CS_j×PC_j；

CT_ij表示宿主机j上子任务i的功耗，CI_i表示表示宿主机j上子任务i的执行命令数，CS_j表示宿主机j的CPU处理速度，PC_j表示宿主机j工作时的功耗；

其中SEC_ij为：

SEC_ij＝SD_i/SS_j×PS_j；

SEC_ij表示宿主机j上子任务i的存储能耗，SD_i表示宿主机j上子任务i所需要读写的数据量，SS_j表示宿主机j磁盘读取速率，PS_j表示宿主机j存储功耗。

更进一步的，所述步骤S5中的选择操作中选择概率采用轮盘算子，种群中各染色体的选择概率为：

$P_k=f\left(X_k\right)/\underset{X_k=1}{\overset{\mathrm{popSize}}{\mathrm{\Σ}}}f\left(X_k\right);$

其中popSize为种群的规模。

优选的，所述步骤S5中的变异操作，采用替换变异方式，先从父代染色体中选择一个子位串，然后再随机在剩下的位串中选择一个位置，并***该子位串。

优选的，所述步骤S5中的变异操作采用部分匹配方法，随机选择两个交叉点，在两个点之间的位置将进行交叉，其他位置进行复制。

优选的，所述步骤S1中设置的预期的Qos中，各宿主机中各子任务的执行时间满足以下条件：

TE_ij＝CT_ij+ST_ij；

TE_ij表示宿主机j上子任务i的运行总时间，CT_ij表示宿主机j上子任务i的任务执行时间，ST_ij表示宿主机j上读写数据的时间；

宿主机j中所有子任务的执行时间T_j满足以下条件：

$T_j=\underset{i=1}{\overset{m_j}{\mathrm{\Σ}}}{\mathrm{TE}}_{\mathrm{ij}};$

m_j为宿主机j中子任务的数量；

云任务执行的时间T_total满足以下条件：

$T_{\mathrm{total}}=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{T}_j;$

N为宿主机的个数；

所述步骤S1中设置的预期的Qos中费用满足以下条件：

${\cos t}_{\mathrm{ij}}=(\underset{i=1}{\overset{m_j}{\mathrm{\Σ}}}\mathrm{sRe}{q}_i\×s{\mathrm{Price}}_j)\×{\mathrm{TE}}_{\mathrm{ij}};$

其中cost_ij表示宿主机j中执行子任务i所需费用，s Req_i表示的是宿主机j子任务i对应的资源，s Price_j表示的是宿主机j中子任务i对应的资源所需费用。

优选的，所述步骤S1中采用云计算中的MapReduce编程模型，将用户提交的云任务切分成若干个子任务。

本发明相对于现有技术具有如下的优点及效果：

(1)本发明方法利用遗传算法获取到云计算中最优的资源调度方案，本发明方法中根据云任务设置预期的Qos，其中该预期的Qos为用户获取云计算资源时，所花费时间和费用的一个要求；在种群迭代更新过程中将满足预期的Qos的染色体留下，将不满足预期的Qos的染色体进行丢弃，并且根据选择概率将适应度值高的染色体遗传到下一代种群中，保证了种群中染色体的质量，实现了云计算的资源按需使用、弹性扩展的特点，能够实时做出云计算资源的调度安排，决策出最佳的资源构建和调整策略，在保障云计算网络服务质量的前提下，提高了云计算的效用比。

(2)本发明方法中通过与染色体中的资源调度方案总能耗相关的自适应函数计算染色体的适应度，该适应度函数能够评价染色体的优劣状态，其适应度值越大，表示染色体的适应度越好，反之越差，通过该适应度函数能够更加准确的选择出符合实际最优资源调度要求的染色体，进一步保证了遗传算法最终得到的资源调度方案为最优解。

附图说明

图1是本发明方法流程图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

如图1所示，本实施例公开了一种基于遗传算法的云计算资源调度方法，步骤如下：

S1、采用云计算的MapReduce编程模型，将用户提交的云任务切分成若干个子任务，并且根据云任务设置一个预期的Qos；预期的Qos是指用户获取云计算资源时，所花费时间和费用的一个要求。

S2、初始化：初始化种群规模popSize，并且设置种群最大迭代次数Tmax。

S3、生成初始种群：按照编码规则随机生成染色体，将云任务抽象为染色体的编码输入，染色体中的每个基因为该云任务中的子任务，染色体的位序号表示每个子任务分配到虚拟机的号码；然后判断染色体是否满足预期的Qos，若满足，则将该染色体加入到初始种群中，若不满足，则丢弃该染色体，直到达到初始种群的规模。在本实施例中采用了基于路径的编码方式进行染色体的编码，当然也可以采用基于二进制、基于矩阵、基于邻接、基于索引等的编码方式。

S4、根据适应度函数计算当前种群中每条染色体的适应度；其中本步骤中通过以下自适应函数计算出种群中各染色体的适应度f(X_k)：

f(X_k)＝1/(lg(EC_total+1))；

其中EC_total为染色体X_k中的资源调度方案的总能耗；适应度函数评价了染色体的优劣，其适应度值越大，表示染色体的适应度越好，反之越差。在本步骤中EC_total越小，适应度值越大。

染色体X_k中的资源调度方案的总能耗EC_total为：

${\mathrm{EC}}_{\mathrm{total}}=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}({\mathrm{DEC}}_j+{\mathrm{IEC}}_j+{\mathrm{WEC}}_j);$

其中WEC_j为宿主机j在一个周期内的工作能耗，m_j为宿主机j上运行的子任务数；DEC_j为宿主机j在一个周期内休眠状态时的能耗；IEC_j为宿主机j空闲时的能耗；N为宿主机的个数；

${\mathrm{WEC}}_j=\underset{i=1}{\overset{m_j}{\mathrm{\Σ}}}({\mathrm{CEC}}_{\mathrm{ij}}+{\mathrm{SEC}}_{\mathrm{ij}});$

其中CEC_ij为：

CEC_ij＝CT_ij×PC_j＝CI_i/CS_j×PC_j；

CT_ij表示宿主机j上子任务i的功耗，CI_i表示表示宿主机j上子任务i的执行命令数，CS_j表示宿主机j的CPU处理速度，PC_j表示宿主机j工作时的功耗；

其中SEC_ij为：

SEC_ij＝SD_i/SS_j×PS_j；

SEC_ij表示宿主机j上子任务i的存储能耗，SD_i表示宿主机j上子任务i所需要读写的数据量，SS_j表示宿主机j磁盘读取速率，PS_j表示宿主机j存储功耗。

S5、选择、交叉和变异操作：根据选择概率选择适应度值高的染色体，将这些适应度高的染色体复制到下一代新种群；并且针对当前种群中剩下的染色体进行交叉和变异操作。

在本步骤中选择操作中选择概率采用轮盘算子，种群中染色体被选中的概率与其适应度成正比；种群中各染色体的选择概率为：

$P_k=f\left(X_k\right)/\underset{X_k=1}{\overset{\mathrm{popSize}}{\mathrm{\Σ}}}f\left(X_k\right);$

其中popSize为种群的规模，f(X_k)为染色体X_k的适应度。

本步骤中变异操作，采用替换变异方式，先从父代染色体中选择一个子位串，然后再随机在剩下的位串中选择一个位置，并***该子位串。当然本实施例中变异操作也可以采用交换变异(EM)、***变异(IM)、简单倒位变异(SIM)，倒位变异(IVM)、争夺变异(SM)等变异方式。

本步骤中变异操作采用部分匹配方法，随机选择两个交叉点，在两个点之间的位置将进行交叉，其他位置进行复制。当然本实施例中交叉操作也可以采用部分匹配方法(PMX)、循环交叉法(CX)、次序交叉法(OX)、基于位置的交叉法(POS)等。

S6、判断步骤S5中交叉和变异操作后的染色体是否满足预期的Qos，若满足，则加入到下一代新种群中，若不满足，则丢弃，直到新种群达到种群规模popSize，并且种群迭代次数T加1。

S7、判断种群迭代次数是否达到最大迭代次数Tmax，若否，则返回步骤S4，若是，则进入步骤S8。

S8、将最终得到的新种群中适应度值最高的染色体作为最优解，并且针对该染色体进行解码操作得到虚拟机的号码，将该染色体作为资源调度的最优解。

云计算的Qos是指，消费者获取云计算资源时，希望时间，成本等指标能够满足消费者的预期目标。当消费者依靠资源提供者来满足其计算需求时，为了匹配他们的要求，用户任务多维Qos需求(时间，成本)必须得到保证。

物力资源的能耗等于功耗与时间的乘积。资源在不同情况下的功耗也是不同的，物理主机通常分为休眠，空闲和工作三个状态。本实施例上述步骤S1中设置的预期的Qos中，各宿主机中各子任务的执行时间满足以下条件：

TE_ij＝CT_ij+ST_ij；

TE_ij表示宿主机j上子任务i的运行总时间，CT_ij表示宿主机j上子任务i的任务执行时间，ST_ij表示宿主机j上读写数据的时间；

宿主机j中所有子任务的执行时间T_j满足以下条件：

$T_j=\underset{i=1}{\overset{m_j}{\mathrm{\Σ}}}{\mathrm{TE}}_{\mathrm{ij}};$

m_j为宿主机j中子任务的数量；

云任务执行的时间T_total满足以下条件：

$T_{\mathrm{total}}=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{T}_j;$

N为宿主机的个数；

所述步骤S1中设置的预期的Qos中费用满足以下条件：

${\cos t}_{\mathrm{ij}}=(\underset{i=1}{\overset{m_j}{\mathrm{\Σ}}}\mathrm{sRe}{q}_i\×s{\mathrm{Price}}_j)\×{\mathrm{TE}}_{\mathrm{ij}};$

其中cost_ij表示宿主机j中执行子任务i所需费用，s Req_i表示的是宿主机j子任务i对应的资源，s Price_j表示的是宿主机j中子任务i对应的资源所需费用。

资源调度方案就是时间和费用的一个权衡，本实施例根据用户在使用资源过程中上述需要满足的云任务执行时间和费用得出一个预期的时间和费用作为云任务的Qos。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.一种基于遗传算法的云计算资源调度方法，其特征在于，步骤如下：

S1、将用户提交的云任务切分成若干个子任务，并且根据云任务设置一个预期的Qos；预期的Qos是指用户获取云计算资源时，所花费时间和费用的一个要求；

S2、初始化：初始化种群规模，并且设置种群最大迭代次数；

S3、生成初始种群：按照编码规则随机生成染色体，将云任务抽象为染色体的编码输入，染色体中的每个基因为该云任务中的子任务，染色体的位序号表示每个子任务代表分配到虚拟机的号码；然后判断染色体是否满足预期的Qos，若满足，则将该染色体加入到初始种群中，若不满足，则丢弃该染色体，直到达到初始种群的规模；

S4、根据适应度函数计算当前种群中每条染色体的适应度值；

S5、选择、交叉和变异操作：根据选择概率选择适应度值高的染色体，将这些染色体复制到下一代新种群；并且针对当前种群中剩下的染色体进行交叉和变异操作；

S6、判断步骤S5中交叉和变异操作后的染色体是否满足预期的Qos，若满足，则加入到下一代新种群中，若不满足，则丢弃，直到新种群达到种群规模，并并且种群迭代次数加1；

S7、判断种群迭代次数是否达到最大迭代次数，若否，则返回步骤S4，若是，则进入步骤S8；

S8、将最终得到的新种群中适应度值最高的染色体作为最优解，并且针对该染色体进行解码操作得到虚拟机的号码，将该染色体作为资源调度的最优解。

2.根据权利要求1所述的基于遗传算法的云计算资源调度方法，其特征在于，所述步骤S3中采用基于路径的编码方式进行染色体编码。

3.根据权利要求1所述的基于遗传算法的云计算资源调度方法，其特征在于，所述步骤S4中通过以下自适应函数计算出种群中各染色体的适应度：

$f\left(X_k\right)=1/\left(\lg ({\mathrm{EC}}_{\mathrm{total}}+1)\right);$

其中EC_total为染色体X_k中的资源调度方案的总能耗，f(X_k)为染色体X_k的适应度。

4.根据权利要求3所述的基于遗传算法的云计算资源调度方法，其特征在于，所述染色体X_k中的资源调度方案的总能耗EC_total为：

${\mathrm{EC}}_{\mathrm{total}}=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}({\mathrm{DEC}}_j+{\mathrm{IEC}}_j+{\mathrm{WEC}}_j);$

其中WEC_j为宿主机j在一个周期内的工作能耗，m_j为宿主机j上运行的子任务数；DEC_j为宿主机j在一个周期内休眠状态时的能耗；IEC_j为宿主机j空闲时的能耗；N为宿主机的个数；

${\mathrm{WEC}}_j=\underset{i=1}{\overset{m_j}{\mathrm{\Σ}}}({\mathrm{CEC}}_{\mathrm{ij}}+{\mathrm{SEC}}_{\mathrm{ij}});$

其中CEC_ij为：

CEC_ij＝CT_ij×PC_j＝CI_i/CS_j×PC_j；

CT_ij表示宿主机j上子任务i的功耗，CI_i表示表示宿主机j上子任务i的执行命令数，CS_j表示宿主机j的CPU处理速度，PC_j表示宿主机j工作时的功耗；

其中SEC_ij为：

SEC_ij＝SD_i/SS_j×PS_j；

SEC_ij表示宿主机j上子任务i的存储能耗，SD_i表示宿主机j上子任务i所需要读写的数据量，SS_j表示宿主机j磁盘读取速率，PS_j表示宿主机j存储功耗。

5.根据权利要求3所述的基于遗传算法的云计算资源调度方法，其特征在于，所述步骤S5中的选择操作中选择概率采用轮盘算子，种群中各染色体的选择概率为：

$P_k=f\left(X_k\right)/\underset{X_k=1}{\overset{\mathrm{popSize}}{\mathrm{\Σ}}}f\left(X_k\right);$

其中popSize为种群的规模。

6.根据权利要求1所述的基于遗传算法的云计算资源调度方法，其特征在于，所述步骤S5中的变异操作，采用替换变异方式，先从父代染色体中选择一个子位串，然后再随机在剩下的位串中选择一个位置，并***该子位串。

7.根据权利要求1所述的基于遗传算法的云计算资源调度方法，其特征在于，所述步骤S5中的变异操作采用部分匹配方法，随机选择两个交叉点，在两个点之间的位置将进行交叉，其他位置进行复制。

8.根据权利要求1所述的基于遗传算法的云计算资源调度方法，其特征在于，所述步骤S1中设置的预期的Qos中，各宿主机中各子任务的执行时间满足以下条件：

TE_ij＝CT_ij+ST_ij；

TE_ij表示宿主机j上子任务i的运行总时间，CT_ij表示宿主机j上子任务i的任务执行时间，ST_ij表示宿主机j上读写数据的时间；

宿主机j中所有子任务的执行时间T_j满足以下条件：

$T_j=\underset{i=1}{\overset{m_j}{\mathrm{\Σ}}}{\mathrm{TE}}_{\mathrm{ij}};$

m_j为宿主机j中子任务的数量；

云任务执行的时间T_total满足以下条件：

$T_{\mathrm{total}}=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{T}_j;$

N为宿主机的个数；

所述步骤S1中设置的预期的Qos中费用满足以下条件：

${\cos t}_{\mathrm{ij}}=(\underset{i=1}{\overset{m_j}{\mathrm{\Σ}}}\mathrm{sRe}{q}_i\×{\mathrm{sPrice}}_j)\×{\mathrm{TE}}_{\mathrm{ij}};$

其中cost_ij表示宿主机j中执行子任务i所需费用，sReq_i表示的是宿主机j子任务i对应的资源，sPrice_j表示的是宿主机j中子任务i对应的资源所需费用。

9.根据权利要求1所述的基于遗传算法的云计算资源调度方法，其特征在于，所述步骤S1中采用云计算中的MapReduce编程模型，将用户提交的云任务切分成若干个子任务。