CN108984286A

CN108984286A - 一种云计算平台的资源调度方法和***

Info

Publication number: CN108984286A
Application number: CN201810700493.8A
Authority: CN
Inventors: 钟光正; 陈平华
Original assignee: Guangdong University of Technology
Current assignee: Guangdong University of Technology
Priority date: 2018-06-29
Filing date: 2018-06-29
Publication date: 2018-12-11

Abstract

本申请提供一种云计算平台的资源调度方法，包括：根据云计算平台中的任务和资源，构造资源需要能耗数组和分配数组并根据需求更新能耗数组，并得到任务单位资源映射集合；根据任务单位资源映射集合将任务对应的需求资源映射至不同的单位资源；分别对资源和应用建立编号，根据预设约束条件并利用编号对应用进行约束，得到满足预设约束条件且满足需求量的赋值，最后按照赋值进行资源调度。将SAT求解算法运用在云计算平台的资源调度过程中，在多样化的任务调度需求中适应能力更强，保证能耗以及性能，使云平台调度更加高效合理。本申请还提供一种云计算平台的资源调度***、一种计算机可读存储介质和一种服务器，具有上述有益效果，此处不再赘述。

Description

一种云计算平台的资源调度方法和***

技术领域

本申请涉及云计算领域，特别涉及一种云计算平台的资源调度方法和

***，一种计算机可读存储介质和一种服务器。

背景技术

目前，云计算作为一种新型的计算方式，以其高可扩展性和高可用性等优点迅速成为学术界和产业界的研究热点。例如，Google推出了谷歌应用软件引擎(GoogleAppEngine，简称GAE)，IBM推出了蓝云计算平台，Amazon推出了弹性计算云(elasticcompute cloud，简称EC2)。但是，要实现低成本、高效、安全、易用的云计算***依然面临诸多挑战，其中，高能耗是云计算***最为严重的问题之一。例如，Google数据中心产生的能耗可相当于一个小型城市的总能耗。

云计算***中，除了处理任务时产生的必要能耗开销，其运行过程中还存在能耗浪费的现象，这表现在:(1)由于计算任务达到的随机性，使得单位时间内到达的任务量时而稀疏，时而密集，而现有的云计算***通常是长时间处于开启状态，等待计算任务的到达。但是当计算机处于空闲状态时，其空闲功。率会占峰值功率的50％～60％。.因此，云计算***会产生大量的空闲能耗。(2)由于云计算***中通常包含不同的计算机，实验结果表明，不同计算机对不同计算任务的执行功率和响应时间一般不同.例如，同一图像处理任务分别在CPU和GPU上的执行功率和响应时间不同，任务执行完成后，产生的总能耗也不同.因此，当未考虑能耗因素时，不匹配的调度方式会造成:本来用较低能耗就能解决问题，但却用了较高能耗。因此，云计算***的能耗优化管理也就成为亟待解决的问题。

Min-min算法是一个比较传统、经典的任务调度算法，它主要的调度思想是以最快的时间进行任务分配和处理，以时间为单一权重设计任务调度算法。将任务分配到处理时间最短的资源上，保证任务完成的时间最短。它流行于网格计算中，是网格计算任务调度的重要方法之一。

任务调度的问题是有M个需要执行的任务Task{T1，T2，T3.......Tm}，N个可用的资源节点Slave{S1，S2，S3.......Sn}(注：一般情况下，N<M)，要将这M个任务分配到N个可用的资源节点上进行处理。假设每个任务Tj在Si节点上处理的时间为Time(i，j)，Min-min算法以合适的分配方式将任务Task分配到执行时间最短的资源上，保证总的执行时间最短，即为Time(i，j)-min。

虽然Min-min算法保证了处理时间最短，但是这样导致处理能力强的资源一直处于工作状态，而其他资源一直处于空闲状态，反而不能体现分布式处理的优势。而且这样也会导致处理能力强的资源损耗较快。Min-min算法只专注于任务的完成时间，而不考虑能耗、负载平衡等其他因素，因此***平均功率最大，耗电严重。

申请内容

本申请的目的是提供一种云计算平台的资源调度方法和***，一种计算机可读存储介质和一种服务器，解决现有的云计算平台功耗严重的问题。

为解决上述技术问题，本申请提供一种云计算平台的资源调度方法，具体技术方案如下：

步骤S1：根据所述云计算平台中的任务和资源，构造资源需要能耗数组和分配数组；所述资源需要能耗数组为所述云计算平台中服务器、分离资源和所述分离资源的资源量三者之间的关系，所述分配数组为应用、所述分离资源和所述任务对于分离资源的需求量三者之间的关系；其中，所述应用由若干所述任务构成；

步骤S2：根据所述需求量对所述资源需要能耗数组进行更新，并得到任务单位资源映射集合；

步骤S3：根据所述任务单位资源映射集合将所述任务对应的需求资源映射至不同的单位资源；

步骤S4：对所述任务建立第一编号，对所述单位资源建立第二编号；

步骤S5：根据预设约束条件并利用所述第一编号和所述第二编号对所述应用进行约束，得到满足所述预设约束条件且满足所述需求量的赋值，并按照所述赋值进行所述应用的资源调度；其中，所述预设约束条件包括应用任务流约束、资源不可同时分配约束、应用完成约束和任务不可中断约束中的一项或任几项。

其中，根据所述需求量对所述资源需要能耗数组进行更新，并得到任务单位资源映射集合包括：

确定所述需求量中占用资源量最小的服务器，并建立任务优先级集合；

根据所述任务优先级集合对所述资源需要能耗数组进行更新；

根据所述任务优先级集合和所述分配数组得到任务单位资源映射集合。

其中，所述资源调度方法还包括：

当无法得到满足所述预设约束条件或满足所述任务对于分离资源的需求量的赋值时，利用二分查找调整所述需求量，重复所述步骤S2至所述步骤S4，直至得到所述赋值。

本申请还提供一种云计算平台的资源调度***，包括：

构造模块，用于根据所述云计算平台中的任务和资源，构造资源需要能耗数组和分配数组；所述资源需要能耗数组为所述云计算平台中服务器、分离资源和所述分离资源的资源量三者之间的关系，所述分配数组为应用、所述分离资源和所述任务对于分离资源的需求量三者之间的关系；其中，所述应用由若干所述任务构成；

更新模块，用于根据所述需求量对所述资源需要能耗数组进行更新，并得到任务单位资源映射集合；

映射模块，用于根据所述任务单位资源映射集合将所述任务对应的需求资源映射至不同的单位资源；

编号模块，用于对所述任务建立第一编号，对所述单位资源建立第二编号；

调度模块，用于根据预设约束条件并利用所述第一编号和所述第二编号对所述应用进行约束，得到满足所述预设约束条件且满足所述需求量的赋值，并按照所述赋值进行所述应用的资源调度；其中，所述预设约束条件包括应用任务流约束、资源不可同时分配约束、应用完成约束和任务不可中断约束中的一项或任几项。

其中，所述更新模块包括：

优先级建立单元，用于确定所述需求量中占用资源量最小的服务器，并建立任务优先级集合；

更新单元，用于根据所述任务优先级集合对所述资源需要能耗数组进行更新；

集合建立单元，用于根据所述任务优先级集合和所述分配数组得到任务单位资源映射集合。

其中，所述资源调度***还包括：

循环模块，当无法得到满足所述预设约束条件或满足所述任务对于分离资源的需求量的赋值时，利用二分查找调整所述需求量，循环执行所述更新模块、所述映射模块和所述编号模块，直至得到所述赋值结束循环。

本申请一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的资源调度方法的步骤。

本申请还提供一种服务器，包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如上所述的资源调度方法的步骤。

本申请所提供的云计算平台的资源调度方法，包括：根据所述云计算平台中的任务和资源，构造资源需要能耗数组和分配数组；根据所述需求量对所述资源需要能耗数组进行更新，并得到任务单位资源映射集合；根据所述任务单位资源映射集合将所述任务对应的需求资源映射至不同的单位资源；对所述任务建立第一编号，对所述单位资源建立第二编号；根据预设约束条件并利用所述第一编号和所述第二编号对所述应用进行约束，得到满足所述预设约束条件且满足所述需求量的赋值，并按照所述赋值进行所述应用的资源调度。

本申请不仅关注云计算平台性能，同时也把注意力放在云计算平台的能耗上，将能耗考虑在云计算平台的综合表现里面。将调度问题与SAT求解器的结合。相比于现在比较普遍的复杂调度问题的求解方法，如整数规划求解器，本申请所使用的求解方法更加基础，在理论上研究得相对透彻。为了与SAT问题进行适配，创新地将问题划分为分配和约束两个步骤，对调度问题进行了规约，较好地利用SAT求解器的高效性，和其定解方面的优越性。保证了云计算平台发挥出高性能以及低能耗的实力，不会导致处理能力强的资源一直处于工作状态，而其他资源一直处于空闲状态，体现分布式处理的优势。同时不会导致处理能力强的资源损耗较快。本申请不只专注于任务的完成时间，同时考虑能耗，因此云计算平台性能将得到充分的发挥。本申请还提供一种云计算平台的资源调度***、一种计算机可读存储介质和一种服务器，具有上述有益效果，此处不再赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例所提供的一种云计算平台的资源调度方法的流程图；

图2为本申请实施例所提供的一种云计算平台的资源调度方法的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参考图1，图1为本申请实施例所提供的一种云计算平台的资源调度方法的流程图，具体技术方案如下：

步骤S1：根据云计算平台中的任务和资源，构造资源需要能耗数组和分配数组；资源需要能耗数组为云计算平台中服务器、分离资源和分离资源的资源量三者之间的关系，分配数组为应用、分离资源和任务对于分离资源的需求量三者之间的关系；其中，应用由若干任务构成；

为了给更加清楚、明白的说明本申请的技术方案，以下采用相关字母和表达式进行说明：

首先，定义一个云平台拥有n台服务器，其中每个服务器(也称为服务器节点或节点)拥有的资源可以表达成一组向量：

r_w＝＜k₁,k₂,k₃,k₄,...,k_m＞,w≤n；

其中m为总资源的分离，即分离资源，k_i(1≤i≤m)表示第m资源的总资源量，r表示云平台所有服务器资源的集合，包括r₁至r_n。

定义每个应用(也即application)可以表示如下：

v_a＝＜p_a,s_a＞

其中p是一个正整数，表达了这个应用的优先级，越大表示其优先级越高，下标a表示对应的应用编号。可以理解的是，对于云计算平台中需要处理的任务而言，并非所有任务的优先级相同，有的任务需求紧急处理，其占用的资源量可能较大。

s_a定义了编号为a的应用的任务集合，每个任务可以表达成：

其中表达v_a中的任务l对于资源i的需求量，t^a,l表示成对资源的需求时间。

taskSet中的任务有严格的先后关系，定义在taskSet中的全序关系Before表示成：

其中，需要被执行，并且要在前完成执行。

定义任务执行序映射集合：

定义任务是否处于运行状态的函数为：

定义task在时间t是否完成：

定义调度函数集合：

需要注意的是，s.t.为subject to的缩写。

还需要对目标函数进行定义：

先定义能耗为一个调度算法在时间t的能耗：

其中，Price(r)是一个函数，代表这些资源的价值，k是一个变量用于优先级映射到服务等级，本申请认为具有较高优先级的应用具有较高的服务等级。是一个布尔变量，表示在时间t之前s_a中的最后一个任务是否已经完成：

定义指标公平性为各个任务的进度方差：

定义一个调度算法的工作时长：

makeSpan(h,r,{task})＝min(t)

可以理解的是，要降低云计算平台的能耗，须降低单位时长的平均能耗。

根据上文的描述，可以直接构造资源需要能耗数组，即设定一个ENERGY值：

E[n][m][max(k_i)]＝0

以及构造分配数组，

步骤S2：根据需求量对资源需要能耗数组进行更新，并得到任务单位资源映射集合；

本步骤的目的是准备进行资源调度的计算。具体的，本步骤可以包括如下步骤：

确定需求量中占用资源量最小的服务器，并建立任务优先级集合；

根据任务优先级集合对资源需要能耗数组进行更新；

根据任务优先级集合和分配数组得到任务单位资源映射集合。

举例而言，对于任一任务中任一按E[n][i][k_i]排序，取最小值属于的那个r₀，再取其前个小的元素下标k_i集合J＝{j_i}，并更新E[o][i][j_i]＝E[o][i][j_i]+E^a,l，记也简记任务单位资源映射值集合

简单来说，对于应用而言，不同的服务器执行的任务量不同，所占资源量不同，按照由小到大的顺序进行排序。

步骤S3：根据任务单位资源映射集合将任务对应的需求资源映射至不同的单位资源；

根据任务单位资源映射集合把各个任务所需的资源映射到各个不同的单位资源上。本质上，是按所需能耗从小到大排列一遍，用来使各资源的利用能耗差不多相同，避免出现某一资源被利用时能耗过高。

步骤S4：对任务建立第一编号，对单位资源建立第二编号；

无论是第一编号还是第二编号，其都是全局唯一编号。例如，给各任务建立全局唯一编号编号是为了方便步骤S5中寻找最佳的能耗消耗值。

步骤S5：根据预设约束条件并利用第一编号和第二编号对应用进行约束，得到满足预设约束条件且满足需求量的赋值，并按照赋值进行应用的资源调度；

预设约束条件包括应用任务流约束、资源不可同时分配约束、应用完成约束和任务不可中断约束中的一项或任几项。

定义A[r,t,s]表达是否在时间t把单位资源r分配给任务s，

定义应用程序任务流约束：

上式表示：如果应用程序的某一个任务所需求的资源被分配(即任务被调度)，至少存在某一时刻，它的前驱任务所需求的所有资源被分配。

定义资源不可同时分配约束：

上式表示：如果应用程序的某一个任务所需的资源在时间t被分配，那么同时间，所有需要相同单位资源的任务都不被分配资源。

定义应用程序都完成约束：

上式表示：每个应用程序最后一个任务所需的资源至少会在某个时间内分配。ENERGY是最高能耗。

定义任务不可中断约束：

上式表示：如果任务在时刻被分配所需资源，且此任务的时长不为零，则资源讲一直配给此任务直至结束。

需要注意的是，以上只是提供了预设约束条件，在实际应用中，并不具体限定该预设约束条件为上述预设约束条件中的一种或任意几种组合，预设约束条件的设置应由本领域技术人员根据实际情况进行相关设定。

综上，原云计算多资源调度问题的所有限制，即等同于归约的表达式。在指标能耗最小调度算法，即转化成SAT问题对以上满足所有约束的最少ENERGY的求解，真的情况便是一个分配结果。

本申请实施例提供了一种云计算平台的资源调度方法，本申请不仅关注云计算平台性能，同时也把注意力放在云计算平台的能耗上，将能耗考虑在云计算平台的综合表现里面。将调度问题与SAT求解器的结合。相比于现在比较普遍的复杂调度问题的求解方法，如整数规划求解器，本申请所使用的求解方法更加基础，在理论上研究得相对透彻。为了与SAT问题进行适配，创新地将问题划分为分配和约束两个步骤，对调度问题进行了规约，较好地利用SAT求解器的高效性，和其定解方面的优越性。保证了云计算平台发挥出高性能以及低能耗的实力，不会导致处理能力强的资源一直处于工作状态，而其他资源一直处于空闲状态，体现分布式处理的优势。同时不会导致处理能力强的资源损耗较快。本申请不只专注于任务的完成时间，同时考虑能耗，因此云计算平台性能将得到充分的发挥。

基于上述实施例，作为优选的实施例，该资源调度方法还包括：

当无法得到满足预设约束条件或满足任务对于分离资源的需求量的赋值时，利用二分查找调整需求量，重复步骤S2至步骤S4，直至得到赋值

二分查找为现有的一种应用广泛的查找方法，在此不作赘述。

下面对本申请实施例提供的一种云计算平台的资源调度***进行介绍，下文描述的资源调度***与上文描述的资源调度方法可相互对应参照。

构造模块100，用于根据云计算平台中的任务和资源，构造资源需要能耗数组和分配数组；资源需要能耗数组为云计算平台中服务器、分离资源和分离资源的资源量三者之间的关系，分配数组为应用、分离资源和任务对于分离资源的需求量三者之间的关系；其中，应用由若干任务构成；

更新模块200，用于根据需求量对资源需要能耗数组进行更新，并得到任务单位资源映射集合；

映射模块300，用于根据任务单位资源映射集合将任务对应的需求资源映射至不同的单位资源；

编号模块400，用于对任务建立第一编号，对单位资源建立第二编号；

调度模块500，用于根据预设约束条件并利用第一编号和第二编号对应用进行约束，得到满足预设约束条件且满足需求量的赋值，并按照赋值进行应用的资源调度；其中，预设约束条件包括应用任务流约束、资源不可同时分配约束、应用完成约束和任务不可中断约束中的一项或任几项。

基于上述实施例，作为优选的实施例，更新模块200可以包括：

优先级建立单元，用于确定需求量中占用资源量最小的服务器，并建立任务优先级集合；

更新单元，用于根据任务优先级集合对资源需要能耗数组进行更新；

集合建立单元，用于根据任务优先级集合和分配数组得到任务单位资源映射集合。

基于上述实施例，作为优选的实施例，资源调度***还可以包括：

循环模块，当无法得到满足预设约束条件或满足任务对于分离资源的需求量的赋值时，利用二分查找调整需求量，循环执行更新模块、映射模块和编号模块，直至得到赋值结束循环。

本申请还提供了一种计算机可读存储介质，其上存有计算机程序，该计算机程序被处理器执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本申请还提供了一种服务器，可以包括存储器和处理器，存储器中存有计算机程序，处理器调用存储器中的计算机程序时，可以实现上述实施例所提供的步骤。当然服务器还可以包括各种网络接口，电源等组件。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例提供的***而言，由于其与实施例提供的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims

1.一种云计算平台的资源调度方法，其特征在于，包括：

2.根据权利要求1所述的资源调度方法，其特征在于，根据所述需求量对所述资源需要能耗数组进行更新，并得到任务单位资源映射集合包括：

3.根据权利要求1或2所述的资源调度方法，其特征在于，还包括：

4.一种云计算平台的资源调度***，其特征在于，包括：

5.根据权利要求4所述的资源调度***，其特征在于，所述更新模块包括：

6.根据权利要求4或5所述的资源调度***，其特征在于，还包括：

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-3任一项所述的资源调度方法的步骤。

8.一种服务器，其特征在于，包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如权利要求1-3任一项所述的资源调度方法的步骤。