CN110297694A - 一种基于资源分类和任务优先级的启发式云计算调度方法 - Google Patents

Abstract

本发明公开了一种基于资源分类和任务优先级的启发式云计算调度方法，通过考虑任务的需求资源类型，对任务进行需求分类；根据用户对资源的渴求程度来计算任务的优先级；根据任务的优先级顺序以及用户任务的需求资源类型，进行任务调度，把任务分配到满足用户需求虚拟机处理器上，贪心的调度任务到花费最小的虚拟机上来完成任务的执行。本方法可以满足云计算用户对资源的不同需求，提高云服务的质量，降低云服务的费用，满足任务的截止时间需求。

Description

一种基于资源分类和任务优先级的启发式云计算调度方法

技术领域

本发明属于云计算任务调度技术领域，具体涉及一种基于资源分类和任务优先级的启发式云计算调度方法。

背景技术

云计算作为一种新的计算范式被应用到各个领域。随着云计算的广泛使用，云计算用户规模不断增大，用户需求更加不同和多样，面对庞大的云用户群体，云计算基要保证用户的服务质量，另一方面要提高云计算的性能，这给云计算带来了严峻的挑战。由于云计算中高效的任务调度可以降低任务的完成时间，减少用户的资源花费。面对不同用户的请求，云计算任务调度高效的调度云用户任务，来完成任务的执行，满足用户的需求。

优先级任务调度是指任务被分配到虚拟机资源上的优先次序，一般而言，任务优先级越高，获取资源的能力越强。由于云计算环境中用户数量多、用户需求各异，任务调度的大规模和复杂性，云计算资源的有限性和云服务的收费模式。在这样复杂的环境下要满足不同用户的需求，高效调度云计算任务是一个很大的挑战。对用户提交的任务进行优先级排序，根据优先级顺序，进行高效的任务调度处理，来保证用户的QoS需求，是目前解决该类问题的重要方法。

发明内容

针对云计算环境中用户数量多、用户需求各异，任务调度的大规模和复杂性，云服务的收费性，本文提出一种云计算中基于资源分类和任务优先级的启发式调度方法，可以有效的满足用户对资源的需求，降低用户的资源花费。

本发明提出一种基于资源分类和任务优先级的启发式云计算调度方法，包括以下步骤：

步骤1，任务的属性进行归一化操作。具体包括：

第一步，用户提交的具有多种属性的任务集合AT(m)＝{T₁,T₂…,T_m}，其中m是任务的个数,T_p表示第p个任务,每个任务p具有多种属性，用元组M_p＝{T_id,T_length,T_mp,T_stor,T_tran,T_pr,T_cf}表示。

T_id是任务的标号，一个任务具有唯一的id编号；T_length是任务的长T_mp是任务期望的虚拟机的处理速度；T_stor是任务期望的存储空间；T_tran是任务期望的传输带宽；T_pr是任务的优先级；T_cf表示任务的资源需求类型；

第二步，所述步骤1中，对任务的属性进行归一化操作是指采用如下公式对其归一化处理。任务Q_i,j表示任务i在第j个属性上的归一化结果，则Q_i,j表示为：

Q_i,j＝(x_i,j-z_j)/E_j

其中，x_i,j是任务T_i的第j个属性,Z_j是所有任务第j个属性的平均值，E_j是所有任务第j个属性的平均绝对偏移量。Z_j和E_j可以通过以下公式计算：

步骤2，任务分类。根据任务对不同资源的需求程度不同，把任务的进行需求资源类型分类。

所述步骤2中，任务需求类型包括计算需求型EC，存储需求型ES和带宽需求型EB。

所述步骤2中，任务对不同资源的需求程度不同是指任务的EC,ES和EB的权重不同。

所述步骤2中，任务需求资源的权重可以通过以下公式计算：

ωl_i是第i个任务所对应需求资源归一化结果的总和。n是需要计算的属性的总个数，在这里n值为3，ω_i,r是第i个任务中第r个属性的权值。π_i,r代表第i个任务的第r个属性在取值区间为[min,max]内的Min-Max标准化处理。

所述步骤2中，根据不同属性的π_i,r大小，进行排序，找到的最大π_i,r对应的属性，来确定任务M_P″的资源需求类型。不同属性归一化的值进行比较求取最大值，任务需求类型通过以下公式计算：

π_e′＝max{π_i,1,π_i,2,...,π_i,n}

π_i,1是代表第i个任务对应的第一个属性的标准化结果。π_e′代表归一化属性的最大值，并通过该值可以确定任务的需求类型。

步骤3，计算任务优先级：基于任务对不同资源的需求程度，对需求资源进行加权计算得到任务的优先级值。

根据权重计算任务优先级，计算公式如下：

Pro(t_p)＝ω₁*E_mp+ω₂*E_sp+ω₂*E_tp

Pro(t_p)表示任务t_p的优先级，E_mp，E_sp和E_tp是任务t_p分别在属性t_mp，t_sto_r，t_tran上的标准化值，采用加权的方式计算任务t_p的优先级。其中，ω₁,ω₂,ω₂是权重因子，他们的取值范围都是[0.1]，且ω₁+ω₂+ω₃＝1。

步骤5，构建优先级任务调度的费用模型：计算任务分配中的计算费用、传输费用和存储费用，并将其总和作为总共的用户花费。其次，计算整个任务的完成的时间，包括计算时间和文件传输时间。

优先级任务调度的费用模型具体如下：

第一步，根据任务类型的划分，设定3种不同类型的虚拟机来完成任务的执行，3种虚拟机类型分别是计算密集型V_cp、存储密集型V_st和传输密集型V_tr，它们对应的单位收费分别是计算收费t_cc，存储收费t_sc和传输收费t_tc。任务分配到虚拟机VM_q的执行时间表示为：

EX(p,q)＝Length_p/Mips_q

EX(p,q)是任务p在虚拟机q上的执行时间，Length_p是任务p的长度，Mips_q是虚拟机q的处理速度，也是第q个虚拟机的处理能力。

第二步，虚拟机q的运行任务p所产生的计算费用C_cp可以表示为：

C_cp(p,q)＝EX(p,q)·t_cp,q

t_cp,q是第q个虚拟机的单位收费。

第三步，任务从数据中心传输到虚拟机q上，经过不同传输带宽，将会花费不同的传输时间TT(p,q)，由于不同虚拟机具有不同的带宽和传输收费和产生的传输费用C_tr通过以下公式计算得到：

TT(p,q)＝Filesize_p/V_bw,q

C_tr(p,q)＝TT(p,q)·t_tr,q

Filesize_p是任务p的传输文件大小，这里认为任务的输出文件大小即是传输文件大小，V_bw,q代表虚拟机q的单位传输速率(即传输带宽),t_tr,q代表虚拟机q的单位传输收费。

第四步，对于任务p的数据存储，定义虚拟机q单位存储收费为t_sc,q，则在虚拟机q上存储大小为Dsize的数据，收取的存储费用表示为：

C_st(p,q)＝Dsize·t_sc,q

第五步，根据以上公式化描述，任务p总共时间开销是执行时间EX(p,q)、传输时间TT(p,q)的总和，此外，p的总花费是计算花费、传输花费和存储花费的总和，完成任务p的总时间ET_ct和花费AC_ct通过以下公式计算：

ET_ct(p,q)＝EX(p,q)+TT(p,q)

AC_ct(p,q)＝C_cp(p,q)+C_tr(p,q)+C_st(p,q)

ET_ct(p,q)中是任务花费的总时间，AC_ct(p,q)是任务p在虚拟机q上执行完成的总花费。

步骤6，任务调度：贪心调度方法依次调度任务到满足其需求的虚拟机上，并且尽可能的最小化其处理时间和任务完成的总费用。

所述的步骤6中，贪心调度策略分配任务到满足其需求的虚拟机资源上指的是，由于满足用户需求的虚拟机可能不止一个，若存在并且为多个，则使用贪心分配方法分配到最小化费用的虚拟机上，若不存在匹配的虚拟机，则把任务分配到运行时间最小化的资源上，尽可能的满足用户的资源需求。

步骤7，完成全部任务并返回任务的完成时间总费用。

附图说明

图1为本发明提供的一种基于资源分类和任务优先级的启发式云计算调度方法的流程示意图。

图2为启发式调度方法的云***调度模型图。

具体实施方式：

为了使本发明所解决技术问题以及方案更加清晰，以下结合附图及实施，对发明进行进一步详细说明。应当理解，此处所描述的具体实施仅用以解释本发明，并不用于限定本发明。

参照图1，本发明提供的一种基于资源分类和任务优先级的启发式云计算调度方法，包括以下步骤：

步骤1，任务的属性进行归一化操作。具体包括：

第一步，用户提交的具有多种属性的任务集合AT(m)＝{T₁,T₂…,T_m}，其中m是任务的个数,T_p表示第p个任务,每个任务p具有多种属性，用元组M_p＝{T_id,T_length,T_mp,T_stor,T_tran,T_pr,T_cf}表示。

T_id是任务的标号，一个任务具有唯一的id编号；T_length是任务的长T_mp是任务期望的虚拟机的处理速度；T_stor是任务期望的存储空间；T_tran是任务期望的传输带宽；T_pr是任务的优先级；T_cf表示任务的资源需求类型；

第二步，所述步骤1中，对任务的属性进行归一化操作是指采用如下公式对其归一化处理。任务Q_i,j表示任务i在第j个属性上的归一化结果，则Q_i,j表示为：

Q_i,j＝(x_i,j-z_j)/E_j

其中，x_i,j是任务T_i的第j个属性,Z_j是所有任务第j个属性的平均值，E_j是所有任务第j个属性的平均绝对偏移量。Z_j和E_j可以通过以下公式计算：

步骤2，任务分类。根据任务对不同资源的需求程度不同，把任务的进行需求资源类型分类。

所述步骤2中，任务需求类型包括计算需求型EC，存储需求型ES和带宽需求型EB。

所述步骤2中，任务对不同资源的需求程度不同是指任务的EC,ES和EB的权重不同。

所述步骤2中，任务需求资源的权重可以通过以下公式计算：

ωl_i是第i个任务所对应需求资源归一化结果的总和。n是需要计算的属性的总个数，在这里n值为3，ω_i,r是第i个任务中第r个属性的权值。π_i,r代表第i个任务的第r个属性在取值区间为[min,max]内的Min-Max标准化处理。

所述步骤2中，根据不同属性的π_i,r大小，进行排序，找到的最大π_i,r对应的属性，来确定任务M_P″的资源需求类型。不同属性归一化的值进行比较求取最大值，任务需求类型通过以下公式计算：

π_e′＝max{π_i,1,π_i,2,...,π_i,n}

π_i,1是代表第i个任务对应的第一个属性的标准化结果。π_e′代表归一化属性的最大值，并通过该值可以确定任务的需求类型。

步骤3，计算任务优先级：基于任务对不同资源的需求程度，对需求资源进行加权计算得到任务的优先级值。

根据权重计算任务优先级，计算公式如下：

Pro(t_p)＝ω₁*E_mp+ω₂*E_sp+ω₂*E_tp

Pro(t_p)表示任务t_p的优先级，E_mp，E_sp和E_tp是任务t_p分别在属性t_mp，t_sto_r，t_tran上的标准化值，采用加权的方式计算任务t_p的优先级。其中，ω₁,ω₂,ω₂是权重因子，他们的取值范围都是[0.1]，且ω₁+ω₂+ω₃＝1。

步骤4，任务排序。参照图2，根据任务的优先级值，由高到低进行任务排序，并且按照排好的顺序在任务等待队列中等待被调度。

步骤5，参照图2，构建优先级任务调度的费用模型：计算任务分配中的计算费用、传输费用和存储费用，并将其总和作为总共的用户花费。其次，计算整个任务的完成的时间，包括计算时间和文件传输时间。

优先级任务调度的费用模型具体如下：

第一步，根据任务类型的划分，设定3种不同类型的虚拟机来完成任务的执行，3种虚拟机类型分别是计算密集型V_cp、存储密集型V_st和传输密集型V_tr，它们对应的单位收费分别是计算收费t_cc，存储收费t_sc和传输收费t_tc。任务分配到虚拟机VM_q的执行时间表示为：

EX(p,q)＝Length_p/Mips_q

EX(p,q)是任务p在虚拟机q上的执行时间，Length_p是任务p的长度，Mips_q是虚拟机q的处理速度，也是第q个虚拟机的处理能力。

第二步，虚拟机q的运行任务p所产生的计算费用C_cp可以表示为：

C_cp(p,q)＝EX(p,q)·t_cp,q

t_cp,q是第q个虚拟机的单位收费。

第三步，任务从数据中心传输到虚拟机q上，经过不同传输带宽，将会花费不同的传输时间TT(p,q)，由于不同虚拟机具有不同的带宽和传输收费和产生的传输费用C_tr通过以下公式计算得到：

TT(p,q)＝Filesize_p/V_bw,q

C_tr(p,q)＝TT(p,q)·t_tr,q

Filesize_p是任务p的传输文件大小，这里认为任务的输出文件大小即是传输文件大小，V_bw,q代表虚拟机q的单位传输速率(即传输带宽),t_tr,q代表虚拟机q的单位传输收费。

第四步，对于任务p的数据存储，定义虚拟机q单位存储收费为t_sc,q，则在虚拟机q上存储大小为Dsize的数据，收取的存储费用表示为：

C_st(p,q)＝Dsize·t_sc,q

第五步，根据以上公式化描述，任务p总共时间开销是执行时间EX(p,q)、传输时间TT(p,q)的总和，此外，p的总花费是计算花费、传输花费和存储花费的总和，完成任务p的总时间ET_ct和花费AC_ct通过以下公式计算：

ET_ct(p,q)＝EX(p,q)+TT(p,q)

AC_ct(p,q)＝C_cp(p,q)+C_tr(p,q)+C_st(p,q)

ET_ct(p,q)中是任务花费的总时间，AC_ct(p,q)是任务p在虚拟机q上执行完成的总花费。

步骤6，参照图2，任务调度：贪心调度方法依次调度任务到满足其需求的虚拟机上，并且尽可能的最小化其处理时间和任务完成的总费用。

所述的步骤6中，参照图2，贪心调度策略分配任务到满足其需求的虚拟机资源上指的是，由于满足用户需求的虚拟机可能不止一个，若存在并且为多个，则使用贪心分配方法分配到最小化费用的虚拟机上，若不存在匹配的虚拟机，则把任务分配到运行时间最小化的资源上，尽可能的满足用户的资源需求。

步骤7，完成全部任务并返回任务的完成时间总费用。

对比传统方法，本发明具有以下优势：

本方法可以根据用户提交的任务，对用户任务根据需求资源的类型和权重，进行任务需求分类和优先级计算，具有不同优先级的任务依次进行任务调度，来满足用户任务的不同资源需求，降低用户的资源使用费和整个任务的完成时间。以上所述仅是本发明的优选实施方式，应该指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，本领域的人员还可以做出修饰或变化，接应纳入权利要求书中记载保护范围内。

Claims (1)

1.一种基于资源分类和任务优先级的启发式云计算调度方法，其特征在于，

该方法包括以下步骤：

(1)任务属性归一化：针对用户提交的具有多种属性的任务，使用Min-Max方法归一化任务的属性；

(2)任务分类：根据任务对资源EC,ES和EB的需求程度，通过比较π_e′把任务进行需求资源类型分类；

(3)计算任务优先级：基于EC,ES和EB任务对不同资源的需求程度，对需求资源进行加权计算得到任务的优先级值Pro(t_p)；

(4)构建优先级任务调度的费用模型：计算任务分配中的计算费用t_cc、传输费用t_sc和存储费用t_tc，并将其总和作为总共的用户花费AC_ct，其次，计算整个任务的完成的时间ET_ct；

(5)任务调度：贪心调度方法依次调度任务到满足其需求的虚拟机上，并且尽可能的最小化其处理时间和任务完成的总费用。