CN106371924A - 一种最小化MapReduce集群能耗的任务调度方法 - Google Patents

Abstract

本发明公开了一种最小化MapReduce集群能耗的任务调度方法，包括预处理阶段：在每个服务器上构建模糊逻辑控制***，以便动态的更新服务器上的工作槽数量；解决方案阶段：根据截止期和数据本地化的约束，对作业和任务进行排序，使得较多的作业可以在截止期内完成，并使得集群总运行时间降低；更新阶段：在每个心跳期，根据任务的执行情况更新任务排序，并根据服务器的资源利用率和模糊逻辑控制***，实时更新集群环境。本发明通过减少集群总运行时间，降低能耗。在绿色计算领域有广泛的应用价值和使用前景。

Description

一种最小化MapReduce集群能耗的任务调度方法

技术领域

本发明涉及到一种最小化MapReduce集群能耗的任务调度方法，属于云计算应用、计算机技术、绿色计算领域。

背景技术

近年来，不同形式的数据在社会、经济、网络等各个领域呈指数型增长。各企业尤其是IT企业每年都会产生庞大的数据量,据IDC(International Data Corporation)报告^[1]称，在2020一年中将会有将近40ZB的数据被处理，其中机器生成的数据量从2005年的10％涨至2020年的40％。因此，数据中心的能量消耗将非常可观。据文献^[2]称，全世界数据中心的能量消耗总和呈每年15％的比率增长。在大数据中进行数据挖掘，需要大量BDAApps(Big Data Analytics Applications)对数据进行处理，这些应用提交给数据中心计算集群的作业往往拥有不同的时间参数如开始时间，执行时间，截止期等。如何对其进行合理调度执行将直接影响数据中心的能量消耗。因此，任务调度在节约能量方面起到至关重要的作用。

为了加快大规模数据集下的运算速度，云计算领域中出现了一种编程模型MapReduce^[3]并迅速被广泛运用。该模型采用简单的两步映射和化简来实现数据运算之间的高度并行化，针对上文提出的问题，在此模型中可以把BDA Apps所要计算的数据进行划分，用并行任务进行求解。本发明提出的任务调度方法主要应用于云计算环境下MapReduce计算集群。

基于MapReduce的任务调度，许多研究者已提出不同的方法，但这些方法在控制能量消耗方面均存在不同程度的缺陷。Lang等人^[4]提出CS(Covered Set)方法，考虑数据本地化约束，在***利用率降低时，构建覆盖集将有用数据所在的服务器覆盖，将处于覆盖集之外的服务器关闭，从而降低集群能耗。Leverich等人^[5]提出AIS(All-InStrategy)，只有在所有提交的作业全部完成时才关闭集群中所有服务器。当其中一台服务器的运行时间远远大于其它服务器的运行时间时，无疑增加了集群的能量浪费。针对MapReduce上作业的三个性能因素：数据本地化，资源利用率和作业截止期，现有的大部分方法只考虑了其中的一种或两种，但实际中三者都应被考虑。

[1]Data to grow more quickly says idc’s digital universestudy.http://www.computerweekly.com/news/2240174381/Data-to-grow-more-quickly-says-IDCs-Digital-Universe-study.

[2]Koomey Jonathan G.Worldwide electricity used in datacenters.Environmental Research Letters,3,2008.

[3]J.Dean and S.Ghemawat,“Mapreduce:Simplified data processingonlarge clusters,”in Proc.of the 6th USENIX Symposium onOperating System Designand Implementation,2004,pp.137–150.

[4]Willis Lang and Jignesh M Patel.Energy management formapreduceclusters.Proceedings of the VLDB Endowment,3(1-2):129–139,2010.

[5]Jacob Leverich and Christos Kozyrakis.On the energy(in)efficiencyofhadoop clusters.ACM SIGOPS Operating Systems Review,44(1):61–65,2010.

发明内容

发明目的：为了克服现有技术中存在的不足，本发明主要从节能的角度来考虑云计算中的任务调度问题，体现绿色计算的理念提供一种最小化MapReduce集群能耗的任务调度方法，该方法综合考虑数据本地化，资源利用率和作业截止期约束，最小化服务器集群能耗。

技术方案：为实现上述目的，本发明采用的技术方案为：

一种最小化MapReduce集群能耗的任务调度方法，包括以下阶段：

A.预处理阶段：根据收集到的资源利用率，所述资源利用率包括CPU利用率、内存利用率和网络带宽利用率，分别获取CPU利用率、内存利用率和网络带宽利用率的频率分布情况，根据CPU利用率、内存利用率和网络带宽利用率的频率分布情况分别确定出CPU利用率、内存利用率和网络带宽利用率的隶属函数。依据相应专家给出的模糊规则和得到的隶属函数构造每个服务器上的模糊控制***，在任务调度过程中，利用构建在服务器上的模糊逻辑控制***，动态改变服务器的工作槽数量，优化任务调度顺序，从而动态的决定服务器上的工作槽数量。

B.解决方案阶段：首先根据每个作业的正在运行任务数、等待处理的任务数和已经完成的任务数进行作业所需最少工作槽数量的计算，依据最少工作槽数建立作业的优先级队列。然后根据作业的优先级队列，依次取出优先级队列中的作业，交替选择该作业的执行时间长的任务和执行时间短的任务进行排队建立任务队列，直到任务队列的长度和集群上的全部空闲工作槽数量相等。建立任务工作槽关联列表，优先选择数据本地化代价最小的空闲工作槽分配给任务并执行。

C.更新阶段：在每个心跳期，根据任务的当前执行情况实时更新任务排序。在服务器配置了模糊控制***的前提下，根据每个服务器当前的CPU利用率、内存利用率和网络带宽利用率动态决定是否要改变该服务器上的工作槽数量。通过改变工作槽的数量，来提高服务器的利用率，尽早的完成全部作业，减少整个集群的能耗。

所述预处理阶段具体步骤如下：

A1.记录服务器的CPU利用率、内存利用率和网络带宽利用率的实时数据，形成数据集。

A2.对步骤A1中的数据集通过采样分析得到CPU利用率、内存利用率和网络带宽利用率的频率分布图,由频率分布图和数学模型确定各个服务器CPU利用率、内存利用率和网络带宽利用率的隶属函数。

A3.利用经验和专家知识构建模糊规则。

A4.根据确定的CPU利用率、内存利用率和网络带宽利用率的隶属函数和构建的模糊规则构造每个服务器上的模糊逻辑控制***，在任务调度过程中根据模糊逻辑控制***实时更新服务器环境状态，动态改变服务器上的工作槽数量。

所述解决方案阶段中包括以下步骤：

B1.根据每个作业的正在运行任务数、等待处理的任务数和已经完成的任务数进行作业所需最少工作槽数量的计算，并按照所需最少工作槽数从大到小对作业进行排序得到作业的优先级队列。

B2.在每个心跳期，按序从作业优先级队列中获取作业，交替选择作业中的具有长执行时间的任务和短执行时间的任务，依次加入到任务队列，直到任务队列的长度和集群上的全部空闲工作槽数量相等为止。

B3.每一个任务都有一个本地节点工作槽列表、本地机架工作槽列表和远程工作槽列表，它们分别代表着节点层次的数据本地化、机架层次的数据本地化和远程的数据本地化，通过一个数据本地化代价的矩阵，确定分配给各任务的工作槽，得到一个关联列表，并执行任务。其中数据本地化表示任务所分配到的节点要接近于它所需处理的输入数据所在的节点。数据本地化程度由高到低可分为三个级别，分别为节点级别，机架级别，远程级别。

所述更新阶段包括以下步骤：

C1.对当前所有未完成的作业，依据B1中所示公式计算其相应的所需最少工作槽数，并按照所需最少工作槽数从大到小对作业进行排序。

C2.将服务器的当前CPU利用率,内存利用率和网络带宽利用率作为模糊控制***的输入值，依据隶属函数和所满足的模糊规则得到其对应的输出值，即当前服务器的工作槽数是否需要发生变化。

作业所需分配的工作槽数的计算公式如下：

${\mathrm{\ξ}}_i^A=\frac{{\Σ}_{j=1}^{\left|A_i^r\right|}(p_{ij}-p_{ij}^e)+\left(\right|A_i^w|\×\frac{{\Σ}_{k=1}^{\left|A_i^c\right|}{p}_{ik}}{\left|A_i^c\right|})}{D_i-t-K}-\left|A_i^r\right|$

其中,表示作业i所需分配的工作槽数，表示作业i正在运行的任务数，p_ij表示任务A_ij的执行时间，A_ij表示作业i的第j个任务，表示任务A_ij已经过的执行时间，表示作业i的等待任务集合，表示作业i已完成的任务集合，D_i表示作业i的截止期，t表示当前***时间，K表示K个时间单元。

其工作流程包括以下步骤：

S1.计算各作业所需分配工作槽数创建作业优先级队列。

S2.如果作业队列为空，转到S10。否则，转到S3。

S3.将集群的空闲工作槽加入到空闲工作槽列表中。

S4.根据任务运行时间长短，交替把时间长的任务和时间短的任务加入到任务列表中，直到任务列表和空闲工作槽列表长度相等。

S5.根据本地节点工作槽列表、本地机架工作槽列表和远程工作槽列表的数据本地化代价，构建一个代价矩阵，其中，本地节点工作槽列表、本地机架工作槽列表和远程工作槽列表分别代表着节点层次的数据本地化、机架层次的数据本地化和远程的数据本地化，代价矩阵的行代表工作槽，列代表任务，对应的值是任务和工作槽的数据本地化代价。

S6.根据代价矩阵，进行任务的工作槽分配，得到工作槽关联列表。

S7.将关联列表和任务列表中的元素一一对应，加入到分配列表中，并分配相应资源，让任务执行。

S8.任务完成后，更新对应的作业的状态，包括作业运行任务数、作业剩余任务数、作业完成任务数以及任务执行时间等。

S9.根据模糊逻辑控制***更新新集群环境，主要是包括CPU使用率、内存使用率和网络带宽使用率，通过模糊规则，确定是否要为集群增加或者不变后者减少工作槽数量。转到S1。

S10.输出结果，算法结束。

所述步骤S6中根据代价矩阵，进行任务的工作槽分配，得到工作槽关联列表的方法，包括以下步骤：

S601.记录代价矩阵的每一列的最小值，按列最小值非递减顺序重新排列代价矩阵的列的顺序。

S602.记录每一列的节点级数据本地化的行、机架级数据本地化的行和远程数据本地化的行。

S603.依次选择代价矩阵的每列，如果列号没有越界，则转到S604。否则，跳到S611。

S604.如果该列节点级数据本地化行为空，则转到S606。否则，转到S605。

S605.随机选择一个节点级数据本地化行给该列，转到S609。

S606.如果该列机架级数据本地化行为空，则转到S608。否则，跳到S607。

S607.随机选择一个机架级数据本地化行给该列，转到S609。

S608.随机选择一个远程级数据本地化行给该列。

S609.将该行对应的工作槽加入到关联列表中。

S610.将该行从其他列的节点级数据本地化的行、机架级数据本地化的行和远程数据本地化的行中删去，列号递增，返回S604。

S611.输出关联列表，算法结束。

所述步骤S9中根据模糊逻辑控制***更新新集群环境的方法：

S901.根据当前集群环境的CPU利用率和CPU隶属函数，构建CPU隶属值矩阵。

S902.根据当前集群环境的内存利用率和内存隶属函数，构建内存隶属值矩阵。

S903.根据当前集群环境的网络带宽利用率和网络带宽隶属函数，构建网络带宽隶属值矩阵。

S904.根据模糊规则、CPU隶属值矩阵、内存隶属值矩阵和网络带宽隶属值矩阵，构建模糊规则矩阵和模糊值矩阵。

S905.根据模糊规则矩阵和模糊值矩阵，通过最大隶属值，计算工作槽变化值，如果值是1，表示给服务器增加一个工作槽。值是-1，表示给服务器减少一个工作槽。值是0，表示不变。

S906.方法结束。

有益效果：本发明提供的一种最小化MapReduce集群能耗的任务调度方法，与现有技术相比，具有以下有益效果：

本发明在建立作业优先级队列时考虑截止期约束，从而可以确保最大数量的作业能够在截止期前完成。在作业任务排序和分配阶段综合考虑数据本地化因素和资源利用率因素，两方面因素在控制能量消耗方面起到关键作用。最后，根据服务器上作业的完成情况，利用模糊逻辑实时更新服务器状态，动态的决定是否要为服务器增加或者减少或者保持不变工作槽的数量，以提高服务器的利用率。在数据密集型作业调度环境中数据本地化因素显得尤为重要，数据迁移会造成大量能量消耗。因此，本发明综合考虑了作业截止期、资源利用率和数据本地化，优化服务器总运行时间，从而减少集群能量消耗。

附图说明

图1是本发明的云计算集群任务调度结构示意图。

图2是本发明中搭建在服务器上的模糊逻辑***示意图。

图3是本发明实施例中实现最小化MapReduce集群能耗的任务调度方法详细流程图。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明，应理解这些实例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

如图1所示为一种

一种最小化MapReduce集群能耗的任务调度方法，综合考虑数据本地化、资源利用率和作业截止期约束，在任务调度过程中，利用构建在服务器上的模糊逻辑控制***，动态改变服务器的工作槽数量，优化任务调度顺序，尽早的完成全部作业，减少集群总的工作时间,减少集群的能耗。该方法包括以下阶段：

A.预处理阶段：在每个服务器上构建模糊逻辑控制***，以便动态的更新服务器上的工作槽数量。

根据收集到的资源利用率，所述资源利用率包括CPU利用率、内存利用率和网络带宽利用率，分别获取CPU利用率、内存利用率和网络带宽利用率的频率分布情况，根据CPU利用率、内存利用率和网络带宽利用率的频率分布情况分别确定出CPU利用率、内存利用率和网络带宽利用率较为精确的隶属函数，由频率分布图和数学模型确定出最终的隶属函数。依据相应专家给出的模糊规则和得到的隶属函数构造每个服务器上的模糊控制***，在任务调度过程中，利用构建在服务器上的模糊逻辑控制***，动态改变服务器的工作槽数量，优化任务调度顺序，从而动态的决定服务器上的工作槽数量，为后续的资源利用率的改善提供基础。

所述预处理阶段具体步骤如下：

A1.记录服务器的CPU利用率、内存利用率和网络带宽利用率的实时数据，形成数据集。

A2.对步骤A1中的数据集通过采样分析得到CPU利用率、内存利用率和网络带宽利用率的频率分布图,由频率分布图和数学模型确定各个服务器CPU利用率、内存利用率和网络带宽利用率的隶属函数。

A3.利用经验和专家知识构建模糊规则，其中部分模糊规则如下所示：

其中，利用率下的L、M、H分别表示低利用率、中利用率和高利用率，而输出下的L、M、H，分别代表着为服务器增加一个工作槽、服务器上工作槽数量不变和将服务器上的工作槽减少一个。

A4.根据确定的CPU利用率、内存利用率和网络带宽利用率的隶属函数和构建的模糊规则构造每个服务器上的模糊逻辑控制***，在任务调度过程中根据模糊逻辑控制***实时更新服务器环境状态，动态改变服务器上的工作槽数量。

B.解决方案阶段：根据截止期和数据本地化的约束，对作业和任务进行排序，使得较多的作业可以在截止期内完成，并使得集群总运行时间降低。

首先根据每个作业的正在运行任务数、等待处理的任务数和已经完成的任务数进行作业所需最少工作槽数量的计算，依据最少工作槽数建立作业的优先级队列。然后根据作业的优先级队列，依次取出优先级队列中的作业，交替选择该作业的执行时间长的任务和执行时间短的任务进行排队建立任务队列，直到任务队列的长度和集群上的全部空闲工作槽数量相等。建立任务工作槽关联列表，优先选择数据本地化代价最小的空闲工作槽分配给任务并执行。

所述解决方案阶段中包括以下步骤：

B1.根据每个作业的正在运行任务数、等待处理的任务数和已经完成的任务数进行作业所需最少工作槽数量的计算，并按照所需最少工作槽数从大到小对作业进行排序得到作业的优先级队列。

作业所需分配的工作槽数的计算公式如下：

${\mathrm{\ξ}}_i^A=\frac{{\Σ}_{j=1}^{\left|A_i^r\right|}(p_{ij}-p_{ij}^e)+\left(\right|A_i^w|\×\frac{{\Σ}_{k=1}^{\left|A_i^c\right|}{p}_{ik}}{\left|A_i^c\right|})}{D_i-t-K}-\left|A_i^r\right|$

其中,表示作业i所需分配的工作槽数，表示作业i正在运行的任务数，p_ij表示任务A_ij的执行时间，A_ij表示作业i的第j个任务，表示任务A_ij已经过的执行时间，表示作业i的等待任务集合，表示作业i已完成的任务集合，D_i表示作业i的截止期，t表示当前***时间，K表示K个时间单元。

B2.在每个心跳期，按序从作业优先级队列中获取作业，交替选择作业中的具有长执行时间的任务和短执行时间的任务，依次加入到任务队列，直到任务队列的长度和集群上的全部空闲工作槽数量相等为止。

B3.为了更好的利用数据的本地化，每一个任务都有一个本地节点工作槽列表、本地机架工作槽列表和远程工作槽列表，它们分别代表着节点层次的数据本地化、机架层次的数据本地化和远程的数据本地化，通过一个数据本地化代价的矩阵，确定分配给各任务的工作槽，得到一个关联列表，并执行任务。其中数据本地化表示任务所分配到的节点要接近于它所需处理的输入数据所在的节点。数据本地化程度由高到低可分为三个级别，分别为节点级别，机架级别，远程级别。

C.更新阶段：在每个心跳期，根据任务的执行情况更新任务排序，并根据服务器的资源利用率和模糊逻辑控制***，实时更新集群环境。

在每个心跳期，根据任务的当前执行情况实时更新任务排序：如已完成的任务数、当前正在处理的任务数、还未分配的任务数和当前作业的执行速度等，实时更新任务排序。在服务器配置了模糊控制***的前提下，根据每个服务器当前的CPU利用率、内存利用率和网络带宽利用率动态决定是否要改变该服务器上的工作槽数量。通过改变工作槽的数量，来提高服务器的利用率，尽早的完成全部作业，减少整个集群的能耗。

所述更新阶段包括以下步骤：

C1.对当前所有未完成的作业，依据B1中所示公式计算其相应的所需最少工作槽数，并按照所需最少工作槽数从大到小对作业进行排序。

C2.将服务器的当前CPU利用率,内存利用率和网络带宽利用率作为模糊控制***的输入值，依据隶属函数和所满足的模糊规则得到其对应的输出值，即当前服务器的工作槽数是否需要发生变化。

其工作流程包括以下步骤：

S1.计算各作业所需分配工作槽数创建作业优先级队列。

S2.如果作业队列为空，转到S10。否则，转到S3。

S3.将集群的空闲工作槽加入到空闲工作槽列表中。

S4.根据任务运行时间长短，交替把时间长的任务和时间短的任务加入到任务列表中，直到任务列表和空闲工作槽列表长度相等。

S5.根据本地节点工作槽列表、本地机架工作槽列表和远程工作槽列表的数据本地化代价，构建一个代价矩阵，其中，本地节点工作槽列表、本地机架工作槽列表和远程工作槽列表分别代表着节点层次的数据本地化、机架层次的数据本地化和远程的数据本地化，代价矩阵的行代表工作槽，列代表任务，对应的值是任务和工作槽的数据本地化代价。

S6.根据代价矩阵，进行任务的工作槽分配，得到工作槽关联列表。

所述步骤S6中根据代价矩阵，进行任务的工作槽分配，得到工作槽关联列表的方法，包括以下步骤：

S601.记录代价矩阵的每一列的最小值，按列最小值非递减顺序重新排列代价矩阵的列的顺序。

S602.记录每一列的节点级数据本地化的行、机架级数据本地化的行和远程数据本地化的行。

S603.依次选择代价矩阵的每列，如果列号没有越界，则转到S604。否则，跳到S611。

S604.如果该列节点级数据本地化行为空，则转到S606。否则，转到S605。

S605.随机选择一个节点级数据本地化行给该列，转到S609。

S606.如果该列机架级数据本地化行为空，则转到S608。否则，跳到S607。

S607.随机选择一个机架级数据本地化行给该列，转到S609。

S608.随机选择一个远程级数据本地化行给该列。

S609.将该行对应的工作槽加入到关联列表中。

S610.将该行从其他列的节点级数据本地化的行、机架级数据本地化的行和远程数据本地化的行中删去，列号递增，返回S604。

S611.输出关联列表，算法结束。

S7.将关联列表和任务列表中的元素一一对应，加入到分配列表中，并分配相应资源，让任务执行。

S8.任务完成后，更新对应的作业的状态，包括作业运行任务数、作业剩余任务数、作业完成任务数以及任务执行时间等。

S9.根据模糊逻辑控制***更新新集群环境，主要是包括CPU使用率、内存使用率和网络带宽使用率，通过模糊规则，确定是否要为集群增加或者不变后者减少工作槽数量。转到S1。

所述步骤S9中根据模糊逻辑控制***更新新集群环境的方法：

S901.根据当前集群环境的CPU利用率和CPU隶属函数，构建CPU隶属值矩阵。

S902.根据当前集群环境的内存利用率和内存隶属函数，构建内存隶属值矩阵。

S903.根据当前集群环境的网络带宽利用率和网络带宽隶属函数，构建网络带宽隶属值矩阵。

S904.根据模糊规则、CPU隶属值矩阵、内存隶属值矩阵和网络带宽隶属值矩阵，构建模糊规则矩阵和模糊值矩阵。

S905.根据模糊规则矩阵和模糊值矩阵，通过最大隶属值，计算工作槽变化值，如果值是1，表示给服务器增加一个工作槽。值是-1，表示给服务器减少一个工作槽。值是0，表示不变。

S906.方法结束。

S10.输出结果，算法结束。

本发明考虑作业截止期约束、数据本地化和资源利用率，通过最小化集群总运行时间降低能量消耗，具体包括以下三步骤：1)建立作业优先级队列，其主要特点是在作业截止期约束下，根据作业已完成任务数、正在运行任务数和等待运行任务数计算作业所需分配的工作槽数量并建立作业优先级队列；2)基于数据本地化的任务调度，其主要特点是依次选择作业队列中的作业，将作业的长短任务依次排队，将数据本地化代价小的空闲工作槽优先分配给任务的，得到任务工作槽关联列表，并执行任务；3)改善集群资源利用率，其主要特点是在每一个心跳期，记录服务器的资源利用率，包括CPU利用率、内存利用率和网络带宽利用率，利用模糊逻辑控制***，动态调整服务器工作槽数量。最终，通过减少集群总运行时间，降低能耗。该方法在绿色计算领域有广泛的应用价值和使用前景。

如图1所示为本发明的一个具体实例，包括云计算服务器用户11，作业集合12，云计算服务器集群13和作业调度器14。首先云计算服务器用户将作业提交给云平台，然后云计算服务器集群的作业调度器负责将这些作业中的任务分配到相应的服务器机架上。每一台机架上有多台服务器，且每台服务器有多个工作槽，作业的每一个任务对应一个工作槽。本发明搭建在服务器上的模糊逻辑***示意图如图2所示，包括模糊化21，通过模糊规则222，进行模糊推论221，最后逆模糊化23。

假设某用户提交的作业集合为J＝{J₁,J₂,J₃,J₄,J₅}，每个作业均有五个Map任务。任务集合为{A₁₀,...,A₁₄,A₂₀,...,A₂₄,...,A₃₀,...A₃₄}。MapReduce计算集群中服务器集群为S＝{S₁,S₂,S₃,S₄,S₅}，5个服务器被放置在2个机架上，机架集合为R＝{R₁,R₂}，{S₁,S₂,S₃}被放置在R₁上，{S₄,S₅}被放置在R₂上。每一台服务器均设有5个工作槽，工作槽集合为{L₁₁,...,L₁₅,L₂₁,...,L₂₅,L₃₁,...,L₃₅,...,L₄₁,...,L₄₅,L₅₁,...L₅₅}，且当前已有部分工作槽被占用或无法使用。工作集群运行了一段时间后每个作业各有三个任务未开始执行，等待任务集合为{A₁₁,A₁₂,A₁₃,A₂₁,A₂₂,A₂₃,A₃₁,A₃₂,A₃₃}，空闲工作槽集合为{L₁₀，L₂₁，L₃₁，L₃₀，L₄₀}。

图3是本发明实施例中实现MapReduce集群能耗最小的任务调度流程图。如图3所示，任务调度步骤如下：

S1.根据公式计算得出初始化作业优先级队列为JobList＝{J₂,J₁,J₃}。

S2.此时作业队列不空。

S3.将集群中的空闲工作槽加入到IdleList＝{L₁₀，L₂₁，L₃₁，L₃₀，L₄₀}。

S4.根据作业队列TaskList，依次交替选择作业的长短任务，直到TaskList和IdleList长度相等，TaskList＝{}。

S5.构建分配代价矩阵：

1代表节点级的数据本地化工作槽，3代表机架级数据本地化工作槽，5代表远程级数据本地化工作槽。

S6.根据算法流程图中S601-S611，得到一个工作槽的关联列表SelList＝{}。

S7.将任务列表和工作槽关联列表联立，加入到分配列表AssignList中，AssignList＝{}，分配资源让列表中的任务运行。

S8.在每个心跳期，更新作业状态，包括作业运行任务、作业剩余任务、作业完成任务、任务执行时间。

S9.利用模糊逻辑跟新集群环境。此时CPU利用率、内存利用率和网络带宽利用率分别是40,65,30，通过模糊隶属函数，得到CPU模糊值矩阵(0.189,0.811,0)，内存模糊值矩阵(0,0.237,0.427)，网络带宽矩阵(0,0.842,0.158)，构建模糊规则矩阵和模糊值矩阵：

$R1\[0\]=\left(\begin{array}{ccc}0& 0& 0\\ 0& B^{\′}\left(z\right)& C^{\′}\left(z\right)\\ 0& A^{\′}\left(z\right)& B^{\′}\left(z\right)\end{array}\right)$

$\begin{array}{cc}R1\[1\]=\left(\begin{array}{ccc}0& 0& 0\\ 0& B^{\′}\left(z\right)& B^{\′}\left(z\right)\\ 0& B^{\′}\left(z\right)& B^{\′}\left(z\right)\end{array}\right)& R1\[2\]=\left(\begin{array}{ccc}0& 0& 0\\ 0& 0& 0\\ 0& 0& 0\end{array}\right)\end{array}$

$\begin{array}{cc}R2\[0\]=\left(\begin{array}{ccc}0& 0& 0\\ 0& 0.189& 0.189\\ 0& 0.158& 0.158\end{array}\right)& R2\[1\]=\left(\begin{array}{ccc}0& 0& 0\\ 0& 0.237& 0.437\\ 0& 0.158& 0.158\end{array}\right)\end{array}$

$R2\[2\]=\left(\begin{array}{ccc}0& 0& 0\\ 0& 0& 0\\ 0& 0& 0\end{array}\right)$

其中、、分别代表着隶属函数的低、中、高输出的模糊值。通过对R1和R2的运算，得到R3：

$R3\[0\]=\left(\begin{array}{ccc}0& 0& 0\\ 0& \min \left(B^{\′}\right(z),0.189)& \min \left(C^{\′}\right(z),0.189)\\ 0& \min \left(A^{\′}\right(z),0.158)& \min \left(B^{\′}\right(z),0.158)\end{array}\right)$

$R3\[1\]=\left(\begin{array}{ccc}0& 0& 0\\ 0& \min \left(B^{\′}\right(z),0.237)& \min \left(B^{\′}\right(z),0.437)\\ 0& \min \left(B^{\′}\right(z),0.158)& \min \left(B^{\′}\right(z),0.158)\end{array}\right)$

$R3\[2\]=\left(\begin{array}{ccc}0& 0& 0\\ 0& 0& 0\\ 0& 0& 0\end{array}\right)$

则输出的模糊值是：

μ＝max{min(B′(z)，0.189)，min(C′(z)0.189，)

min(A′(z)，0.158)，min(B′(z)0.15８)，min(B′(z)，0.237)，)

min(B′(z)，0.437)，min(B′(z)，0.158)，min(B′(z)，0.158)}

即μ＝0.437，对应着工作槽变化量是0，也就是不需要为服务器增减工作槽。此后算法从新返回S1。

通过上述过程，本发明实现MapReduce集群上的任务调度方法，通过恰当的作业优先级队列、任务调度方法和改善集群资源利用率的方法，充分降低了整个MapReduce集群的能量消耗。尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (8)

1.一种最小化MapReduce集群能耗的任务调度方法，其特征在于：包括以下阶段：

A.预处理阶段：根据收集到的资源利用率，所述资源利用率包括CPU利用率、内存利用率和网络带宽利用率，分别获取CPU利用率、内存利用率和网络带宽利用率的频率分布情况，根据CPU利用率、内存利用率和网络带宽利用率的频率分布情况分别确定出CPU利用率、内存利用率和网络带宽利用率的隶属函数；依据相应专家给出的模糊规则和得到的隶属函数构造每个服务器上的模糊控制***，在任务调度过程中，利用构建在服务器上的模糊逻辑控制***，动态改变服务器的工作槽数量，优化任务调度顺序，从而动态的决定服务器上的工作槽数量；

B.解决方案阶段：首先根据每个作业的正在运行任务数、等待处理的任务数和已经完成的任务数进行作业所需最少工作槽数量的计算，依据最少工作槽数建立作业的优先级队列；然后根据作业的优先级队列，依次取出优先级队列中的作业，交替选择该作业的执行时间长的任务和执行时间短的任务进行排队建立任务队列，直到任务队列的长度和集群上的全部空闲工作槽数量相等；建立任务工作槽关联列表，优先选择数据本地化代价最小的空闲工作槽分配给任务并执行；

C.更新阶段：在每个心跳期，根据任务的当前执行情况实时更新任务排序；在服务器配置了模糊控制***的前提下，根据每个服务器当前的CPU利用率、内存利用率和网络带宽利用率动态决定是否要改变该服务器上的工作槽数量。

2.根据权利要求1所述的最小化MapReduce集群能耗的任务调度方法，其特征在于：所述预处理阶段具体步骤如下：

A1.记录服务器的CPU利用率、内存利用率和网络带宽利用率的实时数据，形成数据集；

A2.对步骤A1中的数据集通过采样分析得到CPU利用率、内存利用率和网络带宽利用率的频率分布图,由频率分布图和数学模型确定各个服务器CPU利用率、内存利用率和网络带宽利用率的隶属函数；

A3.利用经验和专家知识构建模糊规则；

A4.根据确定的CPU利用率、内存利用率和网络带宽利用率的隶属函数和构建的模糊规则构造每个服务器上的模糊逻辑控制***，在任务调度过程中根据模糊逻辑控制***实时更新服务器环境状态，动态改变服务器上的工作槽数量。

3.根据权利要求2所述的最小化MapReduce集群能耗的任务调度方法，其特征在于：所述解决方案阶段中包括以下步骤：

B1.根据每个作业的正在运行任务数、等待处理的任务数和已经完成的任务数进行作业所需最少工作槽数量的计算，并按照所需最少工作槽数从大到小对作业进行排序得到作业的优先级队列；

B2.在每个心跳期，按序从作业优先级队列中获取作业，交替选择作业中的具有长执行时间的任务和短执行时间的任务，依次加入到任务队列，直到任务队列的长度和集群上的全部空闲工作槽数量相等为止；

B3.每一个任务都有一个本地节点工作槽列表、本地机架工作槽列表和远程工作槽列表，它们分别代表着节点层次的数据本地化、机架层次的数据本地化和远程的数据本地化，通过一个数据本地化代价的矩阵，确定分配给各任务的工作槽，得到一个关联列表，并执行任务；其中数据本地化表示任务所分配到的节点要接近于它所需处理的输入数据所在的节点；数据本地化程度由高到低可分为三个级别，分别为节点级别，机架级别，远程级别。

4.根据权利要求3所述的最小化MapReduce集群能耗的任务调度方法，其特征在于：所述更新阶段包括以下步骤：

C1.对当前所有未完成的作业，依据B1中所示公式计算其相应的所需最少工作槽数，并按照所需最少工作槽数从大到小对作业进行排序；

C2.将服务器的当前CPU利用率,内存利用率和网络带宽利用率作为模糊控制***的输入值，依据隶属函数和所满足的模糊规则得到其对应的输出值，即当前服务器的工作槽数是否需要发生变化。

5.根据权利要求5所述的最小化MapReduce集群能耗的任务调度方法，其特征在于；作业所需分配的工作槽数的计算公式如下：

${\mathrm{\ξ}}_i^A=\frac{{\mathrm{\Σ}}_{j=1}^{\left|A_i^r\right|}(p_{ij}-p_{ij}^e)+\left(\right|A_i^w|\×\frac{{\mathrm{\Σ}}_{k=1}^{\left|A_i^c\right|}{p}_{ik}}{\left|A_i^c\right|})}{D_i-t-K}-\left|A_i^r\right|$

其中,表示作业i所需分配的工作槽数，表示作业i正在运行的任务数，p_ij表示任务A_ij的执行时间，A_ij表示作业i的第j个任务，表示任务A_ij已经过的执行时间，表示作业i的等待任务集合，表示作业i已完成的任务集合，D_i表示作业i的截止期，t表示当前***时间，K表示K个时间单元。

6.根据权利要求1所述的最小化MapReduce集群能耗的任务调度方法，其特征在于：工作流程包括以下步骤：

S1.计算各作业所需分配工作槽数创建作业优先级队列；

S2.如果作业队列为空，转到S10；否则，转到S3；

S3.将集群的空闲工作槽加入到空闲工作槽列表中；

S4.根据任务运行时间长短，交替把时间长的任务和时间短的任务加入到任务列表中，直到任务列表和空闲工作槽列表长度相等；

S5.根据本地节点工作槽列表、本地机架工作槽列表和远程工作槽列表的数据本地化代价，构建一个代价矩阵，其中，本地节点工作槽列表、本地机架工作槽列表和远程工作槽列表分别代表着节点层次的数据本地化、机架层次的数据本地化和远程的数据本地化，代价矩阵的行代表工作槽，列代表任务，对应的值是任务和工作槽的数据本地化代价；

S6.根据代价矩阵，进行任务的工作槽分配，得到工作槽关联列表；

S7.将关联列表和任务列表中的元素一一对应，加入到分配列表中，并分配相应资源，让任务执行；

S8.任务完成后，更新对应的作业的状态，包括作业运行任务数、作业剩余任务数、作业完成任务数以及任务执行时间等；

S9.根据模糊逻辑控制***更新新集群环境，主要是包括CPU使用率、内存使用率和网络带宽使用率，通过模糊规则，确定是否要为集群增加或者不变后者减少工作槽数量；转到S1；

S10.输出结果，算法结束。

7.根据权利要求6所述的最小化MapReduce集群能耗的任务调度方法，其特征在于：所述步骤S6中根据代价矩阵，进行任务的工作槽分配，得到工作槽关联列表的方法，包括以下步骤：

S601.记录代价矩阵的每一列的最小值，按列最小值非递减顺序重新排列代价矩阵的列的顺序；

S602.记录每一列的节点级数据本地化的行、机架级数据本地化的行和远程数据本地化的行；

S603.依次选择代价矩阵的每列，如果列号没有越界，则转到S604；否则，跳到S611；

S604.如果该列节点级数据本地化行为空，则转到S606；否则，转到S605；

S605.随机选择一个节点级数据本地化行给该列，转到S609；

S606.如果该列机架级数据本地化行为空，则转到S608；否则，跳到S607；

S607.随机选择一个机架级数据本地化行给该列，转到S609；

S608.随机选择一个远程级数据本地化行给该列；

S609.将该行对应的工作槽加入到关联列表中；

S610.将该行从其他列的节点级数据本地化的行、机架级数据本地化的行和远程数据本地化的行中删去，列号递增，返回S604；

S611.输出关联列表，算法结束。

8.根据权利要求7所述的最小化MapReduce集群能耗的任务调度方法，其特征在于：所述步骤S9中根据模糊逻辑控制***更新新集群环境的方法：

S901.根据当前集群环境的CPU利用率和CPU隶属函数，构建CPU隶属值矩阵；

S902.根据当前集群环境的内存利用率和内存隶属函数，构建内存隶属值矩阵；

S903.根据当前集群环境的网络带宽利用率和网络带宽隶属函数，构建网络带宽隶属值矩阵；

S904.根据模糊规则、CPU隶属值矩阵、内存隶属值矩阵和网络带宽隶属值矩阵，构建模糊规则矩阵和模糊值矩阵；

S905.根据模糊规则矩阵和模糊值矩阵，通过最大隶属值，计算工作槽变化值，如果值是1，表示给服务器增加一个工作槽；值是-1，表示给服务器减少一个工作槽；值是0，表示不变；

S906.方法结束。