CN105656973B

CN105656973B - 一种分布式节点组内任务调度方法及***

Info

Publication number: CN105656973B
Application number: CN201410691155.4A
Authority: CN
Inventors: 王劲林; 尤佳莉; 刘学; 程钢; 邓浩江
Original assignee: Institute of Acoustics CAS; Beijing Hili Technology Co Ltd; Shanghai 3Ntv Network Technology Co Ltd
Current assignee: Institute of Acoustics CAS; Beijing Hili Technology Co Ltd; Shanghai 3Ntv Network Technology Co Ltd
Priority date: 2014-11-25
Filing date: 2014-11-25
Publication date: 2018-11-13
Anticipated expiration: 2034-11-25
Also published as: CN105656973A; US20170329643A1; US10474504B2; WO2016082370A1

Abstract

本发明提供一种分布式节点组内的任务调度方法及***，所述方法包含：步骤101)收集组内各节点的资源状态信息和历史服务信息；步骤102)接收服务请求命令，解析请求命令获得请求的任务；步骤103)根据各节点的资源状态信息和历史状态信息，计算由组内每个节点加载任务后的资源利用率增量和组内各类资源的占用情况；依据使组内各节点的资源利用率增量尽量低和对组内各类资源的占用尽量均衡的原则选择组内的服务执行节点，由选择的服务执行节点提供请求的任务。本发明提出的适用于解决单一任务在多资源约束、包含多服务节点的节点组的情况下的分布式调度方法。

Description

一种分布式节点组内任务调度方法及***

技术领域

本发明的技术方案属于解决分布式环境下任务调度的问题，因此需要考虑资源余量、负载均衡等多种性能指标，适用于分布时环境下的任务调度，具体涉及一种分布式节点组内任务调度方法及***。

背景技术

目前在许多分布式计算环境中，如云计算、网格计算、P2P网络等，都存在将请求任务在多个可选择节点间如何进行调度和执行的问题。现有的调度类型基于多任务的调度和工作流调度等。

多任务调度是指有多个并发任务共同到达云分布式计算环境，需要进行调度和资源分配，从而满足各个执行节点的负载均衡等要求。常见的有Min-Min算法和Max-Min算法。Min-Min算法首先预测出当前任务队列中每一个任务在各个处理器上的最小完成时间，然后将具有最小完成时间的任务分配给相应的处理器，同时更新相应的处理器的就绪时间，将被分配的任务从任务队列移去，如此重复分配剩余的任务，直至整个任务队列为空。Min-Min算法易出现负载不均衡现象。Max-Min算法与Min-Min算法不同之处在于，在确定了每个任务在各个处理器上的最早完成时间之后，将具有最大的最早完成时间的任务分配给相应的处理器，并及时更新相应的处理器就绪时间，对于剩下的任务进行重复处理。Max-Min算法在负载均衡方面比Min-Min算法有所改善。

另外一类是针对某个工作流内部的多级时序相关子任务的调度算法，从而满足减少总执行时间和能耗等需求。EDTS算法是针对一个任务内部的N步子任务进行最优调度的方法，算法首先预测出各个子任务在所有机器上执行所花费的时间及能耗，然后为这一连串任务设定了总截止时间，在固定的总截止时间下，结合已有的时序关系，找出尽可能节能的子任务分配方式，是针对一个任务进行拆分、调度，实现的是一个任务自身的性能最优。

上述方法大多是通过中心式的服务器进行调度方案的计算和资源分配，然而，在大规模分布式网络中，如大规模计算集群、P2P网络等环境，中心式的计算并不现实，其效率和计算消耗难以满足实时、准实时等应用的需求。

发明内容

本发明提出的适用于解决单一任务在多资源约束、包含多服务节点的节点组的情况下的分布式调度方法。

为了实现上述目的，本发明提供了一种分布式节点组内的任务调度方法，所述方法包含：

步骤101)收集组内各节点的资源状态信息和历史服务信息；

步骤102)接收服务请求命令，解析请求命令获得请求的任务；

步骤103)

根据各节点的资源状态信息和历史状态信息，计算由组内每个节点加载任务后的资源利用率增量和组内各类资源的占用情况；

依据使组内各节点的资源利用率增量尽量低和对组内各类资源的占用尽量均衡的原则选择组内的服务执行节点，由选择的服务执行节点提供请求的任务。

可选的，上述步骤101)进一步包含：

步骤101-1)组内的各节点均维护本节点的资源状态信息和历史服务信息；

步骤101-2)各节点将维护的资源状态信息和历史服务信息传输至调度执行节点，其中，所述调度执行节点用于从组内选择针对一个具体任务的执行节点且该调度执行节点用于接收用户的服务请求命令O。

解析请求命令即根据任务需求的历史服务信息进行计算和估计，获取任务对N种资源的任务需求资源向量O＝{o₁，o₂，...，o_N}；其中，所述历史服务信息包含：每个已执行任务对资源的实际需求和运行时间。

可选的，上述步骤103)进一步包含：

步骤103-1)根据节点的资源状态信息采用如下公式计算组内各节点的资源占用率，其中，节点的资源状态信息包含：节点的可用资源向量和节点已占用的资源向量：

rc_j＝{c_1，j，c_2，j，...，c_N，j}

c_i，j＝(s_i，j-so_i，j)/s_i，j

上述rc_j表示组内任意一个节点p_j当前的资源占用率向量，c_i，j表示属于节点p_j的第i种资源的占用率；

步骤103-2)计算将任务O分配至节点p_j处理的属于本节点的各类资源的占用率；

步骤103-3)计算将任务O加载到节点p_j后与加载之前属于本节点的各种资源的占用率的增加量，即求解步骤103-2)得到的资源占用率与步骤103-1)得到的资源占用率的差值，进而得到任务O对组内任意一个节点p_j的资源占用率增量向量；

步骤103-4)

根据资源占用率增量向量中的各元素计算节点p_j的资源占用影响率；

根据节点p_j的不同类型的资源占用率之间的方差，采用如下公式得到节点内资源均衡度σ_j：

其中，ro_i，j表示节点p_j对任务O进行处理时第i类资源的占用率，N表示一个节点组中所有节点一共可以支持的资源类型总数，i表示任一资源类型；

步骤103-5)将节点组内资源均衡度σ_j和资源占用影响率μ_j较小的节点作为执行节点得到执行节点集合P_K，具体采用如下公式得到节点集合P_K：

P_K＝{p_k}＝argmin(μ_j，σ_j)^T，j∈[1，M′]

上述M′表示满足条件的执行节点集合中的节点数目，argmin表示使得μ_j和σ_j取得最小值的对应节点；

步骤103-6)从执行节点集合P_K中选择一个节点为最终执行节点，再将任务O转发给最终执行节点进行处理。

为了实现上述方法，本发明提供一种分布式节点组内的任务调度***，所述***包含：

位于组内各节点的信息汇集模块，用于收集本节点的资源状态信息和历史服务信息；

位于组内调度执行节点上的服务命令接收模块，用于接收服务请求命令，解析请求命令获得请求的任务；

位于组内调度执行节点上的调度处理模块，用于：

依据资源利用率增量尽量低和各类资源的占用尽量均衡的原则选择服务执行节点，由服务执行节点提供请求的任务。

可选的，上述信息汇集模块进一步包含：

信息获取子模块，用于获取本节点的资源状态信息和历史服务信息，所述资源状态信息包含节点的可用资源向量和节点已占用的资源向量；

发送子模块，用于将维护的资源状态信息和历史服务信息传输至调度执行节点，其中，所述调度执行节点用于从组内选择针对一个具体任务的执行节点且该调度执行节点用于接收用户的服务请求命令O。

综上所述，本发明的一个节点组由一个或者多个服务执行节点组成，服务执行节点是可提供多种类型服务的服务主体，其中，接收到用户服务请求O的节点为调度执行节点，是节点组的核心，主要承担服务调度决策、计算以及相关工作。在节点组中，每个节点都需要维护本节点的资源状态信息、历史服务信息，并通过一定规则交换给调度执行节点，为调度选择过程做准备。调度执行节点根据所接收到的任务请求的资源需求量，首先计算节点组中每个节点加载该任务后的资源利用率增量，以及不同资源间资源占用情况均衡度，以此作为主要评估准则。之后，进行调度节点选择，选择原则为在满足资源利用率增量尽量低，不同类型资源的占用尽量均衡的情况下，选择合适的节点作为任务执行节点。本发明设计的一种分布式调度算法(即，分布式是指每个节点都可以承担任务执行节点的作用，不需要全局统筹)，该算法面向单一任务，在多资源约束和多服务节点的条件下，对任务进行合理的指派，不仅保障执行效率，同时考虑负载均衡、资源利用率等多种因素，从而提高***的整体服务性能。

与现有技术相比，本发明的技术优势在于：

本发明技术方案提供的算法面向单一任务，在多资源约束和多服务节点的条件下，对任务进行合理的指派，不仅保障执行效率，同时考虑负载均衡、资源利用率等多种因素，从而提高***的整体服务性能。

附图说明

图1是本发明的调度节点搜索过程示意图；

图2是本发明提供的任务调度方法的流程图。

具体实施方式

下面结合附图对本发明的技术方案进行详细说明。

实施例1

本发明提供一种分布式节点组内任务调度方法，如图2所示：

本发明提出的适用于解决单一任务在多资源约束、多服务节点构成节点组的情况下的分布式调度方法。一个节点组由一个或者多个服务执行节点组成，服务执行节点是可提供多种类型服务的服务主体，其中，接收到用户服务请求O的节点为调度执行节点，是节点组的核心，主要承担服务调度决策、计算以及相关工作。在节点组中，每个节点都需要维护本节点的资源状态信息、历史服务信息，并通过一定规则交换给调度执行节点，为调度选择过程做准备。调度执行节点根据所接收到的任务请求的资源需求量，首先计算节点组中每个节点加载该任务后的资源利用率增量，以及不同资源间资源占用情况均衡度，以此作为主要评估准则。之后，进行调度节点选择，选择原则为在满足资源利用率增量尽量低，不同类型资源的占用尽量均衡的情况下，选择合适的节点作为任务执行节点。

一种分布式节点组内任务调度方法，其执行节点选择步骤如下：

步骤1).假设一个节点组集合P为：P＝{p₁，p₂，...，p_j，...，p_M}，将节点组中的任意一个节点p_j的可用资源总量表示为：p_j＝{s_1，j，s_2，j...，s_n，j...，s_N，j}，再将节点p_j的已占用资源表示为：po_j＝{so_1，j，so_2，j，...，so_N，j}。

其中，N为一个节点组中所有节点一共可以支持的资源类型总数，s_n，j为节点p_j保持正常运行时位于该节点上的第n类资源的上限，资源类型包括但不限于：cpu，内存，硬盘；资源的上限值可以是***上限，也可以是预置上限。

调度执行节点接收到的服务请求命令对应的任务的资源需求向量表示为：O＝{o₁，o₂，...，o_N}，其中o_i表示任务请求对节点组中第i类资源的总需求量；任务请求所需资源，可以通过***预设值，也可以通过历史信息进行计算和估计；所需资源类型包括但不限于：cpu数，内存大小，硬盘大小。

步骤2).通过节点p_j在N种不同资源类型上的可用资源总量和占用量，可知节点p_j 的N种资源的剩余资源量，并计算得到当前资源占用率向量rc_j＝{c_1，j，c_2，j，...，c_N，j}，其中，第i种资源的占用率为c_i，j＝(s_i，j-so_i，j)/s_i，j，如果节点p_j对任务O进行处理，则资源的占用率为ro_j＝{r_1，j，r_2，j，...，r_N，j}，其中，r_i，j＝(s_i，j-so_i，j-o_i)/s_i，j。定义δ_i，j＝ro_i，j-rc_i，j，表示任务O加载到节点p_j后与加载之前比较第i种资源的占用率的增加量，因此任务O对节点p_j的资源占用率增量向量为Δ＝{δ_1，j，δ_2，j，...，δ_N，j}，节点内资源均衡度指不同类型的资源占用率之间的方差，其中，

步骤3)如果节点p_j对任务O进行处理，其第i种资源的占用率r_i，j＞TR_i，则将节点p_j从节点组中去除，剩余节点组计算O对节点p′_j的资源占用率增量向量为Δ和μ_j，以及节点内资源均衡度σ_j.

步骤4)我们的目标是选出均衡度较好，即σ_j较小，同时资源占用影响较小，即μ_j较小的点作为执行节点，因此优化目标为选出合适的节点集合P_K，使其满足

P_K＝{p_k}＝argmin(μ_j，σ_j}^T，j∈[1，M′]

上述问题是一个多目标优化问题，该多目标优化问题，许多方法可以用来得到合适的解，包括：梯度下降法、遗传算法、粒子群算法、蚁群算法，得到一个符合条件的节点集合，从中选择一个节点作为最终决策点，其选择节点的方法可以通过多种选择策略，包括但不限于：随机、以某种概率分布、以某种准则进行选择。本发明实施例仅选用如下一种方法计算合适的解(即求解得到执行节点集合P_K)(如图1)：

a)定义均衡度搜索步长Δσ＝(σ_max-σ_min)/M′，其中σ_max和σ_min分别是节点组P’中所有节点对应σ值的最大值和最小值；定义资源占用率增量步长Δμ＝(μ_max-μ_min)/M′，其中μ_max和μ_min分别是节点组P’中所有节点对应μ值的最大值和最小值。

b)以x∈[μ_min，μ_max]，y∈[σ_min，σ_max]为搜索空间，进行最优值搜索，初始时x(0)＝μ_min，y(0)＝σ_min，t＝0；

c)如果没有节点满足μ＜＜x(t)且p＜＜y(t)，则x(t+1)＝x(t)+Δμ，y(t+1)＝y(t)+Δσ，t＝t+1，循环步骤c)；如果有满足条件的节点p_k，则将该节点加入符合条件的节点集合P_K，形成调度节点，终止上述过程，输出节点集合信息；

通过上述过程得到一个符合条件的节点集合P_K，从中选择一个节点p_k作为最终决策点，其选择方法可以通过多种选择策略，包括但不限于：随机、以某种概率分布、以某种准则进行选择。

步骤5).经过步骤4)，所选出的节点p_k即是任务O的最终执行节点，并由调度执行节点将任务O转发给节点p_k进行处理。

实施例2

本发明还提供了一种分布式节点组内的任务调度***，所述***包含：

位于组内调度执行节点上的调度处理模块，用于：

可选的，上述信息汇集模块进一步包含：

可选的，信息获取子模块还用于解析请求命令后根据任务需求，获取请求的任务对N种资源的任务需求资源向量O＝{o₁，o₂，...，o_N}。

进一步可选的，上述调度处理模块进一步包含：

第一处理子模块，用于根据节点的资源状态信息采用如下公式计算节点的资源占用率：

rc_j＝{c_1，j，c_2，j，...，c_N，j}

c_i，j＝(s_i，j-so_i，j)/s_i，j

上述rc_j表示组内的任意一个节点p_j当前的资源占用率向量，c_i，j表示属于节点p_j的第i种资源的占用率；

第二处理子模块，用于计算将任务O分配至节点p_j处理该任务的资源的占用率：

第三处理子模块，用于计算将任务O加载到节点p_j后与加载之前第i种资源的占用率的增加量，进而得到任务O对组内任意一个节点p_j的资源占用率增量向量；

获取资源占用影响率的子模块，用于根据资源占用率增量向量中的各元素得到节点p_j的资源占用影响率；

获取节点内资源均衡度的子模块，用于依据不同类型的资源占用率之间的方差采用如下公式得到节点内资源均衡度σ_j：

执行节点集合获取子模块，用于将节点组内资源均衡度σ_j和资源占用影响率μ_j较小的点作为执行节点得到执行节点集合P_K，具体采用如下公式得到节点集合P_K：

P_K＝{p_k}＝argmin(μ_j，σ_j)^T，j∈[1，M′]

选择子模块，用于从执行节点集合P_K中选择一个节点为最终执行节点，再将任务O转发给最终执行节点进行处理。

上述的资源类型包括：cpu数，内存容量或硬盘容量。

综上所述，本发明提出的适用于解决单一任务在多资源约束、包含多服务节点的节点组的情况下的分布式调度方法。节点组由一个或者多个服务执行节点组成，服务执行节点是可提供多种类型服务的服务主体，其中，接收到用户服务请求O的节点为调度执行节点，是节点组的核心，主要承担服务调度决策、计算以及相关工作。在节点组中，每个节点都需要维护本节点的资源状态信息、历史服务信息，并通过一定规则交换给调度执行节点，为调度选择过程做准备。调度执行节点根据所接收到的任务请求的资源需求量，首先计算节点组中每个节点加载该任务后的资源利用率增量，以及不同资源间资源占用情况均衡度，以此作为主要评估准则。之后，进行调度节点选择，选择原则为在满足资源利用率增量尽量低，不同类型资源的占用尽量均衡的情况下，选择合适的节点作为任务执行节点。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims

1.一种分布式节点组内的任务调度方法，所述方法包含：

步骤101)收集组内各节点的资源状态信息和历史服务信息；

步骤102)接收服务请求命令，解析请求命令获得请求的任务；

步骤103)根据各节点的资源状态信息和历史状态信息，计算由组内每个节点加载任务后的资源利用率增量和组内各类资源的占用情况；

依据使组内各节点的资源利用率增量尽量低和对组内各类资源的占用尽量均衡的原则选择组内的服务执行节点，由选择的服务执行节点提供请求的任务；

所述步骤103)进一步包含：

rc_j＝{c_1,j,c_2,j,…c_N,j}

c_i,j＝(s_i,j-so_i,j)/s_i,j

上述rc_j表示组内任意一个节点p_j当前的资源占用率向量，c_i,j表示属于节点p_j的第i种资源的占用率；

步骤103-4)根据资源占用率增量向量中的各元素计算节点p_j的资源占用影响率；

其中，ro_i,j表示节点p_j对任务O进行处理时第i类资源的占用率，N表示一个节点组中所有节点一共可以支持的资源类型总数，i表示任一资源类型；

步骤103-5)将节点组内资源均衡度σ_j和资源占用影响率μ_j最小的节点作为执行节点得到执行节点集合P_k，具体采用如下公式得到节点集合P_k：

P_k＝{p_k}＝argmin(μ_j,σ_j)^T,j∈[1,M′]

步骤103-6)从执行节点集合P_K中选择一个节点为最终执行节点，其中选择一个节点的方法包括但不限于：随机、以某种概率分布、以某种准则进行选择,再将任务O转发给最终执行节点进行处理。

2.根据权利要求1所述的分布式节点组内的任务调度方法，其特征在于，所述步骤101)进一步包含：

步骤101-2)各节点将维护的资源状态信息和历史服务信息传输至调度执行节点，其中，所述调度执行节点用于从组内选择针对一个具体任务的执行节点且该调度执行节点用于接收用户的服务请求命令。

3.根据权利要求1所述的分布式节点组内的任务调度方法，其特征在于，解析请求命令具体为根据任务需求的历史服务信息进行计算和估计，获取任务O对N种资源的任务需求资源向量{o₁,o₂,...o_N}；

其中，所述历史服务信息包含：每个已执行任务对资源的实际需求和运行时间。

4.根据权利要求1所述的分布式节点组内的任务调度方法，其特征在于，采用如下方法求解得到执行节点集合P_k；

步骤1)定义均衡度搜索步长Δσ＝(σ_max-σ_min)/M′，其中σ_max和σ_min分别是节点组P’中所有节点对应σ值的最大值和最小值；

步骤2)定义资源占用率增量步长Δμ＝(μ_max-μ_min)/M′，其中μ_max和μ_min分别是节点组P’中所有节点对应μ值的最大值和最小值；

步骤3)以x∈[μ_min,μ_max]，y∈[σ_min,σ_max]为搜索空间，进行最优值搜索，初始时x(0)＝μ_min,y(0)＝σ_min，t＝0；

步骤4)如果没有节点满足μ＜＜x(t)且ρ＜＜y(t)则x(t+1)＝x(t)+Δμ,y(t+1)＝y(t)+Δσ，t＝t+1，循环步骤4)；如果有满足条件的节点p_k，则将该节点加入符合条件的节点集合P_k，形成调度节点集合，输出节点集合信息。

5.一种分布式节点组内的任务调度***，其特征在于，所述***包含：

位于组内调度执行节点上的调度处理模块，用于：

依据资源利用率增量尽量低和各类资源的占用尽量均衡的原则选择服务执行节点，由服务执行节点提供请求的任务；

所述调度处理模块进一步包含：

第一处理子模块，用于根据节点的资源状态信息采用如下公式计算组内各节点的资源占用率：

rc_j＝{c_1,j,c_2,j,…c_N,j}

c_i,j＝(s_i,j-so_i,j)/s_i,j

第二处理子模块，用于计算将任务O分配至节点p_j处理该任务资源的占用率；

第二处理子模块，用于计算将任务O加载到节点p_j后与加载之前第i种资源的占用率的增加量，进而得到任务O对组内任意一个节点p_j的资源占用率增量向量；

获取节点内资源均衡度的子模块，用于根据不同类型的资源占用率之间的方差，采用如下公式得到节点内资源均衡度σ_j：

执行节点集合获取子模块，用于将节点组内资源均衡度σ_j和资源占用影响率μ_j最小的点作为执行节点得到执行节点集合P_k，具体采用如下公式得到节点集合P_k：

P_k＝{p_k}＝argmin(μ_j,σ_j)^T,j∈[1,M′]

6.根据权利要求5所述的分布式节点组内的任务调度***，其特征在于，所述信息汇集模块进一步包含：

发送子模块，用于将维护的资源状态信息和历史服务信息传输至调度执行节点，其中，所述调度执行节点用于从组内选择针对一个具体任务的执行节点且该调度执行节点用于接收用户的服务请求命令。

7.根据权利要求5所述的分布式节点组内的任务调度***，其特征在于，信息获取子模块还用于解析请求命令后根据任务需求，获取请求的任务O对N种资源的任务需求资源向量{o₁,o₂,...o_N}。

8.根据权利要求5所述的分布式节点组内的任务调度***，其特征在于，资源类型包括：cpu数，内存容量或硬盘容量。