CN111045808B - 一种分布式网络任务调度方法及装置 - Google Patents

Abstract

本申请公开了一种分布式网络任务调度方法及装置，方法包括：中心管理节点根据接收的预置任务对各集群进行心跳信息探测，得到集群心跳信息，预置任务包括预置优先级，集群包括至少一个普通节点；中心管理节点根据预置任务和集群心跳信息对集群进行预选，得到预选集群，预选以满足各集群的一级预置指标的均值及方差为筛选条件；中心管理节点通过根据预选集群的二级预置指标获取的集群优先级对预选集群进行精选，得到目标集群；中心管理节点将预置任务切片，并分配至目标集群。本申请解决了现有分布式***没有根据任务的具体情况和节点的状态进行综合考量，导致任务扎堆、节点失衡以及资源浪费的技术问题。

Description

一种分布式网络任务调度方法及装置

技术领域

本申请涉及网络资源调度技术领域，尤其涉及一种分布式网络任务调度方法及装置。

背景技术

近年来，在互联网和电子商务领域，对网络资源的管理更加复杂，对服务的并发能力和响应速度要求也越来越高，传统的单机服务器模式早已无法承载巨大的访问负载，由于访问资源及机器自身资源一直处于紧绷的状态，用户访问受限制。

近年来单机存储逐渐向分布式存储过渡，相较于传统的单机存储模式，基于对象存储的分布式***带来了空间和访问速度上的好处，通过整体空间充足可以有效地解决大数据量带来的存储问题，而通过控制访问速度可以有效地制约高并发带来的处理压力。现有的分布式任务调度方式只是简单地考虑节点的存储量，计算力，网络影响等因素，没有根据不同的情况制定任务与节点分配之间的调和性方案，使得任务扎堆，节点失衡，容易导致节点宕机和资源浪费。

发明内容

本申请提供了一种分布式网络任务调度方法及装置，用于解决现有分布式***没有根据任务的具体情况和节点的状态进行综合考量，导致任务扎堆、节点失衡以及资源浪费的技术问题。

有鉴于此，本申请第一方面提供了一种分布式网络任务调度方法，包括：

中心管理节点根据接收的预置任务对各集群进行心跳信息探测，得到集群心跳信息，所述预置任务包括预置优先级，所述集群包括至少一个普通节点；

所述中心管理节点根据所述预置任务和所述集群心跳信息对集群进行预选，得到预选集群，所述预选以满足各集群的一级预置指标的均值及方差为筛选条件，所述一级预置指标包括集群闲置计算资源和集群闲置存储资源；

所述中心管理节点通过根据所述预选集群的二级预置指标获取的集群优先级对所述预选集群进行精选，得到目标集群；

所述中心管理节点将所述预置任务切片，并分配至所述目标集群。

优选地，所述中心管理节点根据所述预置任务和所述集群心跳信息对集群进行预选，得到预选集群，包括：

所述中心管理节点基于所述集群心跳信息，将离线或者掉线的所述普通节点数量超过节点总数的集群丢弃；

所述中心管理节点根据所述预置优先级选择所述一级预置指标；

所述中心管理节点计算各集群的所述一级预置指标的均值及方差；

所述中心管理节点将所述均值相差在第一阈值范围内，且所述方差在第二阈值范围内的集群作为所述预选集群。

优选地，所述二级预置指标包括：集群计算能力、集群最小闲置存储资源和集群普通节点数量。

优选地，所述中心管理节点通过根据所述预选集群的二级预置指标获取的集群优先级对所述预选集群进行精选，得到目标集群，包括：

所述中心管理节点根据所述预置优先级设置所述二级预置指标的预置权重；

所述中心管理节点根据所述预置权重和所述二级预置指标计算集群优先级；

所述中心管理节点根据所述集群优先级将所述预选集群进行降序排序，得到所述目标集群。

优选地，所述中心管理节点将所述预置任务切片，并分配至所述目标集群，包括：

所述中心管理节点基于所述集群优先级，将切片后的所述预置任务分配至所述目标集群。

优选地，所述二级预置指标还包括：闲置带宽资源量和延迟时间。

本申请第二方面提供了一种分布式网络任务调度装置，包括：

探测模块，用于中心管理节点根据接收的预置任务对各集群进行心跳信息探测，得到集群心跳信息，所述预置任务包括预置优先级，所述集群包括至少一个普通节点；

预选模块，用于所述中心管理节点根据所述预置任务和所述集群心跳信息对集群进行预选，得到预选集群，所述预选以满足各集群的一级预置指标的均值及方差为筛选条件，所述一级预置指标包括集群闲置计算资源和集群闲置存储资源；

精选模块，用于所述中心管理节点通过根据所述预选集群的二级预置指标获取的集群优先级对所述预选集群进行精选，得到目标集群；

调度模块，用于所述中心管理节点将所述预置任务切片，并分配至所述目标集群。

优选地，所述预选模块包括：

预选子模块，用于所述中心管理节点基于所述集群心跳信息，将离线或者掉线的所述普通节点数量超过节点总数的集群丢弃；

所述中心管理节点根据所述预置优先级选择所述一级预置指标；

所述中心管理节点计算各集群的所述一级预置指标的均值及方差；

所述中心管理节点将所述均值相差在第一阈值范围内，且所述方差在第二阈值范围内的集群作为所述预选集群。

优选地，所述精选模块包括：

精选子模块，用于所述中心管理节点根据所述预置优先级设置所述二级预置指标的预置权重；

所述中心管理节点根据所述预置权重和所述二级预置指标计算集群优先级；

所述中心管理节点根据所述集群优先级将所述预选集群进行降序排序，得到所述目标集群。

优选地，所述调度模块包括：

调度子模块，用于所述中心管理节点基于所述集群优先级，将切片后的所述预置任务分配至所述目标集群。

从以上技术方案可以看出，本申请实施例具有以下优点：

本申请中，提供了一种分布式网络任务调度方法，包括：中心管理节点根据接收的预置任务对各集群进行心跳信息探测，得到集群心跳信息，预置任务包括预置优先级，集群包括至少一个普通节点；中心管理节点根据预置任务和集群心跳信息对集群进行预选，得到预选集群，预选以满足各集群的一级预置指标的均值及方差为筛选条件，一级预置指标包括集群闲置计算资源和集群闲置存储资源；中心管理节点通过根据预选集群的二级预置指标获取的集群优先级对预选集群进行精选，得到目标集群；中心管理节点将预置任务切片，并分配至目标集群。

本申请提供的分布式网络任务调度方法中，通过中心管理节点对接收到的任务进行优先级划分，从而满足任务的实际需求，然后针对任务需求进行集群的选择，根据任务的预置优先级可以确认一级预置指标的选择，而求取所有集群的一级预置指标的均值和方差可以衡量集群相应指标的基本水平和稳定程度，使得筛选得到的预选集群均能够满足任务需求，对于预选集群再次精选是对在预选中没有考量的指标进行综合考量，使得得到的目标集群的任务承载能力发挥最大作用，使得节点的任务分担有的放矢；精选的目的是为了对集群的现有资源状态进行筛选，选择计算能力更强或者闲置存储更大或者节点数目更多的集群，这样的集群对任务的执行能力更强，速度更快，就能避免任务扎堆在某一节点，造成节点失衡；而且，通过任务分片再分配，在分担各节点的资源负担的同时，还能保证更多节点处于执行任务的状态，从而减少了资源的浪费，并且还能加快任务的执行速度。因此，本申请提供的分布式网络任务调度方法能够解决现有分布式***没有根据任务的具体情况和节点的状态进行综合考量，导致任务扎堆、节点失衡以及资源浪费的技术问题。

附图说明

图1为本申请提供的一种分布式网络任务调度方法的实施例一的流程示意图；

图2为本申请提供的一种分布式网络任务调度方法的实施例二的流程示意图；

图3为本申请提供的一种分布式网络任务调度装置的实施例的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了便于理解，请参阅图1，本申请提供的一种分布式网络任务调度方法的实施例一，包括：

步骤101、中心管理节点根据接收的预置任务对各集群进行心跳信息探测，得到集群心跳信息，预置任务包括预置优先级，集群包括至少一个普通节点。

需要说明的是，中心管理节点是通过层层节点选举得到的，用于任务的调度，下级节点的管理等；普通节点为执行能力较强的节点；心跳信息的探测主要是为了对现有集群中的普通节点进行是否在线的摸底，如果集群中的大部分节点均处于离线或者掉线的状态，那么就判断该集群的健康状态较差，就不再将该集群列入筛选，预置任务的优先级是指该任务对某一项指标要求更高，例如存储空间的大小，或者计算资源的要求等，当任务对某一指标的需求性较高时，则将其设置为该任务的优先级，即在选择集群或者节点是的优先考虑指标。

步骤102、中心管理节点根据预置任务和集群心跳信息对集群进行预选，得到预选集群，预选以满足各集群的一级预置指标的均值及方差为筛选条件。

其中，一级预置指标包括集群闲置计算资源和集群闲置存储资源。

需要说明的是，集群心跳信息会过滤掉存在大量节点离线的集群，而预置任务包括预置优先级，采用根据预置优先级选择的一级预置指标对集群进行选择，能够得到更加符合任务需求的集群和节点，使得任务的分配更具针对性。求取集群的一级预置指标的均值是为了求解集群的平均资源量，将均值相差超过阈值的集群去掉；计算一级预置指标的方差是为了剔除不稳定的集群。

步骤103、中心管理节点通过根据预选集群的二级预置指标获取的集群优先级对预选集群进行精选，得到目标集群。

需要说明的是，二级预置指标是在预选操作中没有考量的指标，例如，在预选中的一级预置指标是最小闲置存储资源，那么二级预置指标为集群计算能力、集群普通节点数量等；如果预选中的一级预置指标是集群计算能力，那么二级预置指标为最小闲置存储资源、集群普通节点数量等。二级预置指标存在多个，那么需要通过权值计算每个指标的占比，根据每个指标的得分可以换算成优先级，将不同指标的优先级累加可以得到每个集群的总的优先级，以此优先级可以选取目标集群。

步骤104、中心管理节点将预置任务切片，并分配至目标集群。

需要说明的是，切片的目的是分散资源占用量，也是为了保障每个节点都能最大成程度的被利用，减少资源的浪费；切片任务分配至集群也是根据集群的优先级执行的。

本实施例提供的分布式网络任务调度方法中，通过中心管理节点对接收到的任务进行优先级划分，从而满足任务的实际需求，然后针对任务需求进行集群的选择，根据任务的预置优先级可以确认一级预置指标的选择，而求取所有集群的一级预置指标的均值和方差可以衡量集群相应指标的基本水平和稳定性，使得筛选得到的预选集群均能够满足任务需求，对于预选集群再次精选是对在预选中没有考量的指标进行综合考量，使得得到的目标集群的任务承载能力发挥最大作用，使得节点的任务分担有的放矢；精选的目的是为了对集群的现有资源状态进行筛选，选择计算能力更强或者闲置存储更大或者节点数目更多的集群，这样的集群对任务的执行能力更强，速度更快，就能避免任务扎堆在某一节点，造成节点失衡；而且，通过任务分片再分配，在分担各节点的资源负担的同时，还能保证更多节点处于执行任务的状态，从而减少了资源的浪费，并且还能加快任务的执行速度。因此，本实施例提供的分布式网络任务调度方法能够解决现有分布式***没有根据任务的具体情况和节点的状态进行综合考量，导致任务扎堆、节点失衡以及资源浪费的技术问题。

为了便于理解，请参阅图2，本申请实施例中提供了一种分布式网络任务调度方法的实施例二，包括：

步骤201、中心管理节点根据接收的预置任务对各集群进行心跳信息探测，得到集群心跳信息，预置任务包括预置优先级，集群包括至少一个普通节点。

需要说明的是，集群可以分级别，最底层的集群由普通节点组成，集群中有选举得到的次级管理节点，集群上层可以是更大的管理集群，层层管理，直至中心管理节点，形成集群树状网；集群也可以直接由中心管理节点管理，再次不作限制，不影响本方案的具体实施。

需要说明的是，中心管理节点中具体包括接收器、监控器和调度器；接收器可以对接收到的任务进行解析，并根据任务的业务类型及其需求进行优先级划分，将优先级高的任务下发至监控器，监控器用于探测集群节点心跳信息，还可以记录集群节点的资源新能状况，最后结合任务发送非调度器，调度器一次只能分配一个任务出去，调度器负责根据集群的筛选情况进行任务的调度。

步骤202、中心管理节点基于集群心跳信息，将离线或者掉线的普通节点数量超过节点总数的集群丢弃。

需要说明的是，集群心跳信息反映的就是集群中节点在线情况的，离线或者掉线的节点无法执行任务，当一个集群的离线节点数目过半时，说明该集群的健康状况较差，就不在考虑该集群。

步骤203、中心管理节点根据预置优先级选择一级预置指标。

步骤204、中心管理节点计算各集群的一级预置指标的均值及方差。

步骤205、中心管理节点将均值相差在第一阈值范围内，且方差在第二阈值范围内的集群作为预选集群。

需要说明的是，一级预置指标包括集群闲置计算资源和集群闲置存储资源，可以在两个指标中择其一为以及预置指标，进行后续计算；一级预置指标是为了满足任务的业务需求选择的，计算集群一级预置指标的均值是求得集群的平均资源量以及方差，是为了选择较为稳定的集群。通过监控器可以得到集群中各节点资源的总量，占用量，可以用平均值公式求得闲置的平均资源，平均值公式为：

其中，M₁，M₂，……，M_n分别为各节点资源量，N₁，N₂，……，N_n为各节点资源占用量。

为平均值，n为集群中总的节点个数。

平均值将过滤掉相差较大的集群，得到的集群用方差判断其稳定性，可以得到有高低性能之分的预选集群，

为方差方差，公式如下：

步骤206、中心管理节点根据预置优先级设置二级预置指标的预置权重。

步骤207、中心管理节点根据预置权重和二级预置指标计算集群优先级。

需要说明的是、二级预置指标包括集群计算能力、集群最小闲置存储资源、集群普通节点数量、闲置带宽资源量和延迟时间；二级预置指标的预置权重的选择之所以根据预置优先级操作的，是因为，虽然二级预置指标是为了筛选集群的，但是同样需要参考任务需求，按照一定的优先级权衡各指标的重要性。每个指标均能通过权值求得具体的占比分数，将该分数换算成优先级，每个集群均可得到不同指标的优先级，将优先级累加，可以得到每个集群的总优先级，即集群优先级。

步骤208、中心管理节点根据集群优先级将预选集群进行降序排序，得到目标集群。

需要说明的是，二级预置指标的数量较多，所以需要通过权值确定最终的集群的优先级，优先级由高至低的排序，可以根据需要进行选择。

步骤209、中心管理节点基于集群优先级，将切片后的预置任务分配至目标集群。

需要说明的是，为了保障切片任务的执行情况，直接从优先级高的集群开始分配，直至切片任务分配完成；当切片任务还为分配完，集群却全部接收到切片任务时，还未分配的切片任务需要排队，等待节点执行完任务，再进行分配；当同时存在多个节点闲置时，按照优先级，将切片任务分配给优先级高的节点。具体的任务分配过程为：选取优先级别最高的集群作为第一个任务分配集群，该集群的普通节点的个数为n₁，最小闲置存储资源大小为V₁则第一个集群接收的总的任务量为Q₁＝n₁×V₁，剩余的任务量为ΔQ＝Q-Q₁，在ΔQ＞0时，则选取下一级集群，继续进行任务分配，分配的任务量和剩余任务量的计算方法与第一次分配操作一样，得到第二个集群的任务量为Q₂＝n₂×V₂，剩余任务量为ΔQ＝Q-Q₁-Q₂；以此方法类推，指导任务量为0，任务的调度结束。

为了便于理解，请参与图3，本申请中还提供了一种分布式网络任务调度装置的实施例，包括：

探测模块301，用于中心管理节点根据接收的预置任务对各集群进行心跳信息探测，得到集群心跳信息，预置任务包括预置优先级，集群包括至少一个普通节点；

预选模块302，用于中心管理节点根据预置任务和集群心跳信息对集群进行预选，得到预选集群，预选以满足各集群的一级预置指标的均值及方差为筛选条件，一级预置指标包括集群闲置计算资源和集群闲置存储资源；

精选模块303，用于中心管理节点通过根据预选集群的二级预置指标获取的集群优先级对预选集群进行精选，得到目标集群；

调度模块304，用于中心管理节点将预置任务切片，并分配至目标集群。

进一步地，预选模块302包括：预选子模块3021，用于中心管理节点基于集群心跳信息，将离线或者掉线的普通节点数量超过节点总数的集群丢弃；中心管理节点根据预置优先级选择一级预置指标；中心管理节点计算各集群的一级预置指标的均值及方差；中心管理节点将均值相差在第一阈值范围内，且方差在第二阈值范围内的集群作为预选集群。

进一步地，精选模块303包括：精选子模块3031，用于中心管理节点根据预置优先级设置二级预置指标的预置权重；中心管理节点根据预置权重和二级预置指标计算集群优先级；中心管理节点根据集群优先级将预选集群进行降序排序，得到目标集群。

进一步地，调度模块304包括：调度子模块3041，用于中心管理节点基于集群优先级，将切片后的预置任务分配至目标集群。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以通过一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：Random Access Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (6)

1.一种分布式网络任务调度方法，其特征在于，包括：

中心管理节点根据接收的预置任务对各集群进行心跳信息探测，得到集群心跳信息，所述预置任务包括预置优先级，所述集群包括至少一个普通节点；

所述中心管理节点根据所述预置任务和所述集群心跳信息对集群进行预选，得到预选集群，所述预选以满足各集群的一级预置指标的均值及方差为筛选条件，所述一级预置指标包括集群闲置计算资源和集群闲置存储资源，预选过程包括：

所述中心管理节点基于所述集群心跳信息，将离线或者掉线的所述普通节点数量超过节点总数的集群丢弃；

所述中心管理节点根据所述预置优先级选择所述一级预置指标；

所述中心管理节点计算各集群的所述一级预置指标的均值及方差；

所述中心管理节点将所述均值相差在第一阈值范围内，且所述方差在第二阈值范围内的集群作为所述预选集群；

所述中心管理节点通过根据所述预选集群的二级预置指标获取的集群优先级对所述预选集群进行精选，得到目标集群，精选过程包括：

所述中心管理节点根据所述预置优先级设置所述二级预置指标的预置权重；

所述中心管理节点根据所述预置权重和所述二级预置指标计算集群优先级；

所述中心管理节点根据所述集群优先级将所述预选集群进行降序排序，得到所述目标集群；

所述中心管理节点将所述预置任务切片，并分配至所述目标集群。

2.根据权利要求1所述的分布式网络任务调度方法，其特征在于，所述二级预置指标包括：集群计算能力、集群最小闲置存储资源和集群普通节点数量。

3.根据权利要求1所述的分布式网络任务调度方法，其特征在于，所述中心管理节点将所述预置任务切片，并分配至所述目标集群，包括：

所述中心管理节点基于所述集群优先级，将切片后的所述预置任务分配至所述目标集群。

4.根据权利要求1所述的分布式网络任务调度方法，其特征在于，所述二级预置指标还包括：闲置带宽资源量和延迟时间。

5.一种分布式网络任务调度装置，其特征在于，包括：

探测模块，用于中心管理节点根据接收的预置任务对各集群进行心跳信息探测，得到集群心跳信息，所述预置任务包括预置优先级，所述集群包括至少一个普通节点；

预选模块，用于所述中心管理节点根据所述预置任务和所述集群心跳信息对集群进行预选，得到预选集群，所述预选以满足各集群的一级预置指标的均值及方差为筛选条件，所述一级预置指标包括集群闲置计算资源和集群闲置存储资源，所述预选模块包括：

预选子模块，用于所述中心管理节点基于所述集群心跳信息，将离线或者掉线的所述普通节点数量超过节点总数的集群丢弃；

所述中心管理节点根据所述预置优先级选择所述一级预置指标；

所述中心管理节点计算各集群的所述一级预置指标的均值及方差；

所述中心管理节点将所述均值相差在第一阈值范围内，且所述方差在第二阈值范围内的集群作为所述预选集群；

精选模块，用于所述中心管理节点通过根据所述预选集群的二级预置指标获取的集群优先级对所述预选集群进行精选，得到目标集群，所述精选模块包括：

精选子模块，用于所述中心管理节点根据所述预置优先级设置所述二级预置指标的预置权重；

所述中心管理节点根据所述预置权重和所述二级预置指标计算集群优先级；

所述中心管理节点根据所述集群优先级将所述预选集群进行降序排序，得到所述目标集群；

调度模块，用于所述中心管理节点将所述预置任务切片，并分配至所述目标集群。

6.根据权利要求5中所述的分布式网络任务调度装置，其特征在于，所述调度模块包括：

调度子模块，用于所述中心管理节点基于所述集群优先级，将切片后的所述预置任务分配至所述目标集群。

Images