CN111338778B

CN111338778B - 任务调度方法、装置、存储介质及计算机设备

Info

Publication number: CN111338778B
Application number: CN202010124076.0A
Authority: CN
Inventors: 徐雄飞; 储存; 张超; 万全伟
Original assignee: Suning Cloud Computing Co Ltd
Current assignee: Suning Cloud Computing Co Ltd
Priority date: 2020-02-27
Filing date: 2020-02-27
Publication date: 2022-12-23
Anticipated expiration: 2040-02-27
Also published as: CN111338778A

Abstract

本申请涉及一种任务调度方法。该方法包括：获取当前任务数据以及执行节点数据，当前任务数据包括至少一个当前任务的任务数据，执行节点数据包括至少一个用于处理当前任务数据的执行节点的节点数据；根据预设的任务均衡算法、执行节点数据以及当前任务数据对各当前任务进行任务分片处理，得到第一分片数据，第一分片数据包括所述执行节点所分配的当前任务的任务数据；根据第一分片数据分别将各当前任务的任务数据发送至对应的执行节点，以便执行节点对所述当前任务的任务数据进行处理。本申请基于任务均衡算法对获取的任务数据进行任务分片，根据分片结果对各个子任务进行分配，使得各个执行节点上被分配的子任务数尽量均衡，提升数据处理效率。

Description

任务调度方法、装置、存储介质及计算机设备

技术领域

本申请涉及数据处理技术领域，特别是涉及一种任务调度方法、装置、存储介质及计算机设备。

背景技术

任务调度一般用于分布式***中，用于对接收的任务进行任务分派。目前，在进行任务调度时，一般的方案是根据任务类型，获取执行该任务类型的机器节点执行该任务。

然而，传统的技术中容易导致在同一个机房中一个机器节点上执行的任务量过多，而其他机器节点上执行的任务量过少的问题，导致不同机器节点上的执行任务量不均衡的问题，影响整个分布式***的数据处理效率。

发明内容

基于此，有必要针对上述技术问题，提供一种基于任务均衡算法对获取的任务数据进行任务分片，根据分片结果对各个子任务进行分配，使得各个执行节点上被分配的子任务数尽量均衡，提升数据处理效率的任务调度方法、装置、计算机设备和存储介质。

一种任务调度方法，方法包括：

获取当前任务数据以及执行节点数据，当前任务数据包括至少一个当前任务的任务数据，执行节点数据包括至少一个用于处理当前任务数据的执行节点的节点数据；

根据预设的任务均衡算法、执行节点数据以及当前任务数据对各当前任务进行任务分片处理，得到第一分片数据，第一分片数据包括执行节点所分配的当前任务的任务数据；

根据第一分片数据分别将各当前任务的任务数据发送至对应的执行节点，以便执行节点对当前任务的任务数据进行处理。

在其中一个实施例中，上述的根据预设的任务均衡算法、执行节点数据以及当前任务数据对各当前任务进行任务分片处理，得到第一分片数据，包括：

根据执行节点数据得到第一数目，第一数目为执行节点的个数；

根据当前任务数据得到第二数目，第二数目为当前任务的个数；

根据任务均衡算法、第一数目以及第二数目对对各当前任务进行任务分片处理，得到第一分片数据。

在其中一个实施例中，上述的执行节点属于同一个预设区域内的多个预设分区，上述的方法还包括：

获取第三数目，第三数目为当前任务数据中当前任务的个数；

根据第三数目得到第四数目，第四数目为各个预设分区所分配的当前任务的个数；

获取当前预设分区内的各个执行节点的节点数据；

上述的根据预设的任务均衡算法、执行节点数据以及当前任务数据对各当前任务进行任务分片处理，得到第一分片数据，包括：

根据任务均衡算法对当前预设分区内的各个执行节点的节点数据以及第四数目进行任务分片处理得到当前预设分区内各个执行节点对应的第一分片数据。

在其中一个实施例中，执行节点数据属于多个预设区域内的多个预设分区，上述的方法还包括：

获取预设的配置文件，配置文件包括预设任务池中各个候选任务的索引值、各个预设区域对应分布的候选任务的索引值以及各个预设分区对应分布的候选任务的索引值，当前任务为预设任务池中的候选任务，当前任务数据包括当前任务的索引值；

生成第一索引值集合，第一索引值集合包含预设任务池中各个候选任务的索引值；

分别生成各个预设区域对应的第二索引值集合，第二索引值集合包括各个预设区域对应的全部候选任务的索引值；

分别生成各个预设分区对应的第三索引值集合，第三索引值集合包括各个预设分区对应的全部候选任务的索引值；

获取当前第一集合，当前第一集合为当前预设区域对应的第二索引值集合；

获取各个当前任务的索引值，得到第四索引值集合；

根据当前第一集合与第四索引值集合得到当前第二集合；

获取当前第三集合，当前第三集合为当前预设区域中当前预设分区对应的第三索引值集合；

根据当前第三集合以及当前第二集合得到当前第四集合；

根据当前第四集合得到当前预设分区分配的当前任务的任务数据；

根据预设的任务均衡算法、执行节点数据以及当前任务数据对各当前任务进行任务分片处理，得到第一分片数据，包括：

根据任务均衡算法对当前预设分区内执行节点的节点数据以及当前预设分区分配的任务数据进行任务分片处理得到当前预设分区内各个执行节点对应的第一分片数据。

在其中一个实施例中，第一分片数据包括各个执行节点的节点数据与当前任务的索引值的集合的映射关系，节点数据包括执行节点的IP地址，根据第一分片数据分别将各当前任务的任务数据发送至对应的执行节点，包括：

根据第一分片数据以及预设的IP地址排序规则对映射关系中的各个执行节点的IP地址进行排序得到第二分片数据；

根据第二分片数据分别将各当前任务的任务数据发送至对应的执行节点。

在其中一个实施例中，上述的方法还包括：

接收对候选任务的配置请求，配置请求用于对预设任务池中的候选任务所分配的执行节点进行配置；

提取配置请求中的待配置任务的任务数据以及待配置执行节点的节点数据；

将待配置任务的任务数据以及待配置执行节点的节点数据关联性存储于配置文件中；

上述的方法还包括：

在配置文件中存在当前任务对应的执行节点时，根据配置文件将当前任务的当前任务数据分配至对应的执行节点；

在配置文件中不存在当前任务对应的执行节点时，执行根据预设的任务均衡算法、执行节点数据以及当前任务数据对各当前任务进行任务分片处理，得到第一分片数据的步骤。

一种任务调度装置，装置包括：

获取模块，用于获取当前任务数据以及执行节点数据，当前任务数据包括至少一个当前任务的任务数据，执行节点数据包括至少一个用于处理当前任务数据的执行节点的节点数据；

分片模块，用于根据预设的任务均衡算法、执行节点数据以及当前任务数据对各当前任务进行任务分片处理，得到第一分片数据，第一分片数据包括执行节点所分配的当前任务的任务数据；

调度模块，用于根据第一分片数据分别将各当前任务的任务数据发送至对应的执行节点，以便执行节点对当前任务的任务数据进行处理。

在其中一个实施例中，分片模块，包括：

分片单元，用于根据执行节点数据得到第一数目，第一数目为执行节点的个数；

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，处理器执行计算机程序时实现上述任一实施例方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，其特征在于，计算机程序被处理器执行时实现上述任一实施例方法的步骤。

上述的任务调度方法、装置及计算机设备，上述的方法通过获取当前任务数据以及执行节点数据，当前任务数据包括至少一个当前任务的任务数据，执行节点数据包括至少一个用于处理当前任务数据的执行节点的节点数据；根据预设的任务均衡算法、执行节点数据以及当前任务数据对各当前任务进行任务分片处理，得到第一分片数据，第一分片数据包括执行节点所分配的当前任务的任务数据；根据第一分片数据分别将各当前任务的任务数据发送至对应的执行节点，以便执行节点对当前任务的任务数据进行处理。本申请基于任务均衡算法对获取的任务数据进行任务分片，根据分片结果对各个子任务进行分配，使得各个执行节点上被分配的子任务数尽量均衡，提升数据处理效率。

附图说明

图1为本申请一示例性实施例中任务调度方法的应用环境图；

图2为本申请一示例性实施例中提供的任务调度方法的流程示意图；

图3为本申请一示例性实施例中提供的执行节点属于同一个预设区域内的多个预设分区时的任务分片原理框图；

图4为本申请一示例性实施例中提供的执行节点属于同一个预设区域内的多个预设分区时的任务分片原理框图；

图5为本申请一示例性实施例中提供的执行节点数据属于多个预设区域内的多个预设分区时的任务分片原理框图；

图6为本申请一示例性实施例中提供的任务调度装置的结构框图；

图7为本申请一示例性实施例中提供的计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

请参考图1，图1为本申请一示例性实施例提供的一种任务调度方法的应用环境示意图。如图1所示，该任务调度***包括主务器100以及执行节点101，该执行节点为从服务器，主务器100与执行节点101通过网络102进行通信，以实现本申请的任务调度方法。

主服务器100用于获取当前任务数据以及执行节点数据，当前任务数据包括至少一个当前任务的任务数据，执行节点数据包括至少一个用于处理当前任务数据的执行节点的节点数据；根据预设的任务均衡算法、执行节点数据以及当前任务数据对各当前任务进行任务分片处理，得到第一分片数据，第一分片数据包括执行节点所分配的当前任务的任务数据；根据第一分片数据分别将各当前任务的任务数据发送至对应的执行节点，以便执行节点对当前任务的任务数据进行处理。主服务器100可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

执行节点101用于接收主服务器100发送的当前任务的任务数据，对当前任务的任务数据进行处理。执行节点101可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

网络102用于实现数据处理服务器100与终端101之间的网络连接。具体的，网络102可以包括多种类型的有线或无线网络。

在一个实施例中，如图2所示，提供了一种任务调度方法，以该方法应用于图1中的主服务器为例进行说明，包括以下步骤：

S11、获取当前任务数据以及执行节点数据，当前任务数据包括至少一个当前任务的任务数据，执行节点数据包括至少一个用于处理当前任务数据的执行节点的节点数据。

一个实施例中，上述的执行节点可以为从服务器，其可以为分布于同一预设区域内的从服务器，也可以为分布于不同预设区域内的从服务器，该预设区域可以为机房。上述的当前任务可以为数据库查询任务，上述的当前任务的任务数据可以包括但不限于当前任务的数量、当前任务的任务标识、当前任务的任务参数，该任务参数可以为当前任务的任务内容。

一个实施例中，该当前任务数据可以包括一个当前任务的任务数据，也可以包括多个当前任务的任务数据。上述的执行节点数据可以包括一个执行节点的节点数据，也可以包括多个执行节点的节点数据，该节点数据可以包括但不限于执行节点的节点标识、执行节点的IP地址、执行节点所属的预设区域的区域信息以及所属预设区域内的预设分区的分区信息，该预设区域可以为机房。

S12、根据预设的任务均衡算法、执行节点数据以及当前任务数据对各当前任务进行任务分片处理，得到第一分片数据，第一分片数据包括执行节点所分配的当前任务的任务数据。

一个实施例中，该任务均衡算法可以为平均算法，该平均算法的算法原理为尽可能将全部当前任务平均分配至各个执行节点。

上述的任务分片是指，将各个当前任务看着一个分片，将全部的分片根据执行节点的数量划分到对应的执行节点上执行。由此得到的第一分片数据包括各个当前任务所分配的执行节点的节点数据。

S13、根据第一分片数据分别将各当前任务的任务数据发送至对应的执行节点，以便执行节点对当前任务的任务数据进行处理。

一个实施例中，第一分片数据包括当前任务的任务数据与执行节点的节点数据的映射关系。根据该映射关系获取各个当前任务所对应的执行节点，分别将各个当前任务的任务数据发送至对应的执行节点，以便执行节点处理对应的任务数据，实现任务的均衡调度。

在其中一个实施例中，上述的根据预设的任务均衡算法、执行节点数据以及当前任务数据对各当前任务进行任务分片处理，得到第一分片数据，可以包括：

一个实施例中，上述的任务均衡算法的算法原理可以为尽可能将全部当前任务平均分配至各个执行节点上执行。具体的，当当前任务的数量多于执行节点的数量时，则存在多个当前任务落到同一个执行节点去执行；当当前任务的数量少于执行节点的数量时，则存在一些执行节点不会分配到当前任务；当当前任务的数量等于执行节点的数量时，则每个执行节点上执行的当前任务的数量相同。本申请可以对对各个执行节点添加标号，若当前任务的数量不能整除执行节点的数量，则将不能整除的多余数量的当前任务将依次追加到标号小的执行节点，该标号也可以为执行节点的IP地址的值。

一个实施例中，例如，当前有3个执行节点，当前任务有9个，该9个当前任务的任务标识设置为0,1,2,3,4,5,6,7以及8，则根据任务均衡算法可以得到每个执行节点上分配的当前任务的数目如下：

第一个执行节点，分配任务数为3个，可以为0,1,2

第一个执行节点，分配任务数为3个，可以为3,4,5

第一个执行节点，分配任务数为3个，可以为6,7,8

一个实施例中，例如，当前有3个执行节点，当前任务有8个，该8个当前任务的任务标识设置为0,1,2,3,4,5,6以及7，则根据任务均衡算法可以得到每个执行节点上分配的当前任务的数目如下：

第一个执行节点，分配任务数为3个，可以为0,1,2

第一个执行节点，分配任务数为3个，可以为3,4,5

第一个执行节点，分配任务数为2个，可以为6,7

一个实施例中，例如，当前有3个执行节点，当前任务有10个，该10个当前任务的任务标识设置为0,1,2,3,4,5,6,7,8,9以及10，则根据任务均衡算法可以得到每个执行节点上分配的当前任务的数目如下：

第一个执行节点，分配任务数为4个，可以为0,1,2,3

第一个执行节点，分配任务数为3个，可以为4,5,6

第一个执行节点，分配任务数为3个，可以为7,8,9

在其中一个实施例中，上述的执行节点属于同一个预设区域内的多个预设分区，上述的方法还可以包括：

获取当前预设分区内的各个执行节点的节点数据；

一个实施例中，例如，当前机房包括3个预设分区，各个预设分区中包括2个执行节点，这里的各个预设分区中的执行节点数目也可以不同。若当前任务数据中当前任务的数量为4个，任务标识分别为0,1,2,3，则3个预设分区中，每个预设分区分配的当前任务数量为4个，任务标识分别为0,1,2,3。

进一步的，根据任务均衡算法对各个预设分区中的执行节点进行任务分片，得到各个预设分区中各个执行节点对应的第一分片数据。

请参考图3，图3为一个实施例中，执行节点属于同一个预设区域内的多个预设分区时的任务分片原理框图。如图3所示，执行节点属于同一个机房，该机房下包括分区0和分区1两个预设分区，分区0中包括4个执行节点，分区1中包括2个执行节点。因此，根据第三数目得到各个预设分区所分配的当前任务的个数为2个，即每个分区分配到的当前任务均为2个。进一步的，执行节点的节点数据包括IP地址，则在分区0中随机选到ip0以及ip2两个节点执行2个当前任务，在分区1中选到ip4、ip5两个节点执行2个当前任务。

请参考图4，图4为一个实施例中，执行节点属于同一个预设区域内的多个预设分区时的任务分片原理框图。如图4所示，执行节点属于同一个机房，该机房下包括分区0和分区1两个预设分区，分区0中包括4个执行节点，分区1中包括2个执行节点。因此，根据第三数目得到各个预设分区所分配的当前任务的个数为2个，即每个分区分配到的当前任务均为2个。进一步的，执行节点的节点数据包括IP地址，则在分区0中选取ip0、ip1、ip2、ip34个节点执行4个当前任务，其中每个执行节点执行一个当前任务，在分区1中选到ip4、ip5两个节点执行4个当前任务，其中每个执行节点执行两个当前任务。

在其中一个实施例中，上述的执行节点数据属于多个预设区域内的多个预设分区，上述的方法还可以包括：

获取各个当前任务的索引值，得到第四索引值集合；

根据当前第一集合与第四索引值集合得到当前第二集合；

根据当前第三集合以及当前第二集合得到当前第四集合；

一个实施例中，上述的主服务器上预先创建了预设任务池的配置文件。该预设任务池中包括多个候选任务，上述的当前任务为该预设任务池中的候选任务。具体的，该配置文件中包括该预设任务池中的候选任务的任务总数、各个候选任务对应预设的索引值、各个预设区域对应分布的候选任务的索引值以及各个预设区域中各预设分区对应分布的候选任务的索引值，该索引值可以作为候选任务的任务标识。

该配置文件可以通过用户端提交包含配置数据的配置请求，主服务器根据该配置请求中的配置数据进行创建。其中，配置数据可以包括但不限于预设任务池中的候选任务的任务总数以及各个候选任务的索引值，该配置数据还可以包括各个预设区域对应分布的候选任务的索引值以及各个预设区域中预设分区对应分布的候选任务的索引值。

一个实施例中，例如，预设任务池中各个候选任务的索引值为0,1,2,3,4,

5,6,7,8以及9，则第一索引值集合为（0,1,2,3,4,5,6,7,8，9）。假设该预设任务池中的候选任务运行于3个机房，A、B及C，其中，

A配置的索引值分布即上述的第二索引值集合为（0,1,2,8）

B配置的第二索引值集合为（3,4）

C配置的第二索引值集合为（5,6,7,9）

假设A机房包括两个分区A1以及A2，其中，

A1配置的索引值分布即上述的第三索引值集合为（0,1,3,4,8）

A2配置的第三索引值集合为（2,5,6,7,9）

进一步的，假设当前预设区域为A区域，则获取A区域对应的第二索引值集合（0,1,2,8），该集合（0,1,2,8）作为当前第一集合。假设获取各个当前任务的索引值，得到第四索引值集合为（0,1,2,3）。

进一步的，上述的根据当前第一集合与第四索引值集合得到当前第二集合，可以包括：

计算当前第一集合与第四索引值集合的交集，得到当前第二集合。

即（0,1,2,8）

（0,1,2,3）=（0,1,2），该集合（0,1,2）作为当前第二集合。

进一步的，假设获取A1作为当前预设分区，则当前第三集合为（0,1,3,4,8）。则上述的根据当前第三集合以及当前第二集合得到当前第四集合，可以包括：

计算当前第三集合与当前第二集合的交集，得到当前第四集合。

即（0,1,2）

（0,1,3,4,8）=（0,1），该集合（0,1）作为当前第四集合。进一步地，根据当前第四集合得到当前预设分区分配的当前任务包括任务0以及任务1，进一步根据任务均衡算法得到预设分区A1中各个执行节点对应分配的当前任务的任务数据。本方案通过该机制可以实现当前任务在不同机房里的划拨。

请参考图5，图5为一个实施例中，执行节点数据属于多个预设区域内的多个预设分区时的任务分片原理框图。如图5所示，图5显示的是多个预设区域中的当前区域，该当前区域包括分区0、分区1以及分区2。其中，分区0中包括2个执行节点、分区1中包括2个执行节点，分区2中包括2个执行节点。配置文件中配置的参数包括如下参数：

第一索引值集合为：（0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15）

当前预设区域对应的第二索引值集合为：（0,8,1,9,2,10）

假设获取各个当前任务的索引值，得到第四索引值集合为：

（0,8,1,9,2,10,11）

当前预设区域对应的三个预设分区M1、M2以及M3的第三索引值集合分别为：

M1对应的第三索引值集合为：（0,8,3,11）

M2对应的第三索引值集合为：（1,9,4,12,6,14）

M3对应的第三索引值集合为：（2,10,5,13,7,15）

进一步地，计算上述的第二索引值集合与第四索引值集合的交集为：

（0,8,1,9,2,10）

进一步地，分别计算（0,8,1,9,2,10）与各个第三索引值集合的交集得到：

M1对应分配到的当前任务的索引值为0,8

M1对应分配到的当前任务的索引值为1,9

M1对应分配到的当前任务的索引值为2,10

进一步地，根据任务均衡算法对各个预设分区中的当前任务进行均衡分配得到：

根据上述的配置文件获取当前任务（0,8）对应的任务参数为db0:[table1,table2]，则调度下发的2个当前任务的参数分别为：

db0:table1以及db0:table2

根据上述的配置文件获取当前任务（1,9）对应的任务参数为db1:[table1,table2]，则调度下发的2个当前任务的参数分别为：

db1:table1以及db1:table2

根据上述的配置文件获取当前任务（2,10）对应的任务参数为db2:[table1,table2]，则调度下发的2个当前任务的参数分别为：

db2:table1以及db2:table2

进一步地，从分区0中获取ip0以及ip1对应的执行节点执行当前任务db0:table1以及db0:table2；

进一步地，从分区1中获取ip2以及ip3对应的执行节点执行当前任务db1:table1以及db1:table2；

进一步地，从分区2中获取ip4以及ip5对应的执行节点执行当前任务db2:table1以及db2:table2。

在其中一个实施例中，上述的第一分片数据包括各个执行节点的节点数据与当前任务的索引值的集合的映射关系，上述的节点数据包括执行节点的IP地址，根据第一分片数据分别将各当前任务的任务数据发送至对应的执行节点，可以包括：

需要说明的是，主服务器得到第一分片数据后，根据该第一分片数据中的执行节点的节点数据与当前任务的任务数据的映射关系将各个当前任务的任务数据发送至与该当前任务对应的执行节点执行。

另一个实施例中，当有特殊的业务需求，如根据执行节点的IP地址的升序或者降序对第一分片数据进行重新分配时，可以在第一分片数据的基础上利用预设的IP地址排序规则进行进一步处理得到第二分片数据，进一步地，根据第二分片数据分别将各当前任务的任务数据发送至对应的执行节点。

例如，假设有3个执行节点，节点标识分别为ID1、ID2以及ID3，节点IP分别为IP1、IP2以及IP3。当前任务数据中包括2个当前任务，任务标识分别为0以及1。若IP升序的序列为IP1、IP2、IP3，先固定各个当前任务的任务标识的序列为0,1，则根据根据第一分片数据以及预设的IP地址排序规则对映射关系中的各个执行节点的IP地址进行排序得到：

ID1对应分配的当前任务为任务0；

ID2对应分配的当前任务为任务1；

ID3对应分配的当前任务为空。

再例如，继续上述例子，以IP降序的IP地址排序规则对映射关系中的各个执行节点的IP地址进行排序得到：

ID3对应分配的当前任务为任务0；

ID2对应分配的当前任务为任务1；

ID1对应分配的当前任务为空。

本方案通过预设的IP地址排序规则，为了适应更多的业务场景的需求。

在其中一个实施例中，上述的方法还可以包括：

上述的方法还可以包括：

主服务器预先针对预设任务池中的一个或多个候选任务配置了对应的执行节点，当接收到当前任务数据时，根据该配置文件判断该当前任务数据中的当前任务是否存在预先配置的执行节点，若存在，则根据该配置文件将当前任务发送至对应的执行节点，若不存在，则执行上述的根据预设的任务均衡算法、执行节点数据以及当前任务数据对各当前任务进行任务分片处理，得到第一分片数据的步骤。

在一个实施例中，如图4所示，提供了一种任务调度装置，包括：

获取模块11，用于获取当前任务数据以及执行节点数据，当前任务数据包括至少一个当前任务的任务数据，执行节点数据包括至少一个用于处理当前任务数据的执行节点的节点数据；

分片模块12，用于根据预设的任务均衡算法、执行节点数据以及当前任务数据对各当前任务进行任务分片处理，得到第一分片数据，第一分片数据包括执行节点所分配的当前任务的任务数据；

调度模块13，用于根据第一分片数据分别将各当前任务的任务数据发送至对应的执行节点，以便执行节点对当前任务的任务数据进行处理。

在其中一个实施例中，上述的分片模块12，包括：

在其中一个实施例中，上述的执行节点属于同一个预设区域内的多个预设分区，上述的分片模块12，还用于获取第三数目，第三数目为当前任务数据中当前任务的个数；

获取当前预设分区内的各个执行节点的节点数据；

上述的分片模块12，还用于根据任务均衡算法对当前预设分区内的各个执行节点的节点数据以及第四数目进行任务分片处理得到当前预设分区内各个执行节点对应的第一分片数据。

在其中一个实施例中，上述的执行节点数据属于多个预设区域内的多个预设分区，上述的分片模块12，还用于获取预设的配置文件，配置文件包括预设任务池中各个候选任务的索引值、各个预设区域对应分布的候选任务的索引值以及各个预设分区对应分布的候选任务的索引值，当前任务为预设任务池中的候选任务，当前任务数据包括当前任务的索引值；

获取各个当前任务的索引值，得到第四索引值集合；

根据当前第一集合与第四索引值集合得到当前第二集合；

根据当前第三集合以及当前第二集合得到当前第四集合；

上述的分片模块12，还用于根据任务均衡算法对当前预设分区内执行节点的节点数据以及当前预设分区分配的任务数据进行任务分片处理得到当前预设分区内各个执行节点对应的第一分片数据。

在其中一个实施例中，上述的第一分片数据包括各个执行节点的节点数据与当前任务的索引值的集合的映射关系，上述的节点数据包括执行节点的IP地址，上述的调度模块13，包括：

调度单元，用于根据第一分片数据以及预设的IP地址排序规则对映射关系中的各个执行节点的IP地址进行排序得到第二分片数据；

在其中一个实施例中，上述的获取模块11，还用于接收对候选任务的配置请求，配置请求用于对预设任务池中的候选任务所分配的执行节点进行配置；

上述的调度模块13，还用于在配置文件中存在当前任务对应的执行节点时，根据配置文件将当前任务的当前任务数据分配至对应的执行节点；

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供确定和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的第一终端通过网络连接通信。该计算机程序被处理器执行时以实现一种任务调度方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：获取当前任务数据以及执行节点数据，当前任务数据包括至少一个当前任务的任务数据，执行节点数据包括至少一个用于处理当前任务数据的执行节点的节点数据；根据预设的任务均衡算法、执行节点数据以及当前任务数据对各当前任务进行任务分片处理，得到第一分片数据，第一分片数据包括执行节点所分配的当前任务的任务数据；根据第一分片数据分别将各当前任务的任务数据发送至对应的执行节点，以便执行节点对当前任务的任务数据进行处理。

在其中一个实施例中，处理器执行计算机程序实现上述的根据预设的任务均衡算法、执行节点数据以及当前任务数据对各当前任务进行任务分片处理，得到第一分片数据，具体实现以下步骤：

在其中一个实施例中，上述的执行节点属于同一个预设区域内的多个预设分区，处理器执行计算机程序时具体还实现以下步骤：

获取当前预设分区内的各个执行节点的节点数据；

处理器执行计算机程序实现上述的根据预设的任务均衡算法、执行节点数据以及当前任务数据对各当前任务进行任务分片处理，得到第一分片数据，具体实现以下步骤：

在其中一个实施例中，上述的执行节点数据属于多个预设区域内的多个预设分区，处理器执行计算机程序时还实现以下步骤：

获取各个当前任务的索引值，得到第四索引值集合；

根据当前第一集合与第四索引值集合得到当前第二集合；

根据当前第三集合以及当前第二集合得到当前第四集合；

在其中一个实施例中，上述的第一分片数据包括各个执行节点的节点数据与当前任务的索引值的集合的映射关系，上述的节点数据包括执行节点的IP地址，处理器执行计算机程序实现上述的根据第一分片数据分别将各当前任务的任务数据发送至对应的执行节点，具体实现以下步骤：

在其中一个实施例中，处理器执行计算机程序时还实现以下步骤：

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取当前任务数据以及执行节点数据，当前任务数据包括至少一个当前任务的任务数据，执行节点数据包括至少一个用于处理当前任务数据的执行节点的节点数据；根据预设的任务均衡算法、执行节点数据以及当前任务数据对各当前任务进行任务分片处理，得到第一分片数据，第一分片数据包括执行节点所分配的当前任务的任务数据；根据第一分片数据分别将各当前任务的任务数据发送至对应的执行节点，以便执行节点对当前任务的任务数据进行处理。

在其中一个实施例中，计算机程序被处理器执行实现上述的根据预设的任务均衡算法、执行节点数据以及当前任务数据对各当前任务进行任务分片处理，得到第一分片数据，具体实现以下步骤：

在其中一个实施例中，上述的执行节点属于同一个预设区域内的多个预设分区，计算机程序被处理器执行时具体还实现以下步骤：

获取当前预设分区内的各个执行节点的节点数据；

计算机程序被处理器执行实现上述的根据预设的任务均衡算法、执行节点数据以及当前任务数据对各当前任务进行任务分片处理，得到第一分片数据，具体实现以下步骤：

在其中一个实施例中，上述的执行节点数据属于多个预设区域内的多个预设分区，计算机程序被处理器执行时还实现以下步骤：

获取各个当前任务的索引值，得到第四索引值集合；

根据当前第一集合与第四索引值集合得到当前第二集合；

根据当前第三集合以及当前第二集合得到当前第四集合；

在其中一个实施例中，上述的第一分片数据包括各个执行节点的节点数据与当前任务的索引值的集合的映射关系，上述的节点数据包括执行节点的IP地址，计算机程序被处理器执行实现上述的根据第一分片数据分别将各当前任务的任务数据发送至对应的执行节点，具体实现以下步骤：

在其中一个实施例中，计算机程序被处理器执行时还实现以下步骤：

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、物理分库分表或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims

1.一种任务调度方法，所述方法包括：

获取当前任务数据以及执行节点数据，所述当前任务数据包括至少一个当前任务的任务数据，所述执行节点数据包括至少一个用于处理所述当前任务数据的执行节点的节点数据；

根据预设的任务均衡算法、所述执行节点数据以及所述当前任务数据对各所述当前任务进行任务分片处理，得到第一分片数据，所述第一分片数据包括所述执行节点所分配的当前任务的任务数据；

根据所述第一分片数据分别将各当前任务的任务数据发送至对应的执行节点，以便所述执行节点对所述当前任务的任务数据进行处理；

其中，所述执行节点数据属于多个预设区域内的多个预设分区，所述方法还包括：

获取预设的配置文件，所述配置文件包括预设任务池中各个候选任务的索引值、各个预设区域对应分布的候选任务的索引值以及各个预设分区对应分布的候选任务的索引值，所述当前任务为所述预设任务池中的候选任务，所述当前任务数据包括所述当前任务的索引值；

生成第一索引值集合，所述第一索引值集合包含所述预设任务池中各个候选任务的索引值；

分别生成各个预设区域对应的第二索引值集合，所述第二索引值集合包括各个预设区域对应的全部候选任务的索引值；

分别生成各个预设分区对应的第三索引值集合，所述第三索引值集合包括各个预设分区对应的全部候选任务的索引值；

获取当前第一集合，所述当前第一集合为当前预设区域对应的第二索引值集合；

获取各个当前任务的索引值，得到第四索引值集合；

根据所述当前第一集合与所述第四索引值集合得到当前第二集合；

获取当前第三集合，所述当前第三集合为所述当前预设区域中当前预设分区对应的第三索引值集合；

根据所述当前第三集合以及所述当前第二集合得到当前第四集合；

根据所述当前第四集合得到所述当前预设分区分配的当前任务的任务数据。

2.根据权利要求1所述的方法，其特征在于，所述根据预设的任务均衡算法、所述执行节点数据以及所述当前任务数据对各所述当前任务进行任务分片处理，得到第一分片数据，包括：

根据所述执行节点数据得到第一数目，所述第一数目为所述执行节点的个数；

根据所述当前任务数据得到第二数目，所述第二数目为所述当前任务的个数；

根据所述任务均衡算法、所述第一数目以及所述第二数目对所述对各所述当前任务进行任务分片处理，得到所述第一分片数据。

3.根据权利要求1所述的方法，其特征在于，所述执行节点属于同一个预设区域内的多个预设分区，所述方法还包括：

获取第三数目，所述第三数目为所述当前任务数据中当前任务的个数；

根据所述第三数目得到第四数目，所述第四数目为各个预设分区所分配的当前任务的个数；

获取当前预设分区内的各个执行节点的节点数据；

所述根据预设的任务均衡算法、所述执行节点数据以及所述当前任务数据对各所述当前任务进行任务分片处理，得到第一分片数据，包括：

根据所述任务均衡算法对所述当前预设分区内的各个执行节点的节点数据以及所述第四数目进行任务分片处理得到所述当前预设分区内各个执行节点对应的第一分片数据。

4.根据权利要求1所述的方法，其特征在于，所述根据预设的任务均衡算法、所述执行节点数据以及所述当前任务数据对各所述当前任务进行任务分片处理，得到第一分片数据，包括：

根据所述任务均衡算法对所述当前预设分区内执行节点的节点数据以及所述当前预设分区分配的任务数据进行任务分片处理得到所述当前预设分区内各个执行节点对应的第一分片数据。

5.根据权利要求4所述的方法，其特征在于，所述第一分片数据包括各个执行节点的节点数据与当前任务的索引值的集合的映射关系，所述节点数据包括所述执行节点的IP地址，所述根据所述第一分片数据分别将各当前任务的任务数据发送至对应的执行节点，包括：

根据所述第一分片数据以及预设的IP地址排序规则对所述映射关系中的各个执行节点的IP地址进行排序得到第二分片数据；

根据所述第二分片数据分别将各当前任务的任务数据发送至对应的执行节点。

6.根据权利要求4所述的方法，其特征在于，所述方法还包括：

接收对所述候选任务的配置请求，所述配置请求用于对所述预设任务池中的候选任务所分配的执行节点进行配置；

提取所述配置请求中的待配置任务的任务数据以及待配置执行节点的节点数据；

将所述待配置任务的任务数据以及待配置执行节点的节点数据关联性存储于所述配置文件中；

所述方法还包括：

在所述配置文件中存在所述当前任务对应的执行节点时，根据所述配置文件将所述当前任务的当前任务数据分配至对应的执行节点；

在所述配置文件中不存在所述当前任务对应的执行节点时，执行所述根据预设的任务均衡算法、所述执行节点数据以及所述当前任务数据对各所述当前任务进行任务分片处理，得到第一分片数据的步骤。

7.一种实现权利要求1所述任务调度方法的装置，所述装置包括：

获取模块，用于获取当前任务数据以及执行节点数据，所述当前任务数据包括至少一个当前任务的任务数据，所述执行节点数据包括至少一个用于处理所述当前任务数据的执行节点的节点数据；

分片模块，用于根据预设的任务均衡算法、所述执行节点数据以及所述当前任务数据对各所述当前任务进行任务分片处理，得到第一分片数据，所述第一分片数据包括所述执行节点所分配的当前任务的任务数据；

调度模块，用于根据所述第一分片数据分别将各当前任务的任务数据发送至对应的执行节点，以便所述执行节点对所述当前任务的任务数据进行处理。

8.根据权利要求7所述的装置，其特征在于，所述分片模块，包括：

分片单元，用于根据所述执行节点数据得到第一数目，所述第一数目为所述执行节点的个数；

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的任务调度方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的任务调度方法的步骤。