CN105573827A - 一种多机并行处理方法及装置 - Google Patents

Abstract

本发明实施例公开了一种多机并行处理方法及装置。本发明实施例中，通过获取待处理对象的属性信息，在待处理对象的属性信息中包括的数据处理量大于第一阈值的情况下，将待处理对象划分为多个任务块；获取各个任务处理节点的工作状态，将处于空闲状态的P个任务处理节点确定为目标任务处理节点；将所述多个任务块分别分配给P个所述目标任务处理节点进行处理。本发明实施例中，通过将待处理对象划分为多个任务块，并将多个任务块分别分配给各个目标任务处理节点进行处理，实现了对一个待处理对象的多机并行处理，有效提升待处理对象的处理效率，进而提升整个***的处理效率。

Description

一种多机并行处理方法及装置

技术领域

本发明涉及数据业务领域，尤其涉及一种多机并行处理方法及装置。

背景技术

在数据处理领域，使用单机执行的队列结构实现了很多批处理***。典型的方式为待处理的任务或数据由实体接收并加入到队列结构中等候处理。在简单的单机执行的批处理***中，处理装置将依据已编排好的顺序依次从队列结构中选择任务或数据进行处理。在具有大量任务的批处理***中，往往会存在因批处理***中的某个任务中的数据处理量较大，从而垄断整个批处理***的处理资源的状况，而且，大块数据的处理将会导致任务执行耗时的不可控。

本领域中为解决上述问题而采取的折中方案为通过设置多个任务处理装置创建一个并行处理***，从而指示每个任务处理装置对应处理一份或多份任务，避免整个处理***被某个数据处理量较大的任务垄断处理资源的现象，而且能够实现在任务个数足够多的情况下，后面的任务也有可能被正常执行完成。然而，在这种并行处理任务的过程中，依然会存在数据处理量较大的任务执行耗时的不可控的问题。

因此，目前亟需一种能够有效提升***处理效率的任务处理方法。

发明内容

本发明实施例提供一种多机并行处理方法及装置，用以有效提升待处理对象的处理效率，进而提升整个***的处理效率。

本发明实施例提供的一种多机并行处理方法，包括：

获取待处理对象的属性信息；所述待处理对象的属性信息包括所述待处理对象的数据处理量；

在所述待处理对象的数据处理量大于第一阈值的情况下，将所述待处理对象划分为多个任务块；

获取各个任务处理节点的工作状态，将处于空闲状态的P个任务处理节点确定为目标任务处理节点；

将所述多个任务块分别分配给P个所述目标任务处理节点进行处理。

较佳地，所述在所述待处理对象的数据处理量大于第一阈值的情况下，将所述待处理对象划分为多个任务块，包括：

在所述待处理对象的数据处理量大于第一阈值且小于第二阈值的情况下，将所述待处理对象划分为N个任务块；

在所述待处理对象的数据处理量大于等于第二阈值的情况下，将所述待处理对象划分为M个任务块；其中，N、M均为正整数，且N≤M。

较佳地，所述将所述待处理对象划分为多个任务块，包括：

将所述待处理对象划分为Q个任务块；

所述将所述多个任务块分别分配给P个所述目标任务处理节点进行处理，包括：

若Q≤P，则获取P个所述目标任务处理节点的处理能力，并按照处理能力从大到小的顺序对所述P个所述目标任务处理节点进行排序；

将所述Q个任务块分别分配给排序靠前的Q个所述目标任务处理节点中的进行处理。

较佳地，若Q>P，则将所述Q个任务块中的P个任务块分别分配给P个所述目标任务处理节点进行处理；

周期性监测各个任务处理节点的工作状态，将(Q-P)个未分配的任务块分别分配给处于空闲状态的任务处理节点进行处理。

较佳地，所述将所述多个任务块分别分配给P个所述目标任务处理节点进行处理之后，还包括：

获取已分配任务块的各个目标任务处理节点的工作状态；

将处于异常工作状态的目标任务处理节点对应的任务块分配给处于空闲状态的任务处理节点进行处理。

本发明实施例提供的一种多机并行处理装置，该装置包括：

获取模块，用于获取待处理对象的属性信息；所述待处理对象的属性信息包括所述待处理对象的数据处理量；

划分模块，用于在所述待处理对象的数据处理量大于第一阈值的情况下，将所述待处理对象划分为多个任务块；

确定模块，用于获取各个任务处理节点的工作状态，将处于空闲状态的P个任务处理节点确定为目标任务处理节点；

处理模块，用于将所述多个任务块分别分配给P个所述目标任务处理节点进行处理；P为正整数。

较佳地，所述划分模块具体用于：

在所述待处理对象的数据处理量大于第一阈值且小于第二阈值的情况下，将所述待处理对象划分为N个任务块；

在所述待处理对象的数据处理量大于等于第二阈值的情况下，将所述待处理对象划分为M个任务块；其中，N、M均为正整数，且N≤M。

较佳地，所述划分模块具体用于：

将所述待处理对象划分为Q个任务块；Q为正整数；

所述处理模块具体用于：

若Q≤P，则获取P个所述目标任务处理节点的处理能力，并按照处理能力从大到小的顺序对所述P个所述目标任务处理节点进行排序；

将所述Q个任务块分别分配给排序靠前的Q个所述目标任务处理节点中的进行处理。

较佳地，所述处理模块还用于：

若Q>P，则将所述Q个任务块中的P个任务块分别分配给P个所述目标任务处理节点进行处理；

周期性监测各个任务处理节点的工作状态，将(Q-P)个未分配的任务块分别分配给处于空闲状态的任务处理节点进行处理。

较佳地，所述处理模块还用于：

获取已分配所述任务块的各个目标任务处理节点的工作状态；

将处于异常工作状态的目标任务处理节点对应的任务块分配给处于空闲状态的任务处理节点进行处理。

本发明的上述实施例中，通过获取待处理对象的属性信息，在待处理对象的属性信息中包括的数据处理量大于第一阈值的情况下，将待处理对象划分为多个任务块；获取各个任务处理节点的工作状态，将处于空闲状态的P个任务处理节点确定为目标任务处理节点；将所述多个任务块分别分配给P个所述目标任务处理节点进行处理。本发明实施例中，通过将待处理对象划分为多个任务块，并将多个任务块分别分配给各个目标任务处理节点进行处理，实现了对一个待处理对象的多机并行处理，有效提升待处理对象的处理效率，进而提升整个***的处理效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种多机并行处理方法所对应的流程示意图；

图2为本发明实施例提供的待处理任务的处理流程示意图；

图3为本发明实施例提供的一种多机并行处理装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

图1为本发明实施例提供的一种多机并行处理方法所对应的流程示意图，该方法包括：

步骤101，获取待处理对象的属性信息；所述待处理对象的属性信息包括所述待处理对象的数据处理量；

步骤102，在所述待处理对象的数据处理量大于第一阈值的情况下，将所述待处理对象划分为多个任务块；

步骤103，获取各个任务处理节点的工作状态，将处于空闲状态的P个任务处理节点确定为目标任务处理节点；

步骤104，将所述多个任务块分别分配给P个所述目标任务处理节点进行处理。

本发明实施例中，通过将待处理对象划分为多个任务块，并将多个任务块分别分配给各个目标任务处理节点进行处理，实现了对一个待处理对象的多机并行处理，有效提升待处理对象的处理效率，进而提升整个***的处理效率。

本发明实施例中的待处理对象可以为待处理任务中的任意一个具体步骤。在步骤101之前，首先获取待处理任务，并将待处理任务划分为不同的执行步骤；其具体步骤的划分可依据实际需要，或者由本领域技术人员进行人为划分，本发明实施例对此不做限制。

在步骤101和102中，获取待处理对象，根据待处理对象的数据处理量判断该待处理对象是否为需要进行多机并行处理的对象，其判断依据可以为：若待处理对象的数据处理量小于等于第一阈值，则确定该待处理对象为不需要进行多机并行处理的对象，后续可直接采用单机执行方式执行该步骤；若待处理对象的数据处理量大于第一阈值，则确定该待处理对象为需要进行多机并行处理的对象，进一步地，在待处理对象的数据处理量大于第一阈值且小于第二阈值的情况下，将待处理对象划分为N个任务块；在待处理对象的数据处理量大于等于第二阈值的情况下，将待处理对象划分为M个任务块；其中，N、M均为正整数，且N≤M；第一阈值和第二阈值均可由本领域技术人员根据经验设置。本发明实施例中，通过设置第一阈值和第二阈值，实现了根据待处理对象的数据处理量的大小来确定待处理对象划分任务块的个数，从而使得对待处理对象的划分更为合理，方便后续执行。

进一步地，本发明实施例中还可以设置多个阈值，即设置多个划分任务块个数的衡量标准，例如，还可以设置第三阈值，若待处理对象的数据处理量大于第二阈值且小于第三阈值的情况下，将待处理对象划分为X(X≥M)个任务块。具体的设置可由本领域技术人员根据实际情况来决定，上述内容仅为示例性的描述。

可选地，一般情况下，待处理对象的数据处理量越大，则需要的处理时间越长，因此，可根据待处理对象的数据处理量预估出待处理对象所需的处理时间。从而在待处理对象是否为需要进行多机并行处理的对象时，也可以将预估的待处理对象所需的处理时间作为判断依据，其具体实现过程可参照上述将数据处理量作为判断依据的实现过程。

本发明实施例中，将待处理对象划分为多个任务块时，可根据待处理对象的数据处理量的大小，采用平均的方式划分任务块，例如，待处理对象的数据处理量为3000000bit，则在确定将待处理对象划分为3个任务块的情况下，可采用对待处理对象的数据处理量进行平均的方式，划分每个任务块的数据处理量均为1000000bit。可选地，也可以由本领域技术人员根据实际情况采用其它的划分方式来划分任务块，本发明实施例对此不做限制。

通过上述步骤完成待处理对象的任务块的划分后，在步骤103中获取各个任务处理节点的工作状态。本发明实施例中的任务处理节点为执行任务的主体，具体可以是执行任务的具体应用。任务处理节点的工作状态包括忙碌状态、空闲状态以及异常状态。具体地，可通过以下两种方式获取各个任务处理节点：(1)周期性向各个任务处理节点发送获取工作状态的请求消息，各个任务处理节点在接收到请求消息后，将自身的工作状态通过响应消息返回；(2)各个任务处理节点周期性将自身的工作状态通过上报消息上报。，

若通过响应消息或上报消息发现任务处理节点当前正在执行任务，则确定该任务处理节点当前的工作状态为忙碌状态；若通过响应消息或上报消息发现任务处理节点当前未执行任务，则确定该任务处理节点当前的工作状态为空闲状态；若在设定长的时间内一直未接收到任务处理节点的响应消息或上报消息，则确定该任务处理节点的工作状态为异常状态。

在步骤103和104中，得到各个任务处理节点的工作状态后，将处于空闲状态的任务处理节点确定为目标任务处理节点，并将所述多个任务块分别分配给P个所述目标任务处理节点进行处理。

具体地，本发明实施例可假设将所述待处理对象划分为Q个任务块；若Q≤P，则说明任务块的个数小于等于目标任务处理节点的个数，此时可保证一个任务块对应一个目标任务处理节点，各个任务块可被同时执行。进一步地，可获取P个目标任务处理节点的处理能力，并按照处理能力从大到小的顺序对P个目标任务处理节点进行排序；将Q个任务块分别分配给排序靠前的Q个目标任务处理节点中的进行处理。采用这种方式，能够将任务块分配给处理能力较强的任务处理节点，从而保证任务块的顺利执行。

若Q>P，则说明任务块的个数大于目标任务处理节点的个数，此时在保证一个任务块对应一个目标任务处理节点的情况下，各个任务块将无法被同时执行。在这种情况下，可首先将Q个任务块中的P个任务块分别分配给P个目标任务处理节点进行处理；随后，周期性监测各个任务处理节点的工作状态，将(Q-P)个未分配的任务块分别分配给处于空闲状态的任务处理节点进行处理。

例如，若Q-P＝3，即剩余3个未分配的任务块，在随后的一个周期内若监测到任务处理节点a处于空闲状态，则可将3个未分配的任务块中的任一个分配给任务处理节点a进行处理，此时剩下2个未分配的任务块，继续监测到任务处理节点的工作状态，若再次监测到一个处于空闲状态的任务处理节点b，则可将剩下2个未分配的任务块中的任一个分配给任务处理节点b进行处理，依次进行，直到各个未分配的任务块均分配给相应的任务处理节点处理。

进一步地，本发明实施例中，还包括：获取已分配任务块的目标任务处理节点的工作状态，若该目标任务处理节点处于异常状态，则此时无法确定任务块是否被顺利处理，因此，可将处于异常工作状态的目标任务处理节点对应的任务块分配给其它处于空闲状态的任务处理节点进行处理，从而保证任务块被正确处理。

本发明实施例中，通过多机并行处理的方式对各个任务块处理完毕后，可将各个任务处理节点的处理结果进行合并得到最终的处理结果。具体地，可根据各个任务块的执行结果的标识信息将各个任务块的执行结果进行合并，该标识信息可以为序列号，进而可按照序列号合并各个执行结果，或者，该标识信息也可以为其它具有标识作用的内容，本发明实施例对此不做限制。

下面结合具体实施例对本发明中的处理方法进行解释说明。

如图2所示，为本发明实施例提供的待处理任务的处理流程示意图。假设待处理任务为：确定300个订单数据的处理结果。将该待处理任务划分为3个步骤(即3个待处理对象)，其中，步骤1为：获取300个订单数据，步骤2：为对300个订单数据进行处理，步骤3为：整合300个订单数据的处理结果。

根据步骤1的数据处理量，判断得知步骤1的数据处理量较小，耗时短，无需进行多机并行处理。经过步骤1获取到300个订单数据后，开始执行步骤2；步骤2的数据处理量较大，耗时较长，需要进行多机并行处理，此时根据本发明实施例中的上述步骤102的实现过程，将步骤2划分为3个任务块进行并行处理，并将3个任务块分别分配给3个处于空闲状态的任务处理节点(任务处理节点1、任务处理节点2、任务处理节点3)进行处理，得到3个任务块的处理结果，开始执行步骤3。根据步骤3的数据处理量，判断得知步骤3的数据处理量较小，耗时短，无需进行多机并行处理，此时在步骤3中，可根据上述3个任务块的处理结果中包括的标识信息进行合并，得到300个订单数据的处理结果，从而完成待处理任务的处理过程。

本发明实施例中，通过将数据处理量较大，耗时较长的关键步骤(即步骤2)分为3个任务块分配给相应的任务处理节点进行处理，进而加快了关键步骤的处理速度，明显提高了待处理任务的处理效率。

本发明的上述实施例中，通过获取待处理对象的属性信息，在待处理对象的属性信息中包括的数据处理量大于第一阈值的情况下，将待处理对象划分为多个任务块；获取各个任务处理节点的工作状态，将处于空闲状态的P个任务处理节点确定为目标任务处理节点；将所述多个任务块分别分配给P个所述目标任务处理节点进行处理。本发明实施例中，通过将待处理对象划分为多个任务块，并将多个任务块分别分配给各个目标任务处理节点进行处理，实现了对一个待处理对象的多机并行处理，有效提升待处理对象的处理效率，进而提升整个***的处理效率。

针对上述方法流程，本发明实施例还提供一种多机并行处理装置，该装置的具体内容可以参照上述方法实施，在此不再赘述。

图3为本发明实施例提供的一种多机并行处理装置的结构示意图，该装置包括：

获取模块301，用于获取待处理对象的属性信息；所述待处理对象的属性信息包括所述待处理对象的数据处理量；

划分模块302，用于在所述待处理对象的数据处理量大于第一阈值的情况下，将所述待处理对象划分为多个任务块；

确定模块303，用于获取各个任务处理节点的工作状态，将处于空闲状态的P个任务处理节点确定为目标任务处理节点；

处理模块304，用于将所述多个任务块分别分配给P个所述目标任务处理节点进行处理；P为正整数。

较佳地，所述划分模块302具体用于：

在所述待处理对象的数据处理量大于第一阈值且小于第二阈值的情况下，将所述待处理对象划分为N个任务块；

在所述待处理对象的数据处理量大于等于第二阈值的情况下，将所述待处理对象划分为M个任务块；其中，N、M均为正整数，且N≤M。

较佳地，所述划分模块302具体用于：

将所述待处理对象划分为Q个任务块；Q为正整数；

所述处理模块304具体用于：

若Q≤P，则获取P个所述目标任务处理节点的处理能力，并按照处理能力从大到小的顺序对所述P个所述目标任务处理节点进行排序；

将所述Q个任务块分别分配给排序靠前的Q个所述目标任务处理节点中的进行处理。

较佳地，所述处理模块304还用于：

若Q>P，则将所述Q个任务块中的P个任务块分别分配给P个所述目标任务处理节点进行处理；

周期性监测各个任务处理节点的工作状态，将(Q-P)个未分配的任务块分别分配给处于空闲状态的任务处理节点进行处理。

较佳地，所述处理模块304还用于：

获取已分配所述任务块的各个目标任务处理节点的工作状态；

将处于异常工作状态的目标任务处理节点对应的任务块分配给处于空闲状态的任务处理节点进行处理。

从上述内容可以看出：本发明实施例中，通过获取待处理对象的属性信息，在待处理对象的属性信息中包括的数据处理量大于第一阈值的情况下，将待处理对象划分为多个任务块；获取各个任务处理节点的工作状态，将处于空闲状态的P个任务处理节点确定为目标任务处理节点；将所述多个任务块分别分配给P个所述目标任务处理节点进行处理。本发明实施例中，通过将待处理对象划分为多个任务块，并将多个任务块分别分配给各个目标任务处理节点进行处理，实现了对一个待处理对象的多机并行处理，有效提升待处理对象的处理效率，进而提升整个***的处理效率。

本领域内的技术人员应明白，本发明的实施例可提供为方法、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种多机并行处理方法，其特征在于，该方法包括：

获取待处理对象的属性信息；所述待处理对象的属性信息包括所述待处理对象的数据处理量；

在所述待处理对象的数据处理量大于第一阈值的情况下，将所述待处理对象划分为多个任务块；

获取各个任务处理节点的工作状态，将处于空闲状态的P个任务处理节点确定为目标任务处理节点；

将所述多个任务块分别分配给P个所述目标任务处理节点进行处理。

2.如权利要求1所述的方法，其特征在于，所述在所述待处理对象的数据处理量大于第一阈值的情况下，将所述待处理对象划分为多个任务块，包括：

在所述待处理对象的数据处理量大于第一阈值且小于第二阈值的情况下，将所述待处理对象划分为N个任务块；

在所述待处理对象的数据处理量大于等于第二阈值的情况下，将所述待处理对象划分为M个任务块；其中，N、M均为正整数，且N≤M。

3.如权利要求1所述的方法，其特征在于，所述将所述待处理对象划分为多个任务块，包括：

将所述待处理对象划分为Q个任务块；

所述将所述多个任务块分别分配给P个所述目标任务处理节点进行处理，包括：

若Q≤P，则获取P个所述目标任务处理节点的处理能力，并按照处理能力从大到小的顺序对所述P个所述目标任务处理节点进行排序；

将所述Q个任务块分别分配给排序靠前的Q个所述目标任务处理节点中的进行处理。

4.如权利要求3所述的方法，其特征在于，若Q>P，则将所述Q个任务块中的P个任务块分别分配给P个所述目标任务处理节点进行处理；

周期性监测各个任务处理节点的工作状态，将(Q-P)个未分配的任务块分别分配给处于空闲状态的任务处理节点进行处理。

5.如权利要求1所述的方法，其特征在于，所述将所述多个任务块分别分配给P个所述目标任务处理节点进行处理之后，还包括：

获取已分配任务块的各个目标任务处理节点的工作状态；

将处于异常工作状态的目标任务处理节点对应的任务块分配给处于空闲状态的任务处理节点进行处理。

6.一种多机并行处理装置，其特征在于，该装置包括：

获取模块，用于获取待处理对象的属性信息；所述待处理对象的属性信息包括所述待处理对象的数据处理量；

划分模块，用于在所述待处理对象的数据处理量大于第一阈值的情况下，将所述待处理对象划分为多个任务块；

确定模块，用于获取各个任务处理节点的工作状态，将处于空闲状态的P个任务处理节点确定为目标任务处理节点；

处理模块，用于将所述多个任务块分别分配给P个所述目标任务处理节点进行处理；P为正整数。

7.如权利要求6所述的装置，其特征在于，所述划分模块具体用于：

在所述待处理对象的数据处理量大于第一阈值且小于第二阈值的情况下，将所述待处理对象划分为N个任务块；

在所述待处理对象的数据处理量大于等于第二阈值的情况下，将所述待处理对象划分为M个任务块；其中，N、M均为正整数，且N≤M。

8.如权利要求6所述的装置，其特征在于，所述划分模块具体用于：

将所述待处理对象划分为Q个任务块；Q为正整数；

所述处理模块具体用于：

若Q≤P，则获取P个所述目标任务处理节点的处理能力，并按照处理能力从大到小的顺序对所述P个所述目标任务处理节点进行排序；

将所述Q个任务块分别分配给排序靠前的Q个所述目标任务处理节点中的进行处理。

9.如权利要求8所述的装置，其特征在于，所述处理模块还用于：

若Q>P，则将所述Q个任务块中的P个任务块分别分配给P个所述目标任务处理节点进行处理；

周期性监测各个任务处理节点的工作状态，将(Q-P)个未分配的任务块分别分配给处于空闲状态的任务处理节点进行处理。

10.如权利要求6所述的装置，其特征在于，所述处理模块还用于：

获取已分配所述任务块的各个目标任务处理节点的工作状态；

将处于异常工作状态的目标任务处理节点对应的任务块分配给处于空闲状态的任务处理节点进行处理。