CN102521056A - 任务分配装置和任务分配方法 - Google Patents

Abstract

本发明提供了一种任务分配装置，包括：依赖分析模块，根据第一组任务以及所述第一组任务之间的依赖关系，从所述第一组任务中取得被依赖任务不存在或已完成的第二组任务；时间计算模块，计算所述第二组任务中每个任务的预计完成时间；任务分配模块，根据所述预计完成时间，将为所述第二组任务逐次分配给计算资源以进行执行。相应地，本发明还提供了一种任务分配方法。通过对依赖关系和计算量的分析，实现了更合理地分配计算资源，提高了计算效率。

Description

任务分配装置和任务分配方法

技术领域

本发明涉及计算机技术领域，具体而言，涉及任务分配装置和任务分配方法。

背景技术

在计算机技术领域中，大量存在着这样的计算场景：一个复杂的计算任务模型由多个有依赖性的计算任务组成，依赖任务只能在被依赖任务完成后才能进行计算，而不具有依赖关系的计算任务可并行计算。同时，这些任务计算量具有时间可变性：即每次计算时任务计算量不同，且其计算量对被依赖任务的输出敏感；同时，不同的任务其计算量具有较大的差异性。

如图1，一个典型的计算任务模型实例的执行过程如下：

在这个实例中包含任务1-1、任务2-1、任务2-2、任务3-1、任务3-2，这些任务的计算量均不相同且不可分割。其中任务2-1、任务2-2这两个任务依赖于任务1-1的完成，并且可以并行计算。任务3-1依赖于任务2-1的完成，任务3-2依赖于任务2-1，任务2-2的完成，并且任务3-1、任务3-2可以并行计算。

对于这类计算任务模型，如何把任务分配到计算资源上，以获得优选的计算时间，是一个很重要的问题。在并行计算领域现有技术解决方案主要有以下几种：1，基于计算资源的能力，人为静态指定任务分配到哪些计算资源；2，引入分配服务器，对计算资源建立任务队列，分配服务器监测计算资源任务队列中待执行任务数的多少来分配计算资源；3，编译时建立任务间的静态依赖关系，依赖于其它任务完成的任务设置启动点，被依赖任务完成后通知依赖任务执行，同时在编译时基于任务关键路径进行任务分配建立执行链。

目前这些方法均要求任务的计算量有基本稳定的特征，任务间的计算量差异较小的特征，同时未考虑计算资源的能力差异性。这些方法会导致不同计算资源从计算量角度看会出现分配不合理的情况，出现计算任务未分配到可最早可完成的计算资源上，从而导致任务最终完成需要更多的时间。

分析目前技术方案主要存在的问题在于没有考虑任务的计算量的可变性、任务间计算量的差异性、计算资源的计算能力差异。因此，需要一种新的任务分配方法，能够更合理地分配计算资源，提高整个计算任务的执行效率。

发明内容

本发明所要解决的技术问题在于，需要提出一种新的任务分配方法，能够更合理地分配计算资源，提高整个计算任务的执行效率。

有鉴于此，本发明提供了一种任务分配装置，包括：依赖分析模块，根据第一组任务以及所述第一组任务之间的依赖关系，从所述第一组任务中取得被依赖任务不存在或已完成的第二组任务；时间计算模块，计算所述第二组任务中每个任务的预计完成时间；任务分配模块，根据所述预计完成时间，将为所述第二组任务逐次分配给计算资源以进行执行。在该技术方案中，以预计完成时间为标准，对当前可执行(被依赖任务不存在或已完成)的任务进行了计算量计算，实现了任务的合理分配。

在上述技术方案中，优选地，所述依赖分析模块在所述第二组任务中的任一任务执行完成时，从所述第一组任务中取得新的被依赖任务不存在或已完成的任务，加入所述第二组任务。在该技术方案中，根据任务完成情况，更新被依赖任务不存在或已完成的任务，能够保证当前情况下任务的合理分配。

在上述技术方案中，优选地，所述依赖分析模块还存储所述依赖关系，并在所述第二组任务中的任一任务执行完成时，对所述依赖关系中与所述已完成任务相关的部分进行修改，并根据所述依赖关系修改的部分，取得所述新的被依赖任务不存在或已完成的任务。在该技术方案中，可以防止给依赖任务分配计算资源，同时当依赖任务状态改变时，可以及时根据改变的依赖关系来分配任务，保证了任务分配的合理性。

在上述技术方案中，优选地，所述的任务分配装置，还包括：状态设置模块，为所述第二组任务设置任务状态，所述时间计算模块根据所述任务状态，识别并选取所述第二组任务，再计算所述预计完成时间。在该技术方案中，通过任务状态的设置，可以轻易地识别出被哪些任务的被依赖任务已不存在，并准确地进行选取。

在上述技术方案中，优选地，所述预计完成时间＝max(所述计算资源当前执行任务的预计完工时间，当前时间)+(所述第二组任务中每个任务的计算量/所述计算资源的处理速度)。在该技术方案中，通过在计算资源当前执行任务的预计完工时间与当前时间之间选取最大值，可以准确计算出任务完成所需的时间。

本发明还提供了一种任务分配方法，包括：步骤302，根据第一组任务以及所述第一组任务之间的依赖关系，从所述第一组任务中取得被依赖任务不存在或已完成的第二组任务；步骤304，计算所述第二组任务中每个任务的预计完成时间；步骤306，根据所述预计完成时间，将为所述第二组任务逐次分配给计算资源以进行执行。在该技术方案中，以预计完成时间为标准，对当前可执行(被依赖任务不存在或已完成)的任务进行了计算量计算，实现了任务的合理分配。

在上述技术方案中，优选地，所述的任务分配方法，还包括：步骤308，在所述第二组任务中的任一任务执行完成时，从所述第一组任务中取得新的被依赖任务不存在或已完成的任务，加入所述第二组任务。在该技术方案中，根据任务完成情况，更新被依赖任务不存在或已完成的任务，能够保证当前情况下任务的合理分配。

在上述技术方案中，优选地，所述步骤302还包括：存储所述依赖关系；所述步骤308具体包括：在所述第二组任务中的任一任务执行完成时，对所述依赖关系中与所述已完成任务相关的部分进行修改，并根据所述依赖关系修改的部分，取得所述新的被依赖任务不存在或已完成的任务。在该技术方案中，可以防止给依赖任务分配计算资源，同时当依赖任务状态改变时，可以及时根据改变的依赖关系来分配任务，保证了任务分配的合理性。

在上述技术方案中，优选地，所述步骤302还包括：为所述第二组任务设置任务状态；所述步骤304具体包括：根据所述任务状态，识别并选取所述第二组任务，再计算所述与预计完成时间。在该技术方案中，通过任务状态的设置，可以轻易地识别出被哪些任务的被依赖任务已不存在，并准确地进行选取。

在上述技术方案中，优选地，所述预计完成时间＝max(所述计算资源当前执行任务的预计完工时间，当前时间)+(所述第二组任务中每个任务的计算量/所述计算资源的处理速度)。在该技术方案中，通过在计算资源当前执行任务的预计完工时间与当前时间之间选取最大值，可以准确计算出任务完成所需的时间。

综上所述，本发明通过充分考虑任务的计算量的可变性、任务间计算量的差异性、计算资源的计算能力差异，通过对计算任务建立计算量模型，在每次计算时动态计算其计算量，按计算量及计算资源的时间分析来分配计算资源，以使任务能够按最早完成的原则分配计算资源，从而实现缩短计算任务执行时间的目的，使计算任务得到更好了的执行效能，提高了计算效率。

附图说明

图1是现有技术中一个计算任务模型实例的示意图；

图2是根据本发明一个实施例的任务分配装置的框图；

图3是根据本发明一个实施例的任务分配方法的流程图；

图4是根据本发明一个实施例的任务分配方法进行任务分配的流程图；

图5是根据本发明一个实施例的任务分配方法进行任务分配的流程图；

图6是根据本发明一个实施例的任务分配方法的原理示意图；

图7是根据本发明一个实施例的计算资源状况的示意图；

图8是根据本发明一个实施例的物料清单的示意图；

图9是根据本发明一个实施例的任务依赖关系的示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开的具体实施例的限制。

图2是根据本发明一个实施例的任务分配装置的框图。

如图2所示，本发明提供了一种任务分配装置200，包括：依赖分析模块202，根据第一组任务以及第一组任务之间的依赖关系，从第一组任务中取得被依赖任务不存在或已完成的第二组任务；时间计算模块204，计算第二组任务中每个任务的预计完成时间；任务分配模块206，根据预计完成时间，将为第二组任务逐次分配给计算资源以进行执行。在该技术方案中，以预计完成时间为标准，对当前可执行(被依赖任务不存在或已完成)的任务进行了计算量计算，实现了任务的合理分配。

在上述技术方案中，依赖分析模块202在第二组任务中的任一任务执行完成时，从第一组任务中取得新的被依赖任务不存在或已完成的任务，加入第二组任务。在该技术方案中，根据任务完成情况，更新被依赖任务不存在或已完成的任务，能够保证当前情况下任务的合理分配。

在上述技术方案中，依赖分析模块202还存储依赖关系，并在第二组任务中的任一任务执行完成时，对依赖关系中与已完成任务相关的部分进行修改，并根据依赖关系修改的部分，取得新的被依赖任务不存在或已完成的任务。在该技术方案中，可以防止给依赖任务分配计算资源，同时当依赖任务状态改变时，可以及时根据改变的依赖关系来分配任务，保证了任务分配的合理性。

在上述技术方案中，还包括：状态设置模块208，为第二组任务设置任务状态，时间计算模块204根据任务状态，识别并选取第二组任务，再计算预计完成时间。在该技术方案中，通过任务状态的设置，可以轻易地识别出被哪些任务的被依赖任务已不存在，并准确地进行选取。

在上述技术方案中，所述的预计完成时间＝max(计算资源当前执行任务的预计完工时间，当前时间)+(第二组任务中每个任务的计算量/计算资源的处理速度)。在该技术方案中，通过在计算资源当前执行任务的预计完工时间与当前时间之间选取最大值，可以准确计算出任务完成所需的时间。

图3是根据本发明一个实施例的任务分配方法的流程图。

如图3所示，本发明还提供了一种任务分配方法，包括：步骤302，根据第一组任务以及第一组任务之间的依赖关系，从第一组任务中取得被依赖任务不存在或已完成的第二组任务；步骤304，计算第二组任务中每个任务的预计完成时间；步骤306，根据预计完成时间，将为第二组任务逐次分配给计算资源以进行执行。在该技术方案中，以预计完成时间为标准，对当前可执行(被依赖任务不存在或已完成)的任务进行了计算量计算，实现了任务的合理分配。

在上述技术方案中，优选地，的任务分配方法，还包括：步骤308，在第二组任务中的任一任务执行完成时，从第一组任务中取得新的被依赖任务不存在或已完成的任务，加入第二组任务。在该技术方案中，根据任务完成情况，更新被依赖任务不存在或已完成的任务，能够保证当前情况下任务的合理分配。

在上述技术方案中，优选地，步骤302还包括：存储依赖关系；步骤308具体包括：在第二组任务中的任一任务执行完成时，对依赖关系中与已完成任务相关的部分进行修改，并根据依赖关系修改的部分，取得新的被依赖任务不存在或已完成的任务。在该技术方案中，可以防止给依赖任务分配计算资源，同时当依赖任务状态改变时，可以及时根据改变的依赖关系来分配任务，保证了任务分配的合理性。

在上述技术方案中，优选地，步骤302还包括：为第二组任务设置任务状态；步骤304具体包括：根据任务状态，识别并选取第二组任务，再计算与预计完成时间。在该技术方案中，通过任务状态的设置，可以轻易地识别出被哪些任务的被依赖任务已不存在，并准确地进行选取。

在上述技术方案中，优选地，预计完成时间＝max(计算资源当前执行任务的预计完工时间，当前时间)+(第二组任务中每个任务的计算量/计算资源的处理速度)。在该技术方案中，通过在计算资源当前执行任务的预计完工时间与当前时间之间选取最大值，可以准确计算出任务完成所需的时间。

以上，本发明中技术方案充分考量计算任务的计算量特征以及计算资源的能力特征，通过对计算任务建立计算量模型，在每次计算时动态计算其计算量，按计算量及计算资源的时间预占分析来分配计算资源，以使任务能够按最早完成的原则分配计算资源，从而实现缩短计算任务执行时间的目的，使计算任务得到更好的执行效能。

在本发明的一个实施例中，提供基于任务计算量动态评估的任务分配方法，接收计算任务，启动计算任务，对任务进行动态计算量评估，优先分配高计算量任务，按计算资源当前所有工作项预测完成时间最早的原则优先分配任务，评估依赖性满足情况，启动依赖性任务的调度并进行资源分配计算，最终完成计算结果。如图4所示，主要包含三个过程：

P1，计算任务启动；P2，计算量评估；P3，任务分配及执行。

详细步骤如图5所示：

P1，计算任务启动，该过程主要包括以下步骤：

接收计算任务及其依赖性模型，放入任务模型D10及任务依赖型存储D20。此时任务状态为等待调度。

S110，从任务依赖型存储D20获取被依赖任务集不存在的任务集，在任务模型D10中把这个任务集中的任务状态更新为可评估。

P2，计算量评估过程，该过程主要包括以下步骤：

S210，从任务模型D10获取可评估状态的任务，评估任务的计算量，并在任务模型D10中更新任务状态为可分配并存储任务的计算量。

P3，任务分配及执行，该过程主要包括：

S310，从任务模型D10获取可分配状态的计算任务，按计算量由大到小进行任务排序，任务分配给预计完工时间最早的计算资源。

S320，任务发送给计算资源，更新任务模型D10中任务状态为已分配。

S330，计算资源任务计算完成后，反馈完成信息，更新任务模型D10中任务状态为已完成。

S340，从任务依赖型存储D20中获取当前任务对应的依赖任务，如果当前任务的完成使得后续依赖任务的依赖条件满足，则把依赖任务在任务模型D10中置为可评估状态。

返回P2，再计算量评估过程，对可评估的任务进行计算量评估。

根据以上步骤的任务分配方法，可以实现一种任务调度器结构，主要包括任务管理器(相当于前述的时间计算模块)、任务依赖性管理器(相当于前述的依赖分析模块)、计算资源分配器(相当于前述的任务分配模块)，其中：

1.任务管理器，存储任务模型及对任务状态进行管理并对任务的计算量进行评估。

任务模型主要包括任务状态及其计算量模型。

如图6，任务状态主要包括：等待调度602、可调度604、可分配606、已分配608、完成610。当任务创建及接收时，任务处于等待调度状态602；当任务人工启动或者任务的依赖条件得到满足时，任务状态跃迁到可评估状态604；当对任务的计算量评估完成时，任务状态跃迁到可分配状态606；当任务分配计算资源并发送给计算资源后，任务状态跃迁到已分配状态608；当计算资源完成任务并返回结果时，任务状态跃迁为完成状态610。

任务的计算量模型定义了任务的计算特征：计算规模及其计算量的关系。依据任务的计算特点及其历史执行的情况分析并拟合得出其模型，定义出其关键计算规模集合{n1，n2，n3...}及其计算量函数f(n1，n2，n3...)。当对任务进行计算量评估时获取计算规模集合的值并通过计算计算量f函数得出任务计算量。

2.任务依赖性管理器，存储任务间的依赖关系并在任务计算完成后评估依赖性满足情况。

对任务间的依赖关系模型进行存储及管理。通过D20依赖矩阵存储任务间依赖关系。表1中依赖矩阵实例表达了任务2依赖于任务1的情况。

表1

当前任务计算完成时，在前述步骤S340会检阅D20，核对依赖任务的所有被依赖任务是否全部执行完成，对满足该条件的依赖任务在D10中标识其状态为可评估，并进入P2过程。

3.计算资源分配器，存储计算资源及其能力、计算资源工作项及其时间排程并对任务进行计算资源分配。

对计算资源及其能力以及工作项、工作项预计日程进行管理，最主要是对任务分配计算资源。

分配过程见步骤S310，分配策略采用任务加入计算资源后该任务的任务预计完成时间最小的策略。任务预计完成时间＝max(所述计算资源当前执行任务的预计完工时间，当前时间)+(所述第二组任务中每个任务的计算量/所述计算资源的处理速度)。如果任务在多个计算资源上的任务预计完成时间相同，则优选计算资源目前的预计完工时间最小的计算资源，如果计算资源目前的预计完工时间还相同，则选取计算能力最低的计算资源。

以下是一个任务分配实例：假设任务1计算量＝1000，当前时间＝13:00，各资源目前情况如图7所示。分配过程如下：

对计算资源1计算任务预计完成时间：

任务预计完成时间＝max(14:00，13:00)+1000/1000＝15:00；

对计算资源2计算任务预计完成时间：

任务预计完成时间＝max(13:00，13:00)+1000/500＝15:00；

对计算资源3计算任务预计完成时间：

任务预计完成时间＝max(12:00，13:00)+1000/100＝23:00。

选择任务预计完成时间最小的计算资源。可选的计算资源为：计算资源1、计算资源2。

选择计算资源目前的预计完工时间最小的计算资源。计算资源1、计算资源2可以得到同等的任务预计完成时间，由于计算资源2目前的预计完工时间13:00小于计算资源1的目前的预计完工时间14:00。所以选择计算资源2。

如果经过以上两个步骤筛选，还得到多个计算资源，则优选资源能力最低的计算资源。

下面通过实验验证本发明中所述的任务分配装置的实际效果。以物料需求计划MRP并行计算为例：

在ERP中，MRP计算具有典型的任务依赖、任务计算量可变、任务间计算量差异性、计算资源能力差异性特征。在这个示例中，假设物料清单如图8所示。

在物料A有需求时，需要计算A的净需求，然后根据A的净需求计算B，C的毛需求及净需求，最后根据B、C的净需求计算D的毛需求及净需求。这个计算过程的任务分解如图9所示。

这些任务间的依赖关系如表2所示。

表2：MRP计算任务间依赖关系示例

T1，T2，T3，T4任务的计算规模度量集{n1：前置任务的输出记录数，n2：本任务涉及的供应记录数}，任务计算量函数f(n1，n2)，函数的具体形式可以通过分析任务的时间复杂度结合历史执行数据统计得到。这里假设f(n1，n2)＝10×n1×n2+10×n1。

同时，假设各任务的规模值如表3所示：

任务	×n1	×n2	计算量
				T1	10	10	＝10×10×10+10×10＝1100
T2	10[T1完成后给出]	200	＝10×10×200+10×10＝20100
				T3	10[T1完成后给出]	6	＝10×10×6+10×10＝700
T4	20[T2，T3完成后给出]	3	＝10×20×3+10×20＝800

表3：各任务的规模及计算量

当前计算资源有资源1，其能力为1100/小时，目前无分配任务；资源2，其能力为550/小时，目前无分配任务。当前时间＝0:00。

0:00，计算任务启动时，对T1任务进行计算量评估，计算量＝1100。对计算资源1：

任务预计完成时间＝max(0:00，0:00)+1100/1100＝1:00；

对计算资源2：

任务完成时间＝max(0:00，0:00)+1100/550＝2:00。

所以选择计算资源1。

1:00，T1完成，任务T2，T3的依赖条件满足，启动T2，T3进行计算量评估。对T2任务进行计算量评估，计算量＝20100。对T3任务进行计算量评估，计算量＝700。计算量评估完成，启动资源分配。由于T2计算量大于T3，先对T2进行计算资源分配：

对计算资源1：

任务预计完成时间＝max(1:00，1:00)+20100/1100＝19:17；

对计算资源2：

任务预计完成时间＝max(1:00，1:00)+20100/550＝37:34。

所以选择计算资源1。

然后对T3进行计算资源分配：

对计算资源1：

任务预计完成时间＝max(19:17，1:00)+700/1100＝19:56；

对计算资源2：

任务预计完成时间＝max(1:00，1:00)+700/550＝2:17。

所以选择计算资源2。

2:17，T3完成，但T2未完成，T4依赖条件不满足，无法启动T4任务。

19:17，T2完成，T4的依赖条件满足，启动T4进行计算量评估。对T4任务进行计算量评估，计算量＝800。计算量评估完成，启动资源分配。

对计算资源1：

任务预计完成时间＝max(19:17，19:17)+800/1100＝20:01；

对计算资源2：

任务预计完成时间＝max(19:17，19:17)+800/550＝20:45。

所以选择计算资源1。

20:01，T4完成。

整个计算任务完成，如表4所示。

表4：资源利用清单

以上结合附图详细说明了本发明的技术方案，对于任务计算量具有可变性、不同任务间计算量具有差异性、任务间具有依赖性、计算资源能力具有差异性的计算环境下，更能有效的利用计算资源、减少任务计算时间。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种任务分配装置，其特征在于，包括：

依赖分析模块，根据第一组任务以及所述第一组任务之间的依赖关系，从所述第一组任务中取得被依赖任务不存在或已完成的第二组任务；

时间计算模块，计算所述第二组任务中每个任务的预计完成时间；

任务分配模块，根据所述预计完成时间，将为所述第二组任务逐次分配给计算资源以进行执行。

2.根据权利要求1所述的任务分配装置，其特征在于，所述依赖分析模块在所述第二组任务中的任一任务执行完成时，从所述第一组任务中取得新的被依赖任务不存在或已完成的任务，加入所述第二组任务。

3.根据权利要求1所述的任务分配装置，其特征在于，所述依赖分析模块还存储所述依赖关系，并在所述第二组任务中的任一任务执行完成时，对所述依赖关系中与所述已完成任务相关的部分进行修改，并根据所述依赖关系修改的部分，取得所述新的被依赖任务不存在或已完成的任务。

4.根据权利要求1所述的任务分配装置，其特征在于，还包括：

状态设置模块，为所述第二组任务设置任务状态，所述时间计算模块根据所述任务状态，识别并选取所述第二组任务，再计算所述预计完成时间。

5.根据权利要求1至4中任一项所述的任务分配装置，其特征在于，所述预计完成时间＝max(所述计算资源当前执行任务的预计完工时间，当前时间)+(所述第二组任务中每个任务的计算量/所述计算资源的处理速度)。

6.一种任务分配方法，其特征在于，包括：

步骤302，根据第一组任务以及所述第一组任务之间的依赖关系，从所述第一组任务中取得被依赖任务不存在或已完成的第二组任务；

步骤304，计算所述第二组任务中每个任务的预计完成时间；

步骤306，根据所述预计完成时间，将为所述第二组任务逐次分配给计算资源以进行执行。

7.根据权利要求6所述的任务分配方法，其特征在于，还包括：

步骤308，在所述第二组任务中的任一任务执行完成时，从所述第一组任务中取得新的被依赖任务不存在或已完成的任务，加入所述第二组任务。

8.根据权利要求6所述的任务分配方法，其特征在于，所述步骤302还包括：存储所述依赖关系；

所述步骤308具体包括：在所述第二组任务中的任一任务执行完成时，对所述依赖关系中与所述已完成任务相关的部分进行修改，并根据所述依赖关系修改的部分，取得所述新的被依赖任务不存在或已完成的任务。

9.根据权利要求6所述的任务分配方法，其特征在于，所述步骤302还包括：为所述第二组任务设置任务状态；

所述步骤304具体包括：根据所述任务状态，识别并选取所述第二组任务，再计算所述与预计完成时间。

10.根据权利要求6至9中任一项所述的任务分配方法，其特征在于，所述预计完成时间＝max(所述计算资源当前执行任务的预计完工时间，当前时间)+(所述第二组任务中每个任务的计算量/所述计算资源的处理速度)。

Images