CN101963922A - 任务处理方法和装置 - Google Patents

Abstract

本发明提供了一种任务处理方法，包括：步骤102，接收输入的任务；步骤104，判断任务是否具有同步属性，在任务具有同步属性时，进入步骤106，在任务不具有同步属性时，进入步骤110；步骤106，根据任务的同步属性，在当前执行任务中查找任务对应的排他任务；步骤108，在当前执行任务中存在任务对应的排他任务时，不执行任务，直至当前执行任务中不存在任务对应的排他任务，步骤110，执行任务。本发明还提供了一种任务处理装置。根据本发明的技术方案，将具有约束关系的任务进行同步排队，避免了任务之间的竞争，然后利用优先级调节队列中任务的执行滞后性，同时通过等待队列和设置任务数可同时执行任务的最大数目，使负载能力可控，具有良好的***伸缩性。

Description

任务处理方法和装置

技术领域

本发明涉及任务处理技术，尤其涉及任务处理方法和装置。

背景技术

在企业管理软件中，存在大量的异步任务，比如发送各种通知(消息，短信，电子邮件等)，执行某些自动动作(自动调用服务等)。随着用户压力的增加，在短时间内会产生大量的这些任务。已有的解决方法一般分为两种：一种是将这些任务排入一个先入先出(FIFO)队列，然后一个个按顺序执行；另外一种则是通过一个线程池，多线程的将任务并行执行。前者的优点是不会由于任务过多而占用大量的***资源，缺点是浪费了计算机并行处理能力，效率低下。后者的优点是尽可能的最大化利用了***的并行计算能力，但缺点也很明显，一方面由于同时执行的任务可能存在约束或竞争关系，导致需要线程同步，就带来了额外的***开销(线程切换，锁竞争等)，在任务之间约束和竞争关系比较多的情况下，反而会造成***效率低下，另一方面由于大部分线程池无法提供很好的伸缩性(负载可控)，造成大负载情况下对***资源的过度占用，极大的影响了用户体验。

因此，需要一种任务处理方式，能够最大限度地利用计算机的并行能力，而又避免由于任务之间的约束带来的线程同步，耗费***资源的问题。

发明内容

鉴于以上，本发明的技术方案所要解决的技术问题在于，提供一种任务处理方法和装置，能够最大限度地利用计算机的并行能力，而又避免由于任务之间的约束带来的线程同步，耗费***资源的问题。

本发明提供了一种任务处理方法，包括：步骤102，接收输入的任务；步骤104，判断所述任务是否具有同步属性，在所述任务具有同步属性时，进入步骤106，在所述任务不具有同步属性时，进入步骤110；所述步骤106，根据所述任务的同步属性，在当前执行任务中查找所述任务对应的排他任务；步骤108，在当前执行任务中存在所述任务对应的排他任务时，不执行所述任务，直至所述当前执行任务中不存在所述任务对应的排他任务，所述步骤110，执行所述任务。通过该技术方案，可以避免同时执行任务时由于相互竞争导致对***资源的争夺，保证了执行任务的次序和效率，合理利用计算机的***资源。

在上述技术方案中，优选地，所述步骤108中，在当前执行任务中存在所述任务对应的排他任务时，根据所述任务的同步属性，将所述任务分配至对应的排他队列，在所述当前执行任务中不存在所述任务对应的排他任务时，从所述任务对应的排他队列里取出所述任务，以待执行。

在上述技术方案中，优选地，排他队列中的所有任务均具有优先级，从所述排他队列中取出任务时，先取出优先级最高的任务。通过该技术方案，通过优先级调节，保证了任务执行的次序。

在上述技术方案中，优选地，在所述步骤110中，所述任务通过线程池提供的线程执行。

在上述技术方案中，优选地，在所述步骤110中，所述当前执行任务占用所述线程池的所有线程时，使所述任务进入等待状态，直至所述线程池中存在空余线程，使用所述空余线程执行所述任务。通过该技术方案，可以很好地控制***的伸缩性。

在上述技术方案中，优选地，处于所述等待状态的所有任务均具有优先级，在所述线程池里仅出现一个空余线程时，将所述一个空余线程用于执行优先级最高的任务。通过该技术方案，使得等待队列中的任务也具有优先级。

在上述技术方案中，优选地，所述步骤108中，所述任务具有多个同步属性，以及在当前执行任务中存在对应任务的不同同步属性的多个排他任务，根据所述不同同步属性的优先程度，将所述任务分配至优先程度最高的同步属性对应的排他队列，排他队列包括：全局排他队列，所述全局排他队列中的任务只能单独执行；类别排他队列，所述类别排他队列中的任务不能与所述类别排他队列对应类型的任务同时执行。

通过上述技术方案，通过实现同步队列将具有约束关系的任务进行同步排队，避免了任务之间的竞争，然后利用优先级调节队列中任务的执行滞后性，同时通过等待队列和设置任务数可同时执行任务的最大数目，使负载能力可控，具有良好的***伸缩性。

本发明还提供了一种任务处理装置，包括：调度模块，判断输入的任务是否具有同步属性，在所述任务具有同步属性时，将所述任务提交至同步控制模块，在所述任务不具有同步属性时，将所述任务提交至任务执行模块；所述同步控制模块，根据所述任务的同步属性，在当前执行任务中查找所述任务对应的排他任务，并在所述当前执行任务中不存在所述任务对应的排他任务时，将所述任务通过所述调度模块提交至所述任务执行模块；所述任务执行模块，执行所述任务。通过该技术方案，可以避免同时执行任务时由于相互竞争导致对***资源的争夺，保证了执行任务的次序和效率，合理利用计算机的***资源。

在上述技术方案中，优选地，还包括：同步队列模块，提供排他队列，所述同步控制模块在当前执行任务中存在所述任务对应的排他任务时，根据所述任务的同步属性，通过所述同步队列模块将所述任务分配至对应的排他队列，在所述当前执行任务中不存在所述任务对应的排他任务时，通过所述同步队列模块从所述任务对应的排他队列里取出所述任务，由所述调度模块将所述任务提交至所述任务执行模块，以待执行。

在上述技术方案中，优选地，所述同步队列模块还供用户制定不同类型的排他队列。通过该技术方案，使得任务的处理更加灵活。

通过上述技术方案，通过实现同步队列将具有约束关系的任务进行同步排队，避免了任务之间的竞争，然后利用优先级调节队列中任务的执行滞后性，同时通过等待队列和设置任务数可同时执行任务的最大数目，使负载能力可控，具有良好的***伸缩性。

附图说明

图1是根据本发明的一个实施例的任务处理方法的流程图；

图2是根据本发明的一个实施例的任务处理装置的框图；

图3是根据本发明的一个实施例的任务处理装置的功能模块示意图；

图4是根据本发明的一个实施例的任务处理装置的任务执行模块以状态机方式工作的运行示意图；以及

图5是根据本发明的一个实施例的任务处理方法的流程图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开的具体实施例的限制。

图1是根据本发明的一个实施例的任务处理方法的流程图。

如图1所示，根据本发明的实施例的任务处理方法包括：步骤102，接收输入的任务；步骤104，判断所述任务是否具有同步属性，在所述任务具有同步属性时，进入步骤106，在所述任务不具有同步属性时，进入步骤110；所述步骤106，根据所述任务的同步属性，在当前执行任务中查找所述任务对应的排他任务；步骤108，在当前执行任务中存在所述任务对应的排他任务时，不执行所述任务，直至所述当前执行任务中不存在所述任务对应的排他任务，所述步骤110，执行所述任务。通过这样的技术方案，可以避免同时执行任务时由于相互竞争导致对***资源的争夺，保证了执行任务的次序和效率，合理利用计算机的***资源。

在上述技术方案中，所述步骤108中，在当前执行任务中存在所述任务对应的排他任务时，根据所述任务的同步属性，将所述任务分配至对应的排他队列，在所述当前执行任务中不存在所述任务对应的排他任务时，从所述任务对应的排他队列里取出所述任务，以待执行。

在上述技术方案中，排他队列中的所有任务均具有优先级，从所述排他队列中取出任务时，先取出优先级最高的任务。这样，通过优先级调节，保证了任务执行的次序。

在上述技术方案中，在所述步骤110中，所述任务通过线程池提供的线程执行。

在上述技术方案中，在所述步骤110中，所述当前执行任务占用所述线程池的所有线程时，使所述任务进入等待状态，直至所述线程池中存在空余线程，使用所述空余线程执行所述任务。因此，可以很好地控制***的伸缩性。

在上述技术方案中，处于所述等待状态的所有任务均具有优先级，在所述线程池里仅出现一个空余线程时，将所述一个空余线程用于执行优先级最高的任务。通过该技术方案，使得等待队列中的任务也具有优先级。

在上述技术方案中，所述步骤108中，所述任务具有多个同步属性，以及在当前执行任务中存在对应任务的不同同步属性的多个排他任务，根据所述不同同步属性的优先程度，将所述任务分配至优先程度最高的同步属性对应的排他队列，排他队列包括：全局排他队列，所述全局排他队列中的任务只能单独执行；类别排他队列，所述类别排他队列中的任务不能与所述类别排他队列对应类型的任务同时执行。

通过上述技术方案，通过实现同步队列将具有约束关系的任务进行同步排队，避免了任务之间的竞争，然后利用优先级调节队列中任务的执行滞后性，同时通过等待队列和设置任务数可同时执行任务的最大数目，使负载能力可控，具有良好的***伸缩性。

图2是根据本发明的一个实施例的任务处理装置的框图。

如图2所示，根据本发明的实施例的任务处理装置200包括：调度模块202，判断输入的任务是否具有同步属性，在所述任务具有同步属性时，将所述任务提交至同步控制模块，在所述任务不具有同步属性时，将所述任务提交至任务执行模块；所述同步控制模块204，根据所述任务的同步属性，在当前执行任务中查找所述任务对应的排他任务，并在所述当前执行任务中不存在所述任务对应的排他任务时，将所述任务通过所述调度模块提交至所述任务执行模块；所述任务执行模块206，执行所述任务。通过这样的技术方案，可以避免同时执行任务时由于相互竞争导致对***资源的争夺，保证了执行任务的次序和效率，合理利用计算机的***资源。

在上述技术方案中，还可以包括：同步队列模块，提供排他队列，所述同步控制模块在当前执行任务中存在所述任务对应的排他任务时，根据所述任务的同步属性，通过所述同步队列模块将所述任务分配至对应的排他队列，在所述当前执行任务中不存在所述任务对应的排他任务时，通过所述同步队列模块从所述任务对应的排他队列里取出所述任务，由所述调度模块将所述任务提交至所述任务执行模块，以待执行。

在上述技术方案中，所述同步队列模块还供用户制定不同类型的排他队列。因此，使得任务的处理更加灵活。

通过上述技术方案，通过实现同步队列将具有约束关系的任务进行同步排队，避免了任务之间的竞争，然后利用优先级调节队列中任务的执行滞后性，同时通过等待队列和设置任务数可同时执行任务的最大数目，使负载能力可控，具有良好的***伸缩性。

图3是根据本发明的一个实施例的任务处理装置的功能模块示意图。

如图3所示，调度控制模块302(相当于图2实施例中的调度模块202)：作为中央控制模块，通过协调同步控制模块304和任务执行模块306控制任务的同步和执行。

同步控制模块304：负责同步任务的同步控制(出入队)，并根据同步状态提供可执行任务。

任务执行模块306：以状态机的模式负责任务的具体执行。状态机如图4所示，分为三种状态：空闲(Idle)，可运行(Running)，已满载(Overflow)。

同步队列模块308：同步策略的具体实现，可提供多种同步策略，如排他同步，类别同步等，通过队列的方式实现各种同步行为。

等待队列模块312：为可执行的任务提供伸缩性支持。

优先级控制模块310：以优先队列的方式负责为同步队列和等待队列提供优先级控制。

其中，图4是根据本发明的一个实施例的任务处理装置的任务执行模块以状态机方式工作的运行示意图。Idle状态即表明任务执行模块306无任何任务在执行，当有任务派发过来时即转化为Running状态，Running状态即表明有任务在任务执行模块306运行，但还有空余线程可用，当正在运行的任务已达最大数目Running状态即转化为Overflow状态，处于Idle或Running状态下，任务执行模块306收到派发的任务后将立即执行，处于Overflow状态下，将任务入队到等待队列模块312(这样就可以很好的控制***的伸缩性)，直到当前某个执行的任务完成后，状态又将重新转化为Running状态，然后从等待队列中出队任务进行执行，同样，当任务全部完成，状态又将转化为Idle状态，循环往复执行；任务的执行是在操作***线程池上，因此任务的执行和整个调度过程是异步的，不会阻塞调度线程，同时用户可以通过任务执行模块306动态指定***执行任务的最大数目。

图5是根据本发明的一个实施例的任务处理方法的流程图。

如图5所示，在步骤502，输入需要处理的任务。

在步骤504，以时间间隔的方式通过接口或查询数据源获得一批任务，根据任务的属性判断是否将任务进行同步控制，是则进入步骤506，否则进入步骤518。

在步骤506，将任务进行同步控制。

在步骤508，根据任务的属性判断是否为排他同步，是则进入步骤510，否则进入步骤512。

在步骤510，将任务排入全局排他队列。

在步骤512，判断任务是否为类别同步，是则进入步骤514，否则进入步骤516。

在步骤514，将任务排入类别同步队列。

在步骤516，将任务进行其他同步处理。

在步骤518，将任务派送并执行。

在步骤520，判断任务是否处于可执行状态，是则进入步骤522，否则进入步骤524。

在步骤522，将任务排入等待队列。

在步骤524，按照图4所示的运行流程，执行该任务。

在这里，需要说明的是，将入队任务进行同步控制时，使用不同的同步策略的队列来控制任务的同步等待。同步队列包括：全局排他队列，指的是该类任务在一台计算机上在同一时间只能单独执行，不允许其他任务同时执行，进入条件为只要当前正在执行的任务中有全局排他任务，其他任务就必须进入该队列进行同步等待；类别排他队列，指的是按照用户定义的某种分类，只要属于该分类的任务在当前***执行，那么就必须进入该分类的队列进行同步等待。其他同步队列，指的是由于本发明具有扩展性，用户可以定义具有其他同步策略的队列。

任一个同步队列的实现都遵循如下规则：

1.队列分为两种状态：a)就绪状态b)同步状态；

2.处于就绪状态下，可以进行入队操作，也可以进行出队操作，如果是出队操作队列状态转化为同步状态；

3.处于同步状态下，可以入队，但不能出队，如果收到同步控制信号，队列状态转换为就绪状态；

通过如上规则，从抽象的角度定义了同步的语义，而把每个任务具体需要与哪个或哪类任务同步留给了各个队列去具体实现。通过遍历处于就绪状态同步队列，对其进行出队操作，得到的任务排队即为可执行任务列表。

需要注意的是，在混合同步模式下，即该任务可能需要通过多个同步队列进行同步控制时，可能会丧失一部分时序上的优先，导致任务执行滞后。如某任务A先进入全局排他队列，一分钟后某任务B紧接着直接进入类别同步队列，假设任务A和B在任务本身的优先级别上是一致的，那么现在任务A在时序上要提前于任务B，按照时序优先的原则，任务A应该优先于任务B，然后全局排他队列接到同步通知释放任务A，任务A接着进入类别同步队列(晚于任务B进入该队列的时间)，这时为了保障任务A的执行顺序领先于任务B，就将通过优先级控制提高任务A的优先级别。同样的，等待队列中的任务在经过了同步控制之后也丧失了时序上的优先，同样为了解决此问题，等待队列也需要调节优先级。

另外，当一个任务执行完之后，该任务所在的线程将回调并通知该任务的结束同步，接到通知后，按该任务的属性找到该任务对应的同步队列，然后通知该队列结束同步，导致同步队列状态发生改变，接着再检索处于就绪状态的队列返回可执行任务列表，再将这些任务进行任务执行，重复图4所示的执行方法。

通过上述技术方案，可以实现一种任务处理方法和装置，其具有下列优点：

1.将有约束关系的任务进行排队，使其按顺序执行，避免了同时执行时由于相互竞争导致对***资源的争夺，既达到了同步的目的，同时又提高了***效率。

2.可扩展的可混合的多阶段同步队列实现方法，可以支持多种同步队列并且混合使用，同时通过优先级调节保证了任务执行的次序问题。

3.利用设置最大任务数和等待队列，通过排队的方式来控制***的伸缩性，使负载能力可控，能更合理的利用计算机的***资源。

4.提出基于状态机模式的任务执行方法，相对于传统的通过一个轮询线程间隔的从队列获取任务，由于其不需要轮询线程，其可靠性和效率都大幅提高。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种任务处理方法，其特征在于，包括：

步骤102，接收输入的任务；

步骤104，判断所述任务是否具有同步属性，在所述任务具有同步属性时，进入步骤106，在所述任务不具有同步属性时，进入步骤110；

所述步骤106，根据所述任务的同步属性，在当前执行任务中查找所述任务对应的排他任务；

步骤108，在当前执行任务中存在所述任务对应的排他任务时，不执行所述任务，直至所述当前执行任务中不存在所述任务对应的排他任务，

所述步骤110，执行所述任务。

2.根据权利要求1所述的任务处理方法，其特征在于，所述步骤108中，在当前执行任务中存在所述任务对应的排他任务时，根据所述任务的同步属性，将所述任务分配至对应的排他队列，在所述当前执行任务中不存在所述任务对应的排他任务时，从所述任务对应的排他队列里取出所述任务，以待执行。

3.根据权利要求2所述的任务处理方法，其特征在于，排他队列中的所有任务均具有优先级，从所述排他队列中取出任务时，先取出优先级最高的任务。

4.根据权利要求2所述的任务处理方法，其特征在于，在所述步骤110中，所述任务通过线程池提供的线程执行。

5.根据权利要求4所述的任务处理方法，其特征在于，在所述步骤110中，所述当前执行任务占用所述线程池的所有线程时，使所述任务进入等待状态，直至所述线程池中存在空余线程，使用所述空余线程执行所述任务。

6.根据权利要求5所述的任务处理方法，其特征在于，处于所述等待状态的所有任务均具有优先级，在所述线程池里仅出现一个空余线程时，将所述一个空余线程用于执行优先级最高的任务。

7.根据权利要求2至6中任一项所述的任务处理方法，其特征在于，所述步骤108中，所述任务具有多个同步属性，以及在当前执行任务中存在对应任务的不同同步属性的多个排他任务，根据所述不同同步属性的优先程度，将所述任务分配至优先程度最高的同步属性对应的排他队列，

排他队列包括：

全局排他队列，所述全局排他队列中的任务只能单独执行；

类别排他队列，所述类别排他队列中的任务不能与所述类别排他队列对应类型的任务同时执行。

8.一种任务处理装置，其特征在于，包括：

调度模块，判断输入的任务是否具有同步属性，在所述任务具有同步属性时，将所述任务提交至同步控制模块，在所述任务不具有同步属性时，将所述任务提交至任务执行模块；

所述同步控制模块，根据所述任务的同步属性，在当前执行任务中查找所述任务对应的排他任务，并在所述当前执行任务中不存在所述任务对应的排他任务时，将所述任务通过所述调度模块提交至所述任务执行模块；

所述任务执行模块，执行所述任务。

9.根据权利要求8所述的任务处理装置，其特征在于，还包括：

同步队列模块，提供排他队列，所述同步控制模块在当前执行任务中存在所述任务对应的排他任务时，根据所述任务的同步属性，通过所述同步队列模块将所述任务分配至对应的排他队列，在所述当前执行任务中不存在所述任务对应的排他任务时，通过所述同步队列模块从所述任务对应的排他队列里取出所述任务，由所述调度模块将所述任务提交至所述任务执行模块，以待执行。

10.根据权利要求9所述的任务处理装置，其特征在于，所述同步队列模块还供用户制定不同类型的排他队列。

Images