CN102915254B - 任务管理方法及装置 - Google Patents

Abstract

本发明公开了一种任务管理方法及装置。该方法包括：服务器端获取任务的优先级信息，根据优先级信息将任务存储到相应优先级的分布式消息队列中；服务器端根据***资源空闲信息将相应任务从分布式消息队列中调出并分配相应的***资源。借助于本发明的技术方案，使服务器端能够保存和运行大量由传统客户端管理执行的任务，使需要较长时间关注和占用大量客户端资源的任务能够稳定的运行在服务器端，使所有任务从创建到调度完成的生命周期内能够被高效、合理的执行。

Description

任务管理方法及装置

技术领域

本发明涉及计算机领域，特别是涉及一种任务管理方法及装置。

背景技术

在现有技术中，传统的任务管理方式是在本地电脑上安装软件客户端，任务的开始、执行和结束由本地人为进行控制管理。如果任务执行时间比较长，例如，对网络资源的下载，该任务可能会持久的占用本地中央处理器(CentralProcessing Unit，简称为CPU)、内存、以及网络带宽等资源。

传统的任务调度管理比较关注于任务调度算法，通过更优化算法来高效率对大量并发任务进行实时处理。上述处理方式使得任务的数量规模相对较小，且任务的运行一般由操作***进行调度，在形式上限制了任务源的范围。

随着天河、星云等高性能超级计算机的研制，引领服务器硬件处理能力逐步增强，同时云计算技术的研究和发展，大型数据中心或者服务器能够提供的计算能力越来越强。因此，目前急需一种任务信息调度方法，使服务器端能够保存和运行大量由传统客户端管理执行的任务，使需要较长时间关注和占用大量客户端资源的任务能够稳定的运行在服务器端。

发明内容

本发明提供一种任务管理方法及装置，使服务器端能够保存和运行大量由传统客户端管理执行的任务，使需要较长时间关注和占用大量客户端资源的任务能够稳定的运行在服务器端。

本发明提供一种任务管理方法，包括：

服务器端获取任务的优先级信息，根据优先级信息将任务存储到相应优先级的分布式消息队列中；

服务器端根据***资源空闲信息将相应任务从分布式消息队列中调出并分配相应的***资源。

本发明还提供了一种任务管理装置，位于服务器端，包括：

任务收集模块，用于获取任务的优先级信息，根据优先级信息将任务发送到相应优先级的分布式消息队列中；

分布式消息队列，用于在不同优先级的分布式消息队列中存储相应优先级的任务；

任务调度模块，用于根据***资源空闲信息将相应任务从分布式消息队列中调出并分配相应的***资源。

本发明有益效果如下：

通过将任务存储到相应优先级的分布式消息队列中进行调度和***资源分配，使服务器端能够保存和运行大量由传统客户端管理执行的任务，使需要较长时间关注和占用大量客户端资源的任务能够稳定的运行在服务器端，使所有任务从创建到调度完成的生命周期内能够被高效、合理的执行。

附图说明

图1是本发明实施例的任务管理方法的流程图；

图2是本发明实施例的任务管理方法的优选***组成的示意图；

图3是本发明实施例的任务管理方法的优选处理流程图；

图4是本发明实施例的任务管理方法的详细处理的流程图；

图5是本发明实施例的任务管理装置的结构示意图。

具体实施方式

本发明提供了一种任务管理方法及装置，使服务器端能够保存和运行大量由传统客户端管理执行的任务，使需要较长时间关注和占用大量客户端资源的任务能够稳定的运行在服务器端，以实现服务器端任务的安全存储和调度。本发明实施例的技术方案包括将任务存入分布式消息队列的流程和通过调度策略将任务移出队列的流程。以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不限定本发明。

方法实施例

根据本发明的实施例，提供了一种任务管理方法，图1是本发明实施例的任务管理方法的流程图，如图1所示，根据本发明实施例的任务管理方法包括如下处理：

步骤101，服务器端获取任务的优先级信息，根据优先级信息将任务存储到相应优先级的分布式消息队列中；需要说明的是，上述分布式消息队列可以配置为具有持久化能力的存储消息队列，也可以配置为非持久化存储消息队列，如果将分布式消息队列配置为具有持久化能力的存储消息队列，在异常或者可预料的情况下能够防止队列中的任务丢失。此外，上述分布式消息队作为任务信息对象的存储容器，是分布式的多个具有指定优先级的先进先出队列(也就是说，上述分布式消息队列可以为先进先出的分布式消息队列)；并且，上述分布式消息队可以实现主动推送功能，在收到调度信号时，将被调度队列的队首信息挤出队列，或者将高优先级队列的队首任务主动发送到服务器端。

具体地，在步骤101中，服务器端获取任务的优先级信息时，具体包括如下处理：1、在任务没有携带优先级信息的情况下，服务器端根据任务的特征信息，为任务分配相应的优先级，并获取相应的优先级信息；2、在任务携带有优先级信息的情况下，服务器端直接获取任务中携带的优先级信息。

也就是说，在步骤101中，服务器端通过一种优先级策略，将任务加入相应优先级队列。

步骤102，服务器端根据***资源空闲信息将相应任务从分布式消息队列中调出并分配相应的***资源。

步骤102具体包括如下处理：1、在根据***资源空闲信息确定***资源能够执行任务的情况下，服务器端通知相应的分布式消息队列，接收该分布式消息队列推送的位于队列首位的任务，并分配相应的***资源执行该任务；或者，服务器端主动从分布式消息队列的高优先级分布式消息队列的队列首位获取任务，并分配相应的***资源执行该任务；2、在根据***资源空闲信息确定***资源不能够执行任务的情况下，服务器端隔离分布式消息队列，禁止接收分布式消息队列推送的任务。

也就是说，当任务所需资源可以获得时，服务器端通知分布式消息队列，分布式消息队列按优先级推送任务，服务器端分配相应资源执行该任务；当任务所需资源都已被占用时，服务器端隔离消息队列，不再接收队列任务。当资源空闲时，服务器端还可以主动从某一高优先级队列中的获取任务。

在实际应用中，在需要执行高优先级任务的情况下，服务器端将当前执行的低优先级任务的任务状态从运行状态转换为等待状态，根据任务状态重新将低优先级任务存储到相应优先级的分布式消息队列中，并执行高优先级任务。

优选地，在执行步骤102之前，服务器端可以将最高优先级的分布式消息队列中的任务存储到其他分布式消息队列中，并将当前需要执行的高优先级任务存储到最高优先级的分布式消息队列的队首位置，再将存储到其他分布式消息队列中的任务存储到最高优先级的分布式消息队列中高优先级任务的后面。也就是说，本发明实施例的上述处理通过一种替换策略，能够优先保证高优先级任务抢占执行。

在步骤102之后，服务器端可以根据当前执行任务的运行状态，重新计算当前执行任务的优先级，根据计算结果提高或者降低当前执行任务的优先级，并根据当前执行任务的优先级设置当前执行任务的任务状态；在任务状态设置为等待状态的情况下，服务器端重新将当前执行任务存储到相应优先级的分布式消息队列中，在任务状态设置为运行状态的情况下，服务器端继续执行当前执行任务。

以下结合附图对本发明实施例的上述技术方案进行详细说明。

图2是本发明实施例的任务管理方法的优选***组成的示意图，如图2所示，在本实例中，可以创建五个具有不同优先级的常驻分布式消息队列，即，分布式消息队列-1、分布式消息队列-2、分布式消息队列-3、分布式消息队列-4、分布式消息队列-5；在实际应用中，当然也可以创建更多个适合应用的分布式消息队列，也可以根据任务的特征属性即时的创建相应优先级的分布式消息队列，还可以随时的销毁无任务的分布式消息队列，使服务器端的调度搜索维持在一个较小的范围，提高响应的效率。如图2所示，任务源-1、任务源-2、......、任务源-N将产生的任务发送到服务器端，服务器端进行任务收集，随后，根据任务的优先级信息，将任务分别存储在相应的分布式消息队列中，最后，服务器端根据***资源的空闲情况，从分布式消息队列中进行任务调度。

图3是本发明实施例的任务管理方法的优选处理流程图，如图3所示，服务器端进行任务收集后，根据任务的高、中、低优先级信息，将任务分别存储在高优先级分布式消息队列、中优先级分布式消息队列、以及低优先级分布式消息队列中，随后，服务器端根据***资源的空闲情况，从分布式消息队列中进行任务调度。需要说明的是，本实例将任务的入分布式消息队列的处理包括两种情况：情况一、服务器端在确认任务优先级后存入队列的任务；二、任务调度模块允许高优先级任务换出低优先级的任务，将任务的任务状态从运行状态转换为等待状态并重新放入分布式消息队列(即，虚线箭头所示的流程)。此外，服务器端还可以根据任务的运行状态通过加权、测算运行时间等方法提高或者降低任务的优先级，改变任务状态。

图4是本发明实施例的任务管理方法的详细处理的流程图，如图4所示，包括如下处理：

步骤1，任务源创建任务，任务调用服务器端进行任务收集的接口；

步骤2，服务器端接收任务源发送的任务，并对任务的优先级进行分析，获取任务的优先级信息；

步骤3，服务器端根据任务的优先级信息将任务存储到不同的分布式消息队列中；

步骤4，分布式消息队列主动推送任务给服务器端；

步骤5，服务器端可以根据任务的优先级，将低优先级的任务重新存储到分布式消息队列中，并将高优先级的任务调度出来；

步骤6，服务器端为调度出来的任务分配***资源；

步骤7，服务器端利用***资源执行该任务。

综上所述，本发明实施例的技术方案将任务源创建的任务按指定优先级存储于相应优先级的分布式消息队列中，分布式消息队列可以将任务推送出队列供调度执行，也可以等待任务被调度出队列。使得服务器端能够响应任务源发起的大数量的任务存储和调度，使所有任务从创建到调度完成的生命周期内能够被高效、合理的执行。此外，本发明实施例还灵活使用分布式消息队列的推送功能，使任务能够主动尝试申请资源执行，使任务的实时性进一步得到提高；本发明实施例通过将任务的流程概述为存入队列和调出队列执行，使任务的管理流程更加清晰，具有更好的扩展性和可实施性，使得现存和未来可能出现的任务存储和管理的实现能够更加的灵活。

装置实施例

根据本发明的实施例，提供了一种任务管理装置，图5是本发明实施例的任务管理装置的结构示意图，如图5所示，根据本发明实施例的任务管理装置包括：任务收集模块50、分布式消息队列52、任务调度模块54，以下对本发明实施例的各个模块进行详细的说明。

任务收集模块50，用于获取任务的优先级信息，根据优先级信息将任务发送到相应优先级的分布式消息队列52中；

任务收集模块50具体用于：在任务没有携带优先级信息的情况下，根据任务的特征信息，为任务分配相应的优先级，并获取相应的优先级信息；在任务携带有优先级信息的情况下，直接获取任务中携带的优先级信息；也就是说，任务收集模块50通过一种优先级策略，将任务加入相应优先级队列。

也就是说，任务收集模块50作为任务创建源和分布式消息队列52之间的枢纽模块，负责在收到的任务分析其特征信息后分配优先级或者根据任务携带的优先级，将任务发送到相应优先级的分布式队列；能够将任务区分优先级存入分布式消息队列52。

分布式消息队列52，用于在不同优先级的分布式消息队列中存储相应优先级的任务；

需要说明的是，上述分布式消息队列52可以配置为具有持久化能力的存储消息队列，也可以配置为非持久化存储消息队列，如果将分布式消息队列52配置为具有持久化能力的存储消息队列，在异常或者可预料的情况下能够防止队列中的任务丢失。此外，上述分布式消息队列52作为任务信息对象的存储容器，是分布式的多个具有指定优先级的先进先出队列(也就是说，上述分布式消息队列可以为先进先出的分布式消息队列)；并且，上述分布式消息队列52可以实现主动推送功能，在收到调度信号时，将被调度队列的队首信息挤出队列，或者将高优先级队列的队首任务主动发送到服务器端。

分布式消息队列52进一步用于：将最高优先级的分布式消息队列中的任务存储到其他分布式消息队列中，并将当前需要执行的高优先级任务存储到最高优先级的分布式消息队列的队首位置，再将存储到其他分布式消息队列中的任务存储到最高优先级的分布式消息队列中高优先级任务的后面。本发明实施例的上述处理通过一种替换策略，能够优先保证高优先级任务抢占执行。

任务调度模块54，用于根据***资源空闲信息将相应任务从分布式消息队列中调出并分配相应的***资源。

任务调度模块54具体用于：在根据***资源空闲信息确定***资源能够执行任务的情况下，通知相应的分布式消息队列52，接收该分布式消息队列52推送的位于队列首位的任务，并分配相应的***资源执行该任务；或者，主动从分布式消息队列52的高优先级分布式消息队列的队列首位获取任务，并分配相应的***资源执行该任务；在根据***资源空闲信息确定***资源不能够执行任务的情况下，隔离分布式消息队列，禁止接收分布式消息队列52推送的任务。

也就是说，当任务所需资源可以获得时，任务调度模块54通知分布式消息队列52，分布式消息队列52按优先级推送任务，任务调度模块54分配相应资源执行该任务；当任务所需资源都已被占用时，任务调度模块54隔离消息队列52，不再接收队列任务。当资源空闲时，任务调度模块54还可以主动从某一高优先级队列中的获取任务。

任务调度模块54进一步用于：在需要执行高优先级任务的情况下，将当前执行的低优先级任务的任务状态从运行状态转换为等待状态，将低优先级任务发送给任务收集模块50，并执行高优先级任务；根据当前执行任务的运行状态，重新计算当前执行任务的优先级，根据计算结果提高或者降低当前执行任务的优先级，并根据当前执行任务的优先级设置当前执行任务的任务状态；在任务状态设置为等待状态的情况下，将当前执行任务发送到任务收集模块50，在任务状态设置为运行状态的情况下，继续执行当前执行任务；

综上所述，任务调度模块54负责调度保存在分布式消息队列52中的任务，并管理其所拥有的资源保证任务执行。

以下结合附图对本发明实施例的上述技术方案进行详细说明。

如图2所示，在本实例中，可以创建五个具有不同优先级的常驻分布式消息队列，即，分布式消息队列-1、分布式消息队列-2、分布式消息队列-3、分布式消息队列-4、分布式消息队列-5；在实际应用中，当然也可以创建更多个适合应用的分布式消息队列，也可以根据任务的特征属性即时的创建相应优先级的分布式消息队列，还可以随时的销毁无任务的分布式消息队列，使任务调度模块54的调度搜索维持在一个较小的范围，提高响应的效率。如图2所示，任务源-1、任务源-2、......、任务源-N将产生的任务发送到任务收集模块50，任务收集模块50进行任务收集，随后，根据任务的优先级信息，将任务分别存储在相应的分布式消息队列52中，最后，任务调度模块54根据***资源的空闲情况，从分布式消息队列中进行任务调度。

如图3所示，任务收集模块50进行任务收集后，根据任务的高、中、低优先级信息，将任务分别存储在高优先级分布式消息队列、中优先级分布式消息队列、以及低优先级分布式消息队列中，随后，任务调度模块54根据***资源的空闲情况，从分布式消息队列52中进行任务调度。需要说明的是，本实例将任务的入分布式消息队列52的处理包括两种情况：情况一、任务收集模块50在确认任务优先级后存入队列的任务；二、任务调度模块54允许高优先级任务换出低优先级的任务，将任务的任务状态从运行状态转换为等待状态并重新放入分布式消息队列52(即，虚线箭头所示的流程)。此外，任务调度模块54还可以根据任务的运行状态通过加权、测算运行时间等方法提高或者降低任务的优先级，改变任务状态。

图4是本发明实施例的任务管理方法的详细处理的流程图，如图4所示，包括如下处理：

步骤1，任务源创建任务，任务调用任务收集模块50进行任务收集的接口；

步骤2，任务收集模块50接收任务源发送的任务，并对任务的优先级进行分析，获取任务的优先级信息；

步骤3，任务收集模块50根据任务的优先级信息将任务存储到不同的分布式消息队列52中；

步骤4，分布式消息队列52主动推送任务给任务调度模块54；

步骤5，任务调度模块54可以根据任务的优先级，将低优先级的任务重新存储到分布式消息队列中，并将高优先级的任务调度出来；

步骤6，任务调度模块54为调度出来的任务分配***资源；

步骤7，服务器端利用***资源执行该任务。

综上所述，本发明实施例的技术方案将任务源创建的任务按指定优先级存储于相应优先级的分布式消息队列中，分布式消息队列可以将任务推送出队列供调度执行，也可以等待任务被调度出队列。使得服务器端能够响应任务源发起的大数量的任务存储和调度，使所有任务从创建到调度完成的生命周期内能够被高效、合理的执行。此外，本发明实施例还灵活使用分布式消息队列的推送功能，使任务能够主动尝试申请资源执行，使任务的实时性进一步得到提高；本发明实施例通过将任务的流程概述为存入队列和调出队列执行，使任务的管理流程更加清晰，具有更好的扩展性和可实施性，使得现存和未来可能出现的任务存储和管理的实现能够更加的灵活。

尽管为示例目的，已经公开了本发明的优选实施例，本领域的技术人员将意识到各种改进、增加和取代也是可能的，因此，本发明的范围应当不限于上述实施例。

Claims (9)

1.一种任务管理方法，其特征在于，包括：

服务器端获取任务的优先级信息，根据所述优先级信息将所述任务存储到相应优先级的分布式消息队列中；

所述服务器端根据***资源空闲信息将相应任务从所述分布式消息队列中调出并分配相应的***资源；

所述服务器端根据***资源空闲信息将相应任务从所述分布式消息队列中调出并分配相应的***资源具体包括：

在根据所述***资源空闲信息确定***资源能够执行任务的情况下，所述服务器端通知相应的分布式消息队列，接收该分布式消息队列推送的位于队列首位的任务，并分配相应的***资源执行该任务；或者，所述服务器端主动从所述分布式消息队列的高优先级分布式消息队列的队列首位获取任务，并分配相应的***资源执行该任务；

在根据所述***资源空闲信息确定***资源不能够执行任务的情况下，所述服务器端隔离所述分布式消息队列，禁止接收所述分布式消息队列推送的任务。

2.如权利要求1所述的方法，其特征在于，所述服务器端获取任务的优先级信息具体包括：

在所述任务没有携带优先级信息的情况下，所述服务器端根据所述任务的特征信息，为所述任务分配相应的优先级，并获取相应的优先级信息；

在所述任务携带有所述优先级信息的情况下，所述服务器端直接获取所述任务中携带的优先级信息。

3.如权利要求1所述的方法，其特征在于，所述分布式消息队列为：先进先出的分布式消息队列。

4.如权利要求1所述的方法，其特征在于，所述方法还包括：

在需要执行高优先级任务的情况下，所述服务器端将当前执行的低优先级任务的任务状态从运行状态转换为等待状态，根据所述任务状态重新将所述低优先级任务存储到相应优先级的分布式消息队列中，并执行所述高优先级任务。

5.如权利要求1所述的方法，其特征在于，所述服务器端根据***资源空闲信息将相应任务从所述分布式消息队列中调出并分配相应的***资源之后，所述方法还包括：

所述服务器端根据当前执行任务的运行状态，重新计算所述当前执行任务的优先级，根据计算结果提高或者降低所述当前执行任务的优先级，并根据所述当前执行任务的优先级设置所述当前执行任务的任务状态；

在所述任务状态设置为等待状态的情况下，所述服务器端重新将所述当前执行任务存储到相应优先级的分布式消息队列中，在所述任务状态设置为运行状态的情况下，所述服务器端继续执行所述当前执行任务。

6.如权利要求1所述的方法，其特征在于，所述服务器端根据***资源空闲信息将相应任务从所述分布式消息队列中调出并分配相应的***资源之前，所述方法还包括：

所述服务器端将最高优先级的分布式消息队列中的任务存储到其他分布式消息队列中，并将当前需要执行的高优先级任务存储到所述最高优先级的分布式消息队列的队首位置，再将存储到其他分布式消息队列中的所述任务存储到所述最高优先级的分布式消息队列中所述高优先级任务的后面。

7.一种任务管理装置，其特征在于，位于服务器端，所述装置包括：

任务收集模块，用于获取任务的优先级信息，根据所述优先级信息将所述任务发送到相应优先级的分布式消息队列中；

所述分布式消息队列，用于在不同优先级的分布式消息队列中存储相应优先级的任务；

任务调度模块，用于根据***资源空闲信息将相应任务从所述分布式消息队列中调出并分配相应的***资源；

所述任务调度模块具体用于：在根据所述***资源空闲信息确定***资源能够执行任务的情况下，通知相应的分布式消息队列，接收该分布式消息队列推送的位于队列首位的任务，并分配相应的***资源执行该任务；或者，主动从所述分布式消息队列的高优先级分布式消息队列的队列首位获取任务，并分配相应的***资源执行该任务；在根据所述***资源空闲信息确定***资源不能够执行任务的情况下，隔离所述分布式消息队列，禁止接收所述分布式消息队列推送的任务。

8.如权利要求7所述的装置，其特征在于，

所述任务收集模块具体用于：在所述任务没有携带优先级信息的情况下，根据所述任务的特征信息，为所述任务分配相应的优先级，并获取相应的优先级信息；在所述任务携带有所述优先级信息的情况下，直接获取所述任务中携带的优先级信息。

9.如权利要求7所述的装置，其特征在于，

所述任务调度模块进一步用于：在需要执行高优先级任务的情况下，将当前执行的低优先级任务的任务状态从运行状态转换为等待状态，将所述低优先级任务发送给所述任务收集模块，并执行所述高优先级任务；根据当前执行任务的运行状态，重新计算所述当前执行任务的优先级，根据计算结果提高或者降低所述当前执行任务的优先级，并根据所述当前执行任务的优先级设置所述当前执行任务的任务状态；在所述任务状态设置为等待状态的情况下，将所述当前执行任务发送到所述任务收集模块，在所述任务状态设置为运行状态的情况下，继续执行所述当前执行任务；

所述分布式消息队列进一步用于：将最高优先级的分布式消息队列中的任务存储到其他分布式消息队列中，并将当前需要执行的高优先级任务存储到所述最高优先级的分布式消息队列的队首位置，再将存储到其他分布式消息队列中的所述任务存储到所述最高优先级的分布式消息队列中所述高优先级任务的后面。