CN113157404B - 任务处理方法和装置 - Google Patents

Abstract

本发明公开了任务处理方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：接收任务请求，任务请求包括任务类别以及任务特征信息；根据任务特征信息，从预先设置的至少一组处理队列中，为任务请求分配一组处理队列，其中，每一组处理队列设置有至少两个特定任务队列，每一个特定任务队列关联有至少两个处理线程；将任务请求存放到与任务类别相匹配的目标特定任务队列；当任务请求满足预设的处理条件时，为任务请求选择一个空闲的线程，以处理任务请求。该实施方式能够快速的响应和处理任务请求。

Description

任务处理方法和装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种任务处理方法和装置。

背景技术

随着大数据时代的到来，很多企业采用HBase技术搭建的结构化存储集群(简称HBase集群)存储数据，以应对数据指数级增长。其中，HBase集群中的节点根据接收到的任务请求如读数据、写数据、扫描数据等，维护自身存储的数据表。

目前，HBase集群中的节点通过一组线程处理任务请求。而节点会同时接收到很多的任务请求，只能按先进先出的方式处理任务请求。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

HBase集群中的节点在采用一组线程处理任务请求，一旦出现异常，会导致后续重要的任务请求无法快速响应和处理。

发明内容

有鉴于此，本发明实施例提供一种任务处理方法和装置，为一个任务队列关联至少两个处理线程，一个线程出现异常后，其它线程还可以继续处理，能够快速的响应和处理任务请求。

为实现上述目的，根据本发明实施例的一个方面，提供了一种任务处理方法，包括：

接收任务请求，所述任务请求包括任务类别以及任务特征信息；

根据所述任务特征信息，从预先设置的至少一组处理队列中，为所述任务请求分配一组处理队列，其中，每一组所述处理队列设置有至少两个特定任务队列，每一个所述特定任务队列关联有至少两个处理线程；

将所述任务请求存放到与所述任务类别相匹配的目标特定任务队列；

当所述任务请求满足预设的处理条件时，从所述目标特定任务队列关联的至少两个处理线程中，为所述任务请求选择一个空闲的线程，以处理所述任务请求。

优选地，

所述处理队列的组数为至少两组，其中，每一组所述处理队列设置有对应的优先级准入条件；

所述任务特征信息包括任务优先级；

所述为所述任务请求分配一组处理队列，包括：

确定所述任务优先级所满足的目标优先级准入条件；

将所述任务请求分配给所述目标优先级准入条件对应的处理队列。

优选地，

任务处理方法，进一步包括：设置有一级调度器以及至少两个二级调度器，其中，所述二级调度器与所述处理队列相对应；

建立所述处理队列对应的优先级准入条件与对应的所述二级调度器之间的关联；

所述将所述任务请求分配给所述任务优先级满足的优先级准入条件对应的一组处理队列，包括：

根据所述关联，所述一级调度器将所述任务请求分配给目标二级调度器，其中，所述目标二级调度器为与所述任务优先级满足的优先级准入条件具有关联的二级调度器。

优选地，

任务处理方法，进一步包括：为所述二级调度器与对应的所述处理队列中的每一个所述特定任务队列构建调用关系；

所述将所述任务请求存放到与所述任务类别相匹配的目标特定任务队列，包括：

利用所述调用关系，所述目标二级调度器将所述任务请求存放到与所述任务类别相匹配的目标特定任务队列；

在所述目标特定任务队列中，根据所述任务请求中的时间戳，对属于同一个用户/业务表的多个所述任务请求进行排序。

优选地，

所述任务特征信息进一步包括任务权重；

所述将所述任务请求存放到与所述任务类别相匹配的目标特定任务队列，包括：

根据所述任务权重，在所述目标特定任务队列中，为所述任务请求确定存放位置；

将所述任务请求存放到所述存放位置，以使所述目标特定任务队列中存放的多个任务请求基于所述任务权重的高低排序。

优选地，

所述预设的处理条件包括：所述任务请求达到预设的处理时限；

任务处理方法，进一步包括：

针对每一个所述特定任务队列，执行：

为所述特定任务队列设置一个扫描线程和超时指针；

所述扫描线程检测所述特定任务队列中存放的每一个任务请求，以确定出达到处理时限的任务请求；

控制所述超时指针指向所述达到处理时限的任务请求。

优选地，

所述任务请求进一步包括数据表中的一个区域；

所述控制所述超时指针指向所述达到处理时限的任务请求，包括：

当达到处理时限的任务请求存在多个，且该多个达到处理时限的任务请求所包括的区域属于同一个数据表的任务请求时，

根据所述多个达到处理时限的任务请求在所述特定任务队列中的排列顺序，控制所述超时指针指向排列在最前的的达到处理时限的任务请求。

优选地，

在所述确定出达到处理时限的任务请求之后，进一步包括：

判断所述达到处理时限的任务请求进入所述特定任务队列的时间是否早于位于所述特定任务队列队首的任务请求进入所述特定任务队列的时间，如果是，则为所述达到处理时限的任务请求选择一个空闲的线程。

优选地，上述任务处理方法应用于分布式集群数据库HBase中的每一个节点，以使所述每一个节点设置有所述至少一组处理队列。

优选地，所述任务请求，包括：针对一个数据表中的一个数据区间的读请求、写请求以及扫描请求中的任意一个。

优选地，所述至少两个特定任务队列，包括：读队列、写队列以及扫描队列。

优选地，任务处理方法，进一步包括：

根据所述节点的CPU内核数量，计算每一组所述处理队列中的每一个所述特定任务队列关联的处理线程个数。

第二方面，本发明实施例提供一种任务处理装置，包括：调度模块和处理器，其中，

所述调度模块，用于接收任务请求，所述任务请求包括任务类别以及任务特征信息，将所述任务请求存放到与所述任务类别相匹配的目标特定任务队列；

所述处理器，用于根据所述任务特征信息，从预先设置的至少一组处理队列中，为所述任务请求分配一组处理队列，其中，每一组所述处理队列设置有至少两个特定任务队列，每一个所述特定任务队列关联有至少两个处理线程；当所述任务请求满足预设的处理条件时，从所述目标特定任务队列关联的至少两个处理线程中，为所述任务请求选择一个空闲的线程，以处理所述任务请求。

上述发明中的一个实施例具有如下优点或有益效果：因为预先设置的至少一组处理队列中，每一组处理队列设置有至少两个特定任务队列，而特定任务队列关联有至少两个处理线程，那么，在一个线程被占用或者占用线程的任务出现异常，其它线程仍可用来处理特定任务队列中的剩余的任务请求，克服了任务处理出现异常导致后续重要的任务请求无法快速响应和处理的技术问题。因此，本发明实施例提供的任务处理方案，在前序任务处理出现异常后，仍能够快速的响应和处理任务请求。进一步地，由于可对队列内的任务请求进行疏导，避免队列堵塞，从而维持了任务请求处理的稳定性。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的任务处理方法的主要流程的示意图；

图2是根据本发明实施例的各级调度器、处理队列以及特定任务队列之间关系的结构示意图；

图3是根据本发明实施例的为任务请求分配特定任务队列的主要流程的示意图；

图4是根据本发明实施例的为特定任务队列中的任务请求对应的任务调用线程的示意图；

图5是根据本发明实施例的特定任务队列中的任务请求对应的任务的示意图；

图6是根据本发明实施例的一种任务处理装置的主要模块的示意图；

图7是根据本发明另一实施例的一种任务处理装置的主要模块的示意图；

图8是本发明实施例可以应用于其中的示例性***架构图；

图9是适于用来实现本发明实施例的服务器的计算机***的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是根据本发明实施例的一种任务处理方法，如图1所示，该任务处理方法可包括如下步骤：

S101：接收任务请求，任务请求包括任务类别以及任务特征信息；

S102：根据任务特征信息，从预先设置的至少一组处理队列中，为任务请求分配一组处理队列，其中，每一组处理队列设置有至少两个特定任务队列，每一个特定任务队列关联有至少两个处理线程；

S103：将任务请求存放到与任务类别相匹配的目标特定任务队列；

S104：当任务请求满足预设的处理条件时，从目标特定任务队列关联的至少两个处理线程中，为任务请求选择一个空闲的线程，以处理任务请求。

值得说明的是，每一组处理队列中的特定任务队列的个数是相同的，比如，针对数据库来说，其一般针对业务表存在读任务、写任务、扫描任务，相应地，每一组处理队列中均包含有读任务队列、写任务队列以及扫描任务队列，即该读任务队列、写任务队列以及扫描任务队列均为特定任务队列。针对除数据库以外的其他任务如数据清洗任务、数据计算任务、数据更新任务等，则一个特定任务队列即为存放同一种类型任务的队列。

其中，至少一组处理队列和至少两个特定任务队列可通过在执行主体如分布式集群数据库HBase中的每一个节点、一个任务执行服务器、一个任务执行设备等的内存中划分出任务运行区域实现。

可以理解地，对于具有逻辑关系的任务，需按照逻辑关系执行该任务。比如，有业务表1的分区如区块a、区块b、区块c以及区块d，其中，区块a在区块b之前，区块b在区块c之前，区块c在区块d之前，这些区块之间存在先后逻辑关系，不管这些区块是被分配在不同组的处理队列中的特定任务队列，还是被分配在同一组处理队列中的同一特定任务队列，则仍可按照该逻辑关系为这些区块选择线程。

由于每一个特定任务队列关联有至少两个处理线程，则针对同一个特定任务队列中的多个任务请求或多个任务，可调用该至少两个处理线程进行处理。那么，在一个线程被堵或出现异常之后，剩余的线程仍可继续执行后续的任务，能够快速的响应和处理任务请求。

值得说明的是，每一个特定任务队列所对应的线程个数可以相等，也可以不相等，即可为任务请求比较多的特定任务队列关联比较多的线程，这样可以保证任务请求能够较快的被执行。

上述任务类别在任务请求中已经标识出来，比如针对分布式集群数据库HBase中的业务表的读请求、写请求以及扫描请求来说，其任务类别可分为读类别、写类别以及扫描类别。

在本发明另一实施例中，处理队列的组数为至少两组，其中，每一组处理队列设置有对应的优先级准入条件；任务特征信息包括任务优先级；相应地，上述为任务请求分配一组处理队列的具体实施方式可包括：确定任务优先级所满足的目标优先级准入条件；将任务请求分配给目标优先级准入条件对应的处理队列。

该优先级准入条件是指，每一个任务请求均标识有对应的优先级，则任务请求标识的优先级满足一组处理队列的优先级准入条件时，才准许该任务请求进入到该组处理队列中相应的特定任务队列。该优先级准入条件可以为一个优先级区间，也可以为一个阈值或者一个标识。比如，任务请求优先级划分为高优先级任务请求和普通任务请求，其中，高优先级任务请求对应标识为1，普通任务请求对应标识为0。相应地，两组处理队列的优先级准入条件即为标识1或0。又比如，任务优先级被划分为0、1、2、3、4以及5级，对于任务请求包括的任务特征信息中包含有该任务请求相应的优先级。相应地，三组处理队列的优先级准入条件分别为区间[0，2]、(2，4]以及(4，5]，即属于优先级0～2的任务请求会被分配到区间[0，2]对应的一组处理队列中，属于优先级2～4的任务请求会被分配到区间(2，4]对应的一组处理队列中，依次类推。针对优先级准入条件为一个阈值的，比如两组处理队列中处理队列1的优先级准入条件为小于等于X，处理队列2的优先级准入条件为大于X，则对于标识的优先级小于等于X的任务请求则分配给处理队列1，对于标识的优先级大于X的任务请求则分配给处理队列2。

在本发明一个实施例中，上述任务处理方法可进一步包括：设置有一级调度器以及至少两个二级调度器，其中，二级调度器与处理队列相对应；建立处理队列对应的优先级准入条件与对应的二级调度器之间的关联；

相应地，将任务请求分配给任务优先级满足的优先级准入条件对应的一组处理队列的具体实施方式可包括：根据关联，一级调度器将任务请求分配给到目标二级调度器，其中，目标二级调度器为与任务优先级满足的优先级准入条件具有关联的二级调度器。

在本发明一个实施例中，任务处理方法可进一步包括：为二级调度器与对应的处理队列中的每一个特定任务队列构建调用关系；

相应地，上述将任务请求存放到与任务类别相匹配的目标特定任务队列的具体实施方式可包括：利用调用关系，目标二级调度器将任务请求存放到与任务类别相匹配的目标特定任务队列；在目标特定任务队列中，根据任务请求中的时间戳，对属于同一个用户/业务表的多个任务请求进行排序。

通过上述一级调度器和至少两个二级调度器方便对每一组处理队列的管理，同时也方便对任务请求的管理。这是因为，每一个二级调度器对应一组处理队列，且二级调度器与处理队列一一对应，那么，每一组处理队列的优先级准入条件与其所对应的二级调度器关联，则一级调度器只需要找到与任务请求的优先级相匹配的优先级准入条件对应的二级调度器，而二级调度器则根据任务请求的任务类别，为任务请求分配对应的特定任务队列。比如对于分布式集群数据库HBase来说，其任务类别可分为读、写以及扫描，则一级调度器根据任务请求的优先级将任务请求分配给二级调度器。而一个二级调度器管理三个特定任务队列(读任务队列、写任务队列以及扫描任务队列)，则二级调度器将任务请求分配到相应的特定任务队列。

另外，一般来说，属于同一用户/业务表的多个任务请求的优先级是相同的，则属于同一用户/业务表的多个任务请求会被分配在同一个二级调度器，而对于属于同一用户/业务表且属于同一任务类别的多个任务请求比如业务表1对应的写任务请求1、写任务请求2、写任务请求3、…，会被分配在同一目标特定任务队列。相应地，在目标特定任务队列中，根据任务请求中的时间戳，属于同一个用户/业务表的且属于同一任务类别的多个任务请求进行排序。该排序一般是按照时间戳的先后顺序进行排序，即时间戳在先的，在目标特定任务队列排在前面，从而保证处理任务请求的逻辑有序性。其中，属于同一个用户/业务表可通过任务请求携带的用户标识或者业务表表头标识确定出来。

当划分的优先级多时，可设置更多的二级调度器，以使一个二级调度器管理一个优先级/优先级区间。

在本发明另一实施例中，上述任务处理方法可进一步包括：任务特征信息进一步包括任务权重；

相应地，上述将任务请求存放到与任务类别相匹配的目标特定任务队列的具体实施方式包括：根据任务权重，在目标特定任务队列中，为任务请求确定存放位置；将任务请求存放到存放位置，以使目标特定任务队列中存放的多个任务请求基于任务权重的高低排序。即使线程能够先处理任务权重高的任务请求。

上述将任务请求存放到存放位置，以使目标特定任务队列中存放的多个任务请求基于任务权重的高低排序的实现方式可以为：基于权重的高低对多个任务请求进行排序，根据排序的结果，将待存放任务请求存放到对应的存放位置，从而使权重高的排在权重低的前面。

上述将任务请求存放到存放位置，以使目标特定任务队列中存放的多个任务请求基于任务权重的高低排序的实现方式还可以为：将待存放任务请求对应的任务权重，顺次与目标特定任务队列中已经存放的多个任务请求对应的任务权重进行比对，当找到的第m个任务请求对应的任务权重大于待存放任务请求对应的任务权重且第m+1个任务请求对应的任务权重小于待存放任务请求对应的任务权重时，将待存放任务请求存放到第m个任务请求与第m+1个任务请求之间。

该任务权重是按照任务的紧急程度或者过去一段时间内任务被执行的时长确定的，比如，比较紧急的任务则分配比较高的权重，被处理时长比较长的也被分配比较高的权重，用户可根据自己需求定义该权重，本发明实施例并不对任务权重大小是如何得到的进行限定。该任务权重也可在任务请求中携带。

下面基于分布式集群数据库HBase中的一个节点，以设置的两个二级调度器为任务请求分配处理队列以及处理队列中的特定任务队列处理任务请求(读业务表、写业务表以及扫描业务表)为例，该一级调度器、二级调度器、每一组处理队列以及每一组处理队列中的特定任务队列之间的关系可如图2所示。

从图2可以看出，节点内的一级调度器201与高优先级处理对应的二级调度器202和普通处理对应的二级调度器203连接，高优先级处理对应的二级调度器202分别连接第一读特定任务队列2041、第一写特定任务队列2042以及第一扫描特定任务队列2043(第一读特定任务队列2041、第一写特定任务队列2042以及第一扫描特定任务队列2043组成一组处理队列204)，普通处理对应的二级调度器203分别连接第二读特定任务队列2051、第二写特定任务队列2052以及第二扫描特定任务队列2053(第二读特定任务队列2051、第二写特定任务队列2052以及第二扫描特定任务队列2053组成一组处理队列205)，各个特定任务队列则对应有多条线程。

相应地，该任务处理方法中为任务请求分配特定任务队列的过程如图3所示，可包括如下步骤：

S301：一级调度器将接收到的任务请求分配给优先级相匹配的二级调度器；

该任务请求为业务表的分块，每一块业务表都带有表头或者业务表的标识以及优先级标识，比如带标识1的业务表区块1对应的任务请求为高级优先级任务请求，带标识0的业务表区块2任务请求为普通任务请求。图2所示的一级调度器201将带有标识1的业务表区块1分配给高优先级处理对应的二级调度器202；一级调度器201将带有标识0的业务表区块2分配给普通处理对应的二级调度器203。

S302：二级调度器为任务请求选择与任务请求的任务类别相匹配的特定任务队列；

比如，带标识1的业务表区块1对应的任务类别为写请求，带标识0的业务表区块2对应的任务类别为读请求，则高优先级处理对应的二级调度器202为带标识1的业务表区块1选择第一写特定任务队列2042，普通处理对应的二级调度器203为带标识0的业务表区块1选择第二读特定任务队列2051。

S303：二级调度器根据任务请求的任务权重为任务请求确定其所在的特定任务队列中的位置。

该S303是为了能够使权重高的任务请求排在前面被先处理。该权重主要根据任务执行用时时长确定，用时时长越长权重越高，即能够使用时时长的任务请求先被处理，由于有多个线程，有效地降低了用时时长的任务请求堵塞线程的情况发生。

由于可对队列内的任务请求进行疏导，避免队列堵塞，从而维持了任务请求处理的稳定性。

针对预设的处理条件来说，其可以有两种：

第一种处理条件：任务请求排在目标特定任务队列中的首位。即按照特定任务队列中的顺序处理。

第二种处理条件：任务请求达到预设的处理时限。

当任务请求满足上述条件中的一种就需要被优先处理。而当有两个任务请求分别满足上述两个处理条件时，则需要对比这两个任务请求进入特定任务队列的时间，进入时间早的任务请求先被处理。比如，任务请求1包括的业务表1的区块a排在一个特定任务队列的队首，该特定任务队列中任务请求8包括的业务表2的区块b达到了处理时限，由于不同任务请求处理时限是不同的，如果区块a与区块b相比，区块a先进入该特定任务队列，则优先处理区块a；如果区块b先进入该特定任务队列，则优先处理区块b。

针对上述第二种处理条件，在本发明一个实施例中，任务处理方法可进一步包括：针对每一个特定任务队列，执行：

为特定任务队列设置一个扫描线程和超时指针；扫描线程检测所述特定任务队列中存放的每一个任务请求，以确定出达到处理时限的任务请求；控制超时指针指向达到处理时限的任务请求。

其中，上述控制超时指针指向达到处理时限的任务请求一种具体实施方式可包括：当任务请求包括数据表中的一个区域时，当达到处理时限的任务请求存在多个，且该多个达到处理时限的任务请求所包括的区域属于同一个数据表时，根据多个达到处理时限的任务请求在特定任务队列中的排列顺序，控制超时指针指向排列在最前的所述达到处理时限的任务请求。

在本发明一个实施例中，在确定出达到处理时限的任务请求之后，可进一步包括：判断达到处理时限的任务请求进入特定任务队列的时间是否早于位于特定任务队列队首的任务请求进入特定任务队列的时间，如果是，则为达到处理时限的任务请求选择一个空闲的线程，否则，为位于特定任务队列队首的任务请求选择一个空闲的线程。

下面结合图4和图5详细说明为特定任务队列中的任务请求对应的任务调用线程的具体实施方式。该为特定任务队列中的任务请求对应的任务调用线程的具体实施步骤可包括：

S401：扫描线程检测特定任务队列中存放的每一个任务请求；

在该实施例中特定任务队列中存放的任务请求可以指位于特定任务队列中的任务。比如，对于分布式集群数据库HBase中的一个节点来说，该任务请求可为处理业务表划分出的各个区块。如图5所示，一个特定任务队列随着时间线T1、T2以及T3的变化即体现了该特定任务队列中任务请求的处理顺序。针对该特定任务队列，T1时间对应的各个待处理业务表区块中，不存在到达处理时限的业务表区块，则在该T1时间出现的空闲线程则处理排在首位的R1。到达T2时间，由于R1被线程处理，相应地，R1后面的R2则排在首位。

S402：确定出达到处理时限的任务请求；

S403：判断达到处理时限的任务请求进入特定任务队列的时间是否早于位于特定任务队列队首的任务请求进入特定任务队列的时间，如果是，则执行步骤S404；否则，执行步骤S407；

如图5所示，扫描线程检测到一个将要到达处理时限的业务表区块R7，且该R7进入该特定任务队列的时间早于R2，则控制超时指针定位到该R7。

S404：控制超时指针指向达到处理时限的任务请求；

S405：当存在该特定任务队列对应的空闲线程时，判断到处理时限的任务请求是否有效，如果是，则执行S406；否则，执行S407；

S406：将该达到处理时限的任务请求分配给该空闲线程，并结束当前流程；

如图5所示，该R7有效，则为空闲线程分配该R7。此时到达T3时间，扫描线程检测到R8达到处理时限，则重复执行上述S403，在R8进入该特定任务队列的时间早于R2，则控制超时指针定位到该R8。

S407：将位于特定任务队列队首的任务请求分配给该空闲线程。

可以理解地，上述图4和图5给出的实施例是仅针对一个特定任务队列进行的说明，其他特定任务队列调用线程的过程与其相同。

一般来说，针对同一特定任务队列，属于同一个业务表的多个区块按照从表头到表尾的顺序在特定任务队列中排列。因此，当存在至少两个达到处理时限的任务请求属于同一个数据表的任务请求时，根据至少两个达到处理时限的任务请求在特定任务队列中的排列顺序，控制超时指针指向排列在最前的达到处理时限的任务请求。

在本发明一个实施例中，在为任务请求选择一个空闲的线程之前，进一步包括：判断任务请求是否有效，如果是，则执行为任务请求选择一个空闲的线程。

在本发明一个实施例中，对于任务处理方法应用于分布式集群数据库HBase中的节点来说，该任务处理方法可以应用于分布式集群数据库HBase中的每一个节点。相应地，任务请求包括的业务表优先级与权重信息和其他信息一样存储在HBase的元数据表中，如果一个表没有设置权重或优先级，那么这个表将按普通表/常规表处理。即表请求的属性包括但不限于：优先级(读优先级、写优先级、扫描优先级)、请求权重(读请求权重、写请求权重、扫描请求权重)、请求最迟返回时间(读请求最迟返回时间、写请求最迟返回时间、扫描请求最迟返回时间)。

针对分布式集群数据库HBase中的每一个节点，在本发明一个实施例中，任务请求包括：针对一个数据表中的一个数据区间的读请求、写请求以及扫描请求中的任意一个。

针对分布式集群数据库HBase中的每一个节点，在本发明一个实施例中，至少两个特定任务队列包括：读队列、写队列以及扫描队列。

在本发明一个实施例中，任务处理方法可进一步包括：

根据节点的CPU内核数量，计算每一组处理队列中的每一个特定任务队列关联的处理线程个数。

该计算每一组处理队列中的每一个特定任务队列关联的处理线程个数的具体实施方式可包括：利用下述计算公式(1)，计算每一个特定任务队列关联的处理线程个数；

其中，S表征特定任务队列关联的处理线程个数；K表征节点的CPU内核数量。比如，对于CPU内核数量为32的节点，则可为每一个特定任务队列关联的处理线程个数不高于42。该具体配置的处理线程个数可按照处理任务请求的压力进行灵活配置，比如，为一组处理队列中的每一个特定任务队列均配置30条线程。通过该过程一方面可保证节点资源能够被充分利用，另一方面也可以满足任务请求处理的需求。

图6为本发明提供的第二方面实施例的一种任务处理装置600。如图6所示，该任务处理装置600包括：调度模块601和处理器602，其中，

调度模块601，用于接收任务请求，任务请求包括任务类别以及任务特征信息，将任务请求存放到与所述任务类别相匹配的处理器602设置的目标特定任务队列；

处理器602，用于根据任务特征信息，从预先设置的至少一组处理队列中，为任务请求分配一组处理队列，其中，每一组处理队列设置有至少两个特定任务队列，每一个特定任务队列关联有至少两个处理线程；当任务请求满足预设的处理条件时，从目标特定任务队列关联的至少两个处理线程中，为任务请求选择一个空闲的线程，以处理任务请求。

在本发明一个实施例中，处理器602设置有至少两组处理队列，其中，每一组所述处理队列设置有对应的优先级准入条件；

任务特征信息包括任务优先级；

处理器602，用于将任务请求分配给任务优先级满足的优先级准入条件对应的一组处理队列。

在本发明一个实施例中，如图7所示，调度模块601包括有一级调度器6011以及至少两个二级调度器6012，其中，二级调度器6011与处理器602中的处理队列6021相对应；

处理器602，进一步用于建立处理队列6021对应的优先级准入条件与对应的二级调度器6012之间的关联；

一级调度器6011，用于根据关联，将任务请求路由到目标二级调度6012，目标二级调度器6012包括与任务优先级满足的优先级准入条件具有关联的二级调度器。

在本发明一个实施例中，如图7所示，处理器602，用于为二级调度器6012与对应的处理队列6021中的每一个特定任务队列60211构建调用关系；

每一个二级调度器6012，用于作为目标二级调度器时，利用调用关系，将任务请求存放到与任务类别相匹配的目标特定任务队列60211；在目标特定任务队列中，根据任务请求中的时间戳，对属于同一个用户/业务表的多个任务请求进行排序。

在本发明一个实施例中，任务特征信息进一步包括任务权重；

处理器602，用于根据任务权重，在目标特定任务队列中，为任务请求确定存放位置；将任务请求存放到存放位置，以使目标特定任务队列中存放的多个任务请求基于任务权重的高低排序。

在本发明一个实施例中，处理器602预设的处理条件，包括：任务请求排在目标特定任务队列中的首位。

在本发明一个实施例中，处理器602预设的处理条件，包括：任务请求达到预设的处理时限。

在本发明一个实施例中，处理器602进一步用于针对每一个特定任务队列，执行：为特定任务队列设置一个扫描线程和超时指针；扫描线程检测特定任务队列中存放的每一个任务请求，以确定出达到处理时限的任务请求；控制超时指针指向达到处理时限的任务请求。

在本发明一个实施例中，处理器602，用于当存在至少两个达到处理时限的任务请求属于同一个数据表的任务请求时，根据至少两个达到处理时限的任务请求在特定任务队列中的排列顺序，控制超时指针顺次指向达到处理时限的任务请求。

在本发明一个实施例中，处理器602进一步用于判断所述达到处理时限的任务请求进入所述特定任务队列的时间是否早于位于所述特定任务队列队首的任务请求进入所述特定任务队列的时间，如果是，则控制所述超时指针指向所述达到处理时限的任务请求。

在本发明一个实施例中，处理器602进一步用于判断所述任务请求是否有效，如果是，则执行所述为所述任务请求选择一个空闲的线程。

在本发明一个实施例中，任务处理装置600应用于分布式集群数据库HBase中的每一个节点。

在本发明一个实施例中，任务处理装置600处理的任务请求，包括：针对一个数据表中的一个数据区间的读请求、写请求以及扫描请求中的任意一个。

在本发明一个实施例中，任务处理装置600应用于分布式集群数据库HBase中的每一个节点时，至少两个特定任务队列，包括：读队列、写队列以及扫描队列。

在本发明一个实施例中，处理器602中的处理线程个数可根据所述节点的CPU内核数量，利用计算公式(1)，计算得出。

其中，S表征特定任务队列关联的处理线程个数；K表征节点的CPU内核数量。

本发明一个实施例提供一种任务处理装置，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述任一所述的方法。

图8示出了可以应用本发明实施例的任务处理方法或任务处理装置的示例性***架构800。

如图8所示，***架构800可以包括终端设备801、802、803，网络804和服务器805(该服务器805可为分布式集群数据库HBase中的节点)。网络804用以在终端设备801、802、803和服务器805之间提供通信链路的介质。网络804可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备801、802、803通过网络804与服务器805交互，以接收或发送消息等。终端设备801、802、803上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。

终端设备801、802、803可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器805可以是提供各种服务的服务器，例如对用户利用终端设备801、802、803所产生的业务表提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对业务表等进行读操作、写操作、扫描操作等处理，并将处理结果(例如业务表写完成包括--仅为示例)反馈给终端设备。

需要说明的是，本发明实施例所提供的任务处理方法一般由服务器805执行，相应地，信息处理装置一般设置于服务器805中。

应该理解，图8中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图9，其示出了适于用来实现本发明实施例的分布式集群数据库HBase中的节点的计算机***900的结构示意图。图9示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图9所示，计算机***900包括中央处理单元(CPU)901，其可以根据存储在只读存储器(ROM)902中的程序或者从存储部分908加载到随机访问存储器(RAM)903中的程序而执行各种适当的动作和处理。在RAM 903中，还存储有***900操作所需的各种程序和数据。CPU 901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。

以下部件连接至I/O接口905：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。在该计算机程序被中央处理单元(CPU)901执行时，执行本发明的***中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的调度器可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的调度器、一级调度器、二级调度器、处理队列等也可以设置在处理器中，例如，可以描述为：一种处理器包括一级调度器、二级调度器以及处理子模块等。其中，一级调度器、二级调度器这些单元/模块的名称在某种情况下并不构成对该单元/模块本身的限定，例如，一级调度器还可以被描述为“按照优先级分配任务请求的分配单元”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：接收任务请求，任务请求包括任务类别以及任务特征信息；根据任务特征信息，从预先设置的至少一组处理队列中，为任务请求分配一组处理队列，其中，每一组处理队列设置有至少两个特定任务队列，每一个特定任务队列关联有至少两个处理线程；将任务请求存放到与任务类别相匹配的目标特定任务队列；当任务请求满足预设的处理条件时，从目标特定任务队列关联的至少两个处理线程中，为任务请求选择一个空闲的线程，以处理任务请求。

根据本发明实施例的技术方案，因为预先设置的至少一组处理队列中，没一组处理队列设置有至少两个特定任务队列，而特定任务队列关联有至少两个处理线程，那么，在一个线程被占用或者占用线程的任务出现异常，其它线程仍可用来处理特定任务队列中的剩余的任务请求，克服了任务处理出现异常导致后续重要的任务请求无法快速响应和处理的技术问题。因此，本发明实施例提供的任务处理方案，在前序任务处理出现异常后，仍能够快速的响应和处理任务请求。

另外，根据本发明实施例的技术方案，通过一级调度器和至少两个二级调度器方便对每一组处理队列的管理，同时也方便对任务请求的管理。这是因为，每一个二级调度器对应一组处理队列，且二级调度器与处理队列一一对应，那么，每一组处理队列的优先级准入条件与其所对应的二级调度器关联，则一级调度器只需要找到与任务请求的优先级相匹配的优先级准入条件对应的二级调度器，而二级调度器则根据任务请求的任务类别，为任务请求分配对应的特定任务队列。

另外，根据本发明实施例的技术方案，根据任务权重，在目标特定任务队列中，为任务请求确定存放位置；将任务请求存放到存放位置，以使目标特定任务队列中存放的多个任务请求基于任务权重的高低排序，即使线程能够先处理任务权重高的任务请求。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (11)

1.一种任务处理方法，其特征在于，包括：

接收任务请求，所述任务请求包括任务类别以及任务特征信息；

根据所述任务特征信息，从预先设置的至少一组处理队列中，为所述任务请求分配一组处理队列，其中，每一组所述处理队列设置有至少两个特定任务队列，每一个所述特定任务队列关联有至少两个处理线程；

将所述任务请求存放到与所述任务类别相匹配的目标特定任务队列；

当所述任务请求满足预设的处理条件时，从所述目标特定任务队列关联的至少两个处理线程中，为所述任务请求选择一个空闲的线程，以处理所述任务请求。

2.根据权利要求1所述任务处理方法，其特征在于，

所述处理队列的组数为至少两组，其中，每一组所述处理队列设置有对应的优先级准入条件；

所述任务特征信息包括任务优先级；

所述为所述任务请求分配一组处理队列，包括：

确定所述任务优先级所满足的目标优先级准入条件；

将所述任务请求分配给所述目标优先级准入条件对应的处理队列。

3.根据权利要求2所述任务处理方法，其特征在于，

进一步包括：设置有一级调度器以及至少两个二级调度器，其中，所述二级调度器与所述处理队列相对应；

建立所述处理队列对应的优先级准入条件与对应的所述二级调度器之间的关联；

所述将所述任务请求分配给所述任务优先级满足的优先级准入条件对应的一组处理队列，包括：

根据所述关联，所述一级调度器将所述任务请求分配给目标二级调度器，其中，所述目标二级调度器为与所述任务优先级满足的优先级准入条件具有关联的二级调度器。

4.根据权利要求3所述任务处理方法，其特征在于，

进一步包括：为所述二级调度器与对应的所述处理队列中的每一个所述特定任务队列构建调用关系；

所述将所述任务请求存放到与所述任务类别相匹配的目标特定任务队列，包括：

利用所述调用关系，所述目标二级调度器将所述任务请求存放到与所述任务类别相匹配的目标特定任务队列；

在所述目标特定任务队列中，根据所述任务请求中的时间戳，对属于同一个用户/业务表的多个所述任务请求进行排序。

5.根据权利要求1至4任一所述任务处理方法，其特征在于，

所述任务特征信息进一步包括任务权重；

所述将所述任务请求存放到与所述任务类别相匹配的目标特定任务队列，包括：

根据所述任务权重，在所述目标特定任务队列中，为所述任务请求确定存放位置；

将所述任务请求存放到所述存放位置，以使所述目标特定任务队列中存放的多个任务请求基于所述任务权重的高低排序。

6.根据权利要求5所述任务处理方法，其特征在于，

所述预设的处理条件包括：所述任务请求达到预设的处理时限；

所述任务处理方法进一步包括：

针对每一个所述特定任务队列，执行：

为所述特定任务队列设置一个扫描线程和超时指针；

所述扫描线程检测所述特定任务队列中存放的每一个任务请求，以确定出达到处理时限的任务请求，

控制所述超时指针指向所述达到处理时限的任务请求。

7.根据权利要求6所述任务处理方法，其特征在于，

所述任务请求进一步包括数据表中的一个区域；

所述控制所述超时指针指向所述达到处理时限的任务请求，包括：

当达到处理时限的任务请求存在多个，且该多个达到处理时限的任务请求所包括的区域属于同一个数据表时，

根据所述多个达到处理时限的任务请求在所述特定任务队列中的排列顺序，控制所述超时指针指向排列在最前的达到处理时限的任务请求。

8.根据权利要求6所述任务处理方法，其特征在于，在所述确定出达到处理时限的任务请求之后，进一步包括：

判断所述达到处理时限的任务请求进入所述特定任务队列的时间是否早于位于所述特定任务队列队首的任务请求进入所述特定任务队列的时间，如果是，则为所述达到处理时限的任务请求选择一个空闲的线程。

9.一种任务处理装置，其特征在于，包括：调度模块和处理器，其中，

所述调度模块，用于接收任务请求，所述任务请求包括任务类别以及任务特征信息，将任务请求存放到与所述任务类别相匹配的处理器内的目标特定任务队列；

所述处理器，用于根据所述任务特征信息，从预先设置的至少一组处理队列中，为所述任务请求分配一组处理队列，其中，每一组所述处理队列设置有至少两个特定任务队列，每一个所述特定任务队列关联有至少两个处理线程；当所述任务请求满足预设的处理条件时，从所述目标特定任务队列关联的至少两个处理线程中，为所述任务请求选择一个空闲的线程，以处理所述任务请求。

10.一种任务处理电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的方法。

11.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-8中任一所述的方法。