CN110532114A - 基于消息队列的定时任务管理***及分配方法 - Google Patents

Abstract

本发明公开了一种基于消息队列的定时任务管理***及分配方法，属于定时任务分配领域，要解决的技术问题为如何基于消息队列实现定时任务的管理和分配，***包括执行器、消息队列、节点和数据库。分配方法包括：通过节点定时访问节点表，判断节点表中每个节点为死亡节点还是存活节点，标记每个死亡节点，并统计所有存活节点的数量；将与死亡节点相应的定时任务进行标记抹除，所述与死亡节点相应的定时任务变为无主定时任务；基于定时任务的数量以及存活节点的数量，为存活节点重新分配定时任务，重新分配定时任务时，每个存活节点对应的应分配定时任务数量为：应分配定时任务数量＝所有定时任务的数量/所有存活节点的数量。

Description

基于消息队列的定时任务管理***及分配方法

技术领域

本发明涉及定时任务分配领域，具体地说是一种基于消息队列的定时任务管理***及分配方法。

背景技术

定时任务是很多互联网项目中必不可少的东西，传统的定时任务管理是通过在程序内部起线程实现的，这种管理方式比较耗费资源，且扩展业务时比较繁琐，而且其并非原生支持分布式，要通过比较复杂的设计才能勉强用于分布式***中。

现在业界开源的定时任务管理平台，采用了复杂的设计来保证其可扩展性、异步性、削峰能力、幂等性等，而这些特性完全可以通过消息队列来加以实现。消息队列已经是业界成熟的技术，有众多的开源技术可以使用，且其性能稳定，可用性与可扩展性非常强，现在的互联网项目基本上都会有一个或多个消息队列***，因此通过复用这些消息队列，实现定时任务平台，既减少了复杂度，增加了稳定性，又可以满足业务需求。

基于上述分析，如何基于消息队列实现定时任务的管理和分配，是需要解决的技术问题。

发明内容

本发明的技术任务是针对以上不足，提供一种基于消息队列的定时任务管理***及分配方法，来解决如何基于消息队列实现定时任务的管理和分配的问题。

第一方面，本发明提供一种基于消息队列的定时任务管理***，包括：

执行器，所述执行器为创建于对应程序内的进程，用于注册、修改、删除以及执行定时任务；

消息队列，所述消息队列共多个，每个消息队列对应于一种执行器，用于将定时任务传送至对应的执行器；

节点，所述节点为一个组件，用于将定时任务分配至消息队列；

数据库，所述数据库内创建有任务表和节点表，任务表用于存储定时任务信息，节点表用于存储节点信息。

更优的，还包括前端展示界面，用于从数据库获取定时任务信息和节点信息，并展示和监控定时任务信息和节点信息，并用于向数据库***定时任务。

作为优选，定时任务信息包括但不限于名称、执行周期、执行器组标识、任务内容；

所述定时任务信息持久化存储于数据库的任务信息表中。

作为优选，节点信息包括节点ID和节点时间戳，所述节点时间戳用于标识节点访问数据库的时间。

第二方面，本发明提供一种基于消息队列的定时任务分配方法，应用于如第一方面任一项所述的基于消息队列的定时任务***，所述分配方法包括：

通过节点定时访问节点表，判断节点表中每个节点为死亡节点还是存活节点，标记每个死亡节点，并统计所有存活节点的数量；

将与死亡节点相应的定时任务进行标记抹除，所述与死亡节点相应的定时任务变为无主定时任务；

基于定时任务的数量以及存活节点的数量，为存活节点重新分配定时任务，重新分配定时任务时，每个存活节点对应的应分配定时任务数量为：

应分配定时任务数量＝所有定时任务的数量/所有存活节点的数量。

作为优选，访问节点表的节点为访问节点，基于定时任务的数量以及存活节点的数量，为存活节点重新分配定时任务，包括：

如果访问节点对应的应分配定时任务数量小于其已经拥有的定时任务数量，将所述无主定时任务分配至所述访问节点，直到所述访问节点拥有的定时任务数量等于其应分配定时任务数量；

如果访问节点对应的应分配定时任务数量大于已拥有定时任务数量，计算每个已拥有定时任务的执行时间与当前时间的间隔时间，其间隔时间大于阈值的已拥有定时任务作为待抹除定时任务，按照间隔时间由大至小的顺序、依次对待抹除定时任务进行标记抹除并变为无主定时任务，直至所述访问节点当前拥有的定时任务数量等于应分配定时任务的数量，或者，直至所有待抹除定时任务均变为无主定时任务。

作为优选，通过节点访问节点表时，更新所述访问节点对应的节点时间戳。

作为优选，通过如下方法判断节点表中每个节点为死亡节点还是存活节点：

查询节点表中每个节点对应的节点时间戳，如果节点时间戳与当前时间之间的间隔时间大于阈值，判定所述节点为死亡节点，如果如果节点时间戳与当前时间之间的间隔时间小于或等于阈值，判定所述节点为存活节点。

作为优选，所述节点信息表中所有节点的时间同步。

作为优选，节点表中每个节点注册接入所述定时任务***时，生成节点信息并将节点信息存储于位于数据库的节点表，节点信息包括节点ID和时间戳。

本发明的一种基于消息队列的定时任务管理***及分配方法具有以下优点：

1、节点、数据库组成定时任务平台，利用消息队列技术，消除了定时任务平台与执行器的耦合并降低了内部复杂度，并且利用消息队列技术，一定程度上保证了异步性、削峰能力、幂等性、弹性扩展性；

2、定时任务分配方法可以保证在无中心的情况下，节点增减时自动将定时任务的发布重新分配。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

下面结合附图对本发明进一步说明。

附图1为实施例1基于消息队列的定时任务管理***的结构框图；

附图2为实施例2基于消息队列的定时任务分配方法的流程框图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互结合。

需要理解的是，在本发明实施例的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。在本发明实施例中的“多个”，是指两个或两个以上。

本发明实施例中的属于“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，单独存在B，同时存在A和B这三种情况。另外，本文中字符“/”一般表示前后关联对象是一种“或”关系。

本发明实施例提供一种基于消息队列的定时任务管理***及分配方法，用于解决如何基于消息队列实现定时任务的管理和分配的技术问题。

实施例1：

本发明的基于消息队列的定时任务管理***，包括执行器、消息队列、节点和数据库。

该***中执行器共多种，每种执行器至少一个，执行器为创建于对应程序内的进程，用于注册、修改、删除以及执行定时任务。

消息队列共多个，每个消息队列对应于一种执行器，用于将定时任务传送至对应的执行器，且消息队列支持选择性的随机发放定时任务或者顺序发放定时任务。

节点共多个，节点为通过去中心化设计的一个组件，节点内配置定时任务分配算法，通过该算法实现将定时任务分配至消息队列。

分配算法的原理为：节点每隔一段时间访问数据库查询需要分配给自己要下发的定时任务，并且在对应触发时间，将未执行的定时任务按照执行器标识发送到不同消息队列中，发送成功后更新该定时任务的上次执行时间戳。通过消息队列可保证消息的传达。

数据库内创建有任务表和节点表，任务表用于存储定时任务信息，节点表用于存储节点信息。

其中定时任务信息包括但不限于名称、执行周期、执行器组标识、任务内容，定时任务信息持久化存储于数据库的任务信息表中。名称是定时任务的唯一标识，对定时任务进行修改、删除等操作都是通过名称进行操作。

节点信息包括节点ID和节点时间戳，所述节点时间戳用于标识节点访问数据库的时间。

该***可实现定时任务的注册、修改、删除，且均有执行器执行。不同周期的定时任务分布于数据库中不同任务表内，分为天任务、周任务和月任务。

该***中执行器监听对应的消息队列，当定时任务下发到消息队列后，任一执行器将会接收并执行到该定时任务。执行器执行失败，会给消息队列发送失败消息，当一个消息发送一定时间后没有收到成功或者失败的消息，消息队列将该定时任务设置为失败。失败的定时任务会被重发，重发超过一定次数会进入待定的失败队列，并告警。

该***还包括前端展示界面，前端展示界面可访问数据库并对定时任务、节点健康状况进行监控，同时，通过前端展示界面可以向数据库***定时任务。

实施例2：

本发明的基于消息队列的定时任务分配方法，应用于如实施例1公开的基于消息队列的定时任务***。该分配方法包括如下步骤：

S100、通过节点定时访问节点表，判断节点表中每个节点为死亡节点还是存活节点，标记每个死亡节点，并统计所有存活节点的数量；

S200、将与死亡节点相应的定时任务进行标记抹除，所述与死亡节点相应的定时任务变为无主定时任务；

S300、基于定时任务的数量以及存活节点的数量，为存活节点重新分配定时任务，重新分配定时任务时，每个存活节点对应的应分配定时任务数量为：

应分配定时任务数量＝所有定时任务的数量/所有存活节点的数量。

在通过上述公式计算应分配定时任务数量时，一般会增加一定数值作为冗余。

其中，访问节点表的节点为访问节点，基于定时任务的数量以及存活节点的数量，为存活节点重新分配定时任务，包括如下情况：

如果访问节点对应的应分配定时任务数量小于其已经拥有的定时任务数量，将所述无主定时任务分配至所述访问节点，直到所述访问节点拥有的定时任务数量等于其应分配定时任务数量；

如果访问节点对应的应分配定时任务数量大于已拥有定时任务数量，计算每个已拥有定时任务的执行时间与当前时间的间隔时间，其间隔时间大于阈值的已拥有定时任务作为待抹除定时任务，按照间隔时间由大至小的顺序、依次对待抹除定时任务进行标记抹除并变为无主定时任务，直至所述访问节点当前拥有的定时任务数量等于应分配定时任务的数量，或者，直至所有待抹除定时任务均变为无主定时任务。

通过节点访问节点表时，更新所述访问节点对应的节点时间戳。

通过如下方法判断节点表中每个节点为死亡节点还是存活节点：查询节点表中每个节点对应的节点时间戳，如果节点时间戳与当前时间之间的间隔时间大于阈值，判定所述节点为死亡节点，如果如果节点时间戳与当前时间之间的间隔时间小于或等于阈值，判定所述节点为存活节点。

节点信息表中所有节点的时间同步。

节点表中每个节点注册接入所述定时任务***时，生成节点信息并将节点信息存储于位于数据库的节点表，节点信息包括节点ID和时间戳。

以上所有操作均为幂等操作，数据库不需要任何锁表操作。

所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (10)

1.基于消息队列的定时任务管理***，其特征在于包括：

执行器，所述执行器为创建于对应程序内的进程，用于注册、修改、删除以及执行定时任务；

消息队列，所述消息队列共多个，每个消息队列对应于一种执行器，用于将定时任务传送至对应的执行器；

节点，所述节点为一个组件，用于将定时任务分配至消息队列；

数据库，所述数据库内创建有任务表和节点表，任务表用于存储定时任务信息，节点表用于存储节点信息。

2.根据权利要求1所述的基于消息队列的定时任务管理***，其特征在于还包括前端展示界面，用于从数据库获取定时任务信息和节点信息，并展示和监控定时任务信息和节点信息，并用于向数据库***定时任务。

3.根据权利要求1或2所述的基于消息队列的定时任务管理***，其特征在于定时任务信息包括但不限于名称、执行周期、执行器组标识、任务内容；

所述定时任务信息持久化存储于数据库的任务信息表中。

4.根据权利要求1或2所述的基于消息队列的定时任务管理***，其特征在于节点信息包括节点ID和节点时间戳，所述节点时间戳用于标识节点访问数据库的时间。

5.基于消息队列的定时任务分配方法，其特征在于应用于如权利要求1-4任一项所述的基于消息队列的定时任务***，所述分配方法包括：

通过节点定时访问节点表，判断节点表中每个节点为死亡节点还是存活节点，标记每个死亡节点，并统计所有存活节点的数量；

将与死亡节点相应的定时任务进行标记抹除，所述与死亡节点相应的定时任务变为无主定时任务；

基于定时任务的数量以及存活节点的数量，为存活节点重新分配定时任务，重新分配定时任务时，每个存活节点对应的应分配定时任务数量为：

应分配定时任务数量＝所有定时任务的数量/所有存活节点的数量。

6.根据权利要求5所述的基于消息队列的定时任务分配方法，其特征在于访问节点表的节点为访问节点，基于定时任务的数量以及存活节点的数量，为存活节点重新分配定时任务，包括：

如果访问节点对应的应分配定时任务数量小于其已经拥有的定时任务数量，将所述无主定时任务分配至所述访问节点，直到所述访问节点拥有的定时任务数量等于其应分配定时任务数量；

如果访问节点对应的应分配定时任务数量大于已拥有定时任务数量，计算每个已拥有定时任务的执行时间与当前时间的间隔时间，其间隔时间大于阈值的已拥有定时任务作为待抹除定时任务，按照间隔时间由大至小的顺序、依次对待抹除定时任务进行标记抹除并变为无主定时任务，直至所述访问节点当前拥有的定时任务数量等于应分配定时任务的数量，或者，直至所有待抹除定时任务均变为无主定时任务。

7.根据权利要求5或6所述的基于消息队列的定时任务分配方法，其特征在于通过节点访问节点表时，更新所述访问节点对应的节点时间戳。

8.根据权利要求5或6所述的基于消息队列的定时任务分配方法，其特征在于通过如下方法判断节点表中每个节点为死亡节点还是存活节点：

查询节点表中每个节点对应的节点时间戳，如果节点时间戳与当前时间之间的间隔时间大于阈值，判定所述节点为死亡节点，如果如果节点时间戳与当前时间之间的间隔时间小于或等于阈值，判定所述节点为存活节点。

9.根据权利要求5或6所述的基于消息队列的定时任务分配方法，其特征在于所述节点信息表中所有节点的时间同步。

10.根据权利要求5或6所述的基于消息队列的定时任务分配方法，其特征在于节点表中每个节点注册接入所述定时任务***时，生成节点信息并将节点信息存储于位于数据库的节点表，节点信息包括节点ID和时间戳。