CN108536544A - 基于数据库消息队列的消费方法、装置、服务器和介质 - Google Patents

Abstract

本发明实施例提供一种基于数据库消息队列的消费方法、装置、服务器和介质，该方法包括启动多个独立的消费进程；控制每个所述消费进程从存储于数据库的消息队列数据表中一次读取一个子消息队列，每个子消息队列包括多条消息，每条消息具有唯一的消息标识ID，并且各子消息队列分别包含的消息ID构成的集合之间无交集。本发明的实施例使用数据库作为消息队列服务，部署方便，维护成本较低；现有技术虽然也有使用数据库作为队列，但不支持多进程消费队列，只能单进程处理，应用场景有限，本发明的实施例支持使用数据库作为消息队列时开启多个进程进行消费，解决了多进程消费时重复消费的问题，提升了队列处理速度，扩大了应用场景。

Description

基于数据库消息队列的消费方法、装置、服务器和介质

技术领域

本发明涉及互联网和移动互联网的服务器运维，具体涉及基于数据库消息队列的消费方法及、装置、服务器和介质。

背景技术

在日常应用中，经常会遇到使用消息队列服务来异步处理一些业务逻辑，一般情况下都会选择使用独立的消息队列服务，比如MemcacheQ。

现有的技术方案虽然能满足日常业务应用，但是本申请发明人发现现有技术的技术方案在实际使用过程中存在以下问题：

1、消息队列服务需要进行单独部署，配置较为繁琐，增加运维成本。

2、在企业中实际应用时，往往需要经历申请资源、等待分配的过程，这增加时间成本。

发明内容

本发明实施例提供一种基于数据库消息队列的消费方法及、装置和服务器，以降低运维成本和时间成本。

一方面，本发明实施例提供了一种基于数据库消息队列的消费方法，其包括：启动多个独立的消费进程；控制每个所述消费进程从存储于数据库的消息队列数据表中一次读取一个子消息队列，每个子消息队列包括多条消息，每条消息具有唯一的消息标识ID，并且各子消息队列分别包含的消息ID构成的集合之间无交集。

可选地，所述消息队列数据表中包括消息标识ID字段，所述消息ID字段是自增字段；以及，每个子消息队列所包括的多条消息的消息ID连续递增。

可选地，所述消息队列数据表中包括消息标识ID字段，所述消息ID字段是自增字段；所述的控制每个所述消费进程从存储于数据库的消息队列数据表中一次读取一个子消息队列，包括：若有N个消费进程，则控制编号为n的消费进程读取的消息所对应的消息ID满足以下公式：ID mod N＝n，其中N和n均为正整数，0≤n≤N-1。

可选地，所述消息队列数据表中还包括消息执行时间字段，所述的控制每个所述消费进程从存储于数据库的消息队列数据表中一次读取一个子消息队列，包括：控制每个所述消费进程对待读取的子消息队列中的每条消息进行查询，针对当前消息：判断该消息的执行时间字段是否与当前时间相匹配，如果是，则读取该消息，否则不读取该消息。

另一方面，本发明实施例提供了一种基于数据库消息队列的消费装置，其包括：启动单元，用于启动多个独立的消费进程；控制单元，用于控制每个所述消费进程从存储于数据库的消息队列数据表中一次读取一个子消息队列，每个子消息队列包括多条消息，每条消息具有唯一的消息标识ID，并且各子消息队列分别包含的消息ID构成的集合之间无交集。

可选地，所述消息队列数据表中包括消息标识ID字段，所述消息ID字段是自增字段；以及，每个子消息队列所包括的多条消息的消息ID连续递增。

可选地，所述消息队列数据表中包括消息标识ID字段，所述消息ID字段是自增字段；所述控制单元，具体用于：若有N个消费进程，则控制编号为n的消费进程读取的消息所对应的消息ID满足以下公式：ID mod N＝n，其中N和n均为正整数，0≤n≤N-1。

可选地，所述消息队列数据表中还包括消息执行时间字段，所述控制单元，还用于：控制每个所述消费进程对待读取的子消息队列中的每条消息进行查询，针对当前消息：判断该消息的执行时间字段是否与当前时间相匹配，如果是，则读取该消息，否则不读取该消息。

又一方面，本发明实施例提供了一种服务器，其包括上述任意一种所述的基于数据库消息队列的消费装置。

最后一方面，本发明实施例提供了一种计算机可读存储介质，其存储有用于实现上述任意一种方法对应的计算机程序代码。

上述技术方案具有如下有益效果：本发明的实施例使用数据库作为消息队列服务，部署方便，维护成本较低；现有技术虽然也有使用数据库作为队列，但不支持多进程消费队列，只能单进程处理，应用场景有限，本发明的实施例支持使用数据库作为消息队列时开启多个进程进行消费，解决了多进程消费时重复消费的问题，提升了队列处理速度，扩大了应用场景；现有技术只能从队列中依次读取所有的消息处理，而不能按条件读取，本发明的实施例支持在消费队列时按条件读取。目前现有其他的消息队列均不支持按条件读取，例如有一个群发短信的消息队列，存储了A、B两个活动要接收短信的手机号和短信内容，传统的队列只能按顺序读取发短信。而本发明的实施例设计的队列，可以支持在上午读取A活动的消息进行发送，在下午读取B活动的消息进行发送。这就是按条件查询，其意义在于其他队列服务不支持，应用场景更加丰富。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是是本发明的实施例的基于数据库消息队列的消费方法的整体流程图；

图2是现有技术消费进程每次从消息队列数据表中读取一条消息进行消费的示意图；

图3是本发明的实施例的多进程消费结构图；

图4是本发明的实施例基于数据库消息队列的消费装置的逻辑功能框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

图1是是本发明的实施例的基于数据库消息队列的消费方法的整体流程图。如图1所示，该方法包括：步骤110、启动多个独立的消费进程；步骤120、控制每个消费进程从存储于数据库的消息队列数据表中一次读取一个子消息队列，每个子消息队列包括多条消息，每条消息具有唯一的消息标识ID，并且各子消息队列分别包含的消息ID构成的集合之间无交集。消息队列包含很多条消息，消费进程读取出消息进行后续操作。这样既可以实现基于数据库的多进程读取消费，减轻数据库负担，也可以避免消息队列重复消费。

可选地，所述消息队列数据表中包括消息标识ID字段，所述消息ID字段是自增字段；以及，每个子消息队列所包括的多条消息的消息ID连续递增。消息ID连续递增是指各消息ID依次连续增大，没有间断。

可选地，所述消息队列数据表中包括消息标识ID字段，所述消息ID字段是自增字段；所述的控制每个所述消费进程从存储于数据库的消息队列数据表中一次读取一个子消息队列，包括：若有N个消费进程，则控制编号为n的消费进程读取的消息所对应的消息ID满足以下公式：ID mod N＝n，其中N和n均为正整数，0≤n≤N-1。

可选地，所述消息队列数据表中还包括消息执行时间字段，所述的控制每个所述消费进程从存储于数据库的消息队列数据表中一次读取一个子消息队列，包括：控制每个所述消费进程对待读取的子消息队列中的每条消息进行查询，针对当前消息：判断该消息的执行时间字段是否与当前时间相匹配，如果是，则读取该消息，否则不读取该消息。

以下进行更加详细的说明：

本发明的实施例使用部署及维护简单的数据库作为消息队列，不但可以支持按条件和多进程消费，还减少了额外的运维成本。本发明的实施例首先建立一个消息队列数据表，用来保存消息队列数据，该消息队列数据表可选地包含以下字段：消息ID、消息名称、消息内容、消息执行时间(也就是消息读取时间)。其次，根据需要启动数个消息队列消费进程，从该消息队列数据表中读取消息。本发明的实施例使用数据库作为队列使用，应用场景比较广泛。其中，消息ID是一个从1开始累加的数字，为自增字段，消息名称是以文字表达的消息的具体标记。消息队列是一个集合，集合中的具体一条称为消息。消息队列存储在数据表中，该数据表保存在数据库中，消息队列是依托于数据表实现的。

(1)多进程消费

如图2所示，如果消费进程每次从消息队列数据表中读取一条消息进行消费，处理结束后再从数据表中删除该消息，会导致以下两个问题；一，消费进程频繁读写数据表，影响数据库性能；二、消息队列重复消费，比如消费进程A读取了ID为100的消息，还未处理完毕，此时消费进程B从数据表中也读取出了ID为100的消息。

本发明的实施例的技术方案通过以下技术手段解决数据表作为消息队列使用时的不足。针对问题一，本发明的实施例通过一次读取多条消息，再循环处理读取到的消息，全部处理完毕后，从该数据表中一起删除。这样可以减少数据表的读写次数，减少对数据库的压力。针对问题二，本发明的实施例中消息队列数据表中的ID字段为自增字段，并且将多个消费进程进行编号，不同编号的消费进程仅读取指定范围的ID。

作为一个举例，参阅图3所示的多进程消费结构图(以三个消费进程处理为例)：

假设一共有N个消费进程，则消费进程编号n(0≤n≤N-1)读取的消息ID范围满足以下公式：

ID mod N＝n

比如某个消息队列对应有3个消费进程(消费进程数量根据具体业务自定义，这里仅是举例)，消费进程编号分别为0、1、2，则消费进程0只读取消息ID除以3，余数为0的消息，即消息ID为3、6、9等依次类推的消息，这些消息构成第一子消息队列；消费进程1只读取消息ID除以3，余数为1的消息，即消息ID为1、4、7等依次类推的消息，这些消息构成第二子消息队列；消费进程2只读取消息ID除以3，余数为2的消息，即消息ID为2、5、8等依次类推的消息，这些消息构成第三子消息队列。上述三个子消息队列的消息ID集合之间并没有交集，也即没有相同的消息ID。

相关的SQL示例如下：

SELECT*FROM table WHERE`id`>last_id AND mod(`id`,5)＝index ORDER BY`id`ASC LIMIT 0,10

last_id是上一次读取结果中最后一条消息ID；index是当前消费进程编号。

(2)时间策略支持

现有的消息队列服务只能按顺序读取消费，消息读取后就删除，不支持按条件读取。在实际应用中，有的消息队列需要在特定的时间段内消费，比如管理员审核信息后需要给用户发送私信，由于发私信操比较耗时，往往采用消息队列来进行私信的发送。为了避免骚扰用户，需要在用户非休息时间段进行发私信操作，因此这类私信需要在特定时间内读取消费/读取，而消息队列中其他类型的私信需要实时读取消费。

在这种场景下，一般的消息队列服务并不支持按条件读取，由于本发明的实施例采用了数据表存储消息队列，消费进程可以根据消息队列数据表中消息执行时间字段来查询/读取符合当前时间的消息执行。

相关的SQL示例如下：

SELECT*FROM table WHERE`id`>last_id AND time_sign IN(0,1)AND mod(`id`,5)＝index ORDER BY`id`ASC LIMIT 0,10

time_sign字段代表预定义的策略，默认为0，代表没有时间策略。

这条SQL语句读取的是没有时间策略或时间策略为1的消息队列，此时时间策略为2或者其他类型的消息队列则不会被读取到。时间策略中包含消息执行/读取时间段。

举例说明如下，微博话题有很多需要发送私信的场景，将所有场景要发送的私信写入队列是一个比较高效的实现方式，不同业务的开发者只需要将要发送的私信文案和消息的发送者与接收者当做消息内容写入队列中，由消费进程统一消费即可。一些业务要发送的私信有发送时间段要求，比如活动类私信要求在白天发送，而传统的消息队列服务无法满足按条件读取消息的要求。本发明的实施例的基于数据库的消息队列天然支持条件查询，能够十分方便地满足业务需求。

本发明的实施例的上述技术方案的主要优点包括：

本发明的实施例使用数据库作为消息队列服务，部署方便，维护成本较低；

现有技术虽然也有使用数据库作为队列，但不支持多进程消费队列，只能单进程处理，应用场景有限，本发明的实施例支持使用数据库作为消息队列时开启多个进程进行消费，解决了多进程消费时重复消费的问题，提升了队列处理速度，扩大了应用场景；

现有技术只能从队列中依次读取所有的消息处理，而不能按条件读取，本发明的实施例支持在消费队列时按条件读取。

实施例2：

图4是本发明的实施例基于数据库消息队列的消费装置的逻辑功能框图。如图4所示，该消费装置包括：启动单元210，用于启动多个独立的消费进程；控制单元220，用于控制每个所述消费进程从存储于数据库的消息队列数据表中一次读取一个子消息队列，每个子消息队列包括多条消息，每条消息具有唯一的消息标识ID，并且各子消息队列分别包含的消息ID构成的集合之间无交集。

可选地，所述消息队列数据表中包括消息标识ID字段，所述消息ID字段是自增字段；以及，每个子消息队列所包括的多条消息的消息ID连续递增。

可选地，所述消息队列数据表中包括消息标识ID字段，所述消息ID字段是自增字段；控制单元220，具体可以用于：若有N个消费进程，则控制编号为n的消费进程读取的消息所对应的消息ID满足以下公式：ID mod N＝n，其中N和n均为正整数，0≤n≤N-1。

可选地，所述消息队列数据表中还包括消息执行时间字段，控制单元220，还用于：控制每个所述消费进程对待读取的子消息队列中的每条消息进行查询，针对当前消息：判断该消息的执行时间字段是否与当前时间相匹配，如果是，则读取该消息，否则不读取该消息。

该装置的工作方法与原理已在实施例1中详述，故在此不再赘述。

另外，本发明实施例提供了一种服务器，其包括上述任意一种所述的基于数据库消息队列的消费装置。该服务器可以是脚本服务器，其与数据库服务器(其上存储有包含消息队列数据表的数据库)之间进行通信交互，脚本服务器控制每个独立的消费进程从该数据库服务器上存储的数据库中一次读取包含多条消息的子消息队列。并且还可以实现按时间条件查询，仅读取执行时间字段符合当前时间的消息。

最后一方面，本发明实施例提供了一种计算机可读存储介质，其存储有用于实现上述实施例1中任意一种方法对应的计算机程序代码。

本发明的实施例的上述技术方案的主要优点包括：

本发明的实施例使用数据库作为消息队列服务，部署方便，维护成本较低；本发明的实施例支持使用数据库作为消息队列时开启多个进程进行消费，解决了多进程消费时重复消费的问题，提升了队列处理速度，扩大了应用场景；本发明的实施例支持在消费队列时按条件读取。

本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrative logical block)，单元，和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability)，上述的各种说明性部件(illustrative components)，单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个***的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本发明实施例保护的范围。

本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中，ASIC可以设置于用户终端中。可选地，处理器和存储媒介也可以设置于用户终端中的不同的部件中。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于数据库消息队列的消费方法，其特征在于，包括：

启动多个独立的消费进程；

控制每个所述消费进程从存储于数据库的消息队列数据表中一次读取一个子消息队列，每个子消息队列包括多条消息，每条消息具有唯一的消息标识ID，并且各子消息队列分别包含的消息ID构成的集合之间无交集。

2.根据权利要求1所述的方法，其特征在于，所述消息队列数据表中包括消息标识ID字段，所述消息ID字段是自增字段；以及，每个子消息队列所包括的多条消息的消息ID连续递增。

3.根据权利要求1所述的方法，其特征在于，所述消息队列数据表中包括消息标识ID字段，所述消息ID字段是自增字段；所述的控制每个所述消费进程从存储于数据库的消息队列数据表中一次读取一个子消息队列，包括：

若有N个消费进程，则控制编号为n的消费进程读取的消息所对应的消息ID满足以下公式：ID mod N＝n，其中N和n均为正整数，0≤n≤N-1。

4.根据权利要求2或3所述的方法，其特征在于，所述消息队列数据表中还包括消息执行时间字段，所述的控制每个所述消费进程从存储于数据库的消息队列数据表中一次读取一个子消息队列，包括：

控制每个所述消费进程对待读取的子消息队列中的每条消息进行查询，针对当前消息：判断该消息的执行时间字段是否与当前时间相匹配，如果是，则读取该消息，否则不读取该消息。

5.一种基于数据库消息队列的消费装置，其特征在于，包括：

启动单元，用于启动多个独立的消费进程；

控制单元，用于控制每个所述消费进程从存储于数据库的消息队列数据表中一次读取一个子消息队列，每个子消息队列包括多条消息，每条消息具有唯一的消息标识ID，并且各子消息队列分别包含的消息ID构成的集合之间无交集。

6.根据权利要求5所述的装置，其特征在于，所述消息队列数据表中包括消息标识ID字段，所述消息ID字段是自增字段；以及，每个子消息队列所包括的多条消息的消息ID连续递增。

7.根据权利要求5所述的装置，其特征在于，所述消息队列数据表中包括消息标识ID字段，所述消息ID字段是自增字段；所述控制单元，具体用于：若有N个消费进程，则控制编号为n的消费进程读取的消息所对应的消息ID满足以下公式：ID mod N＝n，其中N和n均为正整数，0≤n≤N-1。

8.根据权利要求6或7所述的装置，其特征在于，所述消息队列数据表中还包括消息执行时间字段，所述控制单元，还用于：控制每个所述消费进程对待读取的子消息队列中的每条消息进行查询，针对当前消息：判断该消息的执行时间字段是否与当前时间相匹配，如果是，则读取该消息，否则不读取该消息。

9.一种服务器，其特征在于，包括如权利要求5-8中任一项所述的基于数据库消息队列的消费装置。

10.一种计算机可读存储介质，其特征在于，其存储有用于实现如权利要求1-4中任一项所述的方法对应的计算机程序代码。