CN105610947A - 一种高可用分布式队列服务实现方法、装置和*** - Google Patents

Abstract

本发明公开了一种高可用分布式队列服务实现方法、装置和***，所述方法包括：队列接口服务器当接收到客户端发送的数据时，请求Zookeeper服务器集群创建该数据的持久顺序节点，待节点创建后，将数据存入本地的内存队列；当接收到客户端发送的获取数据的请求时，从本地的内存队列中摘取队头数据，并请求Zookeeper服务器集群删除该数据的持久顺序节点，待节点删除成功后，将摘取的数据反馈给客户端；以及当监听到Zookeeper服务器集群内的节点变化时，将节点变化引起的数据变化同步到本地的内存队列。本发明提供了一种高可用、高可扩展、高并发的队列服务的实现方案，为企业应用集成和分布式业务协同提供了可靠的选择。

Description

一种高可用分布式队列服务实现方法、装置和***

技术领域

本发明涉及通信领域，尤其涉及一种高可用分布式队列服务实现方法、装置和***。

背景技术

接口服务为第三方开发者使用网站服务商提供的网站提供了开放的使用平台。现有的接口服务提供方式主要包括：

方案一：单机版；该方案实现的队列服务数据和接口服务部署在同一台机器上，只有一台接口服务器对外提供服务，并且将数据存储在本地内存、文件或数据库中。

方案二：单存储、多接口服务；该方案对外有多台接口服务器，可以提供较高并发。但数据存储在独立的缓存服务器或者数据库服务器。

方案三：多机存储，多接口服务器；该方案数据分散在各台接口服务器中，每个接口服务器存储部分数据。且有一台专门的主控服务器记录着数据所在的地址。

然而，上述各方案存在如下不足：

针对方案一，存在单点故障问题、并发性低；

针对方案二，数据存储可能产生单点问题，并且如果无同步锁机制则不能保证数据一致性，如果加上同步锁机制则会降低效率。

针对方案三，访问接口时，需要一个寻址的过程，降低了并发性。并且虽然数据分别存储在不同机器，但对于每一个机器而言，仍存在单机问题。

所以，如何克服上述问题，能够提供一套高可用、高可扩展、高并发、去中心化的队列接口服务，成为本发明所要解决的技术问题。

发明内容

鉴于上述问题，提出了本发明以便提供一种解决上述问题的高可用分布式队列服务实现方法、装置和***。

依据本发明的一个方面，提供一种高可用分布式队列服务实现方法，应用于队列接口服务器，所述方法包括：

当接收到客户端发送的数据时，请求Zookeeper服务器集群创建该数据的持久顺序节点，待持久顺序节点创建后，将所述数据存入本地的内存队列；

当接收到客户端发送的获取数据的请求时，从本地的内存队列中摘取队头数据，并请求所述Zookeeper服务器集群删除该数据的持久顺序节点，待节点删除成功后，将摘取的数据反馈给客户端；

以及当监听到所述Zookeeper服务器集群内的节点变化时，将节点变化引起的数据变化同步到本地的内存队列。

依据本发明的另一个方面，提供一种高可用分布式队列服务实现方法，应用于Zookeeper服务器集群，所述方法包括：

接收队列服务集群内的队列接口服务器发送的创建或删除节点的请求；

基于请求，在维护的Zookeeper队列中，创建新持久顺序节点或删除已有持久顺序节点，并将节点变化同步到所述队列服务集群内的各队列接口服务器。

依据本发明的第三个方面，提供一种队列接口服务器，包括：

数据追加处理模块，用于接收到客户端发送的数据，请求Zookeeper服务器集群创建该数据的持久顺序节点，待持久顺序节点创建后，将所述数据存入本地的内存队列；

数据获取处理模块，用于接收到客户端发送的获取数据的请求，从本地的内存队列中摘取队头数据，并请求所述Zookeeper服务器集群删除该数据的持久顺序节点，待节点删除成功后，将摘取的数据反馈给客户端；

数据同步处理模块，用于当监听到所述Zookeeper服务器集群内的节点变化时，将节点变化引起的数据变化同步到本地的内存队列。

依据本发明的第四个方面，提供一种Zookeeper服务器集群，所述Zookeeper服务器集群包括若干Zookeeper服务器，所述Zookeeper服务器包括：

请求接收模块，用于接收队列服务集群内的队列接口服务器发送的创建或删除节点的请求；

请求处理模块，用于基于请求，在Zookeeper服务器集群维护的Zookeeper队列中，创建新持久顺序节点或删除已有持久顺序节点；

监控模块，用于将所述Zookeeper队列节点变化同步到所述队列服务集群内的各队列接口服务器。

依据本发明的第五个方面，提供一种高可用分布式队列服务实现***，包括队列服务集群、本发明所提供的Zookeeper服务器集群和一个或至少两个客户端；其中，所述队列服务集群中包含若干本发明所提供的队列接口服务器。

本发明有益效果如下：

本发明采用集群方案，有效的避免了单点故障。任何一台接口服务器或者Zookeeper服务器异常都不会影响整体服务。并且，本发明所述方案中每个队列接口服务器都可以依据自身队列对外提供服务，并采取有效手段保持数据一致性。有效的解决分布式锁的问题，避免了资源争抢和资源死锁的问题。可见，本发明提供了一种高可用、高可扩展、高并发的队列服务的实现方案，为企业应用集成和分布式业务协同提供了一个可靠的选择。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的高可用分布式队列服务实现方法应用的***架构图；

图2为本发明中Zookeeper队列结构图；

图3为本发明中基于Zookeeper的Watcher机制实现数据同步的示意图；

图4为本发明中分布式队列示意图；

图5为本发明实现队列追加数据的流程图；

图6为本发明实现队列获取数据的流程图；

图7为本发明提供的一种队列接口服务器的结构框图；

图8为本发明提供的一种Zookeeper服务器的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

方法实施例

本发明实施例提供一种高可用分布式队列服务实现方法，该方法采用Zookeeper机制提供了一套高可用、高可扩展、高并发的队列服务实现方案。

本实施例所述方法的实施主要涉及以下功能实体：Zookeeper服务器集群和队列服务集群；其中，Zookeeper服务器集群包括若干Zookeeper服务器，队列服务集群包括若干队列接口服务器。下面分别阐述各功能实体的具体实施过程，以对本发明所提出的方法进行详细说明。具体的：

本发明实施例中，在队列接口服务器侧实现高可用分布式队列服务的实现方法包括：

当接收到客户端发送的数据时，请求Zookeeper服务器集群创建该数据的持久顺序节点，待持久顺序节点创建后，将所述数据存入本地的内存队列；

当接收到客户端发送的获取数据的请求时，从本地的内存队列中摘取队头数据，并请求所述Zookeeper服务器集群删除该数据的持久顺序节点，待节点删除成功后，将摘取的数据反馈给客户端；

以及当监听到所述Zookeeper服务器集群内的节点变化时，将节点变化引起的数据变化同步到本地的内存队列。

其中，Zookeeper服务器集群内的节点变化可能是由队列接口服务器所属的队列服务集群内任一队列接口服务器的操作引起的节点变化。

在本发明的一个具体实施例中，队列接口服务器通过Zookeeper的Watcher机制监听所述Zookeeper服务器集群内的节点变化。

本发明实施例中，在Zookeeper服务器集群侧实现高可用分布式队列服务的实现方法包括：

接收队列服务集群内的队列接口服务器发送的创建或删除节点的请求；

基于请求，在维护的Zookeeper队列中，创建新持久顺序节点或删除已有持久顺序节点，并将节点变化同步到所述队列服务集群内的各队列接口服务器。

在本发明的一个具体实施例中，Zookeeper服务器集群通过Watcher机制实现将节点变化同步到所述队列服务集群内的各队列接口服务器。

需要指出的是，本发明实施例中，当多个客户端同时从队列获取数据时，队列需要保证先到先得且元素不被重复获取。对此，Zookeeper服务器集群当接收到所述队列服务集群内的队列接口服务器针对同一持久顺序节点的多个删除请求时，按照先到先得的顺序，响应其中一个删除请求。队列接口服务器在节点未成功删除时，判定该数据已经被其他客户端取走了，此时队列接口服务器将当前摘取的数据删除，并从所述内存队列中继续摘取队头数据，直到摘取的数据对应的持久顺序节点成功删除。

综上可知，本发明采用集群方案，有效的避免了单点故障。任何一台队列接口服务器或者Zookeeper服务器异常都不会影响整体服务。并且，每个队列接口服务器都可以依据自身队列对外提供服务，并采取有效手段保持数据一致性。有效的解决分布式锁的问题，避免了资源争抢和资源死锁的问题。可见，本发明实现了一套高可用、高扩展、高并发、队列去中心化的队列服务实现方案，为企业应用集成和分布式业务协同提供了一个可靠的选择。

下面通过一个具体实施对本发明所述方法进行更详尽的说明。需要说明的是，本实施例中披露的大量技术细节用于解释本发明但不唯一限定本发明。

如图1所示，为本实施例提供的高可用分布式队列服务实现方法应用的***架构图。图中，客户端通过Http访问队列服务集群，队列服务集群采用负载均衡器+N台队列接口服务器模式的集群部署，Zookeeper服务器集群由多台Zookeeper服务器组成，并通过Paxos选举算法选举出Master(leader)。

本实施例中，Zookeeper服务器集群维护一个Zookeeper队列结构，如图2所示，为队列结构示意图。Zookeeper队列结构中的SEQUENTIAL节点(持久顺序节点)特性保证节点的随创建时间排序。每次增加一个SEQUENTIAL类型的节点，Zookeeper队列结构保证节点名称后缀是按顺序递增的。先增加的节点序号小，后增加的节点序号大。

本实施例中，基于Zookeeper的Watcher机制实现数据同步，如图3所示，为数据同步示意图。图中，每个队列接口服务器是对等关系，每个队列接口服务器自身维护一个内存队列。各队列接口服务器维护的内存队列数据通过Zookeeper的Watcher机制保持高度一致，每个队列接口服务器都可以完成发送和获取事务，并将结果通过Zookeeper服务器集群实时同步给其他队列接口服务器。

本实施例中，各队列接口服务器均维护有内存队列，构成了分布式队列，如图4所示，为分布式队列用例的示意图。每个队列均是一个先进先出的线性表数据结构。生产者向队列中追加数据，消费者从队列中获取数据。每一个队列可以为多个生产者和多个消费者提供服务。当多个生产者同时向队列发送数据时，队列需保证先到先进的顺序。当多个消费者同时从队列获取元素时，队列需保证先到先得的顺序并且元素不被重复获取。

下面就分别从队列追加数据和队列获取数据两个方面，对本发明的具体实施过程进行阐述。

如图5所示，为本发明实现队列追加数据的流程图，包括如下步骤：

步骤S501，生产者(客户端)调用队列接口服务器的PUSH接口，将数据发送到队列接口服务器A；

步骤S502，队列接口服务器A请求Zookeeper服务器集群创建该数据的SEQUENTIAL节点；

步骤S503，Zookeeper服务器集群在其维护的Zookeeper队列中创建新节点，并在创建成功后，响应队列接口服务器A的请求；同时，各队列接口服务器在Zookeeper服务器集群内注册的Watcher监测到节点变化，将节点变化同步到各队列接口服务器；

步骤S504，队列接口服务器A在接收到Zookeeper服务器集群的响应后，将生产者发送的数据存入自身维护的内存队列A；其他队列接口服务器B基于Zookeeper服务器集群的同步操作，也将数据存入其维护的内存队列B，最终实现每台队列接口服务器的内存队列与Zookeeper队列保持一致。

需要说明的是，队列接口服务器A在Zookeeper服务器集群内注册的Watcher也会将该节点变化同步到本队列接口服务器A，由于队列接口服务器A已经将数据添加到内存队列A，所以队列接口服务器A经过比对后，会忽略由于自身的操作产生的节点变化的同步数据。

如图6所示，为本发明实现队列获取数据的流程图，包括如下步骤：

步骤S601，消费者(客户端)调用队列接口服务器A的TAKE接口，向队列接口服务器A发送数据获取请求；

步骤S602，队列接口服务器A从自身维护的内存队列A中摘取队头数据；其中，摘取指数据取出后从内存队列中删除。

步骤S603，队列接口服务器A向Zookeeper服务器集群发送删除队头数据对应的节点的请求；

步骤S604，Zookeeper服务器集群以保证一个节点只能被删除一次为原则，进行节点删除操作；当节点成功删除时，各队列接口服务器在Zookeeper服务器集群内注册的Watcher监测到节点变化，将节点变化同步到各队列接口服务器；

步骤S605，若节点删除失败，则队列接口服务器A将摘取的队头数据删除，并继续摘取队头数据，返回步骤S603；其中，节点删除失败，表示该数据已经被其他客户端获取，该数据已失效。

步骤S606，若节点删除成功，则队列接口服务器A将摘取的队头数据返回给消费者；其他队列接口服务器B基于Zookeeper服务器集群的同步操作，也将数据从其维护的内存队列B中删除，最终实现每台队列接口服务器的内存队列与Zookeeper队列保持一致。

需要说明的是，队列接口服务器A在Zookeeper服务器集群内注册的Watcher也会将该节点变化同步到本队列接口服务器A，由于队列接口服务器A已经将数据从内存队列A中删除，所以队列接口服务器A经过比对后，会忽略由于自身的操作产生的节点变化的同步数据。

综上所述可知，本发明利用Zookeeper的SEQUENTIAL节点特性实现队列核心的先到先进高效算法。利用Zookeeper的Watcher机制，实现队列数据在多个队列接口服务器的数据实时同步，以及队列去中心化。利用Zookeeper的OneNodeDeleteOnce的特性实现队列核心的先到先得，元素不被重复获取。结合负载均衡器搭建的接口服务集群+Zookeeper集群实现一套高可用、高可扩展、高并发的队列服务。

装置实施例

本发明实施例提供一种队列接口服务器，如图7所示，包括：

数据追加处理模块710，用于接收到客户端发送的数据，请求Zookeeper服务器集群创建该数据的持久顺序节点，待持久顺序节点创建后，将所述数据存入本地的内存队列；

数据获取处理模块720，用于接收到客户端发送的获取数据的请求，从本地的内存队列中摘取队头数据，并请求所述Zookeeper服务器集群删除该数据的持久顺序节点，待节点删除成功后，将摘取的数据反馈给客户端；

数据同步处理模块730，用于当监听到所述Zookeeper服务器集群内的节点变化时，将节点变化引起的数据变化同步到本地的内存队列。

在本发明的一个具体实施例中，当所述Zookeeper服务器集群未成功删除节点时，数据获取处理模块720，还用于将当前摘取的数据删除，并从所述内存队列中继续摘取队头数据，直到摘取的数据对应的持久顺序节点成功删除。

在本发明的又一个具体实施例中，数据同步处理模块730，具体用于通过Zookeeper的Watcher机制监听所述Zookeeper服务器集群内的节点变化。

本发明实施例还提供一种Zookeeper服务器集群，所述Zookeeper服务器集群包括若干Zookeeper服务器，如图8所示，所述Zookeeper服务器包括：

请求接收模块810，用于接收队列服务集群内的队列接口服务器发送的创建或删除节点的请求；

请求处理模块820，用于基于请求，在Zookeeper服务器集群维护的Zookeeper队列中，创建新持久顺序节点或删除已有持久顺序节点；

监控模块830，用于将所述Zookeeper队列节点变化同步到所述队列服务集群内的各队列接口服务器。

在本发明的一个具体实施例中，当请求接收模块810接收到所述队列服务集群内的队列接口服务器针对同一持久顺序节点的多个删除请求时，请求处理模块820按照先到先得的顺序，响应其中一个删除请求。

在本发明的又一具体实施例中，监控模块830，具体用于通过Watcher机制将所述Zookeeper队列节点变化同步到所述队列服务集群内的各队列接口服务器。

需要指出的是，本实施例中只是对Zookeeper服务器集群的改进之处进行了说明，本实施例所述的Zookeeper服务器集群仍具有目前公知的一些Zookeeper集群特性，在次不作赘述。

综上可知，本发明采用集群方案，有效的避免了单点故障。任何一台队列接口服务器或者Zookeeper服务器异常都不会影响整体服务。并且，每个队列接口服务器都可以依据自身队列对外提供服务，并采取有效手段保持数据一致性。有效的解决分布式锁的问题，避免了资源争抢和资源死锁的问题。可见，本发明实现了一套高可用、高扩展、高并发、队列去中心化的队列服务实现方案，为企业应用集成和分布式业务协同提供了一个可靠的选择。

***实施例

本发明实施例提供一种高可用分布式队列服务实现***，包括：队列服务集群、装置实施例中所述的Zookeeper服务器集群和一个或至少两个客户端；其中，所述队列服务集群中包含若干装置实施例中所述的队列接口服务器。

由于在装置实施例中已经对***内各装置的结构及功能进行了详细阐述，在此不再重复赘述。由于本实施例所述***包含装置实施例所述的Zookeeper服务器集群、队列服务集群，所以也必然能够达到装置实施例所能达到的技术效果。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是其与其他实施例的不同之处。尤其对于装置、***实施例而言，由于其基本相似与方法实施例，所以，描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。

总之，以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (13)

1.一种高可用分布式队列服务实现方法，其特征在于，应用于队列接口服务器，所述方法包括：

当接收到客户端发送的数据时，请求Zookeeper服务器集群创建该数据的持久顺序节点，待持久顺序节点创建后，将所述数据存入本地的内存队列；

当接收到客户端发送的获取数据的请求时，从本地的内存队列中摘取队头数据，并请求所述Zookeeper服务器集群删除该数据的持久顺序节点，待节点删除成功后，将摘取的数据反馈给客户端；

以及当监听到所述Zookeeper服务器集群内的节点变化时，将节点变化引起的数据变化同步到本地的内存队列。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

当所述Zookeeper服务器集群未成功删除节点时，将当前摘取的数据删除，并从所述内存队列中继续摘取队头数据，直到摘取的数据对应的持久顺序节点成功删除。

3.如权利要求1或2所述的方法，其特征在于，所述队列接口服务器通过Zookeeper的监听Watcher机制监听所述Zookeeper服务器集群内的节点变化。

4.一种高可用分布式队列服务实现方法，其特征在于，应用于Zookeeper服务器集群，所述方法包括：

接收队列服务集群内的队列接口服务器发送的创建或删除节点的请求；

基于请求，在维护的Zookeeper队列中，创建新持久顺序节点或删除已有持久顺序节点，并将节点变化同步到所述队列服务集群内的各队列接口服务器。

5.如权利要求4所述的方法，其特征在于，当接收到所述队列服务集群内的队列接口服务器针对同一持久顺序节点的多个删除请求时，按照先到先得的顺序，响应其中一个删除请求。

6.如权利要求4或5所述的方法，其特征在于，所述Zookeeper服务器集群通过Watcher机制实现将节点变化同步到所述队列服务集群内的各队列接口服务器。

7.一种队列接口服务器，其特征在于，包括：

数据追加处理模块，用于接收到客户端发送的数据，请求Zookeeper服务器集群创建该数据的持久顺序节点，待持久顺序节点创建后，将所述数据存入本地的内存队列；

数据获取处理模块，用于接收到客户端发送的获取数据的请求，从本地的内存队列中摘取队头数据，并请求所述Zookeeper服务器集群删除该数据的持久顺序节点，待节点删除成功后，将摘取的数据反馈给客户端；

数据同步处理模块，用于当监听到所述Zookeeper服务器集群内的节点变化时，将节点变化引起的数据变化同步到本地的内存队列。

8.如权利要求7所述的队列接口服务器，其特征在于，当所述Zookeeper服务器集群未成功删除节点时，所述数据获取处理模块，还用于将当前摘取的数据删除，并从所述内存队列中继续摘取队头数据，直到摘取的数据对应的持久顺序节点成功删除。

9.如权利要求7或8所述的队列接口服务器，其特征在于，所述数据同步处理模块，具体用于通过Zookeeper的Watcher机制监听所述Zookeeper服务器集群内的节点变化。

10.一种Zookeeper服务器集群，其特征在于，所述Zookeeper服务器集群包括若干Zookeeper服务器，所述Zookeeper服务器包括：

请求接收模块，用于接收队列服务集群内的队列接口服务器发送的创建或删除节点的请求；

请求处理模块，用于基于请求，在Zookeeper服务器集群维护的Zookeeper队列中，创建新持久顺序节点或删除已有持久顺序节点；

监控模块，用于将所述Zookeeper队列节点变化同步到所述队列服务集群内的各队列接口服务器。

11.如权利要求10所述的Zookeeper服务器集群，其特征在于，当所述请求接收模块接收到所述队列服务集群内的队列接口服务器针对同一持久顺序节点的多个删除请求时，所述请求处理模块按照先到先得的顺序，响应其中一个删除请求。

12.如权利要求10或11述的Zookeeper服务器集群，其特征在于，所述监控模块，具体用于通过Watcher机制将所述Zookeeper队列节点变化同步到所述队列服务集群内的各队列接口服务器。

13.一种高可用分布式队列服务实现***，其特征在于，包括队列服务集群、权利要求10至12任意一项所述的Zookeeper服务器集群和一个或至少两个客户端；其中，所述队列服务集群中包含若干权利要求7至9任意一项所述的队列接口服务器。