CN103209214A - 一种基于NoSQL的消息中间件的实现方法 - Google Patents

Abstract

本发明公开了一种基于NoSQL的消息中间件的实现方法，包括缓存转发和宕机恢复。在NoSQL中，数据的访问控制都在内存中进行，读写速度很高。把消息存储在NoSQL中，可保证消息缓存的高效，在对消息进行查找时能利用内存读写速度的优势，更快地定位消息。配合日志文件，更能保证在消息中间件服务器宕机后消息不丢失，并在重启后能恢复宕机前的消息。

Description

一种基于NoSQL的消息中间件的实现方法

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于NoSQL的消息中间件的实现方法。

背景技术

消息中间件服务器，作为一个高效传输和可靠的中转站，消息的传输和存储是一个关键的环节。

消息服务器主要有以下两种要求：

1)可靠的存储

适合于消息需要可靠传输的应用环境。一般利用文件或数据库作为消息的存储方式，内存开销小，即使服务器宕机，重启后仍可从持久存储中恢复上一次已存储的消息。但以文件或数据库作为存储介质，在高负载的情况下，频繁I/O操作会降低消息中间件的吞吐量。

2)高效的传输

适合对性能要求非常苛刻，但是消息无需可靠持久的应用环境。基于内存来进行消息的高效缓存与转发，但在服务器宕机后不能保存消息。

此外，消息中间件对于数据集成和***整合是非常重要的，以中间件为接口的各子***通信，可避免子***间的各种差异所带来的复杂性，如硬件平台、网络协议、开发语言所引起的。消息的时效、消息的持久、消息传输的高效性更值得关注。

针对以上不足提出了一种基于内存存储的NoSQL结合日志文件，既可解决消息服务的性能问题，也提供消息的可靠存储。

发明内容

本发明的目的是为了克服现有技术的缺陷，提供一种基于NoSQL的消息中间件的实现方法，在NoSQL中，数据的访问控制都在内存中进行，读写速度很高。把消息存储在NoSQL中，可保证消息缓存的高效，在对消息进行查找时能利用内存读写速度的优势，更快地定位消息。配合日志文件，更能保证在消息中间件服务器宕机后消息不丢失，并在重启后能恢复宕机前的消息。

一种基于NoSQL的消息中间件的实现方法，包括缓存转发和宕机恢复：

1缓存转发：

第一步：获取消息的参数，参数中包括了消息的内容和路由机制及服务质量等。主要有消息的内容，发送者和接收者的地址或主题，开始传输时间，有效期，优先级，由以上内容决定了在消息中间件的存储内容及发送时机。

第二步：对参数进行封装和序列化，序列化后的内容可以很方便地存储在日志文件和NoSQL中，也能从日志文件和NoSQL中通过反序列化得出原来的各种参数。

第三步：消息发送与存储，由四个线程(池)处理。

线程池A：监听指定的端口，接收消息。符合条件的消息立即发送，不符合发送条件的消息经过筛选后发给线程B做持久化处理。

线程B：把消息和标志域写入日志文件，标志域有新增、修改、删除。

线程C：把消息写入NoSQL。

线程D：对延迟发送或者发送失败但未超出最迟交付时间的消息进行重新发送。

2宕机恢复：

如果服务程序宕机，重启后可从日志文件中恢复重启前的消息。主要处理工作为：

1)从日志文件读取内容，对标志域进行判断，恢复重启前的消息。

2)把恢复后的消息写入文件，覆盖原来的日志文件。

3)把恢复后的消息存入NoSQL。

本发明提供的基于NoSQL的消息中间件带来的有益效果：

1)利用NoSQL做为缓存，可快速检索消息，提高消息中间件的吞吐量。

2)利用日志文件作为持久存储，即使在宕机时，也能保证在重启之后恢复所有的消息，将消息恢复成合理的状态。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例中***存储发送消息的流程图；

图2为本发明实施中宕机恢复的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种基于NoSQL的消息中间件的实现方法，包括缓存转发和宕机恢复。

缓存转发如图1所示，具体为：

第一步：获取消息的参数。

消息由两部分组成，包括消息头和消息体。

1)消息头内容有：

a)消息的发送者和接收者的地址或者消息的主题，可有多个地址对或主题，每个地址对或主题对应有相应的一组质量要求。

b)消息的服务质量要求。包括开始传输时间、有效期、优先级，每组质量要求对应一个地址队或主题。

2)消息体包含需传输和存储的消息内容。一个消息体可以有多个不同的消息头。

第二步：对参数进行封装和序列化。

可用JSON、XML、protobuf进行序列化和反序列化。

为方便后面的发送，在这里根据开始传输时间和有效期计算出最迟交付时间，用最迟交付时间替换有效期。并从服务器获取唯一的序列号做为键，把其余内容做为序列化后值，将此键值对发给第三步的线程池A。

第三步：消息发送与存储，由四个线程(池)处理。

线程池A：循环处理，步骤如下：

1)监听指定的端口，接收消息。

2)把接收到的消息按优先级从高到低排队，按以下次序处理：

a)如果当前时间处于开始传输时间和最迟交付时间，则依据消息的路由规则发送给接收端。

b)清除过期消息。如果当前时间已超出最迟交付时间或发送成功后，则删除此交付时间对应的地址对或主题；若地址对或主题全部删除，则删除此消息。

c)如果未到开始传输时间，则不发送。

3)把未发送的消息加上新增标志发送给线程B。

4)转到1)。

线程B：把消息和标志域写入日志文件。循环处理，步骤如下：

1)接收消息。

2)持久化消息。解析出消息中的标志域，将标志和消息内容以增加的方式写入存储文件。如果标志域是新增则把此消息发送给线程C。

3)转到1)。

线程C：把消息写入NoSQL。循环处理，步骤如下：

1)接收消息。

2)把消息写入NoSQL。

3)转到1)。

线程D：对延迟发送或者发送失败但未超出最迟交付时间的消息进行重新发送，循环处理，步骤如下：

1)从NoSQL取消息，如果当前时间小于开始传输时间，则不取。

2)如果当前时间处于开始传输时间和最迟交付时间，则发送。

3)清除过期消息。如果当前时间已超出最迟交付时间或发送成功后，则删除此交付时间对应的地址对或主题，若地址对或主题未全部删除更新此消息在NoSQL中的内容；若地址对或主题全部删除，则从NoSQL删除此消息。如果消息是整条删除，则发送删除标志域和消息的序列号给线程B；如果是部分删除地址对或主题，则发送修改标志域和消息的序列号和未删除的地址对或主题给线程B。

4)转到1)。

宕机恢复如图2所示，具体为：

如果服务程序宕机，重启后可从日志文件中恢复重启前的消息。步骤如下：

1)线程池A、线程B、线程D暂不启动。

2)从日志文件的最后开始读，每读一行，需对标志域进行判断。如果标志域是删除，有关此条消息的所有内容都可以忽略；如果标志域是新增，那么这条消息必须恢复；如果标志域是删除，那么当前在文件中的这条消息的消息头需缓存，读取到此消息的消息体后再与消息头组合。

3)读到文件头后，把所恢复的消息以新增标志域写入临时文件。写入完成后，用此临时文件替换原线程B的日志文件。

4)启动线程C，把所有恢复后的消息发送给线程C。

5)按次序启动线程B、线程D、线程池A。

6)此恢复线程退出。

以上对本发明实施例所提供的一种基于NoSQL的消息中间件的实现方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种基于NoSQL的消息中间件的实现方法，其特征在于，包括缓存转发和宕机恢复，其中，缓存转发包括获取消息的参数，对参数进行封装和序列化，消息发送与存储；宕机恢复包括从日志文件读取内容，对标志域进行判断，恢复重启前的消息，把恢复后的消息写入文件，覆盖原来的日志文件，把恢复后的消息存入NoSQL。

2.根据权利要求1所述的方法，其特征在于，消息的参数包括消息的内容、路由机制及服务质量，具体包括消息的发送者和接收者的地址或者消息的主题，服务质量包括开始传输时间、有效期、优先级。

3.根据权利要求2所述的方法，其特征在于，消息的发送者和接收者或者消息的主题有多个地址对或主题，每个地址对或主题对应相应的一组质量要求。

4.根据权利要求1所述的方法，其特征在于，序列化后的内容存储在日志文件和NoSQL中，也能从日志文件和NoSQL中通过反序列化得出原来的各种参数。

5.根据权利要求1所述的方法，其特征在于，消息发送与存储，由线程池和线程处理，其中，

线程池A：监听指定的端口，接收消息，符合条件的消息立即发送，不符合发送条件的消息经过筛选后发给线程B做持久化处理；

线程B：把消息和标志域写入日志文件，标志域有新增、修改、删除；

线程C：把消息写入NoSQL；

线程D：对延迟发送或者发送失败但未超出最迟交付时间的消息进行重新发送。

6.根据权利要求1或4所述的方法，其特征在于，用JSON、XML、protobuf进行序列化和反序列化。

7.根据权利要求1或2或5所述的方法，其特征在于，在序列化和反序列化时为方便后面的发送，根据开始传输时间和有效期计算出最迟交付时间，用最迟交付时间替换有效期，并从服务器获取唯一的序列号做为键，把其余内容做为序列化后值，将此键值对发给线程池A。

Images