CN110134534B - 基于nio针对大数据分布式***进行消息处理优化的***及方法 - Google Patents

Abstract

本发明涉及一种基于NIO针对大数据分布式***进行消息处理优化的***，包括消息产生模块；消息分发模块；消息发送模块；消息接收模块；消息处理模块，根据接收的消息中的业务信息进行相应的业务操作；消息返回处理模块，用于等待消息的处理结果。本发明还涉及一种基于NIO针对大数据分布式***进行消息处理优化控制的方法。采用了本发明的基于NIO针对大数据分布式***进行消息处理优化的***及方法，能够有效的降低分布式***间消息通信时的资源占用高的问题，在提高消息通信的效率的同时保证了消息通信的及时性，且***的通用性强，架构灵活，可扩展性高。该发明采用的方法很好的满足目前分布式***间大批量和高并发消息通信的需求，具有广泛的应用范围。

Description

基于NIO针对大数据分布式***进行消息处理优化的***及 方法

技术领域

本发明涉及计算机应用领域，尤其涉及大数据处理领域，具体是指一种基于NIO针对大数据分布式***进行消息处理优化的***及方法。

背景技术

随着互联网发展，需要处理的数据量越来越大，传统的单体应用架构已经难以满足现阶段互联网的发展需求，当今的互联网应用普遍采用基于网络的分布式架构。通过对服务的拆分降低不同业务模块之间的耦合度，不同模块以独立的方式部署，模块与模块之间通过网络的方式进行交互，从而提高***处理性能、可靠性和可扩展性。对于高访问量、高并发的***，基于网络的分布式应用架构成为了必然选择。

传统的单体软件架构只部署在一台机器上，如图1所示，不同模块间的交互都是通过本地的方法调用完成，数据的传送都是在内存上进行的，开销比较小，延迟比较低。相对于单体应用架构，基于网络的分布式应用架构给我们带来了许多的好处，但与此同时也带来了新的问题。在基于网络的分布式架构中，一个业务操作可能需要多个不同模块的交互完成，不同模块之间的交互需要跨越网络，如图2所示。基于网络的应用架构在提高***处理性能、可靠性和可扩展性的同时也带来了如下的问题：提高了应用业务处理的延时；增加了***在处理网络连接方面的资源开销；不同模块之间存在大批量的数据传输可能造成网络的拥堵。

在传统的方式中，由于需要保证业务上的操作是正确的，模块间是以同步的方式进行通信的，需要等待对方的返回结果来判断调用是否成功，从而执行下一步的操作或是进行失败回滚。同步处理的调用时序图如图3所示，从同步调用的时序图可以看出，在等待调用远程服务的方法的过程中，调用者需要等待请求的返回才可进行下一步操作，调用方法的过程中，线程调用者的线程进入阻塞状态，直到服务器返回调用结果后才可重新进入运行状态。虽让线程进入阻塞状态不运行，但***还是需要保持调用者线程的信息，这需要占用***的资源。

在大数据的背景下，分布式***业务模块之间的交互非常频繁，***间消息通信的规模大、并发度高，若为模块间每个消息通信的网络请求生成一个线程，频繁的线程创建及销毁操作将会占用服务器的大量资源，影响服务器的性能。虽然可以用线程池技术消除线程创建及销毁操作，但线程池的容量是有限的，当线程池中的线程都在等待远程调用结果的返回时，后面的请求都在等待获取线程池里的线程，此时可能造成***的处理线程都阻塞在网络IO上，CPU资源的利用率不高，影响***的处理性能，这种问题在调用的远程操作比较复杂，耗费的时间比较长时尤为明显。

从以上的推论可以看出，在基于网络的大数据分布式架构的应用中，传统方法下的基于同步方式进行的***间消息传输时存在上述的缺陷。

发明内容

本发明的目的是克服了上述现有技术的缺点，提供了一种资源利用率高、处理性能好、操作简便的基于NIO针对大数据分布式***进行消息处理优化的***及方法。

为了实现上述目的，本发明的基于NIO针对大数据分布式***进行消息处理优化的***及方法如下：

该基于NIO针对大数据分布式***进行消息处理优化的***，其主要特点是，所述的***包括：

消息产生模块，用于生成业务消息并将业务消息对象加入到消息发送队列；

消息分发模块，与所述的消息产生模块相连接，用于对消息进行合并和格式转换；

消息发送模块，与所述的消息分发模块相连接，用于将业务消息对象转换成可在网络上传输的格式，并使用非阻塞的方式发送消息；

消息接收模块，与所述的消息发送模块相连接，用于将消息交由后续模块进行处理，并在处理后将处理的结果信息返回给消息发送模块；

消息处理模块，与所述的消息接收模块相连接，用于对消息进行处理，根据接收的消息中的业务信息进行相应的业务操作，并生成操作的结果信息；

消息返回处理模块，与所述的消息处理模块相连接，用于等待消息的处理结果，并根据返回的处理结果进行相应的业务操作。

该基于上述***基于NIO针对大数据分布式***进行消息处理优化控制的方法，其主要特点是，所述的方法包括以下步骤：

(1)所述的消息产生模块解耦消息发送，产生消息并将消息封装成消息对象之后加入到消息发送队列中；

(2)所述的消息分发模块从消息发送队列中获取消息对象，并对消息对象进行合并和转换；

(3)所述的消息发送模块使用NIO组件，以非阻塞的方式通过网络发送给远程服务端；

(4)所述的消息接收模块处理消息发送方的发送请求，将消息报文信息重新封装成消息对象后交由消息处理模块处理；

(5)所述的消息处理模块获取到消息对象之后根据消息进行相关的业务处理并生成处理结果；

(6)所述的消息返回处理模块通过等待远程服务的处理结果，并根据返回消息的信息进行后续的业务处理。

较佳地，所述的步骤(1)具体包括以下步骤：

(1.1)所述的消息产生模块从业务处理的逻辑中生成消息，将消息封装成单独的消息对象；

(1.2)所述的消息产生模块将消息对象加入到消息的发送队列中，继续后续的业务处理或完成业务处理。

较佳地，所述的步骤(2)具体包括以下步骤：

(2.1)所述的消息分发模块从配置文件中获取消息分发服务线程的配置参数信息，并根据参数启动消息分发服务；

(2.2)所述的消息分发模块从消息队列中读取消息信息；

(2.3)所述的消息分发模块将消息对象加入到消息待处理列表中，判断消息待处理列表中的消息数量是否达到了配置的最大消息合并长度，如果是，则继续步骤(2.6)；否则，继续(2.5)；

(2.4)消息待处理列表不为空时，计算当前***的时间和最后一次进行消息批量处理时间的时间差，判断时间差是否大于或等于配置的带处理消息最长等待时间，如果是，则继续步骤(2.5)；否则，继续步骤(2.2)；

(2.5)达到最大合并消息数或最长等待时间时，提取带处理消息列表中的消息，生成新的待处理消息数组；

(2.6)所述的消息分发模块使用新的待处理消息数组构造新的消息发送处理线程，将消息发送现场加入到消息发送线程池中执行；

(2.7)所述的消息分发模块将原来列表中的带处理信息清空用于下次使用，更新最后一次处理待处理列表中的消息的时间为当前时间，继续步骤(2.2)。

较佳地，所述的步骤(2.2)具体包括以下步骤：

(2.2.1)判断当前队列是否有消息，如果是，则获取消息对象，继续步骤(2.3)；否则，继续步骤(2.2.2)；

(2.2.2)等待预设的时间，判断等待的时间范围内是否有新消息加入队列中，如果是，则获取消息对象或继续步骤(2.3)；否则，继续步骤(2.4)。

较佳地，所述的步骤(3)具体包括以下步骤：

(3.1)所述的消息发送模块从配置文件中获取消息发送服务的配置参数，并根据配置启动消息发送的服务；

(3.2)所述的消息发送模块对消息对象数组进行转化，生成字符格式的消息报文；

(3.3)打开消息的发送通道，并将通道的阻塞方式配置为非阻塞；

(3.4)使用生成的报文消息生产报文的字节缓冲区，使用缓冲区的方式发送消息；

(3.5)所述的消息发送模块将报文字节缓冲区中的数据写入到通道中，直至所有数据写入到通道中，将通道的读取事件注册到IO多路复用选择器中。

较佳地，所述的步骤(4)具体包括以下步骤：

(4.1)所述的消息接收模块创建服务端的消息接收通道，将通道设置为非阻塞模式，并指定通道端口，从服务端通道中获取消息发送的请求链接；

(4.2)判断是否获取到新的请求的链接，如果是，则继续步骤(4.3)；否则，重新执行步骤(4.2)；

(4.3)所述的消息接收模块将获取到的消息请求通道的可读事件注册到服务端的IO多路复用选择器中，监听IO多路复用选择器中可读取事件，消息请求通道中数据传输完成后，通过上述的IO多路复用选择器获取该传输通道；

(4.4)所述的消息接收模块申请新的字节缓冲区，读取消息报文信息并转换成消息对象数组，生成业务处理任务，将消息处理任务列表使用线程池进行并发处理，指定执行业务允许的最长等待时间，生成一组消息处理的结果列表；

(4.5)所述的消息接收模块从所述的结果列表中获取业务的执行的结果，将执行结果进行拼接写入到返回的信息中，将处理结果信息转换成报文的形式，将报文返回给调用的客户端。

较佳地，所述的步骤(5)具体包括以下步骤：

(5.1)所述的消息处理模块从配置文件中获取消息处理服务配置参数信息并根据参数启动消息处理服务；

(5.2)所述的消息处理模块通过线程池以并发的方式处理每一个消息处理任务；

(5.3)所述的消息处理模块根据消息处理的结果生成消息处理结果信息，并返回给所述的消息接收模块。

较佳地，所述的步骤(6)具体包括以下步骤：

(6.1)所述的消息返回处理模块通过客户端的IO多路复用选择器选取已返回处理结果的传输通道；

(6.2)从传输通道中读取服务端返回的消息到缓冲区中，从缓冲区中获取返回的处理信息；

(6.3)解析返回的信息，根据返回信息中的原消息ID区分每个业务操作；

(6.4)判断息的返回结果是否包含错误信息，如果是，则根据需要重发消息进行重试或者根据消息ID对业务进行回滚操作；否则，根据消息的返回结果进行下一步的业务处理。

采用了本发明的基于NIO针对大数据分布式***进行消息处理优化的***及方法，解决了大数据量分布式***间消息通信时***资源占用过高和处理效率不高的问题，提出了一种基于NIO的大数据分布式***的消息处理优化方法，该技术方案由消息产生模块、消息的分发模块、消息发送模块、消息的接收模块、消息的处理模块和消息返回处理模块构成；采用了该消息优化处理方法的***，能够有效的降低分布式***间消息通信时的资源占用高的问题，在提高消息通信的效率的同时保证了消息通信的及时性，且***的通用性强，架构灵活，可扩展性高。该发明采用的方法很好的满足目前分布式***间大批量和高并发消息通信的需求，具有广泛的应用范围。

附图说明

图1为现有技术的单体软件架构图。

图2为现有技术的基于网络的分布式应用架构图。

图3为现有技术的分布式应用***间使用同步调用的时序图。

图4为本发明的基于NIO针对大数据分布式***进行消息处理优化控制的方法的非阻塞的IO多路复用服务调用时序图。

图5为本发明的基于NIO针对大数据分布式***进行消息处理优化控制的方法的消息处理流程图。

图6为本发明的基于NIO针对大数据分布式***进行消息处理优化控制的方法的消息分发模块的处理流程图。

具体实施方式

为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。

本发明的该基于NIO针对大数据分布式***进行消息处理优化的***，其中包括：

消息产生模块，用于生成业务消息并将业务消息对象加入到消息发送队列；

消息分发模块，与所述的消息产生模块相连接，用于对消息进行合并和格式转换；

消息发送模块，与所述的消息分发模块相连接，用于将业务消息对象转换成可在网络上传输的格式，并使用非阻塞的方式发送消息；

消息接收模块，与所述的消息发送模块相连接，用于将消息交由后续模块进行处理，并在处理后将处理的结果信息返回给消息发送模块；

消息处理模块，与所述的消息接收模块相连接，用于对消息进行处理，根据接收的消息中的业务信息进行相应的业务操作，并生成操作的结果信息；

消息返回处理模块，与所述的消息处理模块相连接，用于等待消息的处理结果，并根据返回的处理结果进行相应的业务操作。

本发明的该基于上述***基于NIO针对大数据分布式***进行消息处理优化控制的方法，其中包括以下步骤：

(1)所述的消息产生模块解耦消息发送，产生消息并将消息封装成消息对象之后加入到消息发送队列中；

(1.1)所述的消息产生模块从业务处理的逻辑中生成消息，将消息封装成单独的消息对象；

(1.2)所述的消息产生模块将消息对象加入到消息的发送队列中，继续后续的业务处理或完成业务处理；

(2)所述的消息分发模块从消息发送队列中获取消息对象，并对消息对象进行合并和转换；

(2.1)所述的消息分发模块从配置文件中获取消息分发服务线程的配置参数信息，并根据参数启动消息分发服务；

(2.2)所述的消息分发模块从消息队列中读取消息信息；

(2.2.1)判断当前队列是否有消息，如果是，则获取消息对象，继续步骤(2.3)；否则，继续步骤(2.2.2)；

(2.2.2)等待预设的时间，判断等待的时间范围内是否有新消息加入队列中，

如果是，则获取消息对象或继续步骤(2.3)；否则，继续步骤(2.4)；

(2.3)所述的消息分发模块将消息对象加入到消息待处理列表中，判断消息待处理列表中的消息数量是否达到了配置的最大消息合并长度，如果是，则继续步骤(2.6)；否则，继续(2.5)；

(2.4)消息待处理列表不为空时，计算当前***的时间和最后一次进行消息批量处理时间的时间差，判断时间差是否大于或等于配置的带处理消息最长等待时间，如果是，则继续步骤(2.5)；否则，继续步骤(2.2)；

(2.5)达到最大合并消息数或最长等待时间时，提取带处理消息列表中的消息，生成新的待处理消息数组；

(2.6)所述的消息分发模块使用新的待处理消息数组构造新的消息发送处理线程，将消息发送现场加入到消息发送线程池中执行；

(2.7)所述的消息分发模块将原来列表中的带处理信息清空用于下次使用，更新最后一次处理待处理列表中的消息的时间为当前时间，继续步骤(2.2)；

(3)所述的消息发送模块使用NIO组件，以非阻塞的方式通过网络发送给远程服务端；

(3.1)所述的消息发送模块从配置文件中获取消息发送服务的配置参数，并根据配置启动消息发送的服务；

(3.2)所述的消息发送模块对消息对象数组进行转化，生成字符格式的消息报文；

(3.3)打开消息的发送通道，并将通道的阻塞方式配置为非阻塞；

(3.4)使用生成的报文消息生产报文的字节缓冲区，使用缓冲区的方式发送消息；

(3.5)所述的消息发送模块将报文字节缓冲区中的数据写入到通道中，直至所有数据写入到通道中，将通道的读取事件注册到IO多路复用选择器中；

(4)所述的消息接收模块处理消息发送方的发送请求，将消息报文信息重新封装成消息对象后交由消息处理模块处理；

(4.1)所述的消息接收模块创建服务端的消息接收通道，将通道设置为非阻塞模式，并指定通道端口，从服务端通道中获取消息发送的请求链接；

(4.2)判断是否获取到新的请求的链接，如果是，则继续步骤(4.3)；否则，重新执行步骤(4.2)；

(4.3)所述的消息接收模块将获取到的消息请求通道的可读事件注册到服务端的IO多路复用选择器中，监听IO多路复用选择器中可读取事件，消息请求通道中数据传输完成后，通过上述的IO多路复用选择器获取该传输通道；

(4.4)所述的消息接收模块申请新的字节缓冲区，读取消息报文信息并转换成消息对象数组，生成业务处理任务，将消息处理任务列表使用线程池进行并发处理，指定执行业务允许的最长等待时间，生成一组消息处理的结果列表；

(4.5)所述的消息接收模块从所述的结果列表中获取业务的执行的结果，将执行结果进行拼接写入到返回的信息中，将处理结果信息转换成报文的形式，将报文返回给调用的客户端；

(5)所述的消息处理模块获取到消息对象之后根据消息进行相关的业务处理并生成处理结果；

(5.1)所述的消息处理模块从配置文件中获取消息处理服务配置参数信息并根据参数启动消息处理服务；

(5.2)所述的消息处理模块通过线程池以并发的方式处理每一个消息处理任务；

(5.3)所述的消息处理模块根据消息处理的结果生成消息处理结果信息，并返回给所述的消息接收模块；

(6)所述的消息返回处理模块通过等待远程服务的处理结果，并根据返回消息的信息进行后续的业务处理；

(6.1)所述的消息返回处理模块通过客户端的IO多路复用选择器选取已返回处理结果的传输通道；

(6.2)从传输通道中读取服务端返回的消息到缓冲区中，从缓冲区中获取返回的处理信息；

(6.3)解析返回的信息，根据返回信息中的原消息ID区分每个业务操作；

(6.4)判断息的返回结果是否包含错误信息，如果是，则根据需要重发消息进行重试或者根据消息ID对业务进行回滚操作；否则，根据消息的返回结果进行下一步的业务处理。

本发明的具体实施方式中，针对上述常用解决方案的不足之处，即针对分布式架构中各个模块之间通过网络相互通信时，由于高并发的网络请求造成的***资源占用过高、线程阻塞造成的***资源利用率不高进而影响***处理性能的问题。通过优化分布式架构中模块间通信时***资源占用和消除线程阻塞引起的资源利用率不高的问题提升分布式***的处理性能。

为了实现上述目的，基于NIO的大数据分布式***的消息处理优化方法使用了如下的技术方案：

(一)使用NIO的非阻塞的通信框架

使用JAVA中的NIO框架进行分布式***间消息的相互传输。通过使用NIO的非阻塞通信方式，避免了消息发送过程中线程的阻塞。通过IO多路复用的方式实现一个线程同时管理多个网络链接，IO多路复用服务调用时序图如图4所示，***不需要为每个消息通信建立新的线程，减少了***处理网络IO时的资源占用。

(二)对消息进行合并和并发处理

在消息发送的客户端对消息进行合并，通过对消息合并后降低了分布式***间消息交互时的网络通信次数来提高***的处理性能。对消息进行合并处理的同时要控制消息合并的数量和消息等待合并的最长等待时间，保证消息通信的实效性，同时服务端对接受到的合并消息中每个消息进行并发的业务处理，解决消息合并后带来的处理延时增加的问题。

通过上述两种方法的有机融合，实现了大数据分布式***中消息处理优化方法。

基于NIO的大数据分布式***的消息处理优化方法具有如下的构成：

消息产生模块，用于生成业务消息并将业务消息对象加入到消息发送队列；

消息分发模块，获取消息发送队列中的消息，对消息进行合并和格式转换；

消息发送模块，消费消息发送队列中的消息，将业务消息对象转换成可在网络上传输的格式并使用非阻塞的方式发送消息；

消息接收模块，用于接收消息发送方发送的消息，并将消息交由消息处理模块进行处理，并在消息模块处理完成之后将处理的结果信息返回给消息发送者；

消息处理模块，对消息进行处理，根据接收的消息中的业务信息进行相应的业务操作，并生成操作的结果信息；

消息返回处理模块，等待消息的处理结果，并根据返回的处理结果进行相应的业务操作。

本发明中的该基于NIO的大数据分布式***的消息处理优化方法，处理过程如图5所示，所述的方法包括以下步骤：

(1)消息产生模块解耦消息发送，产生消息并将消息封装成消息对象之后加入到消息发送队列中；

(2)消息发送模块从消息发送队列中获取消息对象，并对消息对象进行合并和转换；

(3)消息发送模块使用NIO中的SocketChannel组件，以非阻塞的方式通过网络发送给远程服务端；

(4)消息的接收模块处理消息发送放的发送请求，将消息报文信息重新封装成消息对象后交由消息处理模块处理；

(5)消息处理模块，获取到消息对象之后根据消息进行相关的业务处理并生成处理处理结果；

(6)消息返回处理模块通过等待远程服务的处理结果，并根据返回的消息的信息进行后续的业务处理。

所述的消息产生模块在实施过程中的具体步骤如下：

(1.1)从业务处理的逻辑中生成消息，将消息封装成单独的的消息对象，采用UUID的randomUUID方法为每个消息生成唯一的表示ID；

(1.2)发送队列使用BlockingQueue阻塞队列实现，将消息对象加入到消息的发送队列中去；

(1.3)继续后续的业务的处理或完成业务处理。

所述的消息分发模块在实施过程中的具体步骤如下：

(2.1)从配置文件中获取消息分发服务线程的配置参数信息并根据参数启动消息分发服务；

(2.2)消息分发服务从消息队列中读取消息信息，采用poll方式从队列中获取消息对象，具体使用的方法为queue.poll(timeOut,timeUnit)，第一的参数是等待的时间数，第二个是时间单位；分为以下种情况：

a)如果获取的消息对象不为空，继续步骤(2.2)；

b)如果获取的消息对象为空，继续步骤(2.4)；

(2.3)将消息对象消息加入到消息待处理列表batchList中；

(2.4)判断batchList的长度是否达到了配置的最大消息合并长度；如果未达到最大合并数继续(2.)；如果达到了最大的合并数，继续步骤(2.6)；

(2.5)若batchList的长度大于0，计算当前***的时间和最后一次处理待处理列表中的消息的时间的时间差，判断时间差是否大于或等于配置的带处理消息最长等待时间，是的话继续步骤(2.6)，否则的话继续步骤(2.2)；

(2.6)当达到最大合并消息数或达到最长等待时间的时候，将带处理消息列表中的消息提取出来，生成新的待处理消息数组；

(2.7)使用新的待处理消息数组构造新的消息发送处理线程，将消息发送现场加入到消息发送线程池中执行；

(2.8)将原来列表中的带处理信息清空用于下次使用，更新最后一次处理待处理列表中的消息的时间为当前时间，继续步骤(2.2)。

消息分发模块的总体流程伪代码如下所示：

其中(2.4)和(2.5)对应的上面伪代码中的isBatch方法，伪代码如下：

所述的消息发送模块在实施过程中的具体步骤如下：

(3.1)从配置文件中获取消息发送服务的配置参数，并根据配置启动消息发送的服务；

(3.2)消息发送线程对消息对象数组进行转化，生成JSON格式的报文信息；

(3.3)使用NIO中的SocketChannel组件打开消息的发送通道；并将通道的阻塞方式配置为非阻塞；

(3.4)使用生成的报文消息生产报文的字节缓冲区，使用缓冲区的方式发送消息；

(3.5)将报文字节缓冲区中的数据写入到通道中，循环判断缓冲区中的数据是否还有剩余数据，有的话继续写到通道中；没有的话表示所有数据已经写入到通道中，继续下一步；

(3.6)将通道的读取事件注册到IO多路复用选择器Selector，注册的事件为SelectionKey.OP_READ可读取事件。

消息发送模块实现的伪代码如下：

所述的消息的接收模块在实施过程中的具体步骤如下：

(4.1)创建服务端的消息接收通道，将通道设置为非阻塞，并指定通道绑定的端口；

(4.2)从服务端通道中获取消息发送的请求链接，非阻塞模式下获取链接的方法不会阻塞等待；

(4.3)若没有请求时则获取到空对象，此时重新执行步骤(2)；若有请求进来时可以获取到该请求的链接继续步骤(4.4)；

(4.4)将获取到的消息请求通道的可读事件注册到服务端的IO多路复用选择器中；

(4.5)监听上述IO多路复用选择器中可读取事件，当消息请求通道中数据到达时，通道将变成可读取状态，可以通过上述的选择器获取该传输通道；

(4.6)申请新的字节缓冲区，从通道中读取客户端发送的消息信息到缓冲区中；

(4.7)从缓冲区中读取消息报文信息；

(4.8)将消息报文信息数据转换成消息对象数组；

(4.9)根据消息对象生成业务处理的Callable对象，每个消息对象生成一个Callable对象，获得一组处理业务的Callable对象列表；

(4.10)将生成的Callable对象列表使用线程池进行处理，调用invokeAll(tasks,timeout,unit)方法对业务进行并行操作并等待结果，其中参数tasks表示任务列表，参数timeout表示超时时间数，参数unit表示时间单位。执行完成或者超时后将得到一组表示处理结果的List<Future<T>>；

(4.11)从执行的结果列表List<Future<T>>中获取业务的执行的结果，将执行结果进行拼接写入到返回的信息中，如果执行错误则将错误信息写入到返回的信息中，返回的处理消息包含原消息中的ID；

(4.12)将处理结果信息转换成报文的形式，将报文返回给调用的客户端。

所述的消息处理模块在实施过程中的具体步骤如下：

(5.1)从配置文件中获取消息处理服务配置参数信息并根据参数启动消息处理服务；

(5.2)通过线程池以并发的方式处理消息；

(5.3)根据消息处理的结果生成返回的消息对象，并返回给上述的消息接收模块；

所述的消息返回处理模块包含以下步骤：

(6.1)当返回的处理信息返回客户端时，通过客户端的IO多路复用选择器选取到已返回处理结果的传输通道；

(6.2)从传输通道中读取服务端返回的消息到缓冲区中；

(6.3)从缓冲区中获取返回的处理信息；

(6.4)解析返回的信息，根据返回信息中的原消息ID区分每个业务操作

(6.5)根据消息的返回结果进行下一步的业务处理，如果消息的返回结果包含错误信息，根据需要重发消息进行重试或者根据消息ID对业务进行回滚操作。

采用了本发明的基于NIO针对大数据分布式***进行消息处理优化的***及方法，解决了大数据量分布式***间消息通信时***资源占用过高和处理效率不高的问题，提出了一种基于NIO的大数据分布式***的消息处理优化方法，该技术方案由消息产生模块、消息的分发模块、消息发送模块、消息的接收模块、消息的处理模块和消息返回处理模块构成；采用了该消息优化处理方法的***，能够有效的降低分布式***间消息通信时的资源占用高的问题，在提高消息通信的效率的同时保证了消息通信的及时性，且***的通用性强，架构灵活，可扩展性高。该发明采用的方法很好的满足目前分布式***间大批量和高并发消息通信的需求，具有广泛的应用范围。

在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。

Claims (7)

1.一种利用基于NIO针对大数据分布式***进行消息处理优化的***实现基于NIO针对大数据分布式***进行消息处理优化控制的方法，所述的***包括：

消息产生模块，用于生成业务消息并将业务消息对象加入到消息发送队列；

消息分发模块，与所述的消息产生模块相连接，用于对消息进行合并和格式转换；

消息发送模块，与所述的消息分发模块相连接，用于将业务消息对象转换成可在网络上传输的格式，并使用非阻塞的方式发送消息；

消息接收模块，与所述的消息发送模块相连接，用于将消息交由后续模块进行处理，并在处理后将处理的结果信息返回给消息发送模块；

消息处理模块，与所述的消息接收模块相连接，用于对消息进行处理，根据接收的消息中的业务信息进行相应的业务操作，并生成操作的结果信息；

消息返回处理模块，与所述的消息处理模块相连接，用于等待消息的处理结果，并根据返回的处理结果进行相应的业务操作；

其特征在于，所述的方法包括以下步骤：

(1)所述的消息产生模块解耦消息发送，产生消息并将消息封装成消息对象之后加入到消息发送队列中；

(2)所述的消息分发模块从消息发送队列中获取消息对象，并对消息对象进行合并和转换；

(3)所述的消息发送模块使用NIO组件，以非阻塞的方式通过网络发送给远程服务端；

(4)所述的消息接收模块处理消息发送方的发送请求，将消息报文信息重新封装成消息对象后交由消息处理模块处理；

(5)所述的消息处理模块获取到消息对象之后根据消息进行相关的业务处理并生成处理结果；

(6)所述的消息返回处理模块通过等待远程服务的处理结果，并根据返回消息的信息进行后续的业务处理；

所述的步骤(4)具体包括以下步骤：

(4.1)所述的消息接收模块创建服务端的消息接收通道，将通道设置为非阻塞模式，并指定通道端口，从服务端通道中获取消息发送的请求链接；

(4.2)判断是否获取到新的请求的链接，如果是，则继续步骤(4.3)；否则，重新执行步骤(4.2)；

(4.3)所述的消息接收模块将获取到的消息请求通道的可读事件注册到服务端的IO多路复用选择器中，监听IO多路复用选择器中可读取事件，消息请求通道中数据传输完成后，通过上述的IO多路复用选择器获取该消息接收通道；

(4.4)所述的消息接收模块申请新的字节缓冲区，读取消息报文信息并转换成消息对象数组，生成业务处理任务，将消息处理任务列表使用线程池进行并发处理，指定执行业务允许的最长等待时间，生成一组消息处理的结果列表；

(4.5)所述的消息接收模块从所述的结果列表中获取业务的执行的结果，将执行结果进行拼接写入到返回的信息中，将处理结果信息转换成报文的形式，将报文返回给调用的客户端。

2.根据权利要求1所述的基于NIO针对大数据分布式***进行消息处理优化控制的方法，其特征在于，所述的步骤(1)具体包括以下步骤：

(1.1)所述的消息产生模块从业务处理的逻辑中生成消息，将消息封装成单独的消息对象；

(1.2)所述的消息产生模块将消息对象加入到消息的发送队列中，继续后续的业务处理或完成业务处理。

3.根据权利要求1所述的基于NIO针对大数据分布式***进行消息处理优化控制的方法，其特征在于，所述的步骤(2)具体包括以下步骤：

(2.1)所述的消息分发模块从配置文件中获取消息分发服务线程的配置参数信息，并根据参数启动消息分发服务；

(2.2)所述的消息分发模块从消息队列中读取消息信息；

(2.3)所述的消息分发模块将消息对象加入到消息待处理列表中，判断消息待处理列表中的消息数量是否达到了配置的最大消息合并长度，如果是，则继续步骤(2.6)；否则，继续(2.5)；

(2.4)消息待处理列表不为空时，计算当前***的时间和最后一次进行消息批量处理时间的时间差，判断时间差是否大于或等于配置的带处理消息最长等待时间，如果是，则继续步骤(2.5)；否则，继续步骤(2.2)；

(2.5)达到最大合并消息数或最长等待时间时，提取带处理消息列表中的消息，生成新的待处理消息数组；

(2.6)所述的消息分发模块使用新的待处理消息数组构造新的消息发送处理线程，将消息发送现场加入到消息发送线程池中执行；

(2.7)所述的消息分发模块将原来列表中的带处理信息清空用于下次使用，更新最后一次处理待处理列表中的消息的时间为当前时间，继续步骤(2.2)。

4.根据权利要求3所述的基于NIO针对大数据分布式***进行消息处理优化控制的方法，其特征在于，所述的步骤(2.2)具体包括以下步骤：

(2.2.1)判断当前队列是否有消息，如果是，则获取消息对象，继续步骤(2.3)；否则，继续步骤(2.2.2)；

(2.2.2)等待预设的时间，判断等待的时间范围内是否有新消息加入队列中，如果是，则获取消息对象或继续步骤(2.3)；否则，继续步骤(2.4)。

5.根据权利要求1所述的基于NIO针对大数据分布式***进行消息处理优化控制的方法，其特征在于，所述的步骤(3)具体包括以下步骤：

(3.1)所述的消息发送模块从配置文件中获取消息发送服务的配置参数，并根据配置启动消息发送的服务；

(3.2)所述的消息发送模块对消息对象数组进行转化，生成字符格式的消息报文；

(3.3)打开消息的发送通道，并将通道的阻塞方式配置为非阻塞；

(3.4)使用生成的报文消息生产报文的字节缓冲区，使用缓冲区的方式发送消息；

(3.5)所述的消息发送模块将报文字节缓冲区中的数据写入到通道中，直至所有数据写入到通道中，将通道的读取事件注册到IO多路复用选择器中。

6.根据权利要求1所述的基于NIO针对大数据分布式***进行消息处理优化控制的方法，其特征在于，所述的步骤(5)具体包括以下步骤：

(5.1)所述的消息处理模块从配置文件中获取消息处理服务配置参数信息并根据参数启动消息处理服务；

(5.2)所述的消息处理模块通过线程池以并发的方式处理每一个消息处理任务；

(5.3)所述的消息处理模块根据消息处理的结果生成消息处理结果信息，并返回给所述的消息接收模块。

7.根据权利要求1所述的基于NIO针对大数据分布式***进行消息处理优化控制的方法，其特征在于，所述的步骤(6)具体包括以下步骤：

(6.1)所述的消息返回处理模块通过客户端的IO多路复用选择器选取已返回处理结果的传输通道；

(6.2)从传输通道中读取服务端返回的消息到缓冲区中，从缓冲区中获取返回的处理信息；

(6.3)解析返回的信息，根据返回信息中的原消息ID区分每个业务操作；

(6.4)判断息的返回结果是否包含错误信息，如果是，则根据需要重发消息进行重试或者根据消息ID对业务进行回滚操作；否则，根据消息的返回结果进行下一步的业务处理。