CN104679596A

CN104679596A - 一种提高服务器端并发性能的消息处理方法及其***

Info

Publication number: CN104679596A
Application number: CN201310632566.1A
Authority: CN
Inventors: 胡金辉; 高志刚; 贺正林; 廖峰; 王俊杰; 李毅; 雷萌
Original assignee: Aisino Corp
Current assignee: Aisino Corp
Priority date: 2013-12-02
Filing date: 2013-12-02
Publication date: 2015-06-03

Abstract

本发明公开一种提高服务器端并发性能的消息处理方法及***，所述方法包括：建立数据接收线程A、建立消息处理线程B及消息队列MQ；当数据接收线程A检测到数据可读时，读取相应数据，并将数据组织成一定格式的消息，将消息***消息队列MQ的尾部，消息处理线程B循环检测消息队列MQ是否为空，当消息队列MQ不为空时，取出消息队列MQ头部的消息，解析并保存加密无关数据。本发明的方法能达到高效的响应、高并发状态下的数据加密请求。

Description

一种提高服务器端并发性能的消息处理方法及其***

技术领域

本发明涉及数据加密技术领域，特别涉及一种提高数据加密***服务器端并发性能的消息处理方法。

背景技术

集群式数据加密设备是一种用于准确记录并加密各种数据的***，***由数据服务器、数据加密设备集群组成，如图1所示。整个***采用C/S模式网络架构，其中数据服务器作为C/S模式中的服务器端，数据发送设备和数据加密设备则为C/S模式中的客户端。数据服务器处理来自客户端的消息，同时存储汇总数据，数据加密设备集群用于记录数据并对数据加密，生成并返回给数据发送端唯一标识一条数据的加密信息。

对于一次数据加密过程，数据服务器需要保存的数据包括数据加密相关和数据加密无关两类。其中数据加密相关的数据是指需要由数据服务器发送到加密设备进行计算获取加密信息的数据。数据加密无关的数据是指不需要发送到数据加密设备的其他一些相关数据。

***的工作过程如下：数据发送设备发送数据到数据服务器，数据服务器存储数据，同时将加密相关数据发送到数据加密设备集群中的某个数据加密设备，数据加密设备将生成的加密信息返回给数据服务器，数据服务器将加密信息返回给数据发送设备，同时更新数据库中该数据对应的加密信息。

该***的一种应用场景为商业零售企业的税源数据采集。在这种场景下，数据发送设备即为企业的POS前台开票端，数据加密设备内部存储电子***号码，数据加密信息为税控码、***代码、***号码等信息。所有的POS开票端通过网络并发的连接到数据服务器，每完成一笔交易记录，在打印小票或***前，将相关数据（商品明细、付款明细等）发送到数据服务器，数据服务器记录交易数据，并将合计金额等加密相关数据发送到数据加密设备获取税控信息。由于商超企业对数据处理的实时性有严格的要求，同时在高峰时段交易的并发性相对较高，因此，有必要设计一种方法，使得数据服务器能够实时高效的处理来自POS端的请求。

发明内容

本发明的主要目的是提供一种提高服务器端并发性能的消息处理方法及其***，以解决上述现有技术中所存在的问题，达到高效的响应、高并发状态下的数据加密请求。

为了达到上述目的，本发明提供一种提高服务器端并发性能的消息处理方法，其包括：建立数据接收线程A、建立消息处理线程B及消息队列MQ；当数据接收线程A检测到数据可读时，读取相应数据，并将数据组织成一定格式的消息，将消息***消息队列MQ的尾部，消息处理线程B循环检测消息队列MQ是否为空，当消息队列MQ不为空时，取出消息队列MQ头部的消息，解析并保存加密无关数据。

其中，通过IP+端口的组合，以使消息处理线程B能够确定消息源。

其中，所述的消息处理线程B取出位于队头的消息，提取消息的消息源、二进制数据、长度和CRC信息，根据这些信息检查消息是否合法，然后解析二进制数据，保存解析二进制数据结果到数据库，并根据实际处理结果组织响应数据，最后将响应数据返回值消息源。

其中，所述的数据接收线程A及所述的消息处理线程B为同步工作。

其中，通过创建一个互斥量CMutex，使所述的数据接收线程A及所述的消息处理线程B为同步工作。

为了达到上述目的，本发明还提供一种提高服务器端并发性能的消息处理***，其包括数据发送设备、数据服务器及数据加密设备集群，所述的数据加密设备集群是多个数据加密设备的集合，之间通过TCP网络与数据服务器进行通信，数据服务器采用线程池的方式，其包括数据接收线程A、消息处理线程B及消息队列MQ；当数据接收线程A检测到数据可读时，读取相应数据，并将数据组织成一定格式的消息，将消息***消息队列MQ的尾部，消息处理线程B循环检测消息队列MQ是否为空，当消息队列MQ不为空时，取出消息队列MQ头部的消息，解析并保存加密无关数据。

其中，所述的数据服务器采用queue数据结构来保存消息，所述的queue数据结构是STL中的一个特殊的线性表，能够在线性表的前端进行删除操作，而在线性表的后端进行***操作，最先***的消息总是最先被取出删除，最后***的消息将最后被取出删除。

与现有技术相比，本发明的优点在于：

数据发送设备等待加密信息延迟短：由于将数据保存的操作转移到了单独的线程内，使得数据服务器处理网络数据的性能得到了大幅提高，在局域网内延迟几乎可以忽略不计，这样数据加密的延迟基本等于数据加密设备硬件加密所需的时间，这样就将数据发送设备等待加密的时间降到了最低。

数据服务器利用率高：并发性能的提高使得同一台数据服务器能够管理更多的数据加密设备和数据发送设备，使得增加数据加密设备和数据发送设备的同时，数据服务器数量并未相应增加，有效的降低了企业的成本。

附图说明

图1为现有技术的集群式数据加密***示意图；

图2为本发明一个实施例的一种提高服务器端并发性能的消息处理方法的流程图；

图3为本发明一个实施例的一种提高服务器端并发性能的消息处理***的加密无关数据队列图。

具体实施方式

以下结合附图，对本发明上述的和另外的技术特征和优点作更详细的说明。

本发明的整个***采用TCP协议进行通信。数据服务器分别在两个不同端口监听来自数据发送设备和数据加密设备的连接，同时建立两个对应的线程，用以检查来自数据发送设备和数据加密设备上的数据交互。

以数据发送设备和数据服务器之间的数据交互为例，假设对应的接收数据的线程为线程A，线程A循环检测是否有来自数据发送设备的数据，当检测到有数据可读时，线程A接收数据、保存数据到数据库，然后发送数据到数据加密设备。

由于解析并保存数据到数据库的操作相对来说比较耗时，所以如果在线程A中进行保存数据到数据库的操作，当并发发送数据的设备较多时，这种消息处理的方法将严重影响数据服务器对数据的接收和处理，尤其是当数据发送端发送数据后的等待超时设置不当的话，如果等待超时后重新向数据服务器发送数据，这种情况下将导致数据服务器处理数据延迟的恶性循环。

本发明的方案是在线程A的基础上，增加一个相应的线程B及消息队列MQ。当线程A检测到数据可读时，读取相应数据，并将数据组织成一定格式的消息，将消息***队列MQ的尾部。线程B循环检测消息队列MQ是否为空，当MQ不为空时，取出MQ头部的消息，解析并保存加密无关数据。数据处理流程如图2所示。

图2为本发明实施例所提供的一种提高服务器端并发性能的消息处理方法流程图，本发明的消息处理方法是建立数据接收线程A、建立消息处理线程B及消息队列MQ；当数据接收线程A检测到数据可读时，读取相应数据，并将数据组织成一定格式的消息，将消息***消息队列MQ的尾部，消息处理线程B循环检测消息队列MQ是否为空，当消息队列MQ不为空时，取出消息队列MQ头部的消息，解析并保存加密无关数据。

本发明还提供一种提高服务器端并发性能的消息处理***，其包括数据发送设备、数据服务器及数据加密设备集群，所述的数据加密设备集群是多个数据加密设备的集合，之间通过TCP网络与数据服务器进行通信，每台数据加密设备都与数据服务器有一条TCP连接，因此，每台加密设备都会对应一个IP地址和端口的组合，并且相对于其他数据加密设备，该IP地址和端口的组合是唯一的。数据服务器程序将数据加密设备的IP、端口以及其他一些信息，保存在内存中的一个map结构内。

数据服务器采用线程池（ThreadPool）的方式，轮询各个TCP连接上是否有数据到来，当检测到有来自数据发送设备的数据时，接收数据，然后将接收到的数据封装为消息，将消息保存至消息队列的队尾。由于数据服务器处理消息后，需要将处理结果返回给数据发送设备，因此，消息处理线程需要能够确定消息的来源，而IP+端口的组合可以唯一确定消息源。（参阅表1）

表1消息格式：

参阅图3，为本发明实施例所提供的一种提高服务器端并发性能的消息处理***的加密无关数据队列图，数据服务器采用queue数据结构来保存消息。queue是STL中的一个特殊的线性表，它能够在线性表的前端进行删除操作，而在线性表的后端进行***操作。进行***操作的后端叫做队尾，进行删除操作的前端成为队头。最先***的消息总是最先被取出删除，最后***的消息将最后被取出删除。

消息处理线程首先检查消息队列是否为空，如果不为空，则取出位于队头的消息，提取消息的消息源、二进制数据、长度和CRC信息，根据这些信息检查消息是否合法，然后解析二进制数据，保存解析二进制数据结果到数据库，并根据实际处理结果组织响应数据，最后将响应数据返回值消息源。

由于数据接收线程（线程A）向消息队列MQ***消息，消息处理线程（线程B）从消息队列MQ取出消息，因此，两个线程之间需要做好同步工作，防止消息队列出现混乱。为此，创建一个互斥量CMutex，无论是消息***线程还是消息处理线程，在对消息队列操作前，需要首先获取到互斥量；操作完毕后，立即释放互斥量。获取和释放互斥量间的代码尽量做到最精简，也就是尽量减小每次操作对互斥量的占用时间。

由于可能存在掉电或服务器宕机等异常情况，为保证数据的完整性，采取了二进制文件保存数据与消息对列同步进行的策略。工作原理为：当税控服务器接收到待加密数据后，将加密相关数据发送到加密设备进行加密，同时将数据***消息队列队尾，并向二进制文件保存一份副本。当消息队列处理完一条消息后，相应的移动二进制文件的指针，并保存二进制文件的指针到另一文件中。如果出现掉电等异常情况，再次开机时，税控服务器读取出当前位置，并将二进制文件中尚未处理的数据读入消息队列，以进行处理。

综上所述，本发明具有如下优点：

以上说明对本发明而言只是说明性的，而非限制性的，本领域普通技术人员理解，在不脱离权利要求所限定的精神和范围的情况下，可作出许多修改、变化或等效，但都将落入本发明的保护范围之内。

Claims

1.一种提高服务器端并发性能的消息处理方法，其特征在于，其包括：建立数据接收线程A、建立消息处理线程B及消息队列MQ；当数据接收线程A检测到数据可读时，读取相应数据，并将数据组织成一定格式的消息，将消息***消息队列MQ的尾部，消息处理线程B循环检测消息队列MQ是否为空，当消息队列MQ不为空时，取出消息队列MQ头部的消息，解析并保存加密无关数据。

2.根据权利要求1所述的一种提高服务器端并发性能的消息处理方法，其特征在于，通过IP+端口的组合，以使消息处理线程B能够确定消息源。

3.根据权利要求1所述的一种提高服务器端并发性能的消息处理方法，其特征在于，所述的消息处理线程B取出位于队头的消息，提取消息的消息源、二进制数据、长度和CRC信息，根据这些信息检查消息是否合法，然后解析二进制数据，保存解析二进制数据结果到数据库，并根据实际处理结果组织响应数据，最后将响应数据返回值消息源。

4.根据权利要求1所述的一种提高服务器端并发性能的消息处理方法，其特征在于，所述的数据接收线程A及所述的消息处理线程B为同步工作。

5.根据权利要求4所述的一种提高服务器端并发性能的消息处理方法，其特征在于，通过创建一个互斥量CMutex，使所述的数据接收线程A及所述的消息处理线程B为同步工作。

6.一种提高服务器端并发性能的消息处理***，其特征在于，其包括数据发送设备、数据服务器及数据加密设备集群，所述的数据加密设备集群是多个数据加密设备的集合，之间通过TCP网络与数据服务器进行通信，数据服务器采用线程池的方式，其包括数据接收线程A、消息处理线程B及消息队列MQ；当数据接收线程A检测到数据可读时，读取相应数据，并将数据组织成一定格式的消息，将消息***消息队列MQ的尾部，消息处理线程B循环检测消息队列MQ是否为空，当消息队列MQ不为空时，取出消息队列MQ头部的消息，解析并保存加密无关数据。

7.根据权利要求6所述的一种提高服务器端并发性能的消息处理***，其特征在于，所述的数据服务器采用queue数据结构来保存消息，所述的queue数据结构是STL中的一个特殊的线性表，能够在线性表的前端进行删除操作，而在线性表的后端进行***操作，最先***的消息总是最先被取出删除，最后***的消息将最后被取出删除。

8.根据权利要求1所述的一种提高服务器端并发性能的消息处理方法，其特征在于，通过IP+端口的组合，以使消息处理线程B能够确定消息源。

9.根据权利要求6所述的一种提高服务器端并发性能的消息处理***，其特征在于，所述的数据接收线程A及所述的消息处理线程B为同步工作。

10.根据权利要求9所述的一种提高服务器端并发性能的消息处理方法，其特征在于，通过创建一个互斥量CMutex，使所述的数据接收线程A及所述的消息处理线程B为同步工作。