CN111711675A - 一种针对局域网内并发消息传递的解决方法 - Google Patents

Abstract

本发明涉及数据处理技术领域，尤其涉及一种针对局域网内并发消息传递的解决方法，包括如下步骤：构建消息队列服务器机群并建立MQ节点数；对客户端进行编号，并关联客户端机器IP，采用取模算法来建立客户端编号和MQ节点编号的关系逻辑；服务端将消息推入对应的MQ节点服务器；客户端获取队列服务信息，用于启用链接队列服务；客户端和编号与MQ节点建立链接，并监听队列消息；客户端获取消息。本发明一种针对局域网内并发消息传递的解决方法，中间层采用了消息队列来作为主要技术媒介，将服务器端和客户端打断，达到一个各司其职的异步效果，从而解决消息高并发瓶颈问题；优化了单服务器向多服务器高速发布消息的效果。

Description

一种针对局域网内并发消息传递的解决方法

技术领域

本发明涉及数据处理技术领域，尤其涉及一种针对局域网内并发消息传递的解决方法。

背景技术

在互联网和通信领域，需要频繁地传递大量信息，其中，在网络环境中，***间传递数据，是最普遍的技术应用场景。在网络环境中，***间传递数据一般使用TCP协议，最常用的方式是使用http，即从客户端请求服务器端的数据，在无人工操作的情况下，利用程序循环轮询的方式进行数据获取，然而这种方式所得到的数据及时性比较延后，而且轮询请求会产生较高并发，服务器性能将会有较大挑战；另外一种常用方式则是使用一种叫做长链接的方式进行客户端和服务器端的通信保持，但是这种方法对服务器端的资源消耗非常巨大，不适用于超过几百上千的客户端和服务器端这一类型场景的通信，或者说具体要实现的成本代价比较高，故不适用普通应用场景下使用。

消息传递的业务流程虽然简单，例如在一些特定场景中，往往一个简单的消息指令传递，就能够解决业务流程的重要环节，然而当遇到超过2000个、4000个甚至上万个客户端需要接受这样的消息的场景时，多用户并发操作数据会产生高并发事件，高并发事件会导致服务端的处理和响应会越来越慢，甚至会丢弃部分请求不予处理，更严重的会导致服务端崩溃。针对局域网内高并发消息传递的问题，亟待需要一种既稳定高效且成本比较经济的解决方法。

因此，有必要对现有技术改进以解决上述技术问题。

发明内容

有鉴于此，本发明的目的在于提供一种针对局域网内并发消息传递的解决方法，解决现有技术中局域网内高并发消息效率低，资源耗费高，成本高的技术问题，具体而言通过以下技术方案实现：

设计一种针对局域网内并发消息传递的解决方法，包括如下步骤：

S1、构建消息队列服务器机群并建立MQ节点数；

S2、对客户端进行编号，并关联客户端机器IP，存储在服务器端数据库，服务器端存储消息和客户端的编号信息的对应映射关系；采用取模算法来建立客户端编号和MQ节点编号的关系逻辑；

S3、按照步骤S2确定的客户端编号和MQ节点编号的关系逻辑，服务端将消息推入对应的MQ节点服务器，将此逻辑通过一个web接口API提供给客户端调用；

S4、客户端获取队列服务信息，用于启用链接队列服务；

S5、客户端和编号与MQ节点建立链接，并监听队列消息；

S6、客户端获取消息并提供相应的界面操作功能。

进一步，所述步骤S1构建消息队列服务器机群是根据客户端的数量和使用频率，构建足够的队列服务节点，例如，按照消息队列MQ节点可配置的连接数量值划分，每1个节点可连接1000个客户端，那么4000个客户端则需要4至5个节点。

为了优化单服务器向多服务器高速发布消息的效果，本发明中间层采用了消息队列（Message Queue，以下简称为MQ）的技术作为主要“中介”技术媒介，将服务器端和客户端“打断”，达到一个各司其职的“异步”效果，从而解决局域网内消息高并发的瓶颈问题；即让服务器S只管理好客户端和消息的逻辑，推入消息队列服务；客户端Cn监听消息队列，获取队列中的消息内容；由于队列服务是专门为高并发消息机制设计的一种服务协议，在效率和成本方面，均有较大优势。

进一步，所述步骤S2具体包括：

S21、对客户端进行编号，按照IP地址编排数字编号，编号一般可能按照流水号顺序编排。每一个需要被传送消息的客户端，需要在服务器端登记一个数字编号，服务器端存储了消息和客户端的编号信息的对应映射关系；当服务器端处理过程中需要发送消息出去，就根据这个映射关系逻辑进行推送；

由于在现实场景下，客户端所需接收的消息数量是不一样的，为了让MQ节点的负载更均衡，还包括步骤S22、采用取模算法分配，即客户端和MQ节点的关系，按照客户端编号和MQ节点数量取模，获得值即为客户端可连接的MQ节点编号。例如：MQ节点有5个，编号991 Mod5 等于1，则991这个客户端的消息将被放到1号MQ节点，将此逻辑通过一个web接口（API，API-01）提供个客户端调用；采用取模算法来建立客户端编号和MQ节点编号的关系逻辑：

/*

计算获得MQ节点服务器信息，并建立服务

*/

//MQ节点数量

$server_count = count($mq_servers);

//取模获得MQ节点编号

$server_no = $client_no % $server_count;

//获取MQ节点服务器信息

$mq_server = $mqservers[$server_no];

//建立链接

$connect = new \FuseSource\Stomp\Stomp('tcp://'.$mq_server['ip'].'/:'.$mq_server['port']);

$connect->connect();

/*

推入MQ信息

*/

//推入消息并持久化

$result = $connect->send('ms991',json_encode($data),array('persistent'=>'true'));

进一步，所述步骤S4具体为客户端在启动时，先从服务器端的web接口API-01获取当前客户端编号对应的MQ节点服务器信息，用于下一步客户端和MQ建立链接。此步骤可通过客户端启动时获取自身的IP地址，调用API-01，通过服务器的绑定映射关系，找到客户端的编号，再进行取模获得。

进一步，所述步骤S4具体为客户端启动时获取自身的IP地址，调用web接口API，通过服务器的绑定映射关系，找到客户端的编号，再进行取模获得；输入：从客户端启动的时候，获取本地IP地址，作为输入参数；逻辑：通过IP地址，在服务端数据表查询到对应的客户端编号，并计算获得，输出：MQ服务器信息；

//从请求中获取参数

$ip = get_request('ip');

//算法获取MQ服务器信息

$mq_server = get_mq_server($ip);

//转换成json返回

return json_encode($mq_server);

进一步，所述步骤S5具体为客户端从接口获取MQ信息，建立链接，开始监听队列消息，处理队列消息：

/*

获取MQ服务器信息并建立链接，监听消息

*/

//获得服务器信息，创建链接

var MqServer = GetMqServer(MyIp);

var factory = new ConnectionFactory();

factory.HostName = MqServer.host;

factory.UserName = MqServer.user;

factory.Password = MqServer.psw;

using (var connection = factory.CreateConnection())

{

using (var channel = connection.CreateModel())

{

channel.QueueDeclare("ms991", false, false, false, null);

var consumer = new EventingBasicConsumer(channel);

channel.BasicConsume("ms991", false, consumer);

consumer.Received += (model, ea) =>

{

var body = ea.Body;

var message = Encoding.UTF8.GetString(body);

Console.WriteLine("获得消息： {0}", message);

};

Console.ReadLine();

}

}

进一步，本发明还提供了客户端的一个补充功能，通过一个比较长时间的轮询检测，例如一天，发现服务器端是否有更改客户端和MQ节点的服务器链接信息，来处理自动切换MQ节点的功能；这一步骤在大型的业务场景下，是必要的，服务器端在根据业务增长的情况下，扩充MQ节点，MQ节点增加时，更新Cn编号和MQ节点数量取模的算法，重新分配客户端和MQ节点的关系。如果需要及时生效，客户端需要重新启动，重新从步骤S4开始执行便可。

与最接近的现有技术相比，本发明提供的技术方案具有如下优异效果：

（1）本发明一种针对局域网内并发消息传递的解决方法，经过创新性设计在中间层采用了消息队列来作为主要技术媒介，将服务器端和客户端打断，达到一个各司其职的异步效果，从而解决消息高并发瓶颈问题；让服务器S只管理好客户端和消息的逻辑，推入消息队列服务；客户端Cn监听消息队列，获取队列中的消息内容，优化了单服务器向多服务器高速发布消息的效果。

（2）本发明一种针对局域网内并发消息传递的解决方法还提供了客户端的一个补充功能，通过一个比较长时间的轮询检测，发现服务器端是否有更改客户端和MQ节点的服务器链接信息，来处理自动切换MQ节点的功能。这一步在大型的业务场景下，是非常有必要的。

本发明的其他有益效果将结合下文具体实施例进行进一步的说明。

附图说明

下面结合附图和实施例对本发明作进一步描述：

图1为本发明实施例1的总流程图；

图2为本发明实施例1步骤S2的流程图。

具体实施方式

实施例1

一种针对局域网内并发消息传递的解决方法，***S是主服务器***，该***承接多方渠道***产生的数据，需要生成一个指令，并携带数据传递给C1、C2、Cn…这样的客户端***，进而做下一步的数据呈现和人工操作。为了优化单服务器向多服务器高速发布消息的效果，本发明在中间层采用了消息队列（Message Queue，以下简称为MQ）的技术作为主要“中介”技术媒介，将服务器端和客户端“打断”，达到一个各司其职的“异步”效果，从而解决消息高并发瓶颈问题；即让服务器S只管理好客户端和消息的逻辑，推入消息队列服务；客户端Cn监听消息队列，获取队列中的消息内容；队列服务是专门为高并发消息机制设计的一种服务协议，在效率和成本方面，均有较大优势，本发明针对局域网内并发消息传递的解决方法的具体流程如图1所示，步骤S1至S3是服务器端处理步骤，步骤S4至S7是客户端处理步骤。

S1、构建消息队列服务器机群

根据客户端的数量和使用频率，构建足够的队列服务节点，例如，按照消息队列MQ节点可配置的连接数量值进行划分，如每1个节点可连接1000个客户端，那么4000个客户端则需要4至5个节点；其中，消息队列(Message Queue，MQ)是一种应用程序间的通信方式，消息发送后可以立即返回，由消息***来确保消息的可靠传递，消息发布者只管把消息发布到MQ中而不用管谁来取，消息使用者只管从MQ中取消息而不管是谁发布的；

S2、对客户进行编号，包括如下步骤：

客户端按照IP地址编排数字编号，编号一般会按照流水号顺序编排，每一个需要被传送消息的客户端，需要在服务器端登记一个数字编号，客户端根据流水号编号，并关联客户端机器IP，存储在服务器端数据库，服务器端存储了消息和客户端的编号信息的对应映射关系，如表1所示；当服务器端处理过程中需要发送消息出去，就根据这个映射关系逻辑进行推送。

表1 客户端编号与IP地址的对应关系表

由于在现实场景下，客户端所需要接收的消息数量是不一样的，为了让MQ节点的负载更均衡一些，可以采用取模算法进行分配，即客户端和MQ节点的关系，服务器端需要发送消息给客户端，则根据客户端编号和规划拥有的MQ节点数量来进行取模预算，所获得的取模值，即为MQ节点编号，将对应的消息放入MQ节点服务器即可，如图2所示：例如：MQ节点有5个，编号991 Mod 5等于1，就表明991这个客户端的消息将被放到1号MQ节点，将此逻辑通过一个web接口API（API-01）提供个客户端调用；

S3、服务端将消息推入对应的MQ节点服务器

按照S2确定的客户端编号和MQ节点编号的关系逻辑，服务端将消息推入对应的MQ节点服务器即可，至此，服务器端的步骤结束；服务端将消息推入对应的MQ节点服务器具体如下：

/*

计算获得MQ节点服务器信息，并建立服务

*/

//MQ节点数量

$server_count = count($mq_servers);

//取模获得MQ节点编号

$server_no = $client_no % $server_count;

//获取MQ节点服务器信息

$mq_server = $mqservers[$server_no];

//建立链接

$connect = new \FuseSource\Stomp\Stomp('tcp://'.$mq_server['ip'].'/:'.$mq_server['port']);

$connect->connect();

/*

推入MQ信息

*/

//推入消息并持久化

$result = $connect->send('ms991',json_encode($data),array('persistent'=>'true'));

S4、客户端获取对应的MQ节点服务器信息

客户端在启动时，先从服务器端的web接口API-01获取当前客户端编号对应的MQ节点服务器信息，用于下一步客户端和MQ建立链接，此步骤可通过客户端启动时获取自身的IP地址，调用API-01，通过服务器的绑定映射关系，找到客户端的编号，再进行取模获得；具体为输入：从客户端启动的时候，获取本地IP地址，作为输入参数；逻辑：通过IP地址，在服务端数据表查询到对应的客户端编号，并计算获得，输出：MQ服务器信息，具体数据结构为：

//从请求中获取参数

$ip = get_request('ip')；

//算法获取MQ服务器信息

$mq_server = get_mq_server($ip)；

//转换成json返回

return json_encode($mq_server)；

S5、客户端开始和MQ建立链接，并开始监听MQ的消息；

客户端从接口获取MQ信息，建立链接；开始监听队列消息，处理队列消息；消息队列链接和消费算法具体如下：

/*

获取MQ服务器信息并建立链接，监听消息

*/

//获得服务器信息，创建链接

var MqServer = GetMqServer(MyIp);

var factory = new ConnectionFactory();

factory.HostName = MqServer.host;

factory.UserName = MqServer.user;

factory.Password = MqServer.psw;

using (var connection = factory.CreateConnection())

{

using (var channel = connection.CreateModel())

{

channel.QueueDeclare("ms991", false, false, false, null);

var consumer = new EventingBasicConsumer(channel);

channel.BasicConsume("ms991", false, consumer);

consumer.Received += (model, ea) =>

{

var body = ea.Body;

var message = Encoding.UTF8.GetString(body);

Console.WriteLine("获得消息： {0}", message);

};

Console.ReadLine();

}

}

S6、根据服务器端和客户端制定的消息格式，获取相应数据，在客户端呈现，并做相应的界面操作功能；

本发明针对局域网内并发消息传递的解决方法还提供了客户端的一个补充功能，通过一个比较长时间的轮询检测，例如一天时间，经过轮询检测发现服务器端是否有更改客户端和MQ节点的服务器链接信息，来处理自动切换MQ节点的功能；这一步骤在大型的业务场景下是非常有必要的，服务器端在根据业务增长的情况下，扩充MQ节点，MQ节点增加时，更新Cn编号和MQ节点数量取模的算法，重新分配客户端和MQ节点的关系，如果需要及时生效，客户端需要重新启动，重新从步骤S4开始执行便可。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (9)

1.一种针对局域网内并发消息传递的解决方法，其特征在于，包括如下步骤：

S1、构建消息队列服务器机群并建立MQ节点数；

S2、对客户端进行编号，并关联客户端机器IP，存储在服务器端数据库，服务器端存储消息和客户端的编号信息的对应映射关系；

S3、按照步骤S2确定的客户端编号和MQ节点编号的关系逻辑，服务端将消息推入对应的MQ节点服务器，将此逻辑通过一个web接口API提供给客户端调用；

S4、客户端获取队列服务信息，用于启用链接队列服务；

S5、客户端和编号与MQ节点建立链接，并监听队列消息；

S6、客户端获取消息并提供相应的界面操作功能。

2.如权利要求1所述的针对局域网内并发消息传递的解决方法，其特征在于，还包括客户端进行轮询检测步骤，检测服务器端是否有更改客户端和MQ节点的服务器链接信息，来处理自动切换MQ节点的功能。

3.如权利要求2所述的针对局域网内并发消息传递的解决方法，其特征在于，所述轮询检测步骤为服务器端在业务增长的情况下，扩充MQ节点，MQ节点增加时，更新Cn编号和MQ节点数量取模的算法，来重新分配客户端和MQ节点的关系；若需要及时生效，客户端重新启动，重新从步骤四开始执行便可。

4.如权利要求2所述的针对局域网内并发消息传递的解决方法，其特征在于：所述客户端进行轮询检测时间为1天。

5.如权利要求1所述的针对局域网内并发消息传递的解决方法，其特征在于，步骤S1可根据客户端的数量和使用频率，构建足够的队列服务节点，按照消息队列MQ节点可配置的连接数量值进行划分。

6.如权利要求1所述的针对局域网内并发消息传递的解决方法，其特征在于，步骤S2还包括采用取模算法来建立客户端编号和MQ节点编号的关系逻辑。

7.如权利要求6所述的针对局域网内并发消息传递的解决方法，其特征在于，步骤S2具体包括：

S21、客户端根据流水号编号，并关联客户端机器IP，服务器端存储消息和客户端的编号信息的对应映射关系；

S22、根据客户端编号和规划拥有的MQ节点数量来进行取模预算，所获得的取模值，即为MQ节点。

8.如权利要求1所述的针对局域网内并发消息传递的解决方法，其特征在于，所述步骤S4具体为客户端启动时获取自身的IP地址，调用web接口API，通过服务器的绑定映射关系，找到客户端的编号，再进行取模获得。

9.如权利要求1所述的针对局域网内并发消息传递的解决方法，其特征在于，所述步骤S5具体为客户端从接口获取MQ信息，建立链接，开始监听队列消息，处理队列消息。

Images