CN114666292A - 一种即时通信技术方法、***及介质 - Google Patents

一种即时通信技术方法、***及介质 Download PDF

Info

Publication number
CN114666292A
CN114666292A CN202210338230.3A CN202210338230A CN114666292A CN 114666292 A CN114666292 A CN 114666292A CN 202210338230 A CN202210338230 A CN 202210338230A CN 114666292 A CN114666292 A CN 114666292A
Authority
CN
China
Prior art keywords
message
subscriber
instant messaging
data
publisher
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210338230.3A
Other languages
English (en)
Inventor
陈晓聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou University
Original Assignee
Guangzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou University filed Critical Guangzhou University
Priority to CN202210338230.3A priority Critical patent/CN114666292A/zh
Publication of CN114666292A publication Critical patent/CN114666292A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/70—Admission control; Resource allocation
    • H04L47/80—Actions related to the user profile or the type of traffic
    • H04L47/806—Broadcast or multicast traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明涉及人工智能技术处理技术领域，公开了一种即时通信技术方法、***及介质，包括所述消息的发送者不会将消息直接发送给特定的接收者，而是通过消息通道广播出去，让订阅该主题的订阅者消费到。本发明通过实现高吞吐率，在普通商用机器与千兆通信网络中也能做到单机支持每秒10K条以上消息的实时消息传输；实现低延迟率，在有限带宽情况条件下稳定数据到达时间在固定常数值内；实现数据单向流动，即数据发送请求后不需要对端有响应；在高频率数据包通信的情况，允许部分数据整包丢失，优先处理网络中最后传输的数据；支持中心化服务器和客户端组件；支持水平扩展及分布式消费。

Description

一种即时通信技术方法、***及介质
技术领域
本发明涉及人工智能技术处理技术领域，具体为一种即时通信技术方法、***及介质。
背景技术
随着人工智能技术的兴起，以及5G技术的发展，无人***、人工智能、物联网和仿真等领域也成为各国的研究热点。而从技术上，这意味着无人***与人工智能、物联网、仿真等领域之间处理这些数据将变得更加复杂和具有挑战性。因此，针对支撑各种无人***与人工智能、物联网和仿真等领域产业下，研究一种分布式的，基于发布/订阅的通信***，实现低延迟、高吞吐、高并发的实时数据通讯***，具有重要意义。
以两个例子说明：
无人驾驶汽车分析高精度地图数据和海量的激光雷达、摄像头等传感器的实时感知数据，对车辆不同驾驶行为的后果进行预判，并据此指导车辆的自动驾驶。无人汽车前方的阻碍物在1秒后才能在传导到信息***，即使是这些信息是准备的也是没有意义。因此，我们认为，无人车前方的障碍物信息在1～3秒后才采集到的信息是无意义和无价值的。
电磁波采集频率一般来说扫描频率100赫兹，指的是1秒收集100次电磁波信息，因此，采集数据过程的要求是高频率的、稳定的。
针对以上两个例子，都是在单机或轻量级通信环境下计算，无法有效地将无人***上激光雷达传感器采集的目标点云数据等信息在高性能集群，动力学集群、大数据集群进行即时计算。因此，实体无人***、仿真器与高性能集群，动力学集群、大数据集群之间需要搭建即时数据流通信***，即对于计算的数据更加关注是实时信息、当前状态。
目前，基于发布/订阅的Kafka、RocketMQ、RabbitMQ、ActiveMQ、gRPC等消息通信队列中间件。具有以下缺点：
消息队列满了的情况下，消息无法放入队列，就会两种处理方式：
1.将消息记录到本地硬盘或内存，后期做补偿。
2.消息被拒绝的时候，将当前消息队列的队尾消息扔给死信队列。
上面两种处理方式，对消息处理的即时性都比较差，在队列、内存或硬盘中缓冲的都是过期消息，即从生产者到消息者处理消息的过程延迟时间比较长。
发明内容
本发明的目的在于提供一种即时通信技术方法、***及介质，达到实现高吞吐率，在普通商用机器与千兆通信网络中也能做到单机支持每秒10K条以上消息的实时消息传输；实现低延迟率，在有限带宽情况条件下稳定数据到达时间在固定常数值内；实现数据单向流动，即数据发送请求后不需要对端有响应；在高频率数据包通信的情况，允许部分数据整包丢失，优先处理网络中最后传输的数据；支持中心化服务器和客户端组件；支持水平扩展及分布式消费。
为实现上述目的，本发明提供如下技术方案：
一种即时通信技术***，包括发送者，所述消息的发送者(称为发布者)不会将消息直接发送给特定的接收者(称为订阅者)，而是通过消息通道广播出去，让订阅该主题的订阅者消费到，发布器与订阅器具有一对多的依赖关系，必须在订阅方和发布方是同一个话题时才会有执行结果，通信节点是负责多个客户端之间相互通信的中心化节点，与虚拟环境仿真节点、异构无人仿真节点、多物理场仿真节点、深度强化学习计算节点等多个应用端之间采用轻量级的通信机制。
优选的，所述订阅者只关注自己订阅的消息，每个订阅者同时可以订阅多个发布者对象。
优选的，所述每个发布者在发布消息时不用关心此消息是否有订阅者，当发布者发布了被订阅者订阅的消息时，订阅者就根据消息详情触发注册事件。
优选的，所述通信节点有能力通过新增节点、横向扩展集群等方式解决消息队列满的问题，每个通信节点运行在其独立的进程中，它们之间相互协调、配合，实现数据交互、分布式通信。
一种即时通信技术方法，包括以下步骤：
S1、存储信息
通过在发布器中消息会持久到内存队列队尾中，发送流会主动拉取消息队列队头的消息进行发送。
S2、消息发送
通过当出现消息队列满状态时，会把队头消息扔给死信队列，发布器允许轮询的方式将消息发送到多个通信节点。
S3、拉取消信息
通过在通信节点中消息会持久到内存队列队尾中，发送流会主动拉取消息，消息在进入消息队列前会记录时间T0，然后将消息推到消息队头。
S4、丢弃和处理信息
通过消息进入发送流前将当前时间Tn与T0时间相减，若超时(即Tn-T0>timeout)丢弃该消息，在订阅器中采用只取即时消息进行处理，若消息到到达时已经处理其它消息，就会把过期消息丢弃。
优选的，所述步骤S2中在网络中同一条消息是唯一的，没有冗余数据。
一种即时通信技术介质，所述介质包括5G技术和人工智能。
本发明提供的即时通信技术方法、***及介质，具备以下有益效果：
(1)、本发明通过实现高吞吐率，在普通商用机器与千兆通信网络中也能做到单机支持每秒10K条以上消息的实时消息传输；实现低延迟率，在有限带宽情况条件下稳定数据到达时间在固定常数值内；实现数据单向流动，即数据发送请求后不需要对端有响应；在高频率数据包通信的情况，允许部分数据整包丢失，优先处理网络中最后传输的数据；支持中心化服务器和客户端组件；支持水平扩展及分布式消费。
(2)、本发明通过在普通千兆网络下，设置100个并发发送线程和100个接收线程，每个发送线程间隔10毫秒发送一次1024字节(1Kb)的数据，发送线程同时连接到三个通信节点，整个案例运行120秒，每个接收线程，负责接收数据和计算结果并生成平均处理时间报告和吞吐率报告，纵坐标表示平均每秒通信的处理时间，即数据发送时刻到接收到确认的时刻的差值，横坐标表示持续时间，平均每秒的处理维持1毫秒以内，吞吐率平均在11000次/每秒。
附图说明
图1是本发明的信息传输的工序示意图；
图2是本发明的信息丢弃的工序示意图；
图3是本发明的超时信息处理的工序示意图；
图4是本发明的过期信息丢弃的工序示意图；
图5是本发明的处理时间显示表的示意图；
图6是本发明的吞吐率时间显示表的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1-6所示，本发明提供一种技术方案：
一种即时通信技术***，包括发送者，消息的发送者(称为发布者)不会将消息直接发送给特定的接收者(称为订阅者)，而是通过消息通道广播出去，让订阅该主题的订阅者消费到，发布器与订阅器具有一对多的依赖关系，必须在订阅方和发布方是同一个话题时才会有执行结果，通信节点是负责多个客户端之间相互通信的中心化节点，与虚拟环境仿真节点、异构无人仿真节点、多物理场仿真节点、深度强化学习计算节点等多个应用端之间采用轻量级的通信机制，订阅者只关注自己订阅的消息，每个订阅者同时可以订阅多个发布者对象，每个发布者在发布消息时不用关心此消息是否有订阅者，当发布者发布了被订阅者订阅的消息时，订阅者就根据消息详情触发注册事件，通信节点有能力通过新增节点、横向扩展集群等方式解决消息队列满的问题，每个通信节点运行在其独立的进程中，它们之间相互协调、配合，实现数据交互、分布式通信。
一种即时通信技术方法，包括以下步骤：
S1、存储信息
通过在发布器中消息会持久到内存队列队尾中，发送流会主动拉取消息队列队头的消息进行发送。
S2、消息发送
通过当出现消息队列满状态时，会把队头消息扔给死信队列，发布器允许轮询的方式将消息发送到多个通信节点，步骤S2中在网络中同一条消息是唯一的，没有冗余数据。
S3、拉取消信息
通过在通信节点中消息会持久到内存队列队尾中，发送流会主动拉取消息，消息在进入消息队列前会记录时间T0，然后将消息推到消息队头。
S4、丢弃和处理信息
通过消息进入发送流前将当前时间Tn与T0时间相减，若超时(即Tn-T0>timeout)丢弃该消息，在订阅器中采用只取即时消息进行处理，若消息到到达时已经处理其它消息，就会把过期消息丢弃。
一种即时通信技术介质，介质包括5G技术和人工智能。
综上可得，本发明通过实现高吞吐率，在普通商用机器与千兆通信网络中也能做到单机支持每秒10K条以上消息的实时消息传输；实现低延迟率，在有限带宽情况条件下稳定数据到达时间在固定常数值内；实现数据单向流动，即数据发送请求后不需要对端有响应；在高频率数据包通信的情况，允许部分数据整包丢失，优先处理网络中最后传输的数据；支持中心化服务器和客户端组件；支持水平扩展及分布式消费；在普通千兆网络下，本案例设置100个并发发送线程和100个接收线程，每个发送线程间隔10毫秒发送一次1024字节(1Kb)的数据，发送线程同时连接到三个通信节点，整个案例运行120秒，每个接收线程，负责接收数据和计算结果并生成平均处理时间报告和吞吐率报告，纵坐标表示平均每秒通信的处理时间，即数据发送时刻到接收到确认的时刻的差值，横坐标表示持续时间，平均每秒的处理维持1毫秒以内，吞吐率平均在11000次/每秒。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

Claims (7)

1.一种即时通信技术***，包括发送者，其特征在于：所述消息的发送者不会将消息直接发送给特定的接收者，而是通过消息通道广播出去，让订阅该主题的订阅者消费到，发布器与订阅器具有一对多的依赖关系，必须在订阅方和发布方是同一个话题时才会有执行结果，通信节点是负责多个客户端之间相互通信的中心化节点，与虚拟环境仿真节点、异构无人仿真节点、多物理场仿真节点、深度强化学习计算节点等多个应用端之间采用轻量级的通信机制。
2.根据权利要求1所述的即时通信技术***，其特征在于：所述订阅者只关注自己订阅的消息，每个订阅者同时可以订阅多个发布者对象。
3.根据权利要求1所述的即时通信技术***，其特征在于：所述每个发布者在发布消息时不用关心此消息是否有订阅者，当发布者发布了被订阅者订阅的消息时，订阅者就根据消息详情触发注册事件。
4.根据权利要求1所述的即时通信技术***，其特征在于：所述通信节点有能力通过新增节点、横向扩展集群等方式解决消息队列满的问题，每个通信节点运行在其独立的进程中，它们之间相互协调、配合，实现数据交互、分布式通信。
5.一种即时通信技术方法，其特征在于，包括以下步骤：
S1、存储信息
通过在发布器中消息会持久到内存队列队尾中，发送流会主动拉取消息队列队头的消息进行发送；
S2、消息发送
通过当出现消息队列满状态时，会把队头消息扔给死信队列，发布器允许轮询的方式将消息发送到多个通信节点；
S3、拉取消信息
通过在通信节点中消息会持久到内存队列队尾中，发送流会主动拉取消息，消息在进入消息队列前会记录时间T0，然后将消息推到消息队头；
S4、丢弃和处理信息
通过消息进入发送流前将当前时间Tn与T0时间相减，若超时丢弃该消息，在订阅器中采用只取即时消息进行处理，若消息到到达时已经处理其它消息，就会把过期消息丢弃。
6.根据权利要求5所述的即时通信技术方法，其特征在于：所述步骤S2中在网络中同一条消息是唯一的，没有冗余数据。
7.一种即时通信技术介质，其特征在于，所述介质包括5G技术和人工智能。
CN202210338230.3A 2022-04-01 2022-04-01 一种即时通信技术方法、***及介质 Pending CN114666292A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210338230.3A CN114666292A (zh) 2022-04-01 2022-04-01 一种即时通信技术方法、***及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210338230.3A CN114666292A (zh) 2022-04-01 2022-04-01 一种即时通信技术方法、***及介质

Publications (1)

Publication Number Publication Date
CN114666292A true CN114666292A (zh) 2022-06-24

Family

ID=82033233

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210338230.3A Pending CN114666292A (zh) 2022-04-01 2022-04-01 一种即时通信技术方法、***及介质

Country Status (1)

Country Link
CN (1) CN114666292A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103532877A (zh) * 2013-10-29 2014-01-22 华北科技学院 一种保障无线传感器网络信息实时传输的调度方法
CN103856393A (zh) * 2013-07-09 2014-06-11 携程计算机技术（上海）有限公司 基于数据库的分布式消息中间件***及其运行方法
CN104092767A (zh) * 2014-07-21 2014-10-08 北京邮电大学 一种增加消息队列模型的发布/订阅***及其工作方法
CN110832875A (zh) * 2018-07-23 2020-02-21 深圳市大疆创新科技有限公司 视频处理方法、终端设备、机器可读存储介质
CN112965839A (zh) * 2021-03-29 2021-06-15 远景智能国际私人投资有限公司 消息传输方法、装置、设备及存储介质
CN113542314A (zh) * 2020-04-13 2021-10-22 烽火通信科技股份有限公司 一种基于关键字过滤的订阅模式实现方法及***
CN113905089A (zh) * 2021-09-06 2022-01-07 浪潮软件股份有限公司 基于发布订阅模式的多用户消息推送方法及推送***

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103856393A (zh) * 2013-07-09 2014-06-11 携程计算机技术（上海）有限公司 基于数据库的分布式消息中间件***及其运行方法
CN103532877A (zh) * 2013-10-29 2014-01-22 华北科技学院 一种保障无线传感器网络信息实时传输的调度方法
CN104092767A (zh) * 2014-07-21 2014-10-08 北京邮电大学 一种增加消息队列模型的发布/订阅***及其工作方法
CN110832875A (zh) * 2018-07-23 2020-02-21 深圳市大疆创新科技有限公司 视频处理方法、终端设备、机器可读存储介质
CN113542314A (zh) * 2020-04-13 2021-10-22 烽火通信科技股份有限公司 一种基于关键字过滤的订阅模式实现方法及***
CN112965839A (zh) * 2021-03-29 2021-06-15 远景智能国际私人投资有限公司 消息传输方法、装置、设备及存储介质
CN113905089A (zh) * 2021-09-06 2022-01-07 浪潮软件股份有限公司 基于发布订阅模式的多用户消息推送方法及推送***

Similar Documents

Publication Publication Date Title
CN108768826B (zh) 基于MQTT和Kafka高并发场景下的消息路由方法
CN110858850B (zh) 一种轨道交通***综合网管方法、装置及***
CN102355413B (zh) 一种大规模实时统一消息空间的方法及其***
CN105338061A (zh) 一种轻量级消息中间件的实现方法与***
US10206015B2 (en) System and method for vehicle data communication
CN110266810A (zh) 基于mqtt协议的消息接收方法、设备及存储介质
CN113723840B (zh) 一种车联网场景计算方法、装置及***
CN113163016A (zh) 网络长连接服务集群化部署***及控制流程
Yumusak et al. Low-diameter topic-based pub/sub overlay network construction with minimum–maximum node degree
CN114666292A (zh) 一种即时通信技术方法、***及介质
CN109428745B (zh) Jms消息转发方法、装置、电子设备和存储介质
CN116800787A (zh) 一种基于以太网通讯协议的车载通信方法及***
CN116261065A (zh) 基于消息队列遥测传输协议的通信方法、设备及存储介质
CN111240860A (zh) 消息处理方法及服务***
CN115623071A (zh) 单机多客户端的发布订阅消息分发方法及***
Rekik et al. Application of a CAN BUS transport for DDS middleware
Matic et al. Optimization of MQTT communication between microservices in the IoT cloud
CN114884830A (zh) 基于广域网的分布式并行仿真推演***
CN117873758B (zh) 一种基于消息总线的dcs***站间通信方法
Rooney et al. Edge server software architecture for sensor applications
CN112953784A (zh) 物联网设备性能采集方法、装置、设备及可读存储介质
CN116361038B (zh) 一种加速计算管理方法、***、设备及存储介质
CN117560415B (zh) 智慧社区微服务架构mqtt异步和同步通信方法和***
CN114095404B (zh) 基于流计算的视频设备状态计算输出方法、装置和设备
CN116939028A (zh) 消息推送方法、***、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination