CN106302817A - 一种基于分布式消息队列的数据总线实现方法和装置 - Google Patents

一种基于分布式消息队列的数据总线实现方法和装置 Download PDF

Info

Publication number
CN106302817A
CN106302817A CN201610866164.1A CN201610866164A CN106302817A CN 106302817 A CN106302817 A CN 106302817A CN 201610866164 A CN201610866164 A CN 201610866164A CN 106302817 A CN106302817 A CN 106302817A
Authority
CN
China
Prior art keywords
message
module
message queue
data
resource
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610866164.1A
Other languages
English (en)
Inventor
陈西
滕飞
薛坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Sinovatio Technology LLC
Original Assignee
Nanjing Sinovatio Technology LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Sinovatio Technology LLC filed Critical Nanjing Sinovatio Technology LLC
Priority to CN201610866164.1A priority Critical patent/CN106302817A/zh
Publication of CN106302817A publication Critical patent/CN106302817A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/50—Queue scheduling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种基于分布式消息队列的数据总线实现方法和装置，方法包括如下步骤：(1)数据资源和消费中心申请设备注册和消息发布权限；(2)数据资源向消息队列发布消息，消费中心从消息队列订阅消息；(3)大数据中心备份经过消息队列的相关消息。装置包括数据资源模块、消费模块、消息队列模块、资源管理模块和备份模块。本发明的有益效果为：数据资源和消费中心都通过统一的资源管理中心统一维护，审批未通过的设备将无法生产或消费任何信息；消息内容通过备份机制进行持久化，消息生产和消费的可靠性和安全性得到保证。

Description

一种基于分布式消息队列的数据总线实现方法和装置
技术领域
本发明涉及消息队列技术领域，尤其是一种基于分布式消息队列的数据总线实现方法和装置。
背景技术
消息队列是在消息的传输过程中保存消息的容器。队列的主要目的是提供路由并保证消息的传递，如果发送消息时接收者不可用，消息队列会保留消息，直到可以成功的传递它。
其应用领域十分广泛，可以作为日志收集中心，通过将消息内容发送到消息队列，从而实现各个***间的消息解耦；可以提供分布式事务支持，保证全局数据的一致性；可以作为消息中间件，将数据从源头复制到各个目的地，满足搜索、离线分析等需求。
现有的消息队列对消息生产端以及消费端缺少统一的维护管理，此外，经过消息队列的消息在消费完成后，会定时清理，没有持久化的过程，缺少有效的备份机制。
发明内容
本发明所要解决的技术问题在于，提供一种基于分布式消息队列的数据总线实现方法和装置，可以对数据资源和消费中心通过统一的资源管理中心统一维护，通过备份机制进行持久化。
为解决上述技术问题，本发明提供一种基于分布式消息队列的数据总线实现方法，包括如下步骤：
(1)数据资源和消费中心申请设备注册和消息发布权限；
(2)数据资源向消息队列发布消息，消费中心从消息队列订阅消息；
(3)大数据中心备份经过消息队列的相关消息。
优选的，步骤(1)的具体过程为：数据资源向消息队列发送消息之前，向资源管理中心发起申请设备注册流程，资源管理中心根据设备及认证状态进行审批，审批通过后，数据资源注册成功，再次向资源管理中心发起消息发布权限申请流程，资源管理中心进行权限认证，返回数据资源能够发送给消息队列的目标主题，申请成功后，数据资源向消息队列中指定主题发送消息；消费中心从消息队列获取消息之前，向资源管理中心发起申请设备注册流程，资源管理中心根据设备及认证状态进行审批，审批通过后，再次向资源管理中心发起消息订阅权限申请流程，资源管理中心返回消费中心能够从消息队列中获取的消息主题列表。
优选的，步骤(2)的具体过程为：数据资源调用权限查询API，查询该资源所属消息主题，资源管理中心返回资源所属主题信息；数据资源组装消息并调用消息发送API至消息队列，消费中心调用权限查询API，查询该资源所能获取的主题列表，资源管理中心返回指挥中心需要的主题信息，指挥中心调用消息接收API从消息队列获取相应主题消息。
优选的，步骤(3)的具体过程为：消息发送至消息队列后，备份中心定时扫描消息队列中的内容，将相关消息备份至大数据中心。
相应的，一种基于分布式消息队列的数据总线实现装置，包括数据资源模块、消费模块、消息队列模块、资源管理模块和备份模块；数据资源模块用于消息的发布，发送至消息队列；消费模块用于消息的消费处理，从消息队列中消费订阅主题内容；消息队列模块用于消息的临时缓冲，缓存数据资源模块发出的消息；资源管理模块用于对各个模块的统一管理；备份模块用于对经过消息队列模块的消息进行备份。
优选的，数据资源模块通过预先在资源管理模块申请的资源ID和生产ID，向消息队列模块指定的Topic发送消息，每条消息都会定制唯一的消息标识作为消息主键。
优选的，消费模块预先在资源管理模块申请订阅主题，消息队列模块中有消息发布时，资源管理模块根据消费模块订阅的Topic，去消息队列模块拉取相关信息，资源管理模块订阅多个Topic，接收多个资源管理模块的消息。
优选的，消息队列模块将消息以Topic为单位进行归纳，每个Topic由若干分区构成，每个分区由一系列有序的、不可变的消息组成，每个消息都有一个连续的序列号offset，每个分区在若干服务中都有副本，持有副本的服务共同处理数据和请求，副本数量可配置。
优选的，所有的数据资源模块和消费模块都要在资源管理模块进行注册和权限申请。
优选的，备份模块定时扫描消息队列模块中的内容，将相关信息备份至大数据中心。
本发明的有益效果为：数据资源和消费中心都通过统一的资源管理中心统一维护，审批未通过的设备将无法生产或消费任何信息；消息内容通过备份机制进行持久化，消息生产和消费的可靠性和安全性得到保证。
附图说明
图1是本发明的方法流程示意图。
图2是本发明的装置结构示意图。
具体实施方式
如图1所示，一种基于分布式消息队列的数据总线实现方法，包括如下步骤：(1)数据资源和消费中心申请设备注册和消息发布权限；
数据资源向消息队列发送消息之前，向资源管理中心发起申请设备注册流程，资源管理中心根据设备及认证状态进行审批，审批通过后，数据资源注册成功，再次向资源管理中心发起消息发布权限申请流程，资源管理中心进行权限认证，返回数据资源能够发送给消息队列的目标主题，申请成功后，数据资源向消息队列中指定主题发送消息；消费中心从消息队列获取消息之前，向资源管理中心发起申请设备注册流程，资源管理中心根据设备及认证状态进行审批，审批通过后，再次向资源管理中心发起消息订阅权限申请流程，资源管理中心返回消费中心能够从消息队列中获取的消息主题列表。
(2)数据资源向消息队列发布消息，消费中心从消息队列订阅消息；
数据资源调用权限查询API，查询该资源所属消息主题，资源管理中心返回资源所属主题信息；数据资源组装消息并调用消息发送API至消息队列，消费中心调用权限查询API，查询该资源所能获取的主题列表，资源管理中心返回指挥中心需要的主题信息，指挥中心调用消息接收API从消息队列获取相应主题消息。
(3)大数据中心备份经过消息队列的相关消息；
消息发送至消息队列后，备份中心定时扫描消息队列中的内容，将相关消息备份至大数据中心。
如图2所示，为一种基于分布式消息队列的数据总线实现装置，包括数据资源模块、消费模块、消息队列模块、资源管理模块和备份模块；数据资源模块用于消息的发布，发送至消息队列；消费模块用于消息的消费处理，从消息队列中消费订阅主题内容；消息队列模块用于消息的临时缓冲，缓存数据资源模块发出的消息；资源管理模块用于对各个模块的统一管理；备份模块用于对经过消息队列模块的消息进行备份。
数据资源模块通过预先在资源管理模块申请的资源ID和生产ID，向消息队列模块指定的Topic发送消息，每条消息都会定制唯一的消息标识作为消息主键。
消费模块预先在资源管理模块申请订阅主题，消息队列模块中有消息发布时，资源管理模块根据消费模块订阅的Topic，去消息队列模块拉取相关信息，资源管理模块订阅多个Topic，接收多个资源管理模块的消息。
消息队列模块将消息以Topic为单位进行归纳，每个Topic由若干分区构成，每个分区由一系列有序的、不可变的消息组成，每个消息都有一个连续的序列号offset，每个分区在若干服务中都有副本，持有副本的服务共同处理数据和请求，副本数量可配置。
所有的数据资源模块和消费模块都要在资源管理模块进行注册和权限申请。
备份模块定时扫描消息队列模块中的内容，将相关信息备份至大数据中心。
尽管本发明就优选实施方式进行了示意和描述，但本领域的技术人员应当理解，只要不超出本发明的权利要求所限定的范围，可以对本发明进行各种变化和修改。

Claims (10)

1.一种基于分布式消息队列的数据总线实现方法，其特征在于，包括如下步骤：
(1)数据资源和消费中心申请设备注册和消息发布权限；
(2)数据资源向消息队列发布消息，消费中心从消息队列订阅消息；
(3)大数据中心备份经过消息队列的相关消息。
2.如权利要求1所述的基于分布式消息队列的数据总线实现方法，其特征在于，步骤(1)的具体过程为：数据资源向消息队列发送消息之前，向资源管理中心发起申请设备注册流程，资源管理中心根据设备及认证状态进行审批，审批通过后，数据资源注册成功，再次向资源管理中心发起消息发布权限申请流程，资源管理中心进行权限认证，返回数据资源能够发送给消息队列的目标主题，申请成功后，数据资源向消息队列中指定主题发送消息；消费中心从消息队列获取消息之前，向资源管理中心发起申请设备注册流程，资源管理中心根据设备及认证状态进行审批，审批通过后，再次向资源管理中心发起消息订阅权限申请流程，资源管理中心返回消费中心能够从消息队列中获取的消息主题列表。
3.如权利要求1所述的基于分布式消息队列的数据总线实现方法，其特征在于，步骤(2)的具体过程为：数据资源调用权限查询API，查询该资源所属消息主题，资源管理中心返回资源所属主题信息；数据资源组装消息并调用消息发送API至消息队列，消费中心调用权限查询API，查询该资源所能获取的主题列表，资源管理中心返回指挥中心需要的主题信息，指挥中心调用消息接收API从消息队列获取相应主题消息。
4.如权利要求1所述的基于分布式消息队列的数据总线实现方法，其特征在于，步骤(3)的具体过程为：消息发送至消息队列后，备份中心定时扫描消息队列中的内容，将相关消息备份至大数据中心。
5.一种基于分布式消息队列的数据总线实现装置，其特征在于，包括：数据资源模块、消费模块、消息队列模块、资源管理模块和备份模块；数据资源模块用于消息的发布，发送至消息队列；消费模块用于消息的消费处理，从消息队列中消费订阅主题内容；消息队列模块用于消息的临时缓冲，缓存数据资源模块发出的消息；资源管理模块用于对各个模块的统一管理；备份模块用于对经过消息队列模块的消息进行备份。
6.如权利要求5所述的基于分布式消息队列的数据总线实现装置，其特征在于，数据资源模块通过预先在资源管理模块申请的资源ID和生产ID，向消息队列模块指定的Topic发送消息，每条消息都会定制唯一的消息标识作为消息主键。
7.如权利要求5所述的基于分布式消息队列的数据总线实现装置，其特征在于，消费模块预先在资源管理模块申请订阅主题，消息队列模块中有消息发布时，资源管理模块根据消费模块订阅的Topic，去消息队列模块拉取相关信息，资源管理模块订阅多个Topic，接收多个资源管理模块的消息。
8.如权利要求5所述的基于分布式消息队列的数据总线实现装置，其特征在于，消息队列模块将消息以Topic为单位进行归纳，每个Topic由若干分区构成，每个分区由一系列有序的、不可变的消息组成，每个消息都有一个连续的序列号offset，每个分区在若干服务中都有副本，持有副本的服务共同处理数据和请求，副本数量可配置。
9.如权利要求5所述的基于分布式消息队列的数据总线实现装置，其特征在于，所有的数据资源模块和消费模块都要在资源管理模块进行注册和权限申请。
10.如权利要求5所述的基于分布式消息队列的数据总线实现装置，其特征在于，备份模块定时扫描消息队列模块中的内容，将相关信息备份至大数据中心。
CN201610866164.1A 2016-09-29 2016-09-29 一种基于分布式消息队列的数据总线实现方法和装置 Pending CN106302817A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610866164.1A CN106302817A (zh) 2016-09-29 2016-09-29 一种基于分布式消息队列的数据总线实现方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610866164.1A CN106302817A (zh) 2016-09-29 2016-09-29 一种基于分布式消息队列的数据总线实现方法和装置

Publications (1)

Publication Number Publication Date
CN106302817A true CN106302817A (zh) 2017-01-04

Family

ID=57715729

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610866164.1A Pending CN106302817A (zh) 2016-09-29 2016-09-29 一种基于分布式消息队列的数据总线实现方法和装置

Country Status (1)

Country Link
CN (1) CN106302817A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107592364A (zh) * 2017-09-22 2018-01-16 中汇信息技术（上海）有限公司 一种分布式消息交换方法和***
CN110074778A (zh) * 2019-05-29 2019-08-02 北京脑陆科技有限公司 一种基于eeg设备的大规模脑电睡眠监测***
CN110113420A (zh) * 2019-05-08 2019-08-09 重庆大学 基于nvm的分布式消息队列管理***
CN110868322A (zh) * 2019-11-15 2020-03-06 北京京东尚科信息技术有限公司 分布式消息服务的网络管理方法、***、设备及存储介质
CN111181976A (zh) * 2019-12-31 2020-05-19 深圳云天励飞技术有限公司 基于消息队列的行列权限管理的方法及相关装置
WO2021046936A1 (zh) * 2019-09-10 2021-03-18 北京东土科技股份有限公司 总线数据存储到存储器上的方法、存储装置及存储介质
CN113112366A (zh) * 2021-04-09 2021-07-13 上海中汇亿达金融信息技术有限公司 分布式数据总线
CN113360319A (zh) * 2021-05-14 2021-09-07 山东英信计算机技术有限公司 一种数据备份方法和装置
CN113645576A (zh) * 2021-08-20 2021-11-12 苏州良医汇网络科技有限公司 一种统一消息方法及***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1908970A (zh) * 2005-08-03 2007-02-07 北京航空航天大学 分布式的信息发布/订阅***
CN103944924A (zh) * 2014-05-15 2014-07-23 重庆邮电大学 一种基于RESTful的泛在网发布订阅中间件模型
CN104092767A (zh) * 2014-07-21 2014-10-08 北京邮电大学 一种增加消息队列模型的发布/订阅***及其工作方法
US20150006643A1 (en) * 2013-06-28 2015-01-01 International Business Machines Corporation Management of connections in a messaging environment
CN104811459A (zh) * 2014-01-23 2015-07-29 阿里巴巴集团控股有限公司 用于消息服务的处理方法、装置及***、消息服务***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1908970A (zh) * 2005-08-03 2007-02-07 北京航空航天大学 分布式的信息发布/订阅***
US20150006643A1 (en) * 2013-06-28 2015-01-01 International Business Machines Corporation Management of connections in a messaging environment
CN104811459A (zh) * 2014-01-23 2015-07-29 阿里巴巴集团控股有限公司 用于消息服务的处理方法、装置及***、消息服务***
CN103944924A (zh) * 2014-05-15 2014-07-23 重庆邮电大学 一种基于RESTful的泛在网发布订阅中间件模型
CN104092767A (zh) * 2014-07-21 2014-10-08 北京邮电大学 一种增加消息队列模型的发布/订阅***及其工作方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
马浩然: "基于NS3 的分布式消息***Kafka 的仿真实现", 《软件》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107592364B (zh) * 2017-09-22 2020-08-11 中汇信息技术（上海）有限公司 一种分布式消息交换方法和***
CN107592364A (zh) * 2017-09-22 2018-01-16 中汇信息技术（上海）有限公司 一种分布式消息交换方法和***
CN110113420A (zh) * 2019-05-08 2019-08-09 重庆大学 基于nvm的分布式消息队列管理***
CN110113420B (zh) * 2019-05-08 2020-06-05 重庆大学 基于nvm的分布式消息队列管理***
CN110074778A (zh) * 2019-05-29 2019-08-02 北京脑陆科技有限公司 一种基于eeg设备的大规模脑电睡眠监测***
WO2021046936A1 (zh) * 2019-09-10 2021-03-18 北京东土科技股份有限公司 总线数据存储到存储器上的方法、存储装置及存储介质
CN110868322A (zh) * 2019-11-15 2020-03-06 北京京东尚科信息技术有限公司 分布式消息服务的网络管理方法、***、设备及存储介质
CN110868322B (zh) * 2019-11-15 2023-04-07 北京京东尚科信息技术有限公司 分布式消息服务的网络管理方法、***、设备及存储介质
CN111181976A (zh) * 2019-12-31 2020-05-19 深圳云天励飞技术有限公司 基于消息队列的行列权限管理的方法及相关装置
CN111181976B (zh) * 2019-12-31 2022-06-24 深圳云天励飞技术股份有限公司 基于消息队列的行列权限管理的方法***、电子设备及存储介质
CN113112366A (zh) * 2021-04-09 2021-07-13 上海中汇亿达金融信息技术有限公司 分布式数据总线
CN113360319A (zh) * 2021-05-14 2021-09-07 山东英信计算机技术有限公司 一种数据备份方法和装置
CN113645576A (zh) * 2021-08-20 2021-11-12 苏州良医汇网络科技有限公司 一种统一消息方法及***
CN113645576B (zh) * 2021-08-20 2023-03-24 苏州良医汇网络科技有限公司 一种统一消息方法及***

Similar Documents

Publication Publication Date Title
CN106302817A (zh) 一种基于分布式消息队列的数据总线实现方法和装置
CN106685971A (zh) 客户端连麦直播处理方法和装置
US20070226226A1 (en) Method and system for distributing processing of computerized tasks
CN108121608A (zh) 一种队列调度方法以及节点设备
US20090193090A1 (en) Method and system for message delivery in messaging networks
CN110968586A (zh) 分布式事务处理方法及装置
CN102571850A (zh) 事务提交***、方法及设备
CN105991412A (zh) 消息推送方法及装置
CN107634899B (zh) 基于聊天群组的排队方法、装置、服务器及存储介质
CN106919452A (zh) 多核异构***及其硬件资源的管理方法
CN104657841A (zh) 快件投递方法、投递处理方法及快递柜终端和服务***
CN102957594A (zh) 基于消息队列的消息处理方法、相关设备及***
CN113411310A (zh) 一种媒体下行传输控制方法及相关设备
US20110066686A1 (en) Public BOT Management in Private Networks
CN104507054B (zh) 一种群组成员信息更新的方法及相关设备
CN106682872A (zh) 一种任务派发方法及装置
US20110145191A1 (en) Proxy-Based, Distributed Computer-Aided Dispatch System
DE69836966T2 (de) Zustellung und setzen in eine warteschlange von zertifizierten nachrichten in einem mehrpunkt-publikations/abonnement-kommunikationssystem
US11223688B2 (en) SIP microservices architecture for container orchestrated environments
CA2439007A1 (en) Method and system for distributed processing management
CN106161194A (zh) 一种基于xmpp协议的在线客服中心即时消息交换***
US9398109B2 (en) System, messaging broker and method for managing communication between open services gateway initiative (OSGI) environments
CN112256408B (zh) 微服务全局上下文控制方法及***
US8433763B2 (en) Fault tolerant distributed messaging architecture for computer-aided dispatch system
CN103139161B (zh) 一种视频分发网络的业务管理方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170104

RJ01 Rejection of invention patent application after publication