CN103297517A - 一种状态监测***的分布式数据传输方法 - Google Patents
一种状态监测***的分布式数据传输方法 Download PDFInfo
- Publication number
- CN103297517A CN103297517A CN2013101880061A CN201310188006A CN103297517A CN 103297517 A CN103297517 A CN 103297517A CN 2013101880061 A CN2013101880061 A CN 2013101880061A CN 201310188006 A CN201310188006 A CN 201310188006A CN 103297517 A CN103297517 A CN 103297517A
- Authority
- CN
- China
- Prior art keywords
- data
- subscriber
- condition monitoring
- monitoring system
- middleware
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Computer And Data Communications (AREA)
- Debugging And Monitoring (AREA)
- Multi Processors (AREA)
Abstract
本发明提出了一种状态监测***的分布式数据传输方法,包括以下步骤:步骤(101),基于数据安全队列来构建独立且通用的发布/订阅数据交换中间件;步骤(102),在分布式多个数据源节点中布置侦听探针为发布者;步骤(103),简化状态监测服务模块的数据接收功能为订阅者;步骤(104),公开数据交换中间件的应用开发接口,简化发布与订阅接口。本发明基于数据安全队列来构建独立且通用的发布/订阅数据交换中间件,解决了分布式数据传输实现时状态监测程序难以适应并发大数据量的问题,大幅度降低了整个状态监测服务模块的开发成本与实现难度。
Description
技术领域
本发明涉及测试技术领域,特别涉及一种状态监测***的分布式数据传输方法。
背景技术
随着各种电子设备环境试验工作的开展,往往需要借助状态监测***来对试验件的各种工作状态进行数据采集与分析处理。现有技术通常是在各个分布式传感器节点(数据源节点)中布置侦听探针,侦听探针收集到原始状态数据后直接传输给驻留于数据处理中心(目的节点)中的状态监测服务模块,状态监测服务模块进行数据接收、存储、预处理、可视化显示与分析诊断等。
目前,基于计算机平台的状态监测***的发展已经进入了分布式远程阶段。分布式数据传输技术作为状态监测***中的关键技术一直备受关注。如图1所示,现有方案中的状态监测***包括多个传感器数据源节点20、通信网络40、数据处理中心60、侦听模块30和状态监测服务模块50。侦听模块30主要进行原始状态数据的采集与上传,状态监测服务模块50包括数据库51、数据接收模块52、存储模块57、数据预处理模块53、可视化显示模块54、分析诊断模块55和数据处理模块56等。
***就绪时,由驻留于各个数据源节点的侦听探针来进行原始状态数据的获取,在与目的节点中的状态监测服务模块建立通信连接后,由侦听模块将侦听数据通过通信网络发送给状态监测服务模块。状态监测模块需要一直有效,当发现有侦听数据到达时,将直接进行数据接收、存储、预处理、可视化显示与分析诊断等。
现有状态监测***一般是由驻留于数据源节点中的侦听模块直接将所采集的原始数据传输给状态监测服务模块。该***存在如下缺点:
(1)适应能力差:现有技术难以适应数据源节点动态变化的情况,尤其是当数据源节点数量多、需传输数据量大且多个节点并发传输时,必然会给状态监测服务模块带来很大的处理压力,很容易出现数据丢失、处理效率低、软件程序死锁乃至崩溃死机等现象。
(2)实现难度高:状态监测服务模块的负担过重,既要考虑多个传感器节点并行传输时的接收需求,又要实现高效率的数据处理服务,包括预处理、数据存储、数据分析与可视化显示等,需要确保数据无损且处理实时。这样往往使得软件的控制逻辑复杂、软件编码的质量要求高,软件开发人员花费大量时间精力来修改、调试与优化状态监测代码,数据传输的实现难度高。
发明内容
本发明提出一种状态监测***的分布式数据传输方法,解决现有分布式数据传输处理过程中多个传感器节点大数据量并发传输时,造成的状态监测服务模块适应能力差、吞吐压力大、开发成本高且实现难度高的问题。
本发明的技术方案是这样实现的:
一种状态监测***的分布式数据传输方法,包括以下步骤:
步骤(101),基于数据安全队列来构建独立且通用的发布/订阅数据交换中间件;
步骤(102),在分布式多个数据源节点中布置侦听探针为发布者;
步骤(103),简化状态监测服务模块的数据接收功能为订阅者;
步骤(104),公开数据交换中间件的应用开发接口,简化发布与订阅接口。
可选地,所述步骤(101)具体包括:中间件服务器维护管理发布者与订阅者信息,根据发布者请求连接的数据源数目来动态调整数据安全队列资源,依据订阅者信息来分发传递侦听数据,确保接收到的侦听数据能够无损地传输给订阅者。
可选地,所述发布者与订阅者信息以可扩展标记语言文档存储,并分配有唯一的注册标识。
可选地,所述步骤(102)具体包括:首先,连接数据源并设置属性信息,以便与中间件服务器间建立联系成为发布者;然后,在原始状态数据采集成功后就进行发送数据设置,发布所采集原始数据;之后,通知中间件服务器进行同步更新数据,以便侦听数据订阅者读取数据。
可选地,所述步骤(103)具体包括:首先,连接数据源并设置属性信息,以便与中间件服务器间建立订阅者信息;然后,通过中间件服务器成功订阅侦听数据后,进行侦听数据的分类预处理;之后,根据处理标识进行更新数据存储、通知可视化显示、通知数据处理、通知分析诊断。
本发明的有益效果是:
(1)数据传输的执行效率高、数据无损安全、处理实时性强;
(2)编码简单、开发时间短、升级维护容易。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为现有的状态监测***的控制框图;
图2为根据本发明分布式数据传输方法的状态监测***的控制框图;
图3为本发明分布式数据传输方法的流程图;
图4为图3中在分布式多个数据源节点中布置侦听探针为发布者步骤的具体实现方式流程图;
图5为图2中状态监测服务模块数据预处理模块的实现流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
现有分布式数据传输处理过程中多个传感器节点大数据量并发传输时,造成的状态监测服务模块适应能力差、吞吐压力大、开发成本高且实现难度高。本发明采用独立且通用的发布/订阅数据交换中间件服务器来降低状态监测服务模块的吞吐压力与实现难度。一方面,基于数据安全队列来构建独立且通用的发布/订阅数据交换中间件,让发布者(侦听模块)通过该数据交换中间件与订阅者(状态监测服务模块)进行交互。基于多线程机制来实现动态传输队列缓存处理来应对大吞吐量数据交换,根据请求连接的数据源数目来动态调整数据安全传输队列资源,确保分布式多数据源中的原始数据能够无损地传输给状态监测服务模块;另一方面,提供公开统一的应用开发接口,隐藏了网络数据传输的细节,做到侦听模块、状态监测服务模块二者与数据交换中间件之间的调用关系简单明了,确保整个数据传输的实现编码简单、开发时间短、升级维护容易,从而降低整个状态监测服务模块的实现难度。
图2为根据本发明分布式数据传输方法的状态监测***的原理图。如图2所示,数据交换中间件70由中间件服务器72、数据安全队列71与应用编程接口(API)73文档组成。中间件服务器72既可以对发布注册与订阅注册进行集中配置管理,也可以根据请求连接的源数目来动态调整数据安全队列71资源,确保接收到的侦听数据能够无损地传输给状态监测服务模块(订阅者)50。同时,数据交换中间件70进行模块化设计,软件状态参数信息包括发布者与订阅者信息且以可扩展标记语言文档存储,默认参数可设置,关键接口规范且公开,具有一定的通用性;其中,所公开的应用开发接口提供建立连接、断开连接、读取数据、写入数据、更新同步、设置属性与队列控制等相关函数,确保数据传输中发布与接收的实现编码简单、接口规范。
如图3所示,本发明的一种状态监测***的分布式数据传输方法,适用于图2中的状态监测***,包括以下步骤:步骤101,基于数据安全队列来构建独立且通用的发布/订阅数据交换中间件;步骤102,在分布式多个数据源节点中布置侦听探针为发布者;步骤103,简化状态监测服务模块的数据接收功能为订阅者;步骤104,公开数据交换中间件的应用开发接口,简化发布与订阅接口。本发明的分布式数据传输方法将多个传感器数据源节点作为发布者,将状态监测服务模块作为订阅者,采用独立且通用的数据交换中间件来降低状态监测服务模块的吞吐压力与实现难度。
上述步骤101中,中间件服务器维护管理发布者与订阅者信息,根据发布者请求连接的数据源数目来动态调整数据安全队列资源,依据订阅者信息来分发传递侦听数据,确保接收到的侦听数据能够无损地传输给订阅者(状态监测服务模块)。其中,发布者与订阅者信息以可扩展标记语言文档存储,并分配有唯一的注册标识。
上述步骤102具体包括以下步骤:首先,连接数据源并设置属性信息,以便与中间件服务器间建立联系成为发布者;然后,在原始状态数据采集成功后就进行发送数据设置,发布所采集原始数据;之后,通知中间件服务器进行同步更新数据,以便侦听数据订阅者(状态监测服务模块)读取数据。具体流程如图4所示,在原始状态数据采集成功后进行数据设置并通知中间件服务器进行同步更新数据,这中间有任何错误情况发生均需要重新进行侦听模块的注册初始化,包括重新连接数据源、设置写队列模式属性等,如果连接数据源时出现超时,那么释放相关资源并退出数据采集。
上述步骤103具体包括以下步骤:首先,连接数据源并设置属性信息,以便与中间件服务器间建立订阅者信息;然后,通过中间件服务器成功订阅侦听数据后,进行侦听数据的分类预处理;之后,根据处理标识进行更新数据存储、通知可视化显示、通知数据处理、通知分析诊断。
上述步骤104具体为提供公开统一的数据交换中间件应用开发接口,隐藏网络数据传输的细节,只需要关注发布者、订阅者信息以及需要交换的侦听数据,确保数据传输的实现编码简单、接口规范。
状态监测服务模块具备简单的数据接收功能,在订阅注册成功后其各个功能模块就处于就绪状态,以便被通知或激活进行侦听数据的读取,进而完成侦听数据的预处理、存储、可视化显示、数据处理与分析诊断。图5为图2中状态监测服务模块数据预处理部分的实现流程。状态监测服务模块中的数据预处理模块被初始化后就驻留内存等待激活,直到接收到退出命令后释放资源结束处理。数据预处理模块初始化时需要连接数据源、设置安全队列自动读处理并注册更新数据回调函数等,以便与数据交换中间件服务器建立订阅关系并接收到相应的侦听数据,处理流程中出现任何错误均也需要进行释放资源并退出。
本发明所提出的一种状态监测***的分布式数据传输方法,使得数据源中的侦听探针通过独立且通用的发布/订阅数据交换中间件来传递给状态监测服务模块。与现有技术相比,本发明采用发布/订阅数据交换中间件来实现了侦听探针与状态监测服务模块之间数据的可靠传输,可根据需要动态调整数据安全队列资源,有效降低了状态监测服务模块的吞吐压力;公开数据交换中间件的应用开发接口,隐藏了网络数据传输的细节,监测***研制人员只需要关注发布者、订阅者信息以及所传送的侦听数据,确保整个数据传输的实现编码简单、接口规范。同时,所实现的整个状态监测***可配置、可扩展、升级维护容易。因而,该方法不仅数据传输的执行效率高、数据无损安全、处理实时性强,而且编码简单、开发时间短、升级维护容易。
总之,本方法基于数据安全队列来构建独立且通用的发布/订阅数据交换中间件,解决了分布式数据传输实现时状态监测程序难以适应并发大数据量的问题,大幅度降低了整个状态监测服务模块的开发成本与实现难度。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (5)
1.一种状态监测***的分布式数据传输方法,其特征在于,包括以下步骤:
步骤(101),基于数据安全队列来构建独立且通用的发布/订阅数据交换中间件;
步骤(102),在分布式多个数据源节点中布置侦听探针为发布者;
步骤(103),简化状态监测服务模块的数据接收功能为订阅者;
步骤(104),公开数据交换中间件的应用开发接口,简化发布与订阅接口。
2.如权利要求1所述的状态监测***的分布式数据传输方法,其特征在于,所述步骤(101)具体包括:中间件服务器维护管理发布者与订阅者信息,根据发布者请求连接的数据源数目来动态调整数据安全队列资源,依据订阅者信息来分发传递侦听数据,确保接收到的侦听数据能够无损地传输给订阅者。
3.如权利要求2所述的状态监测***的分布式数据传输方法,其特征在于,所述发布者与订阅者信息以可扩展标记语言文档存储,并分配有唯一的注册标识。
4.如权利要求1所述的状态监测***的分布式数据传输方法,其特征在于,所述步骤(102)具体包括:首先,连接数据源并设置属性信息,以便与中间件服务器间建立联系成为发布者;然后,在原始状态数据采集成功后就进行发送数据设置,发布所采集原始数据;之后,通知中间件服务器进行同步更新数据,以便侦听数据订阅者读取数据。
5.如权利要求1所述的状态监测***的分布式数据传输方法,其特征在于,所述步骤(103)具体包括:首先,连接数据源并设置属性信息,以便与中间件服务器间建立订阅者信息;然后,通过中间件服务器成功订阅侦听数据后,进行侦听数据的分类预处理;之后,根据处理标识进行更新数据存储、通知可视化显示、通知数据处理、通知分析诊断。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310188006.1A CN103297517B (zh) | 2013-05-20 | 2013-05-20 | 一种状态监测***的分布式数据传输方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310188006.1A CN103297517B (zh) | 2013-05-20 | 2013-05-20 | 一种状态监测***的分布式数据传输方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103297517A true CN103297517A (zh) | 2013-09-11 |
CN103297517B CN103297517B (zh) | 2017-02-22 |
Family
ID=49097820
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310188006.1A Active CN103297517B (zh) | 2013-05-20 | 2013-05-20 | 一种状态监测***的分布式数据传输方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103297517B (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104050920A (zh) * | 2014-06-20 | 2014-09-17 | 西安诺瓦电子科技有限公司 | Led显示屏控制***和异步控制卡 |
CN104679888A (zh) * | 2015-03-17 | 2015-06-03 | 浪潮集团有限公司 | 一种数据同步的装置及方法 |
CN104866326A (zh) * | 2015-06-19 | 2015-08-26 | 长沙廖氏软件科技有限公司 | 一种集成交换中间件及其实现方法 |
CN104965726A (zh) * | 2015-03-10 | 2015-10-07 | 腾讯科技(深圳)有限公司 | 配置更新方法、装置及*** |
CN105847063A (zh) * | 2016-05-12 | 2016-08-10 | 中国联合网络通信集团有限公司 | 核心网数据管理方法和*** |
CN107422028A (zh) * | 2017-04-20 | 2017-12-01 | 北京环宇智联科技有限责任公司 | 分布式结构健康监测***及方法 |
CN107872515A (zh) * | 2017-10-09 | 2018-04-03 | 珠海格力电器股份有限公司 | 数据发布***及方法 |
CN107920116A (zh) * | 2017-11-17 | 2018-04-17 | 中国航空工业集团公司西安航空计算技术研究所 | 一种可动态扩展的机载网络服务数据通信方法 |
CN108134746A (zh) * | 2017-12-19 | 2018-06-08 | 深圳交控科技有限公司 | 轨道交通数据的处理方法及装置 |
CN109862058A (zh) * | 2017-11-30 | 2019-06-07 | 西门子(中国)有限公司 | 采集uart设备输出数据的方法及中间件设备和监控*** |
CN111131405A (zh) * | 2019-12-06 | 2020-05-08 | 江西洪都航空工业集团有限责任公司 | 一种针对多种数据类型的分布式数据采集*** |
CN111866191A (zh) * | 2020-09-24 | 2020-10-30 | 深圳市易博天下科技有限公司 | 消息事件的分发方法、分发平台、***及服务器 |
CN112180889A (zh) * | 2020-11-09 | 2021-01-05 | 西安热工研究院有限公司 | 一种dcs监控后台***采集传输诊断数据的方法 |
CN112579560A (zh) * | 2020-08-21 | 2021-03-30 | 中国科学院国家授时中心 | 一种监测控制管理***及方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060146991A1 (en) * | 2005-01-06 | 2006-07-06 | Tervela, Inc. | Provisioning and management in a message publish/subscribe system |
CN102541563A (zh) * | 2011-12-31 | 2012-07-04 | 山东中创软件商用中间件股份有限公司 | 一种监控界面生成方法及*** |
-
2013
- 2013-05-20 CN CN201310188006.1A patent/CN103297517B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060146991A1 (en) * | 2005-01-06 | 2006-07-06 | Tervela, Inc. | Provisioning and management in a message publish/subscribe system |
CN102541563A (zh) * | 2011-12-31 | 2012-07-04 | 山东中创软件商用中间件股份有限公司 | 一种监控界面生成方法及*** |
Non-Patent Citations (1)
Title |
---|
吕海林: "《内蒙古科技大学硕士学位论文》", 31 March 2012 * |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104050920A (zh) * | 2014-06-20 | 2014-09-17 | 西安诺瓦电子科技有限公司 | Led显示屏控制***和异步控制卡 |
CN104965726A (zh) * | 2015-03-10 | 2015-10-07 | 腾讯科技(深圳)有限公司 | 配置更新方法、装置及*** |
CN104679888A (zh) * | 2015-03-17 | 2015-06-03 | 浪潮集团有限公司 | 一种数据同步的装置及方法 |
CN104866326B (zh) * | 2015-06-19 | 2018-05-15 | 长沙廖氏软件科技有限公司 | 一种集成交换中间件及其实现方法 |
CN104866326A (zh) * | 2015-06-19 | 2015-08-26 | 长沙廖氏软件科技有限公司 | 一种集成交换中间件及其实现方法 |
CN105847063A (zh) * | 2016-05-12 | 2016-08-10 | 中国联合网络通信集团有限公司 | 核心网数据管理方法和*** |
CN107422028B (zh) * | 2017-04-20 | 2021-01-05 | 北京昊鹏智能技术有限公司 | 分布式结构健康监测***及方法 |
CN107422028A (zh) * | 2017-04-20 | 2017-12-01 | 北京环宇智联科技有限责任公司 | 分布式结构健康监测***及方法 |
CN107872515B (zh) * | 2017-10-09 | 2020-03-10 | 珠海格力电器股份有限公司 | 数据发布***及方法 |
CN107872515A (zh) * | 2017-10-09 | 2018-04-03 | 珠海格力电器股份有限公司 | 数据发布***及方法 |
CN107920116A (zh) * | 2017-11-17 | 2018-04-17 | 中国航空工业集团公司西安航空计算技术研究所 | 一种可动态扩展的机载网络服务数据通信方法 |
CN107920116B (zh) * | 2017-11-17 | 2020-12-08 | 中国航空工业集团公司西安航空计算技术研究所 | 一种可动态扩展的机载网络服务数据通信方法 |
CN109862058A (zh) * | 2017-11-30 | 2019-06-07 | 西门子(中国)有限公司 | 采集uart设备输出数据的方法及中间件设备和监控*** |
CN108134746A (zh) * | 2017-12-19 | 2018-06-08 | 深圳交控科技有限公司 | 轨道交通数据的处理方法及装置 |
CN108134746B (zh) * | 2017-12-19 | 2021-11-19 | 深圳交控科技有限公司 | 轨道交通数据的处理方法及装置 |
CN111131405A (zh) * | 2019-12-06 | 2020-05-08 | 江西洪都航空工业集团有限责任公司 | 一种针对多种数据类型的分布式数据采集*** |
CN112579560A (zh) * | 2020-08-21 | 2021-03-30 | 中国科学院国家授时中心 | 一种监测控制管理***及方法 |
CN111866191A (zh) * | 2020-09-24 | 2020-10-30 | 深圳市易博天下科技有限公司 | 消息事件的分发方法、分发平台、***及服务器 |
CN112180889A (zh) * | 2020-11-09 | 2021-01-05 | 西安热工研究院有限公司 | 一种dcs监控后台***采集传输诊断数据的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103297517B (zh) | 2017-02-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103297517A (zh) | 一种状态监测***的分布式数据传输方法 | |
CN101605056B (zh) | 一种j2ee服务器监控装置及采用该装置的监控方法 | |
CN101488878B (zh) | 一种智能平台接口管理装置及服务器 | |
US8626936B2 (en) | Protocol independent server replacement and replication in a storage area network | |
CN111343020A (zh) | 多协议物联网设备的统一管理方法和装置 | |
CN101661535A (zh) | 一种远程实验***及其实现方法 | |
CN103067230A (zh) | 一种通过植入监控代码实现对http服务监控的方法 | |
CN107018203A (zh) | 一种变频器远程监控控制方法 | |
CN106161644A (zh) | 数据处理的分布式***及其数据处理方法 | |
CN101383660A (zh) | 一种光纤通道网络实时监视平台和监视方法 | |
CN103996276A (zh) | 一种电厂数据远程传输***及方法 | |
CN103166964B (zh) | 用于超级计算***监控的前后端实时通信方法 | |
CN109639737A (zh) | 协议发生装置、数据采集终端的协议转换方法和配置方法 | |
CN104809506A (zh) | 房间信息交互方法、装置及*** | |
CN105592164A (zh) | 一种数据处理的分布式***及方法 | |
CN110148066A (zh) | 一种智能水表管理***及方法 | |
CN117439838B (zh) | 一种面向边缘计算网关主从机自适应快速组网方法 | |
CN102916987A (zh) | 基于云计算架构的数据采集管理*** | |
CN113141269A (zh) | 数据采集方法、装置及*** | |
CN104168145B (zh) | 一种对无线通信单元进行无线升级的***和方法 | |
CN109889406A (zh) | 用于管理网络连接的方法、装置、设备和存储介质 | |
CN103036911A (zh) | 业务数据处理***和业务数据处理方法 | |
Savolainen et al. | Conflict-centric software architectural views: Exposing trade-offs in quality requirements | |
CN111666132B (zh) | 分布式事务实现方法、装置、计算机***及可读存储介质 | |
CN107508703A (zh) | 一种基于云计算的数据交换监控*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |