CN112905701A - 一种多协议通信实时库数据聚合方法及*** - Google Patents
一种多协议通信实时库数据聚合方法及*** Download PDFInfo
- Publication number
- CN112905701A CN112905701A CN202110205476.9A CN202110205476A CN112905701A CN 112905701 A CN112905701 A CN 112905701A CN 202110205476 A CN202110205476 A CN 202110205476A CN 112905701 A CN112905701 A CN 112905701A
- Authority
- CN
- China
- Prior art keywords
- data
- protocol
- real
- remote control
- adopting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/256—Integrating or interfacing systems involving database management systems in federated or virtual databases
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/18—Multiprotocol handlers, e.g. single devices capable of handling multiple protocols
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Communication Control (AREA)
Abstract
本发明提供一种多协议通信实时库数据聚合方法及***，方法包括：将通信实时库数据按数据使用性质进行分类，形成实时库基础数据类型集，每种数据类型设置一个独立数据存储区；对要处理的实时库数据采用基于JSON数据格式的动态数据包装方法进行数据建模，将实时库数据按数据分为协议结构数据和协议负载数据，其中，协议结构数据用来表达协议规则和协议时序逻辑，用来进行协议的组包、解析和时序控制，协议负载数据为协议传输的有效内容；每个有效协议负载数据对应多个不同或相同的数据存储类型，每种数据存储类型对应一个拆分映射规则，通过动态构造映射过程，将有效协议负载数据映射到实时库基础数据类型集中。
Description
技术领域
本发明属于地铁综合监控技术领域，具体的说，涉及了一种多协议通信实时库数据聚合方法及***。
背景技术
当期在地铁综合监控***中要面临着不同子***数据接入问题，这些子***大多采用工业控制协议，但这些工业控制协议种类繁多，如：Modbus/TCP，Ethernet/IP，IEC-104，OPC等，而且协议组包、时序关系有很大的差异。将这些不同的协议数据聚合到一起是一件麻烦的事情，又因为这些协议数据量非常大，加剧了数据聚合处理的复杂性。
为了解决以上存在的问题，人们一直在寻求一种理想的技术解决方案。
发明内容
本发明的目的是针对现有技术的不足，从而提供了一种多协议通信实时库数据聚合方法及***。该方法在地铁综合监控***中能够高效快捷处理不同通信协议的数据聚合问题。
为了实现上述目的，本发明所采用的技术方案是：
本发明第一方面提供一种多协议通信实时库数据聚合方法：
将通信实时库数据按数据使用性质进行分类，形成实时库基础数据类型集，每种数据类型设置一个独立数据存储区；
对要处理的实时库数据采用基于JSON数据格式的动态数据包装方法进行数据建模，将实时库数据按数据分为协议结构数据和协议负载数据，其中，协议结构数据用来表达协议规则和协议时序逻辑，用来进行协议的组包、解析和时序控制，协议负载数据为协议传输的有效内容；每个有效协议负载数据对应多个不同或相同的数据存储类型，每种数据存储类型对应一个拆分映射规则，通过动态构造映射过程，将有效协议负载数据映射到实时库基础数据类型集中。
基于上述，实时库基础数据类型集包括遥信数据、遥测数据、遥控数据、累积量数据和字符串数据。
基于上述，遥信数据值采用一个4字节整数存储，用以表示布尔型值、枚举值、离散量、线圈、开关或报警；
遥测数据值采用一个8字节数值存储，用以表示寄存器值、16位或32模拟量、64位超大数据或浮点值；
遥控数据值采用一个遥控元组对象来存储，包括遥控点号、遥控类型、遥控参数和遥控命令值，用以表示控制命令；
累积量数据采用一个8字节数据存储，用以表示32位整数或浮点数、64位整数或双精度浮点数；
字符串数据采用不定长字节数组存储，数据包含数据长度、编码类型和字符内容。
本发明第二方面提供一种多协议通信实时库数据聚合***，包括动态构造协议包装器和独立数据存储区；
所述动态构造协议包装器和所述独立数据存储区分别与接口处理器连接，将通信实时库数据按数据使用性质进行分类，每种数据类型存储至一个独立数据存储区，形成实时库基础数据类型集；
所述动态构造协议包装器对要处理的实时库数据采用基于JSON数据格式的动态数据包装方法进行数据建模，将实时库数据按数据分为协议结构数据和协议负载数据，其中，协议结构数据用来表达协议规则和协议时序逻辑，用来进行协议的组包、解析和时序控制，协议负载数据为协议传输的有效内容；每个有效协议负载数据对应多个不同或相同的数据存储类型，每种数据存储类型对应一个拆分映射规则，通过动态构造映射过程，将有效协议负载数据映射到实时库基础数据类型集中。
本发明相对现有技术具有突出的实质性特点和显著的进步，具体的说，本发明方法能够灵活、高效地处理多种不同类型的工业控制协议，设备接口数据经动态构造协议包装器处理，将有效负载数据映射到实时库基础数据类型集中，规则映射集构造简单，数据处理简单快捷。
附图说明
图1为本发明接口动态协议构造示意图。
具体实施方式
下面通过具体实施方式，对本发明的技术方案做进一步的详细描述。
实施例1
如图1所示，一种多协议通信实时库数据聚合***，包括动态构造协议包装器和独立数据存储区；进行多协议通信实时库数据聚合方法包括：
将通信实时库数据按数据使用性质进行分类，形成实时库基础数据类型集，每种数据类型设置一个独立数据存储区；
所述动态构造协议包装器和所述独立数据存储区分别与接口处理器连接，将通信实时库数据按数据使用性质进行分类，每种数据类型存储至一个独立数据存储区，形成实时库基础数据类型集；实时库基础数据类型集包括遥信数据、遥测数据、遥控数据、累积量数据和字符串数据；
遥信数据值采用一个4字节整数存储，用以表示布尔型值、枚举值、离散量、线圈、开关或报警；
遥测数据值采用一个8字节数值存储，用以表示寄存器值、16位或32模拟量、64位超大数据或浮点值；
遥控数据值采用一个遥控元组对象来存储，包括遥控点号、遥控类型、遥控参数和遥控命令值，用以表示控制命令；
累积量数据采用一个8字节数据存储，用以表示32位整数或浮点数、64位整数或双精度浮点数；
字符串数据采用不定长字节数组存储，数据包含数据长度、编码类型和字符内容。
所述动态构造协议包装器对要处理的实时库数据采用基于JSON数据格式的动态数据包装方法进行数据建模，将实时库数据按数据分为协议结构数据和协议负载数据，其中，协议结构数据用来表达协议规则和协议时序逻辑，用来进行协议的组包、解析和时序控制，协议负载数据为协议传输的有效内容；每个有效协议负载数据对应多个不同或相同的数据存储类型，每种数据存储类型对应一个拆分映射规则，通过动态构造映射过程，将有效协议负载数据映射到实时库基础数据类型集中。
实施例2
本实施例以一种Modbus/TCP通信协议设备来进行数据聚合举例说明，该设备以Modbus协议03功能码上传设备数据，信号包括设备状态数据：运行状态、故障状态、报警信号等，测量数据：设备温湿度、压力、流量等；以Modbus协议06功能码来控制设备启停、设置运行方式。
通过对接入设备的分析，首先编制协议结构映射规则。根据Modbus/TCP请求/应答的协议处理时序逻辑，03功能码请求数据内容，总有效数据长度50个寄存器，定义《接口1设备结构映射规则.JSON》文件。
根据设备的寄存器点表来构造负载设计映射规则，状态数据映射为遥信信号点，测量数据映射为遥测数据点，控制命令映射为遥控数据点，产品《接口1设备负载数据映射规则.JSON》。
程序在进行数据接口处理时，根据设备的规则配置文件，动态构造通信协议并将收集的数据根据映射规则写入到实时库基础数据集中，完成数据的高效采集。
当底层数据接口发生变化或新的设备接入***，只需要修改或构造新的规则映射集文件就能快速接入新接口。
最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制；尽管参照较佳实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换；而不脱离本发明技术方案的精神，其均应涵盖在本发明请求保护的技术方案范围当中。
Claims (6)
1.一种多协议通信实时库数据聚合方法，其特征在于：
将通信实时库数据按数据使用性质进行分类，形成实时库基础数据类型集，每种数据类型设置一个独立数据存储区；
对要处理的实时库数据采用基于JSON数据格式的动态数据包装方法进行数据建模，将实时库数据按数据分为协议结构数据和协议负载数据，其中，协议结构数据用来表达协议规则和协议时序逻辑，用来进行协议的组包、解析和时序控制，协议负载数据为协议传输的有效内容；每个有效协议负载数据对应多个不同或相同的数据存储类型，每种数据存储类型对应一个拆分映射规则，通过动态构造映射过程，将有效协议负载数据映射到实时库基础数据类型集中。
2.根据权利要求1所述的多协议通信实时库数据聚合方法，其特征在于：实时库基础数据类型集包括遥信数据、遥测数据、遥控数据、累积量数据和字符串数据。
3.根据权利要求2所述的多协议通信实时库数据聚合方法，其特征在于：遥信数据值采用一个4字节整数存储，用以表示布尔型值、枚举值、离散量、线圈、开关或报警；
遥测数据值采用一个8字节数值存储，用以表示寄存器值、16位或32模拟量、64位超大数据或浮点值；
遥控数据值采用一个遥控元组对象来存储，包括遥控点号、遥控类型、遥控参数和遥控命令值，用以表示控制命令；
累积量数据采用一个8字节数据存储，用以表示32位整数或浮点数、64位整数或双精度浮点数；
字符串数据采用不定长字节数组存储，数据包含数据长度、编码类型和字符内容。
4.一种多协议通信实时库数据聚合***，其特征在于：包括动态构造协议包装器和独立数据存储区；
所述动态构造协议包装器和所述独立数据存储区分别与接口处理器连接，将通信实时库数据按数据使用性质进行分类，每种数据类型存储至一个独立数据存储区，形成实时库基础数据类型集；
所述动态构造协议包装器对要处理的实时库数据采用基于JSON数据格式的动态数据包装方法进行数据建模，将实时库数据按数据分为协议结构数据和协议负载数据，其中，协议结构数据用来表达协议规则和协议时序逻辑，用来进行协议的组包、解析和时序控制，协议负载数据为协议传输的有效内容；每个有效协议负载数据对应多个不同或相同的数据存储类型，每种数据存储类型对应一个拆分映射规则，通过动态构造映射过程，将有效协议负载数据映射到实时库基础数据类型集中。
5.根据权利要求4所述的多协议通信实时库数据聚合***，其特征在于：实时库基础数据类型集包括遥信数据、遥测数据、遥控数据、累积量数据和字符串数据。
6.根据权利要求5所述的多协议通信实时库数据聚合***，其特征在于：遥信数据值采用一个4字节整数存储，用以表示布尔型值、枚举值、离散量、线圈、开关或报警；
遥测数据值采用一个8字节数值存储，用以表示寄存器值、16位或32模拟量、64位超大数据或浮点值；
遥控数据值采用一个遥控元组对象来存储，包括遥控点号、遥控类型、遥控参数和遥控命令值，用以表示控制命令；
累积量数据采用一个8字节数据存储，用以表示32位整数或浮点数、64位整数或双精度浮点数；
字符串数据采用不定长字节数组存储，数据包含数据长度、编码类型和字符内容。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110205476.9A CN112905701A (zh) | 2021-02-24 | 2021-02-24 | 一种多协议通信实时库数据聚合方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110205476.9A CN112905701A (zh) | 2021-02-24 | 2021-02-24 | 一种多协议通信实时库数据聚合方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112905701A true CN112905701A (zh) | 2021-06-04 |
Family
ID=76106896
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110205476.9A Pending CN112905701A (zh) | 2021-02-24 | 2021-02-24 | 一种多协议通信实时库数据聚合方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112905701A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114006928A (zh) * | 2021-11-04 | 2022-02-01 | 深圳市骏嘉科技发展有限公司 | 一种基于多协议实时通信的物联网数据处理方法 |
| CN116827411A (zh) * | 2023-06-27 | 2023-09-29 | 北京和德宇航技术有限公司 | 一种载荷数据解析方法、装置、电子设备和存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103399545A (zh) * | 2013-07-29 | 2013-11-20 | 北京四方继保自动化股份有限公司 | 一种用于分布式控制***的实时库管理模块 |
| CN104268143A (zh) * | 2014-08-08 | 2015-01-07 | 华迪计算机集团有限公司 | Xml数据的处理方法和装置 |
| KR20170122150A (ko) * | 2017-05-10 | 2017-11-03 | 홍익대학교세종캠퍼스산학협력단 | 태양광 발전의 모니터링 시스템 및 그 방법 |
| CN110012031A (zh) * | 2019-04-26 | 2019-07-12 | 中国电子科技集团公司第二十九研究所 | 数据报文通用自动解析方法和存储方法 |
| CN111464336A (zh) * | 2020-03-13 | 2020-07-28 | 南京南瑞信息通信科技有限公司 | 一种基于电力通信机房高并发数据处理方法及*** |
-
2021
- 2021-02-24 CN CN202110205476.9A patent/CN112905701A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103399545A (zh) * | 2013-07-29 | 2013-11-20 | 北京四方继保自动化股份有限公司 | 一种用于分布式控制***的实时库管理模块 |
| CN104268143A (zh) * | 2014-08-08 | 2015-01-07 | 华迪计算机集团有限公司 | Xml数据的处理方法和装置 |
| KR20170122150A (ko) * | 2017-05-10 | 2017-11-03 | 홍익대학교세종캠퍼스산학협력단 | 태양광 발전의 모니터링 시스템 및 그 방법 |
| CN110012031A (zh) * | 2019-04-26 | 2019-07-12 | 中国电子科技集团公司第二十九研究所 | 数据报文通用自动解析方法和存储方法 |
| CN111464336A (zh) * | 2020-03-13 | 2020-07-28 | 南京南瑞信息通信科技有限公司 | 一种基于电力通信机房高并发数据处理方法及*** |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114006928A (zh) * | 2021-11-04 | 2022-02-01 | 深圳市骏嘉科技发展有限公司 | 一种基于多协议实时通信的物联网数据处理方法 |
| CN114006928B (zh) * | 2021-11-04 | 2024-04-19 | 深圳市骏嘉科技发展有限公司 | 一种基于多协议实时通信的物联网数据处理方法 |
| CN116827411A (zh) * | 2023-06-27 | 2023-09-29 | 北京和德宇航技术有限公司 | 一种载荷数据解析方法、装置、电子设备和存储介质 |
| CN116827411B (zh) * | 2023-06-27 | 2024-03-01 | 北京和德宇航技术有限公司 | 一种载荷数据解析方法、装置、电子设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112905701A (zh) | 一种多协议通信实时库数据聚合方法及*** | |
| CN110502467B (zh) | 一种基于串口modbus通信协议的通用采集接口软件*** | |
| US6301527B1 (en) | Utilities communications architecture compliant power management control system | |
| CN103401930B (zh) | 一种基于Web Service的工业监控方法及装置 | |
| CN102520619B (zh) | 一种通用化卫星遥测仿真器 | |
| CN110334140B (zh) | 处理设备上报数据的方法、装置以及服务器 | |
| CN108388495A (zh) | 一种数据监控方法及*** | |
| CN112671726A (zh) | 工业控制协议解析方法、装置、电子设备和存储介质 | |
| CN110995639A (zh) | 数据传输方法 | |
| CN111556074A (zh) | 基于opc ua的通信协议配置方法及装置 | |
| CN112437064B (zh) | 数据传输方法、数据读取方法、装置、设备及存储介质 | |
| CN109240225A (zh) | 一种分布式的制造装备实时监控*** | |
| CN109246210A (zh) | 物联网通信方法与装置 | |
| US20240210922A1 (en) | Adapting data models for data communication to external platforms | |
| CN116821646A (zh) | 数据处理链构建方法、数据缩减方法、装置、设备及介质 | |
| CN110362456A (zh) | 一种获取服务端性能数据的方法及装置 | |
| CN114070718B (zh) | 一种告警方法、装置和存储介质 | |
| CN114064402A (zh) | 服务器***监控方法 | |
| US20210149376A1 (en) | Data models for defining data transmission workflow and facilitating data communication | |
| CN112905571A (zh) | 一种列车轨道交通传感器数据管理方法及装置 | |
| CN111475375A (zh) | 一种数据状态的更新方法及设备 | |
| CN112364019B (zh) | 一种自定义Spark数据源实现数据快速写入ClickHouse的方法和装置 | |
| CN110708351A (zh) | 数据传输方法 | |
| CN107809330B (zh) | 设备配置方法 | |
| CN117527928B (zh) | 一种基于scada的数据处理方法和*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |