CN115643312A - 一种基于云网关的多协议数据采集及协议转换装置 - Google Patents
一种基于云网关的多协议数据采集及协议转换装置 Download PDFInfo
- Publication number
- CN115643312A CN115643312A CN202211210615.8A CN202211210615A CN115643312A CN 115643312 A CN115643312 A CN 115643312A CN 202211210615 A CN202211210615 A CN 202211210615A CN 115643312 A CN115643312 A CN 115643312A
- Authority
- CN
- China
- Prior art keywords
- protocol
- data
- cloud gateway
- protocol conversion
- cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 54
- 238000004891 communication Methods 0.000 claims abstract description 33
- 238000004458 analytical method Methods 0.000 claims abstract description 18
- 238000005516 engineering process Methods 0.000 claims abstract description 7
- 230000005540 biological transmission Effects 0.000 claims description 31
- 238000007726 management method Methods 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 11
- 238000012544 monitoring process Methods 0.000 claims description 10
- 240000007087 Apium graveolens Species 0.000 claims description 4
- 235000015849 Apium graveolens Dulce Group Nutrition 0.000 claims description 4
- 235000010591 Appio Nutrition 0.000 claims description 4
- 230000000903 blocking effect Effects 0.000 claims description 4
- 238000013500 data storage Methods 0.000 claims description 4
- 238000013480 data collection Methods 0.000 claims 1
- 238000010276 construction Methods 0.000 abstract description 12
- 238000012545 processing Methods 0.000 abstract description 6
- 238000000034 method Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000004035 construction material Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Computer And Data Communications (AREA)
- Communication Control (AREA)
- Small-Scale Networks (AREA)
Abstract
本发明公开了一种基于云网关的多协议数据采集及协议转换装置，该装置包括终端设备、云网关及云平台；所述云网关包括数据接口、协议解析单元、协议缓存区、协议转换单元；所述数据接口接收到至少一个所述终端设备的接入信号，接入成功后，所述协议解析单元解析并读取所述不同终端设备的通信协议，并将所述不同终端设备的通信协议数据依次放入所述协议缓存区等待协议转换；所述协议转换单元将多协议数据依次转换为标准数据格式；最终利用通讯技术将所述标准数据格式传送到所述云平台。该装置实现了云平台与不同工地终端设备之间的数据采集及协议转换及异步处理并发任务的问题，保证了多协议转换数据的完整性、连续性和可靠性。
Description
技术领域
本发明涉及智慧工地技术领域，具体来说，涉及一种基于云网关的多协议数据采集及协议转换装置。
背景技术
建筑工地因其复杂场景的管控需求，需要涵盖多种数据信息，如工人实名制数据、出退勤劳务管理数据、监测机械设备运行状态的各类传感数据、视频验收自动计数的施工材料管理数据以及施工环境噪声监测数据等。其中，不同的终端设备传感器***之间存在协议复杂、互相兼容性差等问题，使得工地上的数据难以采集和难以统一上传。现如今，智慧工地现场不同的终端设备一般通过以太网、总线、无线等方式接入，但不同的接入方式以及不同的终端设备使得传输协议复杂多样，从而缺乏标准的终端设备和云平台之间的通信接口协议。
发明内容
为了解决现有技术中不同的工业传感器***和云平台之间之间协议复杂多样、缺乏相关的通信接口协议标准等问题，本发明基于物联网云平台提出了一种基于云网关的多协议数据采集及协议转换装置。
为了实现上述目的，本发明采用了如下技术方案。
一种基于云网关的多协议数据采集及协议转换装置，该装置包括：终端设备、云网关及云平台；
所述云网关包括数据接口、协议解析单元、协议缓存区、协议转换单元；
所述数据接口接收到至少一个所述终端设备的接入信号，接入成功后，所述协议解析单元解析并读取所述不同终端设备的通信协议；
解析并读取成功后，所述协议解析单元将所述不同终端设备的通信协议数据依次放入所述协议缓存区等待协议转换；
所述协议转换单元将所述协议缓存区的多协议数据依次转换为标准数据格式；
转换成功后，利用通讯技术将所述标准数据格式传送到所述云平台。
优选的，所述云网关利用Python和Flask搭建，采用Tornado Web服务器与FlaskWeb服务器相结合的B/S架构。
优选的，所述云网关同时还采用Celery和内存数据库Redis管理分布式任务队列。
作为本发明的进一步改进，所述云网关还包括数据传输故障检测机制用于检测数据的完整性。
优选的，所述数据传输故障检测机制设有数据存储单元。
优选的，所述数据传输故障检测机制包括非阻塞通信和/或断点续传。
优选的，所述不同终端设备包括盾构机传感器、车牌识别、基坑监测传感器、塔吊传感器、视频监控、深基坑监测***、劳务管理***、外部劳务***、对外开放数据平台、蓝牙定位***及算法***。
优选的，所述数据接口可为规范的API接口。
优选的，所述标准数据格式可为具有物联网标注的消息列队遥测传输协议的数据格式。
优选的，所述通讯技术包括Wi-Fi、NB-IoT、以太网。
综上所述，与现有技术相比，本发明提供了一种基于云网关的多协议数据采集及协议转换装置，具备以下有益效果：该装置实现了云平台与不同工地终端设备之间的数据采集及协议转换；同时针对协议转换中的实施可靠问题，提出一种数据传输故障检测机制实现数据断点续传功能，使其能快速处理并发任务以保证多协议转换数据的完整性、连续性和可靠性。
附图说明
图1为本发明一种基于云网关的多协议数据采集及协议转换装置的总架构。
图2为本发明一种基于云网关的多协议数据采集及协议转换装置的云网关结构。
图3为本发明一种基于云网关的多协议数据采集及协议转换装置的实时性传输机制。
图4为本发明一种基于云网关的多协议数据采集及协议转换装置的断电续传流程。
图5为本发明一种基于云网关的多协议数据采集及协议转换装置的多机接入物联网开放服务模型。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
需要理解的是，在本发明的描述中，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
图1为本发明一种基于云网关的多协议数据采集及协议转换装置的总架构，按照层级划分可包括终端设备层、OT层、IT层及云平台层。其终端设备可为盾构机、车牌识别、基坑检测、塔吊传感器及视频监控等。终端设备层通过规范的API接口与OT层连接，OT层通过协议采集解析单元采集解析多设备的各种通信协议，为IT层的数据和场景引用提供数据源；IT层通过协议转换单元将多协议数据转换为消息列队遥测传输协议(MQTT协议)，从而实现多协议数据的协议统一；最终通过Wi-Fi、NB-IoT、以太网将数据传输到云平台。
在进行协议解析和协议转换方面，将复杂的设备协议采集、解析并转换成统一的标准数据格式；在实时可靠性方面，设置了数据缓存单元保证数据不丢失，同时利用非阻塞通信和断电续传方法保证数据了的完整性、连续性和可靠性。
本发明的云网关结构主要采用Python和Flask搭建，以实现终端设备多协议数据采集、解析、转换、传输及断点续传。更具体的，基于Tornado Web服务器与Flask Web服务器相结合的B/S架构开发，将Tornado服务器的并发处理能力与异步特性和Flask微架构的可扩展性相结合以实现非阻塞性能；同时采用Celery异步任务队列和内存数据库Redis管理分布式任务队列，对多协议数据的协议转换进行实时调度，将所有的复杂业务、逻辑处理、数据库操作、IO等各种耗时的同步任务交给Celery Worker处理，待所述任务队列异步处理完后，再返回给Tornado和Celery的交互式异步的，这样云网关的整个多协议数据采集与协议转换任务便实现了完全异步。
为了更加清楚明白的解释云网关的设计结构，将结合图2做进一步的描述。
图2为本发明一种基于云网关的多协议数据采集及协议转换装置的云网关结构。云网关结构包括MQTT Client层、数据通信层、网关配置层及多协议驱动程序层。数据通信层包括数据解析、网关日志及数据同步；网关配置层主要为协议参数配置；多协议驱动程序层包括但不限于OPC UA、Modbus、Http。当云端应用接入云网关时，数据通信层接收到指令后，便会进行数据解析，接着将所述不同终端设备的通信协议传送到所述网关配置层，由所述网关配置层进行协议参数的配置；完成后，便会激发多协议驱动程序层启动，将多协议数据转换为具有物联网标注的消息队列遥测传输协议的数据格式，并统一成标准数据格式；最终通过Wi-Fi、NB-IoT、以太网将数据传输到云平台。
值得说明的是，这个过程是可逆的，云平台也可以将统一的标准数据格式传输到云网关，再由云网关转换成不同的终端设备的传输协议，最终反馈到终端设备。
除此之外，所述数据通信层还具备网关日志及数据同步单元，可以将网关日常数据实时保存起来，随时监控网关的运行情况，当云网关有异常时，可以将网关日志反馈到云端应用，，快速找出故障，提升了解决问题的效率，同时保证了数据的实时性。
为了更加清楚的描述云网关的实时性传输，结合图3做进一步说明。图3为实时性传输机制，本发明的云网关可以解析数据类型各异、通信标准不统一的各种接入设备的通信协议，通过数据接口接入不同终端设备，通过协议解析单元解析并读取不同的终端设备通信协议，实现底层设备数据的接入并将多协议数据放入协议缓存区等待协议转换。当多协议数据放入协议缓存区时，会形成一系列已解析的执行单位依次排列等待，然后按顺序依次形成任务队列1、任务队列2、任务队列3等，最终按排列顺序依次进行转换，保证数据了的完整性、连续性和可靠性。值得说明的是，无论数据是在协议解析单元、协议缓存区、协议转换单元中，还是传送至云端的过程中，都遵从此实时性传输机制。
作为本发明的进一步改进，所述云网关还包括数据传输故障检测机制用于检测数据的完整性。所述数据传输故障检测机制设有数据存储单元。如图4所示，为防止出现假连接，云网关数据会定时向云端发送心跳数据包并监测连接状态，若数据上传异常，则云网关会临时存储数据，监测连接异常并重新连接，也就是说连接后又断开便会重新建立连接，继续向云端传输数据。若数据上传正常，数据便会实时向云端传输，判断云网关是否存在有采集数据：若存在有采集数据，则当上传完成后会自动清空云网关临时存储的数据；若不存在有采集数据，则将继续返回到初步，重新向云端传输数据。
需要说明的是，在云网关数据传输异常断开故障数据时，即云网关监测到该节点数据上云通道已经意外离线后，便会立即采取断电续传，将数据包存储在网关本地数据库中，待连接恢复后，数据存储单元中的数据包将会继续上传到云端数据中心。这样即使当网关与云端数据中心通信有异常时，也不会造成重要的数据的丢失。当通信恢复正常时即可将这段缓存的数据补传到上方设备，保证数据的完整性、连续性和可靠性。
为了将本发明实施例中的技术方案进行清楚、完整地描述，将结合图5做进一步的解释。如图5所示，本发明所提出的一种基于云网关的多协议数据采集及协议转换装置可以解析数据类型各异、通信标准不统一的各种接入设备的通信协议。通过数据接口接入不同终端设备，通过协议解析单元解析并读取不同的终端设备通信协议，实现底层设备数据的接入并将多协议数据放入实时传输机制等待协议转换；所述协议转换单元将多协议数据依次转换为标准数据格式；转换成功后，利用通讯技术将所述标准数据格式传送到所述云平台。
其终端设备多种多样，如盾构机供应商***的盾构机传感器、车牌供应商***的车牌识别、设备供应商***(如混凝土、龙门吊、用电、扬尘设备、塔吊、履带吊)的传感器数据、基坑监测传感器、深基坑监测***、劳务管理***、外部劳务***、对外开放数据平台等。值得说明的是，终端设备还可以是蓝牙定位***或部署在项目局域网环境中的算法***等。蓝牙定位***包括基础服务端和位置分析服务器，UWB基站与基站服务端之间通过网线传播数据，基础服务端接收基站传输的位置数据，然后位置分析服务器分析服务端接收到的位置数，得到UWB信标的具体地理位置，然后将其数据传输给物联网平台。算法***包括Al视频算法拉流服务器及Al算法模型。其Al算法模型包括安全帽、反光衣、洞口越界等，主要分析视频流中不安全的行为。例如摄像头会采集视频流，通过网线传输至Al算法服务器，或者是摄像头、录像至录像机通过局域网传输，再通过海康萤石云CDN、拉流、转码传输至BIM建管平台。
当各种终端设备***接入物联网云平台时，终端设备的相关数据被解析和转换成标准数据格式，再通过物联网云平台传输至智慧工地基础数据业务的中央***，智慧工地的中央***与建管平台数据库及智慧工地平台数据库连接。
一方面，数据可以通过建管平台接口服务由智慧工地的中央***与建管平台数据库对接，推送设备信息以及警告数据。在建管平台数据库中可以进行数据查询以及***内部网路数据传输，并将数据传输至建设BIM业务处理***并展示到BIM建管平台，其BIM业务处理***具有数据查询、展示、返回至建管平台电子沙盘、业务界面，BIM建管平台具有可视化界面技术管理模块、质量模块、进度模块、安全模块、智慧决策模块、信息模块、电子沙盘BIM/GIS模型模块以及智慧工地，可以很清楚直接的进行平台管理、数据查询展示等。另一方面，数据可以通过由智慧工地基础数据业务中央***传输至智慧工地平台数据库，在传输到智慧工地平业务处理***，最终到BIM建管平台。
总之，本发明提出的一种基于云网关的多协议数据采集及协议转换装置，基于物联网云网关架构，终端设备层通过规范的API接口与OT层连接，OT层通过协议采集解析单元采集解析多设备的各种通信协议，为IT层的数据和场景引用提供数据源；IT层通过协议转换单元将多协议数据转换为消息列队遥测传输协议(MQTT协议)，从而实现多协议数据的协议统一；最终通过Wi-Fi、NB-IoT、以太网将数据传输到云平台。通过协议解析单元解析并读取不同的终端设备通信协议，实现底层设备数据的接入并将多协议数据放入一步缓存区等待协议转换。通过设计数据传输故障检测机制来实现数据断点续传功能，从而保证数据的完整性、连续性和可靠性。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种基于云网关的多协议数据采集及协议转换装置，其特征在于，该装置包括：终端设备、云网关及云平台；
所述云网关包括数据接口、协议解析单元、协议缓存区、协议转换单元；
所述数据接口接收到至少一个所述终端设备的接入信号，接入成功后，所述协议解析单元解析并读取所述不同终端设备的通信协议；
解析并读取成功后，所述协议解析单元将所述不同终端设备的通信协议数据依次放入所述协议缓存区等待协议转换；
所述协议转换单元将所述协议缓存区的多协议数据依次转换为标准数据格式；
转换成功后，利用通讯技术将所述标准数据格式传送到所述云平台。
2.如权利要求1所述的一种基于云网关的多协议数据采集及协议转换装置，其特征在于，所述云网关利用Python和Flask搭建，采用Tornado Web服务器与Flask Web服务器相结合的B/S架构。
3.如权利要求1-2所述的一种基于云网关的多协议数据采集及协议转换装置，其特征在于，所述云网关同时还采用Celery和内存数据库Redis管理分布式任务队列。
4.如权利要求1所述的一种基于云网关的多协议数据采集及协议转换装置，其特征在于，所述云网关还包括数据传输故障检测机制用于检测数据的完整性。
5.如权利要求4所述的一种基于云网关的多协议数据采集及协议转换装置，其特征在于，所述数据传输故障检测机制设有数据存储单元。
6.如权利要求4所述的一种基于云网关的多协议数据采集及协议转换装置，其特征在于，所述数据传输故障检测机制包括非阻塞通信和/或断点续传。
7.如权利要求1所述的一种基于云网关的多协议数据采集及协议转换装置，其特征在于，所述不同终端设备包括盾构机传感器、车牌识别、基坑监测传感器、塔吊传感器、视频监控、深基坑监测***、劳务管理***、外部劳务***、对外开放数据平台、蓝牙定位***及算法***。
8.如权利要求1所述的一种基于云网关的多协议数据采集及协议转换装置，其特征在于，所述数据接口可为规范的API接口。
9.如权利要求1所述的一种基于云网关的多协议数据采集及协议转换装置，其特征在于，所述标准数据格式可为具有物联网标注的消息列队遥测传输协议的数据格式。
10.如权利要求1所述的一种基于云网关的多协议数据采集及协议转换装置，其特征在于，所述通讯技术包括Wi-Fi、NB-IoT、以太网。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211210615.8A CN115643312A (zh) | 2022-09-30 | 2022-09-30 | 一种基于云网关的多协议数据采集及协议转换装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211210615.8A CN115643312A (zh) | 2022-09-30 | 2022-09-30 | 一种基于云网关的多协议数据采集及协议转换装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115643312A true CN115643312A (zh) | 2023-01-24 |
Family
ID=84941339
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211210615.8A Pending CN115643312A (zh) | 2022-09-30 | 2022-09-30 | 一种基于云网关的多协议数据采集及协议转换装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115643312A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116709598A (zh) * | 2023-06-05 | 2023-09-05 | 广州达谙信息科技有限公司 | 一种集云边端协同一体的智能网关*** |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109150703A (zh) * | 2018-08-23 | 2019-01-04 | 北方工业大学 | 一种工业物联网智能云网关及其通信方法 |
| CN109167829A (zh) * | 2018-08-23 | 2019-01-08 | 北方工业大学 | 一种物联网通信方法及云网关 |
| US20190028572A1 (en) * | 2016-04-21 | 2019-01-24 | Hangzhou Hikvision System Technology Co., Ltd. | Protocol conversion method, platform, and protocol conversion gateway |
| KR102262321B1 (ko) * | 2019-11-29 | 2021-06-08 | 주식회사 두두원 | 산업용 IoT 게이트웨이 시스템 |
| CN113938532A (zh) * | 2021-09-23 | 2022-01-14 | 国网浙江省电力有限公司电力科学研究院 | 一种电力***多协议融合物联网方法及网关结构 |
-
2022
- 2022-09-30 CN CN202211210615.8A patent/CN115643312A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190028572A1 (en) * | 2016-04-21 | 2019-01-24 | Hangzhou Hikvision System Technology Co., Ltd. | Protocol conversion method, platform, and protocol conversion gateway |
| CN109150703A (zh) * | 2018-08-23 | 2019-01-04 | 北方工业大学 | 一种工业物联网智能云网关及其通信方法 |
| CN109167829A (zh) * | 2018-08-23 | 2019-01-08 | 北方工业大学 | 一种物联网通信方法及云网关 |
| KR102262321B1 (ko) * | 2019-11-29 | 2021-06-08 | 주식회사 두두원 | 산업용 IoT 게이트웨이 시스템 |
| CN113938532A (zh) * | 2021-09-23 | 2022-01-14 | 国网浙江省电力有限公司电力科学研究院 | 一种电力***多协议融合物联网方法及网关结构 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116709598A (zh) * | 2023-06-05 | 2023-09-05 | 广州达谙信息科技有限公司 | 一种集云边端协同一体的智能网关*** |
| CN116709598B (zh) * | 2023-06-05 | 2024-02-20 | 广州达谙信息科技有限公司 | 一种集云边端协同一体的智能网关*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN210605801U (zh) | 一种建筑工程项目施工信息化监管*** | |
| CN109669406A (zh) | 一种工业设备的远程在线监测***及其工作流程 | |
| CN110995859A (zh) | 一种基于泛在物联网的变电站智能支撑平台*** | |
| CN111062504A (zh) | 一种基于ar技术的智能配电站运维***及方法 | |
| CN104966330A (zh) | 基于云计算机的远程机房智能巡检*** | |
| CN106814671A (zh) | 地下工程运行管理综合监控装置 | |
| CN101976888A (zh) | 变电站视频及环境监控主站*** | |
| CN108401257A (zh) | 一种铁路基站一体化监测*** | |
| CN104269919A (zh) | 断路器操作机构监测***及监测方法 | |
| CN115643312A (zh) | 一种基于云网关的多协议数据采集及协议转换装置 | |
| CN109038813A (zh) | 输电线路智能管控*** | |
| CN103310499A (zh) | 通信设备巡检*** | |
| CN114827140A (zh) | 一种用于风洞现场的实时数据集中管控*** | |
| CN111031018B (zh) | 一种变电站网络安全监测客户端***及其实现方法 | |
| CN102355575A (zh) | 一种具有预警功能的分布式视频监控装置 | |
| CN112947364B (zh) | 一种基于大数据预警配电站设备故障的***及方法 | |
| CN213987210U (zh) | 一种适用于农村污水处理站的远程采集控制*** | |
| CN113858194A (zh) | 一种用于施工现场辅助管理的旁站机器人 | |
| CN102035254A (zh) | 变电站视频及环境监控地区级主站*** | |
| CN203587709U (zh) | 智能变电站综合监测*** | |
| CN115665682A (zh) | 一种基于5g物联网的无线数据采集、视频监控***及方法 | |
| CN113891269A (zh) | 基于4g、5g、wifi6和uwb的井下无线网络数据实时传输*** | |
| CN114401167A (zh) | 边缘网关与云服务器的数据传输方法及装置 | |
| CN209803613U (zh) | 一种塑料机械设备监控装置和*** | |
| CN110266558A (zh) | 一种基于互联网的提升设备工况监测和智能诊断方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |