CN111245661A - 基于mqtt的物联网大数据采集处理*** - Google Patents
基于mqtt的物联网大数据采集处理*** Download PDFInfo
- Publication number
- CN111245661A CN111245661A CN202010144171.7A CN202010144171A CN111245661A CN 111245661 A CN111245661 A CN 111245661A CN 202010144171 A CN202010144171 A CN 202010144171A CN 111245661 A CN111245661 A CN 111245661A
- Authority
- CN
- China
- Prior art keywords
- data
- sensor
- mqtt
- big data
- processing system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/147—Network analysis or design for predicting network behaviour
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
- H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明公开基于MQTT的物联网大数据采集处理***,涉及工业物联网大数据应用领域中一种基于MQTT协议数据传输采集处理的***,其通过MQTT协议采集传感器数据,并通过大数据处理分析技术提供一种能保障产品质量的物联网大数据采集处理***,能在产品出现故障前,通过大数据分析,来判断传感器故障,做到事前预防及传感器产品研发升级。传感器基于MQTT协议通过网络将数据发布至后台MQTT代理服务器,后台大数据处理软件通过向MQTT代理服务器订阅传感器数据,将接收到的数据通过校验、分析、处理等一系列环节后进行存储以及发布至消息中间件或进行显示供用户查看。
Description
技术领域
本发明涉及工业物联网大数据应用领域中一种基于MQTT协议数据传输采集处理的***。
背景技术
现有传感器数据传输基于MQTT的消息发布/订阅传输协议,该协议是轻量、简单、开放和易于实现,广泛应用于工业物联网数据传输。
现有传感器在产品质量出现问题后采用事后控制的原则进行检修、维护或更换,对工业生产带来很大的不利,如果能在产品出现故障前,通过大数据分析手段判断传感器故障,将对施工维护人员提供大大的便利,并利于传感器研发升级。
发明内容
本发明的目的在于通过MQTT协议采集传感器数据,并通过大数据处理分析技术提供一种能保障产品质量的物联网大数据采集处理***,其能在产品出现故障前,通过大数据分析,来判断传感器故障,做到事前预防及传感器产品研发升级。
本发明采用以下技术方案实现:传感器基于MQTT协议通过网络将数据发布至后台MQTT代理服务器,后台大数据处理软件通过向MQTT代理服务器订阅传感器数据,将接收到的数据通过校验、分析、处理等一系列环节后进行存储以及发布至消息中间件或进行显示供用户查看。
基于MQTT的物联网大数据采集处理***通过订阅到的传感器数据,比较传感器类别、传感器唯一标识以及业务数据监测项来判断当前传感器数据是否合法。
基于MQTT的物联网大数据采集处理***将合法的传感器实时业务数据与该传感器出厂时标定的数据量程进行比较,通过判断当前传感器数据传输是否存在超量程异常情况。
基于MQTT的物联网大数据采集处理***将通过大数据处理技术,对传感器近期历史数据比较、聚类、分类等分析归纳,可得到该传感器数据传输趋势以及可对该传感器健康状态进行预测。
如果存在超量程异常以及所述大数据处理***判断数据趋势存在异常或预测传感器将发生故障,则发出警告来提示这个传感器出现异常。
基于MQTT的物联网大数据采集处理***,可以及时判断传感器数据是否存在异常或传感器是否故障,对不正常的传感器及时维修或更换,并对该传感器研发升级提供一定数据基础,可降低传感器异常故障带来的停工、停产风险,对传感器的数据及健康状态做到实时监控。
附图说明
图1为基于MQTT的物联网大数据采集处理***业务数据合法性判断及超量程异常判断流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
原始数据接收:使用MQTT订阅主题的方式接收原始数据,传输协议报文结构如下:
主题:busiData/设备类型/设备编号。
荷载:
{
"time": "timeValue",
"data": [
{"keyName1": "keyValue1","state":"value"},
{"keyName2": "keyValue1","state":"value"},
{"keyName3": "keyValue1","state":"value"}
……
]
}
其中timeValue表示发送时间,格式为"yyyy-MM-dd HH:mm:ss";其中keyName表示监测项;state表示监测项值状态,分为正常(0)与报警(1)。
验证原始数据:验证字符串是否符合JSON格式,若不符合,将该条数据存储到原始数据错误表,错误类型为json错误;若符合,执行下一步;验证该设备是否已注册,依据当前***设备信息验证该条原始数据所属设备是否已注册,若未注册,则将该条原始数据存储到原始数据错误表中,错误类型为设备未注册;若已注册,执行下一步。
验证上传数据监测项是否符合定义,依据当前***设备类型信息验证该条原始数据中监测项是否符合该设备类型定义,若不一致,则将该条原始数据存储到原始数据错误表中,错误类型为监测项错误;若一致,执行下一步。
原始错误数据结构:id、主题、荷载、采集时间、错误类型等。
异常数据保存:依据设备管理微服务提供的设备信息验证该条原始数据是否超量程,如果超量程则将该条数据保存至异常数据表中,并将该条记录异常类型标记为超量程。执行下一步。
异常数据查询时间段不大于7天。支持按时间段分析以及按区域分析。
异常数据结构:id、设备编号、监测项、监测项值、异常类型、采集时间等。
实时数据保存:将解析后的数据保存至测点实时数据表中,测点实时表中如果有该测点记录则执行更新操作,否则执行新增操作;实时数据表中保证每条数据是最后一条数据(不一定是实时数据)。
测点:测点表示一个设备对应的一个监测项记录。
实时数据结构:id、设备编号、监测项、监测项值、值状态、上传时间、采集时间等。
历史数据保存:一种监测项对应一张历史数据表。根据监测项类型历史数据处理方式分为两种:模拟量、累积量:更新实时数据的同时在对应的监测项历史表中新增一条记录。
模拟量历史数据结构:id、设备编号、监测项值、值状态、上传时间、采集时间等。
开关量:开关量需要根据开关量值与状态保存为时间段的形式。当前开关量值与状态与上一条不一致时进行翻转,否则修改结束时间。
开关量历史数据结构:id、设备编号、监测项值、值状态、开始时刻(上传时间)、结束时刻(上传时间)等。
以上所述仅为本发明的较佳实施方案的描述,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。并且很显然,根据上述指导,可以进行很多改变。对该实施方案进行选择和描述的目的在于解释本发明的特定原理及其实际应用,从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。
Claims (5)
1.基于MQTT的物联网大数据采集处理***中传感器基于MQTT协议通过网络将数据发布至后台MQTT代理服务器,后台大数据处理软件订阅传感器数据,并将接收到的数据通过校验、分析、处理等一系列环节后进行存储以及发布至消息中间件或进行显示供用户查看。
2.基于MQTT的物联网大数据采集处理***将订阅到的传感器数据通过比较传感器类别、传感器唯一标识以及业务数据监测项来判断当前传感器数据是否合法,其判断内容包括:
验证字符串是否符合JSON格式,若不符合,记录其错误类型;验证设备类型是否正确,该传感器设备类型是否是***中已规定设备类型,若不符合,记录其错误类型;验证该设备是否已注册,依据当前***设备信息验证该条原始数据所属设备是否已注册,若未注册,则记录其错误类型;验证上传数据监测项是否符合定义,依据当前***提供的设备类型信息验证该条原始数据中监测项是否符合该设备类型定义,若不一致,则记录其错误类型。
3.基于MQTT的物联网大数据采集处理***将合法的传感器实时业务数据与该传感器出厂时标定的数据量程进行比较,通过判断当前传感器数据传输是否存在超量程异常情况。
4.基于MQTT的物联网大数据采集处理***通过大数据处理技术,对传感器近期历史数据比较、聚类、分类等分析归纳,可得到该传感器数据传输趋势以及可对该传感器健康状态进行预测,包括:通过对某传感器业务历史数据分析,能够得到将来一段时间内该传感器业务数据发展趋势图,并对该传感器数据进行预测、分析、统计,便于用户管理以及决策;
通过对某传感器健康数据分析,能够对该传感器健康状态进行预测,通过大数据分析手段判断传感器故障,将对施工维护人员提供大大的便利,并利于传感器研发升级。
5.基于MQTT的物联网大数据采集处理***如果判断存在超量程异常以及所述大数据处理***判断数据趋势存在异常或预测传感器将发生故障,则发出警告来提示这个传感器出现异常,采用多种方式实现报警,包括:***内报警,通过在***界面种弹出报警提示框或在***界面消息闪烁的方式实现报警;通过声光报警器提示报警信息,当发生报警时,***可驱动声光报警器工作,达到报警提示功能;***异常时发送邮件报警,当发生报警时,能够自动发送邮件到相关人员;***异常时发送短信报警,当发生报警时,能够自动发送短信信息到相关人员。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010144171.7A CN111245661A (zh) | 2020-03-04 | 2020-03-04 | 基于mqtt的物联网大数据采集处理*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010144171.7A CN111245661A (zh) | 2020-03-04 | 2020-03-04 | 基于mqtt的物联网大数据采集处理*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111245661A true CN111245661A (zh) | 2020-06-05 |
Family
ID=70876705
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010144171.7A Pending CN111245661A (zh) | 2020-03-04 | 2020-03-04 | 基于mqtt的物联网大数据采集处理*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111245661A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114397854A (zh) * | 2022-01-25 | 2022-04-26 | 山东捷讯通信技术有限公司 | 一种适用于地下综合管廊的总线式主控*** |
CN114531457A (zh) * | 2020-11-04 | 2022-05-24 | 南京南瑞继保电气有限公司 | 基于mqtt的高压电缆在线监测数据采集装置和方法 |
CN115086380A (zh) * | 2022-07-25 | 2022-09-20 | 苏州思萃工业互联网技术研究所有限公司 | 基于能源管理平台的数据传输***及方法 |
CN115277756A (zh) * | 2022-07-10 | 2022-11-01 | 江西泉新电气有限公司 | 一种用于物联网终端设备的数据高效采集传输方法 |
CN115580619A (zh) * | 2022-11-25 | 2023-01-06 | 江苏金恒信息科技股份有限公司 | 数据处理***和数据处理方法 |
WO2023125269A1 (zh) * | 2021-12-27 | 2023-07-06 | 锐迪科创微电子(北京)有限公司 | 物联网设备控制方法、装置及*** |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107613017A (zh) * | 2017-10-13 | 2018-01-19 | 天津科技大学 | 基于物联网的危险源监测***及其实现方法 |
CN108826579A (zh) * | 2018-05-08 | 2018-11-16 | 苏州尚能物联网科技有限公司 | 一种暖通空调***设备振动数据采集与处理*** |
CN109388117A (zh) * | 2018-12-10 | 2019-02-26 | 重庆斯欧信息技术股份有限公司 | 一种工业互联网边缘计算装置及其实现方法 |
CN109411063A (zh) * | 2018-09-30 | 2019-03-01 | 北京中广瑞波科技股份有限公司 | 一种医疗健康服务***及方法 |
CN110138842A (zh) * | 2019-04-23 | 2019-08-16 | 武汉理工大学 | 基于mqtt协议的微波烧结实时远程监控*** |
-
2020
- 2020-03-04 CN CN202010144171.7A patent/CN111245661A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107613017A (zh) * | 2017-10-13 | 2018-01-19 | 天津科技大学 | 基于物联网的危险源监测***及其实现方法 |
CN108826579A (zh) * | 2018-05-08 | 2018-11-16 | 苏州尚能物联网科技有限公司 | 一种暖通空调***设备振动数据采集与处理*** |
CN109411063A (zh) * | 2018-09-30 | 2019-03-01 | 北京中广瑞波科技股份有限公司 | 一种医疗健康服务***及方法 |
CN109388117A (zh) * | 2018-12-10 | 2019-02-26 | 重庆斯欧信息技术股份有限公司 | 一种工业互联网边缘计算装置及其实现方法 |
CN110138842A (zh) * | 2019-04-23 | 2019-08-16 | 武汉理工大学 | 基于mqtt协议的微波烧结实时远程监控*** |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114531457A (zh) * | 2020-11-04 | 2022-05-24 | 南京南瑞继保电气有限公司 | 基于mqtt的高压电缆在线监测数据采集装置和方法 |
WO2023125269A1 (zh) * | 2021-12-27 | 2023-07-06 | 锐迪科创微电子(北京)有限公司 | 物联网设备控制方法、装置及*** |
CN114397854A (zh) * | 2022-01-25 | 2022-04-26 | 山东捷讯通信技术有限公司 | 一种适用于地下综合管廊的总线式主控*** |
CN115277756A (zh) * | 2022-07-10 | 2022-11-01 | 江西泉新电气有限公司 | 一种用于物联网终端设备的数据高效采集传输方法 |
CN115277756B (zh) * | 2022-07-10 | 2024-04-05 | 江西泉新电气有限公司 | 一种用于物联网终端设备的数据高效采集传输方法 |
CN115086380A (zh) * | 2022-07-25 | 2022-09-20 | 苏州思萃工业互联网技术研究所有限公司 | 基于能源管理平台的数据传输***及方法 |
CN115580619A (zh) * | 2022-11-25 | 2023-01-06 | 江苏金恒信息科技股份有限公司 | 数据处理***和数据处理方法 |
CN115580619B (zh) * | 2022-11-25 | 2023-03-10 | 江苏金恒信息科技股份有限公司 | 数据处理***和数据处理方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111245661A (zh) | 基于mqtt的物联网大数据采集处理*** | |
CN109325601B (zh) | 物流设备故障监测运维管理方法 | |
CN109144014B (zh) | 工业设备运行状况的检测***及方法 | |
CN111047082B (zh) | 设备的预警方法及装置、存储介质和电子装置 | |
FI108678B (fi) | Kenttälaitteiden hallintajärjestelmä | |
US10013866B2 (en) | Production equipment monitoring method and system | |
CN103957228B (zh) | 基于云的驱动监视方案 | |
CN106657387A (zh) | 一种空管自动化智能集中监控*** | |
CN104142662B (zh) | 云平台中的工业数据分析 | |
CN206115248U (zh) | 一种基于互联网的数控故障诊断*** | |
CN114282434A (zh) | 一种工业设备健康管理***及方法 | |
US20020198990A1 (en) | System and method for remotely monitoring and controlling devices | |
CN103443724A (zh) | 产品传感器、具有产品传感器的产品、设备和用于在产品传感器和设备之间通信的方法 | |
CN103685442A (zh) | 使用云架构的远程工业监视 | |
KR20220122923A (ko) | 스마트 공장의 데이터 취합 및 모니터링 시스템 | |
CN107991935A (zh) | 一种基于物联网的健身设备监控维护*** | |
CN112631204A (zh) | 一种数控机床健康管理平台、终端、***和方法 | |
CN113467419A (zh) | 一种车辆故障主动报警*** | |
CN116244765A (zh) | 一种基于工业互联网的设备维护管理方法 | |
CN112558536A (zh) | 车站监控***和方法 | |
WO2019226846A1 (en) | Competency gap identification of an operators response to various process control and maintenance conditions | |
US20060132321A1 (en) | Universal equipment process monitor | |
CN111445034A (zh) | 一种工业设备故障预测的***及方法 | |
CN218004099U (zh) | 电子元件生产线在线监管分析*** | |
KR20220122922A (ko) | Ai기반 데이터 로거 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200605 |
|
WD01 | Invention patent application deemed withdrawn after publication |