CN117119022A - 一种基于mqtt协议的能耗数据处理方法、***、设备及介质 - Google Patents
一种基于mqtt协议的能耗数据处理方法、***、设备及介质 Download PDFInfo
- Publication number
- CN117119022A CN117119022A CN202311387296.2A CN202311387296A CN117119022A CN 117119022 A CN117119022 A CN 117119022A CN 202311387296 A CN202311387296 A CN 202311387296A CN 117119022 A CN117119022 A CN 117119022A
- Authority
- CN
- China
- Prior art keywords
- sensor
- energy consumption
- consumption data
- flow
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005265 energy consumption Methods 0.000 title claims abstract description 93
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000000034 method Methods 0.000 claims abstract description 36
- 238000007405 data analysis Methods 0.000 claims abstract description 35
- 238000004891 communication Methods 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 18
- 230000005540 biological transmission Effects 0.000 claims abstract description 8
- 238000009826 distribution Methods 0.000 claims description 57
- 230000006870 function Effects 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 9
- 238000007476 Maximum Likelihood Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 description 8
- 230000004044 response Effects 0.000 description 8
- 230000000875 corresponding effect Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 241000255925 Diptera Species 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013477 bayesian statistics method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/27—Regression, e.g. linear or logistic regression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
- H04L69/161—Implementation details of TCP/IP or UDP/IP stack architecture; Specification of modified or new header fields
- H04L69/162—Implementation details of TCP/IP or UDP/IP stack architecture; Specification of modified or new header fields involving adaptations of sockets based mechanisms
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/26—Special purpose or proprietary protocols or architectures
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明涉及数据处理技术领域，尤其涉及一种基于MQTT协议的能耗数据处理方法、***、设备及介质，所述方法具体包括：在建筑物内部部署传感器网络，通过所述传感器网络采集所述建筑物的能耗数据；根据MQTT协议在所述传感器网络和后端服务器之间建立实时高效的通信；根据所述后端服务器计算分析所述能耗数据，生成能耗数据分析结果并传输至客户端；在所述客户端基于WebSockets连接实时获取所述能耗数据分析结果，根据图形函数库将所述能耗数据分析结果转换为能耗图表。本发明通过MQTT协议在传感器网络和后端服务器之间建立实时高效的通信，确保能耗数据的及时传输和处理。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种基于MQTT协议的能耗数据处理方法、***、设备及介质。
背景技术
在目前的物联网领域的技术中，针对数据的采集和分析需求，普遍采用的是将数据采集和数据分析集成在同一模块中，这种技术使得设备能够同一模块中进行数据采集和初步分析，能根据分析结果进行即时决策和响应，然而随着物联网的发展，由于采集和分析模块在同一模块中集成，而终端设备的计算资源是有限的，在面对大规模数据采集和分析需求时，将出现采集和分析同时抢占这部分有限资源，导致设备无法满足这些数据处理需求，从而影响***性能和响应速度。
然而，在物联网领域将数据采集和数据分析分开独立设置后，传感器网络内的数据通常需要及时传输到后端服务器进行处理，在大规模数据的情况下传统的通信方法会面临通信延迟和数据丢失的问题。其次，由于传感器网络内的数据通常需要传输到后端服务器进行处理，不同的传感器可能产生不同的数据流量，传统方法未能有效地处理流量分配和控制问题，导致一些传感器的数据被忽略或其他传感器被过度访问，从而降低了***的效率。同时，传统方法往往未能考虑参数的不确定性，这在实时***中可能导致模型不稳定或不可靠，尤其是在快速变化的环境中。
发明内容
本发明的目的在于提供一种基于MQTT协议的能耗数据处理方法、***、设备及介质，通过MQTT协议在传感器网络和后端服务器之间建立实时高效的通信，确保能耗数据的及时传输和处理，以解决上述现有技术问题的至少之一。
本发明提供了一种基于MQTT协议的能耗数据处理方法，所述方法具体包括：
在建筑物内部部署传感器网络，通过所述传感器网络采集所述建筑物的能耗数据；
根据MQTT协议在所述传感器网络和后端服务器之间建立实时高效的通信；
根据所述后端服务器计算分析所述能耗数据，生成能耗数据分析结果并传输至客户端；
在所述客户端基于WebSockets连接实时获取所述能耗数据分析结果，根据图形函数库将所述能耗数据分析结果转换为能耗图表。
进一步的，所述根据MQTT协议在所述传感器网络和所述后端服务器之间建立实时高效的通信，具体包括：
在所述后端服务器设置MQTT Broker，为所述传感器网络中每个传感器配置MQTT客户端库；
根据建筑物区域和传感器类型，在MQTT Broker内构建若干个主题topic；
基于贝叶斯回归算法为每个传感器建立流量预测模型，根据所述流量预测模型对每个传感器的未来预测流量和每个传感器的当前实际流量动态调整每个传感器的当前权重；
根据每个传感器的当前权重，先后将每个传感器的能耗数据包转发到对应的主题topic下。
更进一步的，所述基于贝叶斯回归算法为每个传感器建立流量预测模型，具体包括：
获取每个传感器的历史流量数据集以及第一特征集，所述第一特征集包括消息频率、消息大小、消息时延、主题分布、传感器类型、传感器位置和传感器设备能耗；
基于皮尔逊相关系数，从所述第一特征集中确定第二特征集；
基于贝叶斯回归模型，根据每个传感器的历史流量数据集以及所述第二特征集，确定每个传感器的流量预测模型。
更进一步的，所述基于皮尔逊相关系数，从所述第一特征集中确定第二特征集，具体包括：
设置相关系数阈值，计算每个传感器的历史流量数据集与所述第一特征集中每个特征的皮尔逊相关系数；
将所述第一特征集中皮尔逊相关系数低于所述相关系数阈值的特征进行剔除，获得第二特征集。
更进一步的，所述皮尔逊相关系数满足，r表示每个传感器的历史流量数据集与第一特征集中每个特征的皮尔逊相关系数，n表示第一特征集每个特征的数据点的数量，i表示历史流量数据集或第一特征集中每个特征的数据点的序号，表示第一特征集中每个特征的每个数据点的数值，/>表示历史流量数据集的每个数据点的数值，/>表示第一特征集中每个特征的平均数值，/>表示历史流量数据集的平均数值。
更进一步的，所述基于贝叶斯回归模型，根据每个传感器的历史流量数据集以及所述第二特征集，确定每个传感器的流量预测模型，具体包括：
基于贝叶斯回归公式，将每个传感器的历史流量数据集作为输出y，将所述第二特征集作为输入特征矩阵X，获得参数向量/>的数据点集合和误差项/>的数据点集合；
将高斯分布作为参数向量和误差项/>的先验分布，根据所述参数向量/>的数据集合确定所述参数向量/>的先验分布的先验参数，根据所述误差项/>的数据点集合确定所述误差项/>的先验分布的先验参数；
通过最大似然估计法确定所述参数向量的似然函数值和所述误差项/>的似然函数值；
基于MCMC方法，根据所述参数向量的数据集合、先验分布、似然函数值以及历史流量数据集进行迭代采样，通过收敛后的MCMC链上的样本确定所述参数向量/>的后验分布；
基于MCMC方法，根据所述误差项的数据集合、先验分布、似然函数值以及历史流量数据集进行迭代采样，通过收敛后的MCMC链上的样本确定所述误差项/>的后验分布；
根据所述参数向量的后验分布和所述误差项/>的后验分布建立流量预测模型。
更进一步的，所述根据所述流量预测模型对每个传感器的未来预测流量和每个传感器的当前实际流量动态调整每个传感器的当前权重，具体包括：
为每个传感器设置初始当前权重和调整系数，所述调整系数用于控制每个传感器的当前权重的调整幅度；
根据所述流量预测模型确定每个传感器的下一个时间步长的未来预测流量；
基于权重调整公式，根据所述初始当前权重、所述调整系数、每个传感器的下一个时间步长的未来预测流量和每个传感器的当前实际流量确定新的当前权重，所述权重调整公式满足，其中，/>表示新的当前权重，/>表示初始当前权重，/>表示调整系数，/>表示每个的下一个时间步长的未来预测流量，/>表示每个传感器的当前实际流量；
将新的当前权重作为代入所述权重调整公式重复迭代计算，动态调整每个传感器的当前权重。
本发明还提供了一种基于MQTT协议的能耗数据处理***，所述***具体包括：
数据采集层，用于在建筑物内部部署传感器网络，通过所述传感器网络采集所述建筑物的能耗数据；
数据传输层，用于根据MQTT协议在所述传感器网络和后端服务器之间建立实时高效的通信；
数据分析层，用于根据所述后端服务器计算分析所述能耗数据，生成能耗数据分析结果并传输至客户端；
客户端应用层，用于基于WebSockets连接实时获取所述能耗数据分析结果，根据图形函数库将所述能耗数据分析结果转换为能耗图表。
本发明还提供了一种计算机设备，包括：存储器和处理器及存储在存储器上的计算机程序，当所述计算机程序在处理器上被执行时，实现如上述方法中任一项所述的基于MQTT协议的能耗数据处理方法。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时，实现如上述方法中任一项所述的基于MQTT协议的能耗数据处理方法。
与现有技术相比，本发明具有以下技术效果的至少之一：
1、通过MQTT协议在传感器网络和后端服务器之间建立实时高效的通信，可以确保能耗数据的及时传输和处理。
2、使用贝叶斯回归算法为每个传感器建立流量预测模型，并动态调整传感器的当前权重，帮助优化数据流的分发，确保高流量的传感器获得更多的带宽，提高***的效率。
3、使用皮尔逊相关系数来确定特征集，有助于识别对能耗数据流量预测最相关的特征，提高了模型的预测性能。
4、采用了贝叶斯回归模型，结合先验分布和后验分布，更好地考虑了参数的不确定性，提高了模型的鲁棒性。
5、客户端基于WebSockets连接，可以实时获取能耗数据分析结果，并通过图形函数库将结果转换为能耗图表，使用户能够方便地监视和分析能耗情况。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于MQTT协议的能耗数据处理方法的流程示意图；
图2是本发明实施例提供的一种基于MQTT协议的能耗数据处理***的结构示意图；
图3是本发明实施例提供的一种计算机设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
参照图1，本发明实施例提供了一种基于MQTT协议的能耗数据处理方法，所述方法具体包括：
S101：在建筑物内部部署传感器网络，通过所述传感器网络采集所述建筑物的能耗数据；
根据MQTT协议在所述传感器网络和后端服务器之间建立实时高效的通信。
该实施例中，MQTT是指Message Queue Telemetry Transport（消息队列遥测传输协议），MQTT 协议的通信模型包括Publisher（发布者）、Subscriber（订阅者）和MQTTBroker（代理服务器），MQTT Broker是基于发布/订阅模型的消息代理服务器，需要创建主题用于传感器数据的发布和订阅，MQTT Broker负责接收Publisher的消息，并发送给相应的Subscriber，是整个MQTT 订阅/发布的核心，比如说可以选择Mosquitto开源软件作为MQTT Broker，通过安装Mosquitto开源软件并监听端口、配置认证方式从而实现消息转发、存储。
传感器网络负责感知数据，并将数据作为消息通过MQTT协议发布到MQTT Broker上的特定主题，数据将被存储在Broker的消息队列中，后端服务器通过MQTT的订阅者功能，可以选择性地订阅感兴趣的主题，当订阅了某主题后，它将接收到该主题下所有发布的消息，还可以在后端服务器通过设置的响应温度过高、湿度过低等条件，发送通知、警报或其他指令。
在一些实施例中，所述根据MQTT协议在所述传感器网络和所述后端服务器之间建立实时高效的通信，具体包括：
在所述后端服务器设置MQTT Broker，为所述传感器网络中每个传感器配置MQTT客户端库；
根据建筑物区域和传感器类型，在MQTT Broker内构建若干个主题topic；
基于贝叶斯回归算法为每个传感器建立流量预测模型，根据所述流量预测模型对每个传感器的未来预测流量和每个传感器的当前实际流量动态调整每个传感器的当前权重；
根据每个传感器的当前权重，先后将每个传感器的能耗数据包转发到对应的主题topic下。
该实施例中，在后端服务器上设置一个MQTT Broker，例如使用Mosquitto，为了与传感器网络中的每个传感器通信，配置每个传感器上的MQTT客户端库，以便它们可以连接到MQTT Broker。根据建筑物区域和传感器类型，在MQTT Broker内构建一系列主题topic，用于传感器数据的发布和订阅，例如可以创建以下主题："building/area1/temperature"用于区域1的温度数据，"building/area2/lighting"用于区域2的照明数据，"building/area3/humidity"用于区域3的湿度数据，等等。
为了实现流量均衡和动态权重调整，使用贝叶斯回归算法为每个传感器建立流量预测模型，将特征作为输入，流量作为输出，并考虑了特征和流量之间的不确定性。通过流量预测模型动态地预测每个传感器的未来流量，得到的预测值用于与每个传感器的当前实际流量进行权重调整，从而根据每个传感器的当前权重，可以动态地将传感器的能耗数据包转发到对应的主题topic下，较高权重的传感器将有更多的数据包转发，以实现流量均衡。
在一些实施例中，所述基于贝叶斯回归算法为每个传感器建立流量预测模型，具体包括：
获取每个传感器的历史流量数据集以及第一特征集，所述第一特征集包括消息频率、消息大小、消息时延、主题分布、传感器类型、传感器位置和传感器设备能耗；
基于皮尔逊相关系数，从所述第一特征集中确定第二特征集；
基于贝叶斯回归模型，根据每个传感器的历史流量数据集以及所述第二特征集，确定每个传感器的流量预测模型。
该实施例中，收集每个传感器的历史流量数据集，并确定第一特征集，该特征集包括以下特征：消息频率，每个传感器发送消息的频率；消息大小，每个传感器发送消息的平均大小；消息时延，每个传感器消息的传输延迟；主题分布，每个传感器发布消息到不同主题的分布情况；传感器类型，每个传感器的类型，例如温度传感器、湿度传感器等；传感器位置，每个传感器在建筑中的位置；传感器设备能耗，每个传感器的设备能耗情况。
在第一特征集的基础上，使用皮尔逊相关系数来确定哪些特征与流量之间存在高度相关性，并设置相关系数阈值，以确定是否将特征包括在第二特征集中。
在一些实施例中，所述基于皮尔逊相关系数，从所述第一特征集中确定第二特征集，具体包括：
设置相关系数阈值，计算每个传感器的历史流量数据集与所述第一特征集中每个特征的皮尔逊相关系数；
将所述第一特征集中皮尔逊相关系数低于所述相关系数阈值的特征进行剔除，获得第二特征集。
具体的，所述皮尔逊相关系数满足，r表示每个传感器的历史流量数据集与第一特征集中每个特征的皮尔逊相关系数，n表示第一特征集每个特征的数据点的数量，i表示历史流量数据集或第一特征集中每个特征的数据点的序号，/>表示第一特征集中每个特征的每个数据点的数值，/>表示历史流量数据集的每个数据点的数值，/>表示第一特征集中每个特征的平均数值，/>表示历史流量数据集的平均数值。
该实施例中，由于贝叶斯回归算法针对于具有线性关系的特征和输出，而皮尔逊相关系数有助于了解特征与输出之间的线性关联程度，皮尔逊相关系数的值范围在-1到1之间。如果r接近于1，表示特征和输出之间有强正相关关系；如果r接近于-1，表示特征和输出之间有强负相关关系；如果r接近于0，表示特征和输出之间基本没有线性关系。因此，可以在[0,1]的区间中选择一个数值作为相关系数阈值。
在一些实施例中，所述基于贝叶斯回归模型，根据每个传感器的历史流量数据集以及所述第二特征集，确定每个传感器的流量预测模型，具体包括：
基于贝叶斯回归公式，将每个传感器的历史流量数据集作为输出y，将所述第二特征集作为输入特征矩阵X，获得参数向量/>的数据点集合和误差项/>的数据点集合；
将高斯分布作为参数向量和误差项/>的先验分布，根据所述参数向量/>的数据集合确定所述参数向量/>的先验分布的先验参数，根据所述误差项/>的数据点集合确定所述误差项/>的先验分布的先验参数；
通过最大似然估计法确定所述参数向量的似然函数值和所述误差项/>的似然函数值；
基于MCMC方法，根据所述参数向量的数据集合、先验分布、似然函数值以及历史流量数据集进行迭代采样，通过收敛后的MCMC链上的样本确定所述参数向量/>的后验分布；
基于MCMC方法，根据所述误差项的数据集合、先验分布、似然函数值以及历史流量数据集进行迭代采样，通过收敛后的MCMC链上的样本确定所述误差项/>的后验分布；
根据所述参数向量的后验分布和所述误差项/>的后验分布建立流量预测模型。
该实施例中，在贝叶斯回归中，利用先验分布来表达模型参数的不确定性，以及在没有观测数据时的初始假设，假设参数向量是一个随机变量，具有一个先验分布（比如高斯分布），同时也假设误差项/>服从高斯分布，这是因为高斯分布在统计学中具有重要的性质，适用于许多自然现象的建模。
对于高斯分布的情况，需要估计两个参数：均值和方差/>，这可以通过最大似然估计（Maximum Likelihood Estimation，MLE）来完成，即找到使数据在给定模型下的概率最大的参数值。最大似然估计的目标是最大化似然函数，即观测数据在给定参数下的条件概率。在正态分布中，均值和方差的估计可以通过样本均值和样本方差来计算。
在贝叶斯统计中，可以将均值和方差/>视为随机变量，而不是固定的常数。通过引入先验分布来表示对这些参数的初始不确定性，然后使用贝叶斯定理来更新参数的分布，得到后验分布，即，通过已知的先验分布和似然函数，可以计算参数的后验分布，给出参数的一组可能值，其中每个值都有一定的概率。在贝叶斯框架下，可以进行贝叶斯推断，如计算参数的期望值、置信区间等。
但由于在流量预测的情况下，直接计算后验分布的解析表达式是困难的，特别是对于复杂的模型。在这种情况下，可以使用数值方法，如马尔可夫链蒙特卡洛（Markovchain Monte Carlo，MCMC）方法，来从后验分布中采样，以获取参数的分布信息。MCMC方法是一种常用的贝叶斯推断方法，用于从后验分布中采样，在MCMC的每个迭代中，根据一定的采样规则，通过当前参数的值和先验分布，计算出新的参数值，这个过程会生成一系列参数值的样本，称为MCMC链。 经过一定次数的迭代采样后，需要检查MCMC链是否已经收敛到稳定的后验分布，在MCMC链收敛后，可以使用链上的样本来近似计算参数的后验分布。具体的，选择一个初始参数值作为起点，在当前参数值的基础上，生成一个候选参数值，然后计算接受概率，它是当前参数值下的似然值与先验分布乘积的比例与候选参数值下的似然值与先验分布乘积的比例的比较。根据接受概率以及一个随机生成的值来决定是否接受候选参数值，如果这个随机数小于接受概率，那么接受候选参数值作为新的参数值，否则保留当前参数值。重复上述采用和计算接收概率的步骤多次后，生成一系列参数值，这些值逐渐接近目标后验分布。
在一些实施例中，所述根据所述流量预测模型对每个传感器的未来预测流量和每个传感器的当前实际流量动态调整每个传感器的当前权重，具体包括：
为每个传感器设置初始当前权重和调整系数，所述调整系数用于控制每个传感器的当前权重的调整幅度；
根据所述流量预测模型确定每个传感器的下一个时间步长的未来预测流量；
基于权重调整公式，根据所述初始当前权重、所述调整系数、每个传感器的下一个时间步长的未来预测流量和每个传感器的当前实际流量确定新的当前权重，所述权重调整公式满足，其中，/>表示新的当前权重，/>表示初始当前权重，/>表示调整系数，/>表示每个的下一个时间步长的未来预测流量，/>表示每个传感器的当前实际流量；
将新的当前权重作为代入所述权重调整公式重复迭代计算，动态调整每个传感器的当前权重。
该实施例中，调整系数控制着权重的调整幅度，即当前权重的更新频率，它是一个介于0和1之间的值，较大的调整系数会导致更快的权重调整，而较小的调整系数会导致较慢的权重调整，选择调整系数需要根据***的响应速度和稳定性来平衡。如果希望***对该传感器的负载变化能够快速响应，可以选择较大的调整系数，这会导致权重较快地向预测的目标权重靠近。如果希望***对该传感器的权重调整更平缓，可以选择较小的调整系数，这可以减少权重的震荡和不稳定性。
此外，在一定条件下，可以周期性地重置传感器的权重，以确保分发过程不会过于偏向某个传感器，比如在每次选择传感器后，可以将选中的传感器权重适当减少，让其他传感器有更大的机会被选择。
S102：根据所述后端服务器计算分析所述能耗数据，生成能耗数据分析结果并传输至客户端；
在所述客户端基于WebSockets连接实时获取所述能耗数据分析结果，根据图形函数库将所述能耗数据分析结果转换为能耗图表。
该实施例中，在后端服务器上部署WebSocket库，用于处理客户端的连接请求和消息传递，在客户端应用程序中可以使用JavaScript创建WebSocket客户端，后端服务器收到传感器数据后，进行计算和分析，比如每个资源的实时使用量、总能耗、节能建议等，计算出能耗数据分析结果后以WebSocket消息的形式发送给已连接的客户端。客户端监听从WebSocket接收到的消息，在收到实时数据更新消息时，使用JavaScript图形库（例如Chart.js）将数据转换为能耗图表。每当新数据到达时，客户端可以动态地更新图表，以实现实时监控。
参照图2，本发明实施例还提供了一种基于MQTT协议的能耗数据处理***2，所述***2具体包括：
数据采集层201，用于在建筑物内部部署传感器网络，通过所述传感器网络采集所述建筑物的能耗数据；
数据传输层202，用于根据MQTT协议在所述传感器网络所述后端服务器之间建立实时高效的通信；
数据分析层203，用于根据所述后端服务器计算分析所述能耗数据，生成能耗数据分析结果并传输至客户端；
客户端应用层204，用于基于WebSockets连接实时获取所述能耗数据分析结果，根据图形函数库将所述能耗数据分析结果转换为能耗图表。
可以理解的是，如图1所示的基于MQTT协议的能耗数据处理方法实施例中的内容均适用于本基于MQTT协议的能耗数据处理***实施例中，本基于MQTT协议的能耗数据处理***实施例所具体实现的功能与如图1所示的基于MQTT协议的能耗数据处理方法实施例相同，并且达到的有益效果与如图1所示的基于MQTT协议的能耗数据处理方法实施例所达到的有益效果也相同。
需要说明的是，上述***之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述***的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述***中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
参照图3，本发明实施例还提供了一种计算机设备3，包括：存储器302和处理器301及存储在存储器302上的计算机程序303，当所述计算机程序303在处理器301上被执行时，实现如上述方法中任一项所述的基于MQTT协议的能耗数据处理方法。
所述计算机设备3可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该计算机设备3可包括，但不仅限于，处理器301、存储器302。本领域技术人员可以理解，图3仅仅是计算机设备3的举例，并不构成对计算机设备3的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
所称处理器301可以是中央处理单元(Central Processing Unit，CPU)，该处理器301还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路 (Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器302在一些实施例中可以是所述计算机设备3的内部存储单元，例如计算机设备3的硬盘或内存。所述存储器302在另一些实施例中也可以是所述计算机设备3的外部存储设备，例如所述计算机设备3上配备的插接式硬盘，智能存储卡（Smart MediaCard, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。进一步地，所述存储器302还可以既包括所述计算机设备3的内部存储单元也包括外部存储设备。所述存储器302用于存储操作***、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器302还可以用于暂时地存储已经输出或者将要输出的数据。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时，实现如上述方法中任一项所述的基于MQTT协议的能耗数据处理方法。
该实施例中，所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所公开的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
Claims (10)
1.一种基于MQTT协议的能耗数据处理方法，其特征在于，所述方法具体包括：
在建筑物内部部署传感器网络，通过所述传感器网络采集所述建筑物的能耗数据；
根据MQTT协议在所述传感器网络和后端服务器之间建立实时高效的通信；
根据所述后端服务器计算分析所述能耗数据，生成能耗数据分析结果并传输至客户端；
在所述客户端基于WebSockets连接实时获取所述能耗数据分析结果，根据图形函数库将所述能耗数据分析结果转换为能耗图表。
2.根据权利要求1所述的方法，其特征在于，所述根据MQTT协议在所述传感器网络和所述后端服务器之间建立实时高效的通信，具体包括：
在所述后端服务器设置MQTT Broker，为所述传感器网络中每个传感器配置MQTT客户端库；
根据建筑物区域和传感器类型，在MQTT Broker内构建若干个主题topic；
基于贝叶斯回归算法为每个传感器建立流量预测模型，根据所述流量预测模型对每个传感器的未来预测流量和每个传感器的当前实际流量动态调整每个传感器的当前权重；
根据每个传感器的当前权重，先后将每个传感器的能耗数据包转发到对应的主题topic下。
3.根据权利要求2所述的方法，其特征在于，所述基于贝叶斯回归算法为每个传感器建立流量预测模型，具体包括：
获取每个传感器的历史流量数据集以及第一特征集，所述第一特征集包括消息频率、消息大小、消息时延、主题分布、传感器类型、传感器位置和传感器设备能耗；
基于皮尔逊相关系数，从所述第一特征集中确定第二特征集；
基于贝叶斯回归模型，根据每个传感器的历史流量数据集以及所述第二特征集，确定每个传感器的流量预测模型。
4.根据权利要求3所述的方法，其特征在于，所述基于皮尔逊相关系数，从所述第一特征集中确定第二特征集，具体包括：
设置相关系数阈值，计算每个传感器的历史流量数据集与所述第一特征集中每个特征的皮尔逊相关系数；
将所述第一特征集中皮尔逊相关系数低于所述相关系数阈值的特征进行剔除，获得第二特征集。
5.根据权利要求4所述的方法，其特征在于，所述皮尔逊相关系数满足，r表示每个传感器的历史流量数据集与第一特征集中每个特征的皮尔逊相关系数，n表示第一特征集每个特征的数据点的数量，i表示历史流量数据集或第一特征集中每个特征的数据点的序号，/>表示第一特征集中每个特征的每个数据点的数值，/>表示历史流量数据集的每个数据点的数值，/>表示第一特征集中每个特征的平均数值，/>表示历史流量数据集的平均数值。
6.根据权利要求3所述的方法，其特征在于，所述基于贝叶斯回归模型，根据每个传感器的历史流量数据集以及所述第二特征集，确定每个传感器的流量预测模型，具体包括：
基于贝叶斯回归公式，将每个传感器的历史流量数据集作为输出y，将所述第二特征集作为输入特征矩阵X，获得参数向量/>的数据点集合和误差项/>的数据点集合；
将高斯分布作为参数向量和误差项/>的先验分布，根据所述参数向量/>的数据集合确定所述参数向量/>的先验分布的先验参数，根据所述误差项/>的数据点集合确定所述误差项/>的先验分布的先验参数；
通过最大似然估计法确定所述参数向量的似然函数值和所述误差项/>的似然函数值；
基于MCMC方法，根据所述参数向量的数据集合、先验分布、似然函数值以及历史流量数据集进行迭代采样，通过收敛后的MCMC链上的样本确定所述参数向量/>的后验分布；
基于MCMC方法，根据所述误差项的数据集合、先验分布、似然函数值以及历史流量数据集进行迭代采样，通过收敛后的MCMC链上的样本确定所述误差项/>的后验分布；
根据所述参数向量的后验分布和所述误差项/>的后验分布建立流量预测模型。
7.根据权利要求2所述的方法，其特征在于，所述根据所述流量预测模型对每个传感器的未来预测流量和每个传感器的当前实际流量动态调整每个传感器的当前权重，具体包括：
为每个传感器设置初始当前权重和调整系数，所述调整系数用于控制每个传感器的当前权重的调整幅度；
根据所述流量预测模型确定每个传感器的下一个时间步长的未来预测流量；
基于权重调整公式，根据所述初始当前权重、所述调整系数、每个传感器的下一个时间步长的未来预测流量和每个传感器的当前实际流量确定新的当前权重，所述权重调整公式满足，其中，/>表示新的当前权重，/>表示初始当前权重，/>表示调整系数，/>表示每个的下一个时间步长的未来预测流量，/>表示每个传感器的当前实际流量；
将新的当前权重作为代入所述权重调整公式重复迭代计算，动态调整每个传感器的当前权重。
8.一种基于MQTT协议的能耗数据处理***，其特征在于，所述***具体包括：
数据采集层，用于在建筑物内部部署传感器网络，通过所述传感器网络采集所述建筑物的能耗数据；
数据传输层，用于根据MQTT协议在所述传感器网络和后端服务器之间建立实时高效的通信；
数据分析层，用于根据所述后端服务器计算分析所述能耗数据，生成能耗数据分析结果并传输至客户端；
客户端应用层，用于基于WebSockets连接实时获取所述能耗数据分析结果，根据图形函数库将所述能耗数据分析结果转换为能耗图表。
9.一种计算机设备，其特征在于，包括：存储器和处理器及存储在存储器上的计算机程序，当所述计算机程序在处理器上被执行时，实现如权利要求1至7中任一项所述的基于MQTT协议的能耗数据处理方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器运行时，实现如权利要求1至7中任一项所述的基于MQTT协议的能耗数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311387296.2A CN117119022B (zh) | 2023-10-25 | 2023-10-25 | 一种基于mqtt协议的能耗数据处理方法、***、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311387296.2A CN117119022B (zh) | 2023-10-25 | 2023-10-25 | 一种基于mqtt协议的能耗数据处理方法、***、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117119022A true CN117119022A (zh) | 2023-11-24 |
| CN117119022B CN117119022B (zh) | 2024-01-30 |
Family
ID=88813252
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311387296.2A Active CN117119022B (zh) | 2023-10-25 | 2023-10-25 | 一种基于mqtt协议的能耗数据处理方法、***、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117119022B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104639625A (zh) * | 2015-01-27 | 2015-05-20 | 华南理工大学 | 一种基于mqtt的数据集中器采集控制方法、装置及*** |
| CN106998358A (zh) * | 2017-03-24 | 2017-08-01 | 武汉光庭信息技术股份有限公司 | 基于mqtt和lcm的地图传感器网络模型建立方法及*** |
| CN108366053A (zh) * | 2018-01-30 | 2018-08-03 | 电子科技大学 | 一种基于朴素贝叶斯的mqtt异常流量检测方法 |
| CN109218416A (zh) * | 2018-08-30 | 2019-01-15 | 北京赛佰特科技有限公司 | 基于云平台的物联网*** |
| CN109451352A (zh) * | 2018-12-11 | 2019-03-08 | 北京奇艺世纪科技有限公司 | 一种视频播放流量预测方法及装置 |
| CN110839184A (zh) * | 2019-10-15 | 2020-02-25 | 北京邮电大学 | 基于流量预测的移动前传光网络带宽调整方法及装置 |
| CN113852785A (zh) * | 2021-07-29 | 2021-12-28 | 浪潮软件科技有限公司 | 一种基于5g的智能监控调度方法、装置及*** |
| WO2022253454A2 (en) * | 2021-06-04 | 2022-12-08 | Telefonaktiebolaget Lm Ericsson (Publ) | Dimensioning of telecommunication infrastructure |
| CN115988028A (zh) * | 2022-12-21 | 2023-04-18 | 上海应用技术大学 | 基于物联网技术的lng加气站实时安全监控*** |
| CN116758765A (zh) * | 2023-06-09 | 2023-09-15 | 大连理工大学 | 一种适用多模式交通的多目标信号控制优化方法 |
-
2023
- 2023-10-25 CN CN202311387296.2A patent/CN117119022B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104639625A (zh) * | 2015-01-27 | 2015-05-20 | 华南理工大学 | 一种基于mqtt的数据集中器采集控制方法、装置及*** |
| CN106998358A (zh) * | 2017-03-24 | 2017-08-01 | 武汉光庭信息技术股份有限公司 | 基于mqtt和lcm的地图传感器网络模型建立方法及*** |
| CN108366053A (zh) * | 2018-01-30 | 2018-08-03 | 电子科技大学 | 一种基于朴素贝叶斯的mqtt异常流量检测方法 |
| CN109218416A (zh) * | 2018-08-30 | 2019-01-15 | 北京赛佰特科技有限公司 | 基于云平台的物联网*** |
| CN109451352A (zh) * | 2018-12-11 | 2019-03-08 | 北京奇艺世纪科技有限公司 | 一种视频播放流量预测方法及装置 |
| CN110839184A (zh) * | 2019-10-15 | 2020-02-25 | 北京邮电大学 | 基于流量预测的移动前传光网络带宽调整方法及装置 |
| WO2022253454A2 (en) * | 2021-06-04 | 2022-12-08 | Telefonaktiebolaget Lm Ericsson (Publ) | Dimensioning of telecommunication infrastructure |
| CN113852785A (zh) * | 2021-07-29 | 2021-12-28 | 浪潮软件科技有限公司 | 一种基于5g的智能监控调度方法、装置及*** |
| CN115988028A (zh) * | 2022-12-21 | 2023-04-18 | 上海应用技术大学 | 基于物联网技术的lng加气站实时安全监控*** |
| CN116758765A (zh) * | 2023-06-09 | 2023-09-15 | 大连理工大学 | 一种适用多模式交通的多目标信号控制优化方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117119022B (zh) | 2024-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kapsalis et al. | A cooperative fog approach for effective workload balancing | |
| US8892720B2 (en) | System and method for network optimization through predictive downloading | |
| CN111124819B (zh) | 全链路监控的方法和装置 | |
| CN114039918B (zh) | 一种信息年龄优化方法、装置、计算机设备及存储介质 | |
| CN111142942B (zh) | 窗口数据的处理方法、装置、服务器及存储介质 | |
| CN114567650B (zh) | 一种数据处理方法及物联网平台*** | |
| CN116032663A (zh) | 基于边缘设备的隐私数据处理***、方法、设备及介质 | |
| CN108376099B (zh) | 一种优化时延与能效的移动终端计算迁移方法 | |
| CN117119022B (zh) | 一种基于mqtt协议的能耗数据处理方法、***、设备及介质 | |
| Kim et al. | P2P computing for trusted networking of personalized IoT services | |
| CN113821317A (zh) | 一种边云协同的微服务调度方法、装置及设备 | |
| Cleland et al. | FedComm: Understanding communication protocols for edge-based federated learning | |
| Chang et al. | Towards an Efficient and Dynamic Allocation of Radio Access Network Slicing Resources for 5G Era | |
| CN114900817B (zh) | 一种基于二元量化的分布式无线传感网络信息估计方法 | |
| CN112948114B (zh) | 边缘计算方法和边缘计算平台 | |
| Mühl et al. | Stochastic analysis of hierarchical publish/subscribe systems | |
| CN113378369B (zh) | 一种基于无人机计算卸载的路径规划和任务调度方法 | |
| US20180366949A1 (en) | Systems Using Data Streams to Feed Optimization Engines in Power System Operations | |
| Liu | Multimedia intelligent fog computing scheme based on robust perception for complex networks | |
| Banaie et al. | Performance evaluation of CoAP proxy virtualisation in cloud‐assisted sensor networks | |
| CN113179218B (zh) | 模型训练方法、网络拥塞控制方法、装置及相关产品 | |
| US20230236795A1 (en) | Data processing method implemented at edge switch, electronic device, and program product | |
| Abharian et al. | Stochastic controller as an active queue management based on B-spline kernel observer via particle swarm optimization | |
| CN112102821B (zh) | 应用于电子设备的数据处理方法、装置、***、介质 | |
| Ye | Towards reducing bandwidth consumption in publish/subscribe systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |