CN105955673A - 一种能耗监测数据的过滤方法 - Google Patents

一种能耗监测数据的过滤方法 Download PDF

Info

Publication number
CN105955673A
CN105955673A CN201610363599.4A CN201610363599A CN105955673A CN 105955673 A CN105955673 A CN 105955673A CN 201610363599 A CN201610363599 A CN 201610363599A CN 105955673 A CN105955673 A CN 105955673A
Authority
CN
China
Prior art keywords
data
energy consumption
deviation
consumption data
exception
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610363599.4A
Other languages
English (en)
Inventor
曾保全
张静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Yada Electric Co Ltd
Original Assignee
Guangdong Yada Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Yada Electric Co Ltd filed Critical Guangdong Yada Electric Co Ltd
Priority to CN201610363599.4A priority Critical patent/CN105955673A/zh
Publication of CN105955673A publication Critical patent/CN105955673A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0674—Disk device
    • G06F3/0676—Magnetic disk device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明涉及一种能耗监测数据的过滤方法，主要包括以下步骤：数据采集网关采集现场的能耗数据，并通过队列存入数据缓存区；根据压缩精度Dx设置例外偏差Dex、例外偏差最小周期Tminexc、例外偏差最大周期Tmaxexc的数据值；在数据缓存区中根据例外偏差Dex、例外偏差最小周期Tminexc和例外偏差最大周期Tmaxexc对采集数据进行过滤；过滤后的能耗数据提交入库压缩。本发明在通过数据采集网关采集完成能耗数据后，根据时间戳的数据判断,采用例外偏差及最大最小偏差周期，判定采集数据是否在所在限值范围内，可以对压缩前的数据进行一个初步的过滤，实现了小幅度波动数据及偏差数据的析出效果，起到数据降噪的作用。

Description

一种能耗监测数据的过滤方法
技术领域
本发明涉及能耗监测数据处理技术领域，尤其涉及一种能耗监测数据的过滤方法。
背景技术
在当前能耗监测数据存储及数据压缩相关应用中，大部分解决方案采用基于关系数据库的存储方式，对能耗数据进行集中存储，少数厂家采用实时数据库方式，并在该基础上采用相关压缩算法以对能耗数据进行压缩，提高磁盘利用率，提升数据访问效率。
在采用实时数据库进行数据存储的厂商中，一般采用旋转门、LZ***压缩法和死区算法进行数据压缩处理。
旋转门算法具有运算量小，可以跟踪过程趋势变化和适合滚动压缩的优点。但在过程数据有噪声的情况下，压缩性能不是很理想，噪声会造成压缩算法对过程趋势判断错误，降低压缩比，同时该算法不具有判断和处理异常点的能力。
LZ***压缩算法中的主要缺点是缓冲区的大小限制问题，当缓冲区满时，如果不再存储新的数据，将使压缩数据严重失真。如果清空缓冲区重新建立，又将大大降低算法的效率。
在工业能耗数据处理中，采用以上旋转门或LZ算法进行数据压缩处理时，能取到一定的压缩效果，但鉴于以上算法及处理过程非针对能耗数据的特征性质进行的压缩算法，是一种广泛或通用的压缩算法，不能取到良好的压缩精度，数据冗余及磁盘占比相对较大，在处理当前能源管理***中的能源数据大容量处理中存在的缺陷及问题严重，造成现场中数据的存储压力过大。
发明内容
针对工业能耗监测的大容量数据存储压缩精度较差、降噪效率低下的问题，本发明的目的在于提供一种提高数据的存储效率和访问速度的能耗监测数据的过滤方法。
为实现上述目的，本发明可以通过以下技术方案予以实现：
一种能耗监测数据的过滤方法，包括以下步骤：
(1)数据采集网关采集现场的能耗数据，并通过队列存入数据缓存区；
(2)根据压缩精度Dx设置例外偏差Dex、例外偏差最小周期Tminexc、例外偏差最大周期Tmaxexc的数据值；
(3)在数据缓存区中根据例外偏差Dex、例外偏差最小周期Tminexc和例外偏差最大周期Tmaxexc对步骤(1)中的采集数据进行过滤；
(4)过滤后的能耗数据提交入库压缩。
进一步的，所述步骤(3)包括：
(31)当两个连续采集的能耗数据的时标差小于或等于例外偏差最小周期Tminexc时，滤掉这两个数据；
(32)当两个连续采集的能耗数据的时标差在例外偏差最大周期Tmaxexc和例外偏差最小周期Tminexc之间时计算缓存区所有的能耗数据的偏差，根据偏差决定是否过滤这些数据；
(33)当两个连续采集的能耗数据的时标差大于或等于例外偏差最大周期Tmaxexc时不能滤掉这两个数据，需要强制提交数据入库压缩；
(34)当两个连续采集的能耗数据的时标差在例外偏差最大周期Tmaxexc内，且数据没有变动时，不能滤掉这两个数据，需要强制提交数据入库压缩。
进一步的，所述步骤(32)包括以下步骤：
(321)以能耗数据的采集时间为横坐标、能耗值为纵坐标建立坐标系，将数据缓存区的所有能耗数据标记在坐标系中，将第一个能耗数据与最后一个能耗数据连成一条直线；
(322)计算所有能耗数据分别与步骤(321)所述直线的距离D；
(323)找出步骤(322)所得结果中的距离最大值Dmax；
(324)比较例外偏差Dex与距离最大值Dmax的差值，根据差值决定是否过滤。
进一步的，所述步骤(324)包括以下：
如果例外偏差Dex大于距离最大值Dmax，则过滤第一个能耗数据与最后一个能耗数据之间的所有中间能耗数据；
当例外偏差Dex大于距离最大值Dmax，且在例外偏差最大周期Tmaxexc内，新采集的能耗数据与前一个数据相比无变动时，则把新采集的能耗数据提交入库压缩；
如果例外偏差值Dex小于或等于距离最大值Dmax,则以该距离最大值Dmax对应的能耗数据为界，将所有能耗数据分为前后两段，把第一能耗数据与该能耗数据连成一条直线，以及把该能耗数据与最后一个能耗数据连成一条直线，对两段能耗数据分别重复步骤(321)-(324)，采用迭代方法依次进行，直到能耗值满足所给定的压缩精度为止。
本发明在通过数据采集网关采集完成能耗数据后，根据时间戳的数据判断,采用例外偏差及最大最小偏差周期，判定采集数据是否在所在限值范围内，可以对压缩前的数据进行一个初步的过滤，实现了小幅度波动数据及偏差数据的析出效果，起到数据降噪的作用。
本发明与现有技术相比较，有以下几个方面的优点：
(1)现有能耗数据处理技术采用常用的压缩算法，需较长的压缩时间，且压缩比不高。本发明专利针对能耗数据的现有特性进行精准分析，并根据该规律特性，创新改进现有处理方式，可以缩短压缩时间、提高数据压缩比，降低磁盘占比。
(2)本发明采用多个压缩配置优化动态参数，可针对现有工控***及能耗***进行灵活配置，可根据实际能耗工程项目及资源配置情况，配置对应的压缩精度、压缩方式和压缩周期等参数，以优化能耗数据缓冲区的大小。
(3)本发明提出了一种解决当前能耗数据采集过程中，因长时间数据不更新或更新频率过快时的一种例外偏差处理的实际数据处理过程，结合国家能耗监测***相关技术规范中，可以提高能耗数据的压缩精度和能耗数据的精准度，具有较大的应用价值。
附图说明
图1是本发明的方法步骤框图；
图2是本发明步骤(32)的分析示意图；
图3是图2的前段数据的分析示意图；
图4是图2的后段数据的分析示意图。
具体实施方式
下面将结合附图以及具体实施方式对本发明作进一步的说明：
在能耗数据采集中，一般需要采集能源计量装置的相关数据，包括的智能设备如水表、电表、燃气表、冷热量表等，总体来说一般分为模拟量、开关量与累计量；开关量作为状态信息，一般无需压缩，只需要记录该状态及时间即可。模拟量的数据，如电压、电流、功率、功率因数等数据一般在一个范围内变化波动，突变特性不是很常见，累计量则一般存储间隔较大，针对该能耗数据的特性情况，本发明根据能耗数据的曲线数据进行分析，采用例外偏差及例外周期等办法，将能耗数据压缩精度压缩到理想的范围，特别是在节能管理***中具有特殊的应用效果。
如图1所示，本发明所述的能耗监测数据的过滤方法，包括以下步骤：
(1)数据采集网关采集现场的能耗数据，并通过队列存入数据缓存区；
(2)根据压缩精度Dx设置例外偏差Dex、例外偏差最小周期Tminexc、例外偏差最大周期Tmaxexc的数据值；例外偏差Dex用于限制两个记录值之间的差值，即偏差距离，而例外偏差计算由例外偏差最小周期Tminexc、例外偏差最大周期Tmaxexc来表针，例外偏差最小周期Tminexc、例外偏差最大周期Tmaxexc是能耗网关程序中需预定义的两个参数值；
(3)在数据缓存区中根据例外偏差Dex、例外偏差最小周期Tminexc和例外偏差最大周期Tmaxexc对步骤(1)中的采集数据进行过滤。
步骤(3)包括：
(31)当两个连续采集的能耗数据的时标差小于或等于例外偏差最小周期Tminexc时，滤掉这两个数据。两个连续采集的能耗数据是指在数据缓存区持续更新的前后两个数据。
(32)当两个连续采集的能耗数据的时标差在Tmaxexc和Tminexc之间时计算缓存区所有的能耗数据的偏差，根据偏差决定是否过滤这些数据。时标差在Tmaxexc和Tminexc之间，即Tminexc<时标差<Tmaxexc。
步骤(32)包括以下步骤：
(321)以能耗数据的采集时间为横坐标、能耗值为纵坐标建立坐标系，将数据缓存区的所有能耗数据标记在坐标系中，将第一个能耗数据与最后一个能耗数据连成一条直线，如图2所示；
(322)计算所有能耗数据分别与步骤(321)所述直线的距离D；
(323)找出步骤(322)所得结果中的距离最大值Dmax；
(324)比较例外偏差Dex与距离最大值Dmax的差值，根据差值决定是否过滤。
步骤(324)包括以下：
如果例外偏差Dex大于距离最大值Dmax，则过滤第一个能耗数据与最后一个能耗数据之间的所有中间能耗数据；
当例外偏差Dex大于距离最大值Dmax，且在例外偏差最大周期Tmaxexc内，新采集的能耗数据与前一个数据相比无变动时，则把新采集的能耗数据提交入库压缩；本步骤可采利用少的存储空间换取压缩精度，并可解决长时间现场无更新数据时，数据记录不提交到历史服务的问题；
如果例外偏差值Dex小于或等于距离最大值Dmax,则以该距离最大值Dmax对应的能耗数据为界，将所有能耗数据分为前后两段，把第一能耗数据与该能耗数据连成一条直线，以及把该能耗数据与最后一个能耗数据连成一条直线，如图3-4所示，对两段能耗数据分别重复步骤(321)-(324)，采用迭代方法依次进行，直到能耗值满足所给定的压缩精度为止。
(33)当两个连续采集的能耗数据的时标差大于或等于例外偏差最大周期Tmaxexc时不能滤掉这两个数据，需要强制提交数据入库压缩。
(34)当两个连续采集的能耗数据的时标差在例外偏差最大周期Tmaxexc内，且数据没有变动时，不能滤掉这两个数据，需要强制提交数据入库压缩。
(4)过滤后的能耗数据提交入库压缩。
本发明主要针对能耗监测***、能源管理平台等智能化监测***中需对大量数据进行压缩处理的场合。本发明中的例外偏差过滤是对工业智能设备现场采集的数据做特定的例外过滤，过滤后提交到压缩数据服务中。
对于本领域的技术人员来说，可根据以上技术方案以及构思，做出其他各种相应的改变以及变形，而所有的这些改变和变形都应该属于本发明权利要求的保护范围之内。

Claims (4)

1.一种能耗监测数据的过滤方法，其特征在于，包括以下步骤：
(1)数据采集网关采集现场的能耗数据，并通过队列存入数据缓存区；
(2)根据压缩精度Dx设置例外偏差Dex、例外偏差最小周期Tminexc、例外偏差最大周期Tmaxexc的数据值；
(3)在数据缓存区中根据例外偏差Dex、例外偏差最小周期Tminexc和例外偏差最大周期Tmaxexc对步骤(1)中的采集数据进行过滤；
(4)过滤后的能耗数据提交入库压缩。
2.根据权利要求1所述的能耗监测数据的过滤方法，其特征在于，所述步骤(3)包括：
(31)当两个连续采集的能耗数据的时标差小于或等于例外偏差最小周期Tminexc时，滤掉这两个数据；
(32)当两个连续采集的能耗数据的时标差在例外偏差最大周期Tmaxexc和例外偏差最小周期Tminexc之间时计算缓存区所有的能耗数据的偏差，根据偏差决定是否过滤这些数据；
(33)当两个连续采集的能耗数据的时标差大于或等于例外偏差最大周期Tmaxexc时不能滤掉这两个数据，需要强制提交数据入库压缩；
(34)当两个连续采集的能耗数据的时标差在例外偏差最大周期Tmaxexc内，且数据没有变动时，不能滤掉这两个数据，需要强制提交数据入库压缩。
3.根据权利要求2所述的能耗监测数据的过滤方法，其特征在于，所述步骤(32)包括以下步骤：
(321)以能耗数据的采集时间为横坐标、能耗值为纵坐标建立坐标系，将数据缓存区的所有能耗数据标记在坐标系中，将第一个能耗数据与最后一个能耗数据连成一条直线；
(322)计算所有能耗数据分别与步骤(321)所述直线的距离D；
(323)找出步骤(322)所得结果中的距离最大值Dmax；
(324)比较例外偏差Dex与距离最大值Dmax的差值，根据差值决定是否过滤。
4.根据权利要求3所述的能耗监测数据的过滤方法，其特征在于，所述步骤(324)包括以下：
如果例外偏差Dex大于距离最大值Dmax，则过滤第一个能耗数据与最后一个能耗数据之间的所有中间能耗数据；
当例外偏差Dex大于距离最大值Dmax，且在例外偏差最大周期Tmaxexc内，新采集的能耗数据与前一个数据相比无变动时，则把新采集的能耗数据提交入库压缩；
如果例外偏差值Dex小于或等于距离最大值Dmax,则以该距离最大值Dmax对应的能耗数据为界，将所有能耗数据分为前后两段，把第一能耗数据与该能耗数据连成一条直线，以及把该能耗数据与最后一个能耗数据连成一条直线，对两段能耗数据分别重复步骤(321)-(324)，采用迭代方法依次进行，直到能耗值满足所给定的压缩精度为止。
CN201610363599.4A 2016-05-26 2016-05-26 一种能耗监测数据的过滤方法 Pending CN105955673A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610363599.4A CN105955673A (zh) 2016-05-26 2016-05-26 一种能耗监测数据的过滤方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610363599.4A CN105955673A (zh) 2016-05-26 2016-05-26 一种能耗监测数据的过滤方法

Publications (1)

Publication Number Publication Date
CN105955673A true CN105955673A (zh) 2016-09-21

Family

ID=56910677

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610363599.4A Pending CN105955673A (zh) 2016-05-26 2016-05-26 一种能耗监测数据的过滤方法

Country Status (1)

Country Link
CN (1) CN105955673A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109933568A (zh) * 2019-03-13 2019-06-25 安徽海螺集团有限责任公司 一种工业大数据平台***及其查询方法
CN117075498A (zh) * 2023-10-16 2023-11-17 三峡科技有限责任公司 一种电解水制氢能耗监测和仿生优化***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102006081A (zh) * 2010-12-01 2011-04-06 南京工业大学 智能楼宇中海量能耗信息的压缩方法
CN103795419A (zh) * 2014-01-27 2014-05-14 宁波良和路桥科技有限公司 一种波形数据实时压缩的分段线性压缩方法
WO2015022219A1 (en) * 2013-08-14 2015-02-19 Eyesense Ag Method and apparatus for determining a smoothed data point within a stream of data points

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102006081A (zh) * 2010-12-01 2011-04-06 南京工业大学 智能楼宇中海量能耗信息的压缩方法
WO2015022219A1 (en) * 2013-08-14 2015-02-19 Eyesense Ag Method and apparatus for determining a smoothed data point within a stream of data points
CN103795419A (zh) * 2014-01-27 2014-05-14 宁波良和路桥科技有限公司 一种波形数据实时压缩的分段线性压缩方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
于松涛 等: "基于容差动态调整的旋转门_SDT_改进算法", 《北京化工大学学报(自然科学版)》 *
张广明 等: "机关办公建筑和大型公建能耗监管***平台若干关键技术", 《南京工业大学学报(自然科学版)》 *
曲奕霖: "流程工业历史数据的压缩策略与压缩方法研究", 《万方数据(学位)》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109933568A (zh) * 2019-03-13 2019-06-25 安徽海螺集团有限责任公司 一种工业大数据平台***及其查询方法
CN117075498A (zh) * 2023-10-16 2023-11-17 三峡科技有限责任公司 一种电解水制氢能耗监测和仿生优化***

Similar Documents

Publication Publication Date Title
CN106649026B (zh) 适用于运维自动化***的监测数据压缩方法
CN105721187A (zh) 一种业务故障诊断方法及装置
CN106354590A (zh) 磁盘检测方法和装置
CN110653661A (zh) 基于信号融合和多重分形谱算法的刀具状态监测识别方法
CN105955673A (zh) 一种能耗监测数据的过滤方法
CN103346797B (zh) 一种用于齿轮故障信号的实时压缩方法
CN111738521B (zh) 非侵入式电力负荷监测序列生成方法、***、设备及介质
CN109261724A (zh) 一种在多品种轧制模式下提高预设定模型精度的方法
CN117608499B (zh) 一种基于物联网的智慧交通数据优化存储方法
CN102937320A (zh) 用于智能空调的健康保护方法
CN114611745A (zh) 机床评估方法、机床评估***及介质
CN103093078B (zh) 一种改进53h算法的数据检验方法
EP4328820A1 (en) Performance testing method for water softening device
CN1851409B (zh) 一种压电陀螺的可靠性评估方法
CN107436954B (zh) 一种在线流数据近似处理质量控制方法及装置
CN115966308A (zh) 一种睡眠记忆活跃水平检测量化的方法、***和装置
CN103136202A (zh) 实时数据库中动态预测有损压缩及解压的方法
CN115099284A (zh) 热轧轧机振动数据处理方法、***、终端及存储介质
CN114626758A (zh) 用于医疗设备维修的效果评价***
CN114034492A (zh) 基于希尔伯特-黄变换的汽车零部件载荷谱快速压缩方法
CN113744860A (zh) 一种针对放射设备进行配置决策的评估方法
CN112597440A (zh) 一种基于金融技术指标的用电异动分析方法
CN112749473A (zh) 基于实时在线分析和模拟离线分析的能效安全诊断***
CN106533840A (zh) 网控器呼损率和信道利用值数据采集统计的方法及***
CN117409495B (zh) 一种基于设备维修数据的最佳保养时间获取方法及***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160921

RJ01 Rejection of invention patent application after publication