CN109857978B - 一种适用于生活电器功率曲线的在线自适应分段算法 - Google Patents
一种适用于生活电器功率曲线的在线自适应分段算法 Download PDFInfo
- Publication number
- CN109857978B CN109857978B CN201910045572.4A CN201910045572A CN109857978B CN 109857978 B CN109857978 B CN 109857978B CN 201910045572 A CN201910045572 A CN 201910045572A CN 109857978 B CN109857978 B CN 109857978B
- Authority
- CN
- China
- Prior art keywords
- time
- segment
- point
- data
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 40
- 238000004422 calculation algorithm Methods 0.000 title abstract description 30
- 238000000034 method Methods 0.000 claims description 22
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 abstract description 9
- 238000013144 data compression Methods 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了智能家居数据压缩领域的一种适用于生活电器功率曲线的在线自适应分段算法,通过逐个计算数据点的幅度误差与角度误差判断分段点,分段性能优且分段具备更明确得物理含义,反映了数据时间序列本身的特征。同时利用增量处理技术,在每次新的数据点到达时,线性拟合函数可以仅基于拟合直线的斜率、点数、时间均值、时间方差和数值均值进行计算,而不是针对所有数据点来进行重新计算,并能结合相邻拟合直线的斜率、点数、时间均值、时间方差和数值均值使两端拟合直线生成新的拟合直线,大大减小了计算的复杂程度,有利于提高运算效率。
Description
技术领域
本发明涉及智能家居数据压缩领域,具体涉及一种适用于生活电器功率曲线的在线自适应分段算法。
背景技术
对于智能家居来说,数据压缩是关键性的技术。因为通过物联网采样的数据是具有时间标签的数据点序列,所以数据压缩问题的具体实现形式就变为时间序列字段中的近似表示问题,而适当地对时间序列数据流分段则是数据流近似表达的关键准备。
时间序列数据流分段可以被视为各种数据挖掘任务的预处理步骤或趋势分析技术,它也被视为离散化问题。与具有离散项目的事务性数据库不同,时间系列数据的特点是数值性和连续性性质。
基于阈值的算法是在电器负载曲线边缘检测领域经典且仍然广泛应用的分段算法(附图2第[17-19]行)。但是,如果两个级别之间的转换经历了多个时间间隔,那么算法可能将本应属于一段的数据点分成若干段,成为对设备的转换无效的数据序列。
滑动窗口算法是另一种用于在线分割时间序列的经典算法。滑动窗口的一个明显缺点是每次新数据点到达时,需将根据本段所有的数据点重新计算近似直线和相应的误差,因此算法的时间复杂度和空间复杂度相对较大。此外,由于转换出的近似直线总是斜率很大并且导致较大的近似误差,算法还可能将本应属于一段的数据点分成若干段,成为对设备的转换无效的数据序列。
上述两种算法都没有利用电器运行数据时间序列本身的特征和物理意义,所以对于分段的效果便不具备很好的物理意义。
可以看出,电器时间序列在线分割算法的主要挑战可归纳为以下三点:1)如何正确对于需要多个时间间隔的时间序列的转换进行分段;2)如何降低分段算法的时空复杂度,提高运算效率;3)如何很好的利用电器时间序列自身的特征和物理意义。基于这三点考虑,本专利提出新算法——一种适用于生活电器功率曲线的在线自适应分段算法。
发明内容
解决的技术问题
针对现有背景中的问题,本发明提供了一种适用于生活电器功率曲线的在线自适应分段算法。
技术方案
为实现以上目的,本发明通过以下技术方案予以实现:
本发明提供了一种适用于生活电器功率曲线的在线自适应分段算法,包括以下步骤:
S1:定义幅度误差阈值ΔAmp以及角度误差阈值ΔAngle,通过数据采集模块采集数据点序列,通过数据处理模块将起始两个数据点作为起始候选段,并将候选段表示为基于该段的所有数据点通过线性拟合方法生成的拟合直线;
S2:根据拟合直线预测下一个数据点的值,并计算下一个数据点的实际值与预测值之间的预测误差;
S3:比对预测误差与幅度误差阈值ΔAmp,当预测误差小于幅度误差阈值ΔAmp时,下一个数据点列入当前候选段的拟合直线;当预测误差大于等于幅度误差阈值ΔAmp时,除了生成第一段时将该点作为实际分段点,生成第二段及之后段时,该点成为可能分段点,应进一步计算拟合直线的角度误差;
S4:计算当前候选段与上段候选段拟合直线之间的角度误差;当角度误差小于角度误差阈值ΔAngle时,上一段与当前候选段合并,并以当前候选段的分段点替代上段候选段的分段点;当角度误差大于等于角度误差阈值ΔAngle时,当前候选段作为实际段,当前数据点与下一个数据点形成新的候选段,重复S2-S4。
相比于基于阈值的算法和滑动窗口算法,本专利提出的自适应分段算法可以得到更优秀的分段性能和更小的时间成本,同时分段结果具备更明确的物理含义,反映了数据时间序列本身的特征,便于数据压缩的实现。
进一步地,S3包括,当添加新的数据点sj+1并重新计算拟合直线时,给定当前候选段的拟合直线的斜率slope[i,j]、点数|S[i,j]|、时间均值时间方差/>和功率均值/>
则S[i,j+1]的线性拟合直线方程p=slope[i,j+1]×t+offset[i,j+1]可以用以下公式计算得到:
在传统的最小二乘法中,对于一段一直线性拟合直线,当需要添加新的数据点或者将两段拟合直线合并时,需要重新对所有数据点进行计算新的拟合直线,这是耗费时间的。
对于本发明来说,在每次新的数据点到达时,线性拟合函数可以仅基于拟合直线的斜率slope[i,j]、点数|S[i,j]|、时间均值时间方差/>和功率均值/>进行计算,而不是针对所有数据点来进行重新计算,大大减小了计算的复杂程度,有利于提高运算效率。
其中和S[i,j]的/>也可以递增地计算,与传统的最小二乘线性拟合方法相比,增量处理技术可以大大降低线性拟合算法的时空复杂度。
进一步地,S4包括,
给定上个候选段的斜率slope[i,j]、点数|S[i,j]|、时间均值时间方差/>和功率均值/>
当前候选段的斜率slope[j+1,h]、点数|S[j+1,h]|、时间均值时间方差/>和功率均值/>
则时间序列S[i,h]的线性拟合直线方程可以表示为
p=slope[i,h]×t+offset[i,h],其中
因此,可以通过合并两个相邻的候选段生成新的拟合直线,有利于提高数据点处理的效率。
有益效果
本专利通过在线自适应分段算法结合增量数据处理技术,旨在在更小的时间之内获得更优秀的分段性能,同时分段结果具备更明确的物理含义,反映了数据时间序列本身的特征。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的算法原理步骤图
图2为本发明的算法代码图;
图3为图2中的符号含义图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面结合实施例对本发明作进一步的描述。
实施例1,结合图1-3,一种适用于生活电器功率曲线的在线自适应分段算法包括以下步骤:
S1:定义幅度误差阈值ΔAmp以及角度误差阈值ΔAngle,通过数据采集模块采集数据点序列,通过数据处理模块将起始两个数据点作为起始候选段(图2第3-5行),并将候选段表示为基于该段的所有数据点通过线性拟合方法生成的拟合直线(第5-7行)。
在此数据点序列指时间数据序列,是在按时间顺序在不同时间点收集到的数据,可以用于描述某一事物、现象等随时间的变化状态或程度。
S2:根据拟合直线预测下一个数据点的值,并计算下一个数据点的实际值与预测值之间的预测误差;预测误差指实际值与预测值之间的绝对偏差(第9行)。
S3:比对预测误差与幅度误差阈值ΔAmp,当预测误差小于幅度误差阈值ΔAmp时,下一个数据点列入当前候选段的拟合直线;当预测误差大于等于幅度误差阈值ΔAmp时,除了生成第一段时将该点作为实际分段点,生成第二段及之后段时,该点成为可能分段点,应进一步计算拟合直线的角度误差;
S4:计算当前候选段与上段候选段拟合直线之间的角度误差;当角度误差小于角度误差阈值ΔAngle时,上一段与当前候选段合并,并以当前候选段的分段点替代上段候选段的分段点(图2第15-18行);当角度误差大于等于角度误差阈值ΔAngle时,当前候选段作为实际段,当前数据点与下一个数据点形成新的候选段,并重复S2-S4。
相比于基于阈值的算法和滑动窗口算法,本专利提出的自适应分段算法可以对每个数据点进行处理,得到更优秀的分段性能和更小的时间成本,同时分段结果具备更明确的物理含义,反映了数据时间序列本身的特征,便于数据压缩的实现。
进一步地,S3包括,当添加新的数据点sj+1=(tj+1,pj+1)并重新计算拟合直线时,给定当前候选段的拟合直线的斜率slope[i,j]、点数|S[i,j]|、时间均值时间方差/>和功率均值/>
则S[i,j+1]的线性拟合直线方程p=slope[i,j+1]×t+offset[i,j+1]可以用以下公式计算得到(图2第7-16行):
在传统的最小二乘法中,对于一段直线性拟合直线,当需要添加新的数据点或者将两段拟合直线合并时,需要重新对所有数据点进行计算新的拟合直线,可想而知,耗费时间且作业效率不高。
对于本发明来说,在每次新的数据点到达时,线性拟合函数可以仅基于拟合直线的斜率slope[i,j]、点数|S[i,j]|、时间均值时间方差/>和功率均值/>进行计算,而不是针对所有数据点来进行重新计算,大大减小了计算的复杂程度,有利于提高运算效率。
其中和S[i,j]的/>也可以递增地计算,与传统的最小二乘线性拟合方法相比,增量处理技术可以大大降低线性拟合算法的时空复杂度。
进一步地,S4包括,
给定上个候选段的斜率slope[i,j]、点数|S[i,j]|、时间均值时间方差/>和功率均值/>
当前候选段的斜率slope[j+1,h]、点数|S[j+1,h]|、时间均值时间方差/>和功率均值/>
则时间序列S[i,h]的线性拟合直线方程可以表示为
p=slope[i,h]×t+offset[i,h],其中
因此,可以通过合并两个相邻的候选段生成新的拟合直线,有利于提高数据点处理的效率。
进一步地,增量处理技术可以通过证明得到实现。
(1)引理1:给定两个数据序列xn={x1,x2,...xn}和xm={xn+1,xn+2,...xn+m}以及它们的均值和方差/>数据序列xn+m={x1,x2,...xn,xn+1,...xn+m}的均值/>和方差/>可以通过如下的演算推出:
特殊的,当m=1,那么数据序列xm={xn+1}只是一个数据点:
的推导过程如下:
(2)引理2:给定时间序列S[i,j]的slope[i,j],|S[i,j]|,和/>和slope[j+1,h],|S[j+1,h]|,/>和时间序列S[j+1,h]的/>时间序列S[i,h]的线性拟合方程可以被写成p=slope[i,h]·t+offset[i,h],其中
证明过程如下:
根据最小二乘法,时间序列S[i,j]的线性拟合方程可以被写成p=slope[i,j]·t+offset[i,j],其中
因此,
在本说明书的描述中,参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节,也不限制该发明的具体实施方式。显然,根据本说明书的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本发明的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。
Claims (2)
1.一种适用于生活电器功率曲线的在线自适应分段方法,其特征在于,包括以下步骤:
S1:定义幅度误差阈值ΔAmp以及角度误差阈值ΔAngle,通过数据采集模块采集数据点序列,通过数据处理模块将起始两个数据点作为起始候选段,并将候选段表示为基于该段的所有数据点通过线性拟合方法生成的拟合直线;
S2:根据拟合直线预测下一个数据点的值,并计算下一个数据点的实际值与预测值之间的预测误差;
S3:比对预测误差与幅度误差阈值ΔAmp,当预测误差小于幅度误差阈值ΔAmp时,下一个数据点列入当前候选段的拟合直线;当预测误差大于等于幅度误差阈值ΔAmp时,除了生成第一段时将该点作为实际分段点,生成第二段及之后段时,该点成为可能分段点,应进一步计算拟合直线的角度误差;包括:
当添加新的数据点sj+1=(tj+1,pj+1)并重新计算拟合直线时,给定当前候选段的拟合直线的斜率slope[i,j]、点数|S[i,j]|、时间均值时间方差/>和功率均值/>
则S[i,j+1]的线性拟合直线方程p=slope[i,j+1]×t+offset[i,j+1]用下式计算得到:
S4:计算当前候选段与上段候选段拟合直线之间的角度误差;当角度误差小于角度误差阈值ΔAngle时,上一段与当前候选段合并,并以当前候选段的分段点替代上段候选段的分段点;当角度误差大于等于角度误差阈值ΔAngle时,当前候选段作为实际段,当前数据点与下一个数据点形成新的候选段,重复步骤S2-步骤S4。
2.根据权利要求1所述的一种适用于生活电器功率曲线的在线自适应分段方法,其特征在于,步骤S4包括:
给定上个候选段的斜率slope[i,j]、点数|S[i,j]|、时间均值时间方差/>和功率均值/>
当前候选段的斜率slope[j+1,h]、点数|S[j+1,h]|、时间均值时间方差/>和功率均值/>
则时间序列的线性拟合直线方程表示为
p=slope[i,h]×t+offset[i,h];其中:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910045572.4A CN109857978B (zh) | 2019-01-17 | 2019-01-17 | 一种适用于生活电器功率曲线的在线自适应分段算法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910045572.4A CN109857978B (zh) | 2019-01-17 | 2019-01-17 | 一种适用于生活电器功率曲线的在线自适应分段算法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109857978A CN109857978A (zh) | 2019-06-07 |
CN109857978B true CN109857978B (zh) | 2024-03-26 |
Family
ID=66895249
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910045572.4A Active CN109857978B (zh) | 2019-01-17 | 2019-01-17 | 一种适用于生活电器功率曲线的在线自适应分段算法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109857978B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109657788A (zh) * | 2018-12-18 | 2019-04-19 | 北京中科寒武纪科技有限公司 | 数据处理方法、装置及相关产品 |
CN111351628B (zh) * | 2020-03-27 | 2021-09-07 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种高超声速风洞连续变攻角试验数据处理方法 |
CN117215250B (zh) * | 2023-11-07 | 2024-01-30 | 山东德源电力科技股份有限公司 | 一种用于磁控开关的远程控制方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106126834A (zh) * | 2016-06-28 | 2016-11-16 | 西安交通大学 | 一种基于惯导角度量测的轨道平面最佳线形确定算法 |
CN106960059A (zh) * | 2017-04-06 | 2017-07-18 | 山东大学 | 一种基于分段线性表示的时间序列流数据降维与简化表示方法 |
CN107764458A (zh) * | 2017-09-25 | 2018-03-06 | 中国航空工业集团公司西安飞机设计研究所 | 一种飞机操纵特性曲线生成方法 |
CN108615017A (zh) * | 2018-04-28 | 2018-10-02 | 山东科技大学 | 滑动窗分段直线表示法的总拟合误差阈值估计方法与*** |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090144030A1 (en) * | 2007-12-04 | 2009-06-04 | Tele Atlas North America, Inc. | Computer readable storage medium storing instructions for applying clothoid curve values to roadways in a geographic data information system |
US8631040B2 (en) * | 2010-02-23 | 2014-01-14 | Sas Institute Inc. | Computer-implemented systems and methods for flexible definition of time intervals |
KR20120068528A (ko) * | 2010-12-17 | 2012-06-27 | 한국전자통신연구원 | 진폭 확률 분포 모형의 분산 추정 방법 및 장치 |
-
2019
- 2019-01-17 CN CN201910045572.4A patent/CN109857978B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106126834A (zh) * | 2016-06-28 | 2016-11-16 | 西安交通大学 | 一种基于惯导角度量测的轨道平面最佳线形确定算法 |
CN106960059A (zh) * | 2017-04-06 | 2017-07-18 | 山东大学 | 一种基于分段线性表示的时间序列流数据降维与简化表示方法 |
CN107764458A (zh) * | 2017-09-25 | 2018-03-06 | 中国航空工业集团公司西安飞机设计研究所 | 一种飞机操纵特性曲线生成方法 |
CN108615017A (zh) * | 2018-04-28 | 2018-10-02 | 山东科技大学 | 滑动窗分段直线表示法的总拟合误差阈值估计方法与*** |
Non-Patent Citations (2)
Title |
---|
Adaptive pulse segmentation and artifact detection in photoplethysmography for mobile applications;Walter Karlen等;IEEE;1-10 * |
基于斜率提取边缘点的时间序列分段线性表示方法;詹艳艳;徐荣聪;陈晓云;;计算机科学(11);143-146+165 * |
Also Published As
Publication number | Publication date |
---|---|
CN109857978A (zh) | 2019-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109857978B (zh) | 一种适用于生活电器功率曲线的在线自适应分段算法 | |
Bai | On Hermitian and skew-Hermitian splitting iteration methods for continuous Sylvester equations | |
Taieb et al. | Long-term prediction of time series by combining direct and mimo strategies | |
Wang et al. | Chaotic time series method combined with particle swarm optimization and trend adjustment for electricity demand forecasting | |
CN109727446B (zh) | 一种用电数据异常值的识别与处理方法 | |
CN109766950B (zh) | 一种基于形态聚类和LightGBM的工业用户短期负荷预测方法 | |
CN110287178A (zh) | 一种基于数据差值的桥梁渐进式漂移数据清洗方法 | |
Shao et al. | A modified Hausdorff distance based algorithm for 2-dimensional spatial trajectory matching | |
WO2012042521A2 (en) | Detecting change points in data streams | |
CN112988815A (zh) | 一种大规模高维高速流数据在线异常检测的方法及*** | |
CN112734049A (zh) | 一种基于域自适应的多初始值元学习框架及方法 | |
Wu et al. | Sequential possibilistic one-means clustering with dynamic eta | |
Hang et al. | Dynamic gesture recognition method based on improved dtw algorithm | |
CN116467556A (zh) | 考虑背景谐波电压波动和阻抗变化的谐波阻抗计算方法 | |
Eskandarnia et al. | Deep learning techniques for smart meter data analytics: A review | |
CN113408808A (zh) | 训练方法、数据生成方法、装置、电子设备以及存储介质 | |
CN117421638A (zh) | 负荷监控网络模型的构建方法、负荷监控方法及*** | |
CN109166047A (zh) | 基于密度聚类的增量动态社区发现方法 | |
Chen et al. | Corruption robust active learning | |
CN116628524A (zh) | 一种基于自适应图注意力编码器的社区发现方法 | |
CN112149052A (zh) | 一种基于plr-dtw的日负荷曲线聚类方法 | |
Shang et al. | The grey Theta forecasting model and its application to forecast primary energy consumption in major industrial countries | |
Fan et al. | Filtering‐based multi‐innovation recursive identification methods for input nonlinear systems with piecewise‐linear nonlinearity based on the optimization criterion | |
CN116245255B (zh) | 一种在线时空交通流预测方法 | |
Shi et al. | K-nearest neighbor LS-SVM method for multi-step prediction of chaotic time series |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |