CN112819088A - 基于电力数据的异常检测算法 - Google Patents

基于电力数据的异常检测算法 Download PDF

Info

Publication number
CN112819088A
CN112819088A CN202110190741.0A CN202110190741A CN112819088A CN 112819088 A CN112819088 A CN 112819088A CN 202110190741 A CN202110190741 A CN 202110190741A CN 112819088 A CN112819088 A CN 112819088A
Authority
CN
China
Prior art keywords
power
data
value
anomaly detection
detection algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110190741.0A
Other languages
English (en)
Inventor
虞海
张添良
陈旻昕
吴晨健
陈景润
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Anjianeng New Energy Development Co ltd
Original Assignee
Suzhou Anjianeng New Energy Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Anjianeng New Energy Development Co ltd filed Critical Suzhou Anjianeng New Energy Development Co ltd
Priority to CN202110190741.0A priority Critical patent/CN112819088A/zh
Publication of CN112819088A publication Critical patent/CN112819088A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Public Health (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Water Supply & Treatment (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Remote Monitoring And Control Of Power-Distribution Networks (AREA)

Abstract

本发明公开了一种基于电力数据的异常检测算法，分析功率的差值，采用当前时刻减去前面第四个时刻的值，并且连续4个值都低于阈值则判断为异常；画出其当前时刻功率差值的直方图，采用核密度估计算法，设其概率密度函数为f，公式如下：
Figure DDA0002945014940000011
本发明通过对所采集的功率数据进行差值计算，画出其当前时刻的历史数据的直方图，由于异常数据较少，可将其近似为高斯模型，根据历史数据的分布，来计算当前时刻该功率值出现的概率，低于某个阈值则为异常。

Description

基于电力数据的异常检测算法
技术领域
本发明属于电力数据异常检测技术领域，特别是涉及一种基于电力数据的异常检测算法。
背景技术
在电力数据异常检测中大多使用k-means算法和孤立森林算法，其中k-means算法对初始中心敏感，容易陷入局部最优并且需要事先确定聚类的数量等问题，而使用孤立森林算法时由于电力数据波动较大，会将正常数据检测为异常。
发明内容
本发明的目的在于提供一种基于电力数据的异常检测算法，通过对所采集的功率数据进行差值计算，画出其当前时刻的历史数据的直方图，由于异常数据较少，可将其近似为高斯模型，根据历史数据的分布，来计算当前时刻该功率值出现的概率，低于某个阈值则为异常。
为达上述目的，本发明是通过以下技术方案实现的：
基于电力数据的异常检测算法，分析功率的差值，采用当前时刻减去前面第四个时刻的值，并且连续4个值都低于阈值则判断为异常；画出其当前时刻功率差值的直方图，采用核密度估计算法，设其概率密度函数为f，公式如下：
Figure BDA0002945014920000011
进一步的，用平均积分平方误差来衡量带宽h的优劣，公式如下：
Figure BDA0002945014920000012
在弱假设下，
Figure BDA0002945014920000021
其中AMISE为渐进的MISE，而AMISE有，
Figure BDA0002945014920000022
其中，
R(g)＝∫g(x)2dx
m2(K)＝∫x2K(x)dx
为了使MISE(h)最小，则转化为求极点问题，
Figure BDA0002945014920000023
Figure BDA0002945014920000024
进一步的，K的公式为：
Figure BDA0002945014920000025
进一步的，取值范围为0～100。
进一步的，交叉验证方法采用留一法。
本发明的实施例具有以下有益效果：通过对所采集的功率数据进行差值计算，画出其当前时刻的历史数据的直方图，由于异常数据较少，可将其近似为高斯模型，根据历史数据的分布，来计算当前时刻该功率值出现的概率，低于某个阈值则为异常。
附图说明
构成本申请的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为功率差值直方分布图。
图2为实施例1中去除周日数据的异常数据。
图3为实施例1中去除周日数据的检测结果。
图4为实施例1中周日异常数据。
图5为实施例1中周日异常数据的检测结果。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
为了保持本发明实施例的以下说明清楚且简明，本发明省略了已知功能和已知部件的详细说明。
在电力数据异常检测中，所采集的数据为电流、电压、功率、频率等数据，但电压基本稳定在330V，频率为50HZ，并不会因为异常情况而发生改变，又由于功率为电压与电流的乘积，很好的显示异常发生时的情况，故本发明解决问题的思路在于对功率数据进行分析。
电力数据异常情况大多体现在功率的突增和突降，所以采用功率的差值进行分析。但由于功率数据比不稳定，正常情况也会有突变，故采用当前时刻减去前面第四个时刻的值，并且连续4个值都低于阈值则判断为异常。
画出其当前时刻功率差值的直方图，根据图1可知其近似于高斯分布，故可采用核函数为高斯函数的核密度估计算法。
核密度估计(Kernel density estimation)，是一种用于估计概率密度函数的非参数方法，为独立同分布F的n个样本点，设其概率密度函数为f，核密度估计为以下：
Figure BDA0002945014920000041
K(.)为核函数(非负、积分为1，符合概率密度性质，并且均值为0)，为高斯函数
Figure BDA0002945014920000042
h>0为一个平滑参数，称作带宽(bandwidth)，也看到有人叫窗口。
Figure BDA0002945014920000043
为缩放核函数(scaled Kernel)。
带宽反映了KDE曲线整体的平坦程度，也即观察到的数据点在KDE曲线形成过程中所占的比重。带宽越大，观察到的数据点在最终形成的曲线形状中所占比重越小，KDE整体曲线就越平坦；带宽越小，观察到的数据点在最终形成的曲线形状中所占比重越大，KDE整体曲线就越陡峭。
用平均积分平方误差(mean intergrated squared error)来衡量带宽h的优劣。
Figure BDA0002945014920000044
在弱假设下，
Figure BDA0002945014920000045
其中AMISE为渐进的MISE。而AMISE有，
Figure BDA0002945014920000046
其中，
R(g)＝∫g(x)2dx (5)
m2(K)＝∫x2K(x)dx (6)
为了使MISE(h)最小，则转化为求极点问题，
Figure BDA0002945014920000051
Figure BDA0002945014920000052
K即为公式(2)，f(x)为功率差值直方分布近似的高斯分布概率密度函数。
本次用GridSearchCV函数来确定h，分类器用高斯函数，取值范围为0～100，模型评价标准为平均积分平方误差，采用交叉验证中的留一法。
留一法就是每次只留下一个样本做测试集，其他样本做训练集，如果有k个样本，则需要训练k次，测试k次。留一法计算繁琐但样本利用率高。
实施例1
请参阅图2至图5，由于该公司周日用电数据与周一至周六用电数据相差较大，故将数据分为去除周日数据和周日数据，分别用KDE算法进行检测，通过GridSearchCV函数分别计算最佳带宽，算得去除周日数据带宽为21.36，周日数据带宽为33.05，确定好带宽用KDE算法进行训练根据实际情况调整阈值，去除周日数据阈值为0.0007，周日数据阈值为0.001。
图2为10月17日及其前7天的数据，其中Z1为异常数据，可以发现在15时25分出现异常，15点55分恢复。
检测结果如图3所示，其中一条为10月17日一天的功率数据，另一条为KDE计算出的概率曲线，Z2为检测为异常(突降和突增)进行报警。
图4为8月30日及其前7天的数据，其中Z3为异常数据，可以发现在7时40分出现异常。
检测结果如图5所示，其中一条为8月30日一天的功率数据，另一条为KDE计算出的概率曲线，Z4为检测为异常(突降或突增)进行报警。
本发明通过对所采集的功率数据进行差值计算，画出其当前时刻的历史数据的直方图，由于异常数据较少，可将其近似为高斯模型，根据历史数据的分布，来计算当前时刻该功率值出现的概率，低于某个阈值则为异常。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施方式能够以除了在这里图示或描述的那些以外的顺序实施。
在本发明的描述中，需要理解的是，方位词如“前、后、上、下、左、右”、“横向、竖向、垂直、水平”和“顶、底”等所指示的方位或位置关系通常是基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，在未作相反说明的情况下，这些方位词并不指示和暗示所指的装置或元件必须具有特定的方位或者以特定的方位构造和操作，因此不能理解为对本发明保护范围的限制；方位词“内、外”是指相对于各部件本身的轮廓的内外。

Claims (5)

1.基于电力数据的异常检测算法，其特征在于：分析功率的差值，采用当前时刻减去前面第四个时刻的值，并且连续4个值都低于阈值则判断为异常；画出其当前时刻功率差值的直方图，采用核密度估计算法，设其概率密度函数为f，公式如下：
Figure FDA0002945014910000011
2.如权利要求1所述的基于电力数据的异常检测算法，其特征在于：用平均积分平方误差来衡量带宽h的优劣，公式如下：
Figure FDA0002945014910000012
在弱假设下，
Figure FDA0002945014910000013
其中AMISE为渐进的MISE，而AMISE有，
Figure FDA0002945014910000014
其中，
R(g)＝∫g(x)2dx
m2(K)＝∫x2K(x)dx
为了使MISE(h)最小，则转化为求极点问题，
Figure FDA0002945014910000015
Figure FDA0002945014910000016
3.如权利要求2所述的基于电力数据的异常检测算法，其特征在于：K的公式为：
Figure FDA0002945014910000017
4.如权利要求2所述的基于电力数据的异常检测算法，其特征在于：取值范围为0～100。
5.如权利要求2所述的基于电力数据的异常检测算法，其特征在于：交叉验证方法采用留一法。
CN202110190741.0A 2021-02-20 2021-02-20 基于电力数据的异常检测算法 Pending CN112819088A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110190741.0A CN112819088A (zh) 2021-02-20 2021-02-20 基于电力数据的异常检测算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110190741.0A CN112819088A (zh) 2021-02-20 2021-02-20 基于电力数据的异常检测算法

Publications (1)

Publication Number Publication Date
CN112819088A true CN112819088A (zh) 2021-05-18

Family

ID=75864198

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110190741.0A Pending CN112819088A (zh) 2021-02-20 2021-02-20 基于电力数据的异常检测算法

Country Status (1)

Country Link
CN (1) CN112819088A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116819318A (zh) * 2023-07-04 2023-09-29 赫义博自动化科技(江苏)有限公司 一种电机故障检测方法、***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107092582A (zh) * 2017-03-31 2017-08-25 江苏方天电力技术有限公司 一种基于残差后验的异常值在线检测及置信度评估方法
US20190261204A1 (en) * 2016-10-28 2019-08-22 Nanjing Howso Technology Co., Ltd Method and system for abnormal value detection in lte network
CN110458230A (zh) * 2019-08-12 2019-11-15 江苏方天电力技术有限公司 一种基于多判据融合的配变用采数据异常甄别方法
CN111310789A (zh) * 2020-01-15 2020-06-19 云南电网有限责任公司大理供电局 基于核密度估计的风电功率区间预测方法及其实现***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190261204A1 (en) * 2016-10-28 2019-08-22 Nanjing Howso Technology Co., Ltd Method and system for abnormal value detection in lte network
CN107092582A (zh) * 2017-03-31 2017-08-25 江苏方天电力技术有限公司 一种基于残差后验的异常值在线检测及置信度评估方法
CN110458230A (zh) * 2019-08-12 2019-11-15 江苏方天电力技术有限公司 一种基于多判据融合的配变用采数据异常甄别方法
CN111310789A (zh) * 2020-01-15 2020-06-19 云南电网有限责任公司大理供电局 基于核密度估计的风电功率区间预测方法及其实现***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
梁海峰;曹大卫;刘博;刘子兴;郑灿;李鹏;: "风电场概率分布模型建模及误差分析", 华北电力大学学报(自然科学版), no. 03 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116819318A (zh) * 2023-07-04 2023-09-29 赫义博自动化科技(江苏)有限公司 一种电机故障检测方法、***
CN116819318B (zh) * 2023-07-04 2024-01-12 赫义博自动化科技(江苏)有限公司 一种电机故障检测方法、***

Similar Documents

Publication Publication Date Title
CN114782432B (zh) 一种基于纹理特征的改进canny算子的边缘检测方法
CN112819088A (zh) 基于电力数据的异常检测算法
GB2491564A (en) Method of system monitoring
CN117191305B (zh) 一种公路桥梁的状态评估方法及***
CN117195018B (zh) 基于多传感器的矿用水泵智能监测***
CN115841624B (zh) 基于红外图像的高炉煤气流分布识别方法
CN116881673B (zh) 基于大数据分析的盾构机运维方法
CN113064796B (zh) 一种无监督指标异常检测方法
CN117349596B (zh) 基于多传感器的电池异常状态监测预警***
CN106408563B (zh) 一种基于变异系数的雪花噪声检测方法
CN117571107B (zh) 一种智能化无人值守地磅异常监测***
CN115601368A (zh) 一种建材装备钣金件缺陷检测方法
CN114817228A (zh) 一种湖泊水位长时间序列监测数据的异常值剔除方法
US11331024B2 (en) Calibration method for critical point of mental fatigue based on self-organized criticality
CN115876258A (zh) 基于多源数据的畜禽养殖环境异常监测及报警***
CN118013230B (zh) 一种畜禽水质异常监测数据处理方法及***
CN113670616A (zh) 一种轴承性能退化状态检测方法及***
CN115840104A (zh) 一种基于电磁兼容实验的干扰信号识别方法
CN114229639A (zh) 一种电梯门故障判断方法、云平台和***
CN116842410B (zh) 一种基于动态感知的智能头盔防盗管理方法以及***
CN113341283A (zh) 一种变压器套管局部放电模式识别方法
CN109087490A (zh) 一种基于报警持续时间特征的干扰报警识别方法
CN117310517A (zh) 基于大数据分析的锂电池电压状态评估预警方法
CN117493816A (zh) 一种基于大数据的空气监测预警方法及***
CN117150244A (zh) 基于电参数分析的智能配电柜状态监测方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination