CN112733417A - 一种基于模型优化的异常负荷数据检测与修正方法和*** - Google Patents
一种基于模型优化的异常负荷数据检测与修正方法和*** Download PDFInfo
- Publication number
- CN112733417A CN112733417A CN202011278587.4A CN202011278587A CN112733417A CN 112733417 A CN112733417 A CN 112733417A CN 202011278587 A CN202011278587 A CN 202011278587A CN 112733417 A CN112733417 A CN 112733417A
- Authority
- CN
- China
- Prior art keywords
- data
- abnormal
- model
- load data
- load
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 113
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000001514 detection method Methods 0.000 title claims abstract description 41
- 238000012937 correction Methods 0.000 title claims abstract description 27
- 238000005457 optimization Methods 0.000 title claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000012549 training Methods 0.000 claims description 52
- 238000012360 testing method Methods 0.000 claims description 19
- 238000012795 verification Methods 0.000 claims description 17
- 230000014509 gene expression Effects 0.000 claims description 16
- 230000015654 memory Effects 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 8
- 230000002068 genetic effect Effects 0.000 claims description 7
- 230000007787 long-term memory Effects 0.000 claims description 7
- 238000002790 cross-validation Methods 0.000 claims description 5
- 230000005611 electricity Effects 0.000 claims description 3
- 239000003607 modifier Substances 0.000 claims description 3
- 230000008901 benefit Effects 0.000 abstract description 6
- 238000007726 management method Methods 0.000 abstract description 3
- 238000010276 construction Methods 0.000 abstract description 2
- 230000002349 favourable effect Effects 0.000 abstract 2
- 238000004422 calculation algorithm Methods 0.000 description 13
- 238000011161 development Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000007418 data mining Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 238000007621 cluster analysis Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010248 power generation Methods 0.000 description 2
- 241000222120 Candida <Saccharomycetales> Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E40/00—Technologies for an efficient electrical power generation, transmission or distribution
- Y02E40/70—Smart grids as climate change mitigation technology in the energy generation sector
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Economics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Public Health (AREA)
- Geometry (AREA)
- Medical Informatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Hardware Design (AREA)
- Water Supply & Treatment (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明是一种基于模型优化的异常负荷数据检测与修正方法和***，该***包括负荷数据预处理器、异常负荷数据检测器、异常负荷数据修正器，负荷数据处理器与异常负荷数据检测器连接，异常负荷数据检测器与异常负荷数据修正器连接，本发明方法采用基因表达式编程对SVDD算法进行参数优化，利用最优参数建立的SVDD模型进行异常负荷数据检测，随后利用深度长短时记忆网络进行负荷预测，并将预测负荷值作为异常数据的替代值。该方法用于电网异常负荷处理，通过本发明中的方法，可以较为准确的检测出用电负荷中的异常负荷数据，这将有利于精确负荷预测、计划用电管理、制定合理的电源建设规划，有利于提高电力***的经济效益和社会效益。
Description
技术领域
本发明属于电力***数据挖掘技术领域，具体的说是涉及一种基于改进SVDD和深度长短时记忆网络的异常负荷数据检测与修正方法，主要用于电力领域的异常负荷数据检测与修正。
背景技术
为了满足不断增长的能量需求，建立安全、可靠、环保、高效以及友好型的电力网络已经成为日前的研究热点。智能电网的概念为建设新的电网提供了一个很好的解决方案，同时智能电网的发展推动了电网自动化信息平台的建立，电力***设备传输和采集的各种类型的数据量也呈指数增长，负荷数据的规模、类型及结构都发生了较大的变化。在电网实际运行过程中，由于***故障、测量装置异常、数据传输出现错误、天气突变、线路检修以及突发事件等随机因素均会使采集获得的负荷数据不可避免的掺杂一些不易发觉的异常数据。电力负荷数据的质量对负荷预测精度和电网运行稳定性有着决定性的影响，这些异常数据的存在对负荷预测模型的建立和预测精度造成了严重的影响，致使预测的负荷变化规律对电能生产与调度分配失去了指导意义，甚至会影响电网安全稳定的运行。
采用有效和准确的方法对电力负荷数据中的异常数据进行检测并给予修正，确保电力负荷数据的准确性与完整性，不仅是确保电力负荷预测准确率的重要保障，能够对未来一段时间的电能发展趋势以及电力使用情况进行准确估计，预测未来的电力负荷波动情况，将会为电力***管理部门科学有效的管理电力使用情况，减少资源浪费、降低发电成本，优化电网中电力资源的合理分配以及建立经济合理的发电计划提供极大帮助。
传统的异常负荷检测方法主要有专家经验法、状态估计法、曲线相似性检测。随着数据挖掘技术的发展，神经网络、密度分析、聚类分析等一系列智能算法被应用于电力异常负荷检测中，但是这些方法尚有初始参数选取不易、异常检测的准确率不高等不足。
在此背景下，将历史电力负荷数据作为训练样本数据，采用基因表达式编程(GEP)对SVDD算法进行参数优化，利用建立的SVDD模型进行异常负荷数据检测，随后利用深度长短时记忆网络(LSTM)进行负荷预测，并将预测负荷值作为异常数据的替代值。所提出的方法深入研究了电力***异常负荷数据的检测与修正方法，大幅度提高了异常负荷检测的效率和准确率，如此既为电力用户提供了稳定、合适、可靠的电力能源，又强化了电力企业的经济发展效益。
基于模型优化的异常负荷数据检测与修正方法和***主要需考虑两个方面的问题：(1)如何利用改进的SVDD算法检测出异常负荷数据。(2)如何利用深度长短时记忆网络进行负荷预测，并用该预测值替代异常负荷数据。
发明内容
本发明的目的就是提供一种基于模型优化的异常负荷数据检测与修正方法来针对性解决电网异常负荷数据问题，本方法是一种策略性方法，通过使用本方法可以迅速准确的检测出异常负荷数据并采用合适值替代异常值，保证了电力***运行和管理的高效和稳定。
为了达到上述目的，本发明是通过以下技术方案实现的：
本发明是一种基于模型优化的异常负荷数据检测与修正方法与***，该检测与修正方法包括如下步骤：
步骤一：导入用电用户的所有负荷数据，并对数据进行预处理，其中：对于缺失较少的数据可以采用均值填充的方法，对于缺失量较大的数据则直接删除，进入步骤二；
步骤二：对历史负荷数据进行最大最小归一化处理，分别划分异常负荷数据检测模型和异常数据修正模型的训练集、测试集和验证集，进入步骤三；
步骤三：初始化种群，进入步骤四；
步骤四：计算C和σ，用其训练SVDD模型，并进行k折交叉验证，进入步骤五；
步骤五：计算个体适应度，进入步骤六；
步骤六：保留最优个体，进入步骤七；
步骤七：判断是否达到终止条件，达到则进入步骤九，否则进入步骤八；
步骤八：复制、选择、变异等遗传操作，生成下一代种群，回到步骤四继续循环；
步骤九：输出SVDD的最优参数组合，进入步骤十；
步骤十：用最优参数组合C,σ组合建立SVDD异常数据检测模型，进入步骤十一；
步骤十一：计算待测样本到超球体的球心距r，进入步骤十二；
步骤十二：如果球心距r大于超球体半径R，则该数据为异常负荷数据，进入步骤十三；
步骤十三：将数据预处理后的时间序列数据用滑动窗口处理得到m条长度为l的负荷样本集，其中70％的历史负荷数据为训练集，20％为验证集，10％为测试集，进入步骤十四；
步骤十四：LSTM负荷预测模型迭代训练，在每个训练周期中，从训练数据集中选取训练数据，输入深度长短时记忆网络中进行网络训练，进入步骤十五；
步骤十五：模型参数调整，通过测试集评估负荷预测模型的预测误差，若未达到精度要求，则通过验证集调整模型参数，进入步骤十六；
步骤十六：将异常数据出现之前的相关数据输入训练好的LSTM模型进行预测，最后输出待预测的负荷预测值，进入步骤十七；
步骤十七：在异常数据修正部分，用负荷预测值替代异常负荷值，结束。
本发明是一种基于模型优化的异常负荷数据检测与修正方法和***，所述***包括：
负荷数据预处理器：通过把所有负荷数据作为整体，首先进行缺失数据填充或删除操作，并将负荷数据做归一化处理，再将样本集划分为训练集、验证集和测试集；
具体方法流程为：(1)数据清洗和归一化：数据清洗是对缺失值较少的数据采用前后相邻点均值填充的方法，对于缺失量较大的数据直接删除。为了避免数据集中数值差异大或者是变量量纲不统一等因素的影响。需对数据进行归一化处理。采用最大最小归一化，将原始数据映射到[0,1]区间，转换函数为
X*为归一化后的数据，X为原始数据，Xmin、Xmax为原始数据集的最小值和最大值。
(2)样本集划分：在构建异常负荷数据检测模型和异常数据修正模型之前，将样本数据集按照7：2：1的比例划分训练集、验证集和测试集，训练集用于训练模型的参数，验证集用对模型参数进行调优，测试集用来评估模型。
异常负荷数据检测器：先利用基因表达式编程(GEP)对支持向量数据描述(SVDD)进行惩罚参数C和高斯核函数的核参数σ寻优，确定最优的C和σ，建立SVDD模型，随后计算待测样本到SVDD模型超球体中心距离，与阈值比较，由此判断其是否为异常负荷数据；
传统的异常负荷检测方法主要有专家经验法、状态估计法、曲线相似性检测。随着数据挖掘技术的发展，神经网络、密度分析、聚类分析等一系列智能算法被应用于电力异常负荷检测中，但是这些方法尚有初始参数选取不易、异常检测的准确率不高等不足，在此背景下，将基于基因表达式编程的支持向量数据描述参数优化方法(GEP-SVDD)应用到异常数据检测中，支持向量描述(SVDD)是指一种单分类方法，它的核心思想是：给定样本集X＝{x1,x2,x3,...,xn}，通过非线性映射ψ将样本映射到高维特征空间F，在F中构建一个可以包含所有或尽可能多样本的体积最小的超球体Ω＝(o,R)，o是球心，R是超球体半径。构建超球体是如式(1)的优化问题：
式中C是惩罚因子，ξi是松弛因子。对式(1)使用拉格朗日乘数法求解，引入Lagrange乘子αi≥0,γi≥0，得到表达式(2):
让L分别对R,o,ξi求偏导，并用高斯核函数K(x,y)＝exp(||x-y||2/2σ)代替内积＜ψ(xi),ψ(xj)＞，原优化问题变成了式(3):
任一测试样本x到超球体球心o的距离平方为：
超球体半径R表达式为：
当r2≤R2，为正常数据；当r2≥R2，检测出异常数据。
从以上理论推导可知，在SVDD模型的建立过程中，有两个模型参数起到了重要的作用：惩罚参数C及高斯核函数中的核参数σ，因此为了提高SVDD的性能，需要对它们进行参数寻优。
基于SVDD模型检测异常负荷数据的具体步骤如下：
1)用最优参数组合C,σ组合建立SVDD异常数据检测模型。
2)计算待测样本到超球体的球心距r。
3)如果球心距r大于超球体半径R，则该数据为异常负荷数据。
(1)基于基因表达式编程(GEP)的SVDD算法参数优化
基因表达式编程(gene expression programming,GEP)是Candida Ferreira在遗传算法(GA)和遗传编程(GP)的基础上提出的一种新的进化算法，它融合了遗传算法GA简单线性的个体固定长度编码及遗传编程GP可变与弹性的树形结构，将个体表达式设计为线性、定长的树形结构，以此来提高GEP的运行效率，GEP拥有强大的启发性随机搜索功能和求解最优化问题时的优秀表现。目前没有发现有文献把GEP应用到支持向量数据描述的参数选择中，本专利应用基因表达式编程对SVDD算法的参数C,σ进行优化，形成基于基因表达式编程的支持向量数据描述参数优化方法(GEP-SVDD)。该方法选择用参数组合C,σ建立SVDD模型，利用训练样本集训练SVDD模型后，再通过对测试样本检测得到准确率，并依据这个准确率来描述此参数组合的适应度函数。本专利的适应度函数计算方法采用k折交叉验证法，即对每个参数组合进行多次的SVDD训练和预测，并将所得到的F1来判定个体的适应度值。其中
是衡量二分类模型精确度的一种指标，precision是查准率
recall是召回率
TP是正类被预测结果也是正类，FN是正类被预测成负类，FP是负类被预测成正类，TN是负类被预测结果也是负类。适应度满足终止要求时则输出SVDD模型的最优参数组合。
基于基因表达式编程的支持向量数据描述(SVDD)参数优化方法具体步骤如下：
1)初始化种群。
2)计算C和σ，用其训练SVDD模型，并进行k折交叉验证。
3)计算个体适应度。
4)保留最优个体。
5)判断是否达到终止条件，达到则进入步骤7，否则进入下一步，。
6)复制、选择、变异等遗传操作，生成下一代种群，回到步骤2继续循环。
7)输出SVDD的最优参数组合。
异常负荷数据修正器：基于深度长短时记忆网络(LSTM)模型进行负荷预测，首先将历史负荷数据作为训练集对该模型进行训练，训练完成后将异常数据出现之前的相关数据输入模型，得到预测值，用该预测值替代异常负荷数据。
检测出异常负荷数据后，为了保证负荷数据的准确性与完整性，需要对异常负荷数据进行修正，使用深度长短时记忆网络(LSTM)作为基础模型。深度长短时记忆网络的特征提取能力和时序相关性学习能力能够对负荷数据进行规律挖掘。长短时记忆网络(LSTM)作为一种深度神经网络，主要由遗忘门、输入门、输出门组成，它的各变量的计算过程为：
ft＝σ(Wa[ht-1,xt]+ba) (6)
it＝σ(Wm[ht-1,xt]+bm) (7)
ct＝tanh(Wc[ht-1,xt]+bc) (8)
st＝st-1⊙ft+it⊙ct (9)
ot＝σ(Wd[ht-1,xt]+bd) (10)
gt＝ot⊙tanh(st) (11)
ft是遗忘门值，it是输入门值，ct是候选时刻记忆状态量，st是当前时刻记忆状态量，ot是输出门值；xt是输入值，gt是输出值；Wa,Wm,Wc,Wd是输入变量在相应们中的权重矩阵，ba,bm,bc,bd是相应门中的偏置项；⊙表示向量各元素相乘，σ表示sigmoid激活函数；下标t代表当前时刻，t-1代表前一时刻。
基于深度长短时记忆网络的异常负荷数据修正模型训练流程具体如下：
1)将数据预处理后的时间序列数据用滑动窗口处理得到m条长度为l的负荷样本集，其中70％的历史负荷数据为训练集，20％为验证集，10％为测试集。
2)LSTM负荷预测模型迭代训练。在每个训练周期中，从训练数据集中选取训练数据，输入深度长短时记忆网络中进行网络训练。
3)模型参数调整。通过测试集评估负荷预测模型的预测误差，若未达到精度要求，则通过验证集调整模型参数。
4)将异常数据出现之前的相关数据输入训练好的LSTM模型进行预测，最后输出待预测的负荷预测值。
5)在异常数据修正部分，用负荷预测值替代异常负荷值，结束。
本发明的有益效果是：本发明的方法是一种策略性的方法，通过对用户负荷数据进行数据预处理、通过基因表达式编程改进SVDD算法建立异常数据检测器，采用深度长短时记忆网络建立负荷预测模型，利用异常数据出现之前的历史负荷数据预测出合理的负荷值，并用该预测值替代异常负荷数据，从而完成异常负荷数据的修正。
本发明主要用于电网异常负荷处理，通过本发明中的方法，可以较为准确的检测出用电负荷中的异常负荷数据，这将有利于精确负荷预测、计划用电管理、制定合理的电源建设规划，有利于提高电力***的经济效益和社会效益。
附图说明
图1是本发明异常负荷数据检测与修正的***结构图。
图2是本发明异常负荷数据检测与修正方法流程示意图。
具体实施方式
以下将以图式揭露本发明的实施方式，为明确说明起见，许多实务上的细节将在以下叙述中一并说明。然而，应了解到，这些实务上的细节不应用以限制本发明。也就是说，在本发明的部分实施方式中，这些实务上的细节是非必要的。此外，为简化图式起见，一些习知惯用的结构与组件在图式中将以简单的示意的方式绘示之。
智能电网的发展推动了电网自动化信息平台的建立，电力***设备传输和采集的各种类型的数据量也呈指数增长，在电网实际运行过程中，由于***故障、测量装置异常、数据传输出现错误等随机因素均会使采集获得的负荷数据不可避免的掺杂一些不易发觉的异常数据。电力负荷数据的质量对负荷预测精度和电网运行稳定性有着决定性的影响，采用有效和准确的方法建立模型，对电力负荷数据中的异常数据进行检测并给予修正，确保电力负荷数据的准确性与完整性，成为一个重要的研究方向。
本发明是一种基于模型优化的异常负荷数据检测与修正方法和***，该检测与修正方法包括如下步骤：
步骤一：导入用电用户的所有负荷数据，并对数据进行预处理，其中：对于缺失较少的数据可以采用均值填充的方法，对于缺失量较大的数据则直接删除，进入步骤二；
步骤二：对历史负荷数据进行最大最小归一化处理，分别划分异常负荷数据检测模型和异常数据修正模型的训练集、测试集和验证集，进入步骤三；
步骤三：初始化种群，进入步骤四；
步骤四：计算C和σ，用其训练SVDD模型，并进行k折交叉验证，进入步骤五；
步骤五：计算个体适应度，进入步骤六；
步骤六：保留最优个体，进入步骤七；
步骤七：判断是否达到终止条件，达到则进入步骤九，否则进入步骤八；
步骤八：复制、选择、变异等遗传操作，生成下一代种群，回到步骤四继续循环；
步骤九：输出SVDD的最优参数组合，进入步骤十；
步骤十：用最优参数组合C,σ组合建立SVDD异常数据检测模型，进入步骤十一；
步骤十一：计算待测样本到超球体的球心距r，进入步骤十二；
步骤十二：如果球心距r大于超球体半径R，则该数据为异常负荷数据，进入步骤十三；
步骤十三：将数据预处理后的时间序列数据用滑动窗口处理得到m条长度为l的负荷样本集，其中70％的历史负荷数据为训练集，20％为验证集，10％为测试集，进入步骤十四；
步骤十四：LSTM负荷预测模型迭代训练，在每个训练周期中，从训练数据集中选取训练数据，输入深度长短时记忆网络中进行网络训练，进入步骤十五；
步骤十五：模型参数调整，通过测试集评估负荷预测模型的预测误差，若未达到精度要求，则通过验证集调整模型参数，进入步骤十六；
步骤十六：将异常数据出现之前的相关数据输入训练好的LSTM模型进行预测，最后输出待预测的负荷预测值，进入步骤十七；
步骤十七：在异常数据修正部分，用负荷预测值替代异常负荷值，结束。
本发明是一种异常负荷数据检测与修正的***，所述***包括：
负荷数据预处理器：通过把所有负荷数据作为整体，首先进行缺失数据填充或删除操作，并将负荷数据做归一化处理，再将样本集划分为训练集、验证集和测试集；
异常负荷数据检测器：先利用基因表达式编程(GEP)对支持向量数据描述(SVDD)进行惩罚参数C和高斯核函数的核参数σ寻优，确定最优的C和σ，建立SVDD模型，随后计算待测样本到SVDD模型超球体中心距离，与阈值比较，由此判断其是否为异常负荷数据；
异常负荷数据修正器：基于深度长短时记忆网络(LSTM)模型进行负荷预测，首先将历史负荷数据作为训练集对该模型进行训练，训练完成后将异常数据出现之前的相关数据输入模型，得到预测值，用该预测值替代异常负荷数据。
负荷数据处理器与异常负荷数据检测器连接，异常负荷数据检测器与异常负荷数据修正器连接。
实施例一：
假如有居民区的一段时间内准确历史负荷数据，并且将要对某一天数据进行异常负荷数据判断。那么首先将历史电力负荷数据作为训练样本数据，采用基因表达式编程(GEP)对SVDD算法进行参数优化，利用建立的SVDD模型对待测日进行异常负荷数据检测，若存在异常负荷数据，随后利用深度长短时记忆网络(LSTM)进行负荷预测，并将预测负荷值作为异常数据的替代值。
其具体的实施方案为：
(1)首先对历史负荷数据进行预处理，缺失值较少的数据采用均值填充的方法，对于缺失量较大的直接删除。对所有负荷数据归一化处理。
(2)分别划分异常负荷数据检测模型和异常数据修正模型的训练集、测试集和验证集。
(3)应用基因表达式编程对SVDD算法的参数C,σ进行参数寻优，获得最优参数C,σ，建立基于改进SVDD的异常数据检测模型。
(4)采用改进SVDD的异常数据检测模型计算待测样本到模型球心距距离r，若r大于模型超球距R，则判定为异常负荷数据。
(5)基于深度长短时记忆网络负荷预测模型迭代训练与模型参数调整。
(6)将异常数据出现之前的相关数据输入训练好的LSTM模型进行预测，最后输出待预测的负荷预测值，替代异常负荷值。
本发明采用基因表达式编程(GEP)对SVDD算法进行参数优化，利用最优参数建立的SVDD模型进行异常负荷数据检测，随后利用深度长短时记忆网络(LSTM)进行负荷预测，并将预测负荷值作为异常数据的替代值，本方法可以准确的检测和修正异常负荷数据。
以上所述仅为本发明的实施方式而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理的内所作的任何修改、等同替换、改进等，均应包括在本发明的权利要求范围之内。
Claims (2)
1.一种基于模型优化的异常负荷数据检测与修正方法和***，其特征在于：该检测与修正方法包括如下步骤：
步骤一：导入用电用户的所有负荷数据，并对数据进行预处理，其中：对于缺失较少的数据可以采用均值填充的方法，对于缺失量较大的数据则直接删除，进入步骤二；
步骤二：对历史负荷数据进行最大最小归一化处理，分别划分异常负荷数据检测模型和异常数据修正模型的训练集、测试集和验证集，进入步骤三；
步骤三：初始化种群，进入步骤四；
步骤四：计算C和σ，用其训练SVDD模型，并进行k折交叉验证，进入步骤五；
步骤五：计算个体适应度，进入步骤六；
步骤六：保留最优个体，进入步骤七；
步骤七：判断是否达到终止条件，达到则进入步骤九，否则进入步骤八；
步骤八：复制、选择、变异等遗传操作，生成下一代种群，回到步骤四继续循环；
步骤九：输出SVDD的最优参数组合，进入步骤十；
步骤十：用最优参数组合C,σ组合建立SVDD异常数据检测模型，进入步骤十一；
步骤十一：计算待测样本到超球体的球心距r，进入步骤十二；
步骤十二：如果球心距r大于超球体半径R，则该数据为异常负荷数据，进入步骤十三；
步骤十三：将数据预处理后的时间序列数据用滑动窗口处理得到m条长度为l的负荷样本集，其中70％的历史负荷数据为训练集，20％为验证集，10％为测试集，进入步骤十四；
步骤十四：LSTM负荷预测模型迭代训练，在每个训练周期中，从训练数据集中选取训练数据，输入深度长短时记忆网络中进行网络训练，进入步骤十五；
步骤十五：模型参数调整，通过测试集评估负荷预测模型的预测误差，若未达到精度要求，则通过验证集调整模型参数，进入步骤十六；
步骤十六：将异常数据出现之前的相关数据输入训练好的LSTM模型进行预测，最后输出待预测的负荷预测值，进入步骤十七；
步骤十七：在异常数据修正部分，用负荷预测值替代异常负荷值，结束。
2.根据权利要求1所述一种异常负荷数据检测与修正的***，其特征在于：所述***包括：
负荷数据预处理器：通过把所有负荷数据作为整体，首先进行缺失数据填充或删除操作，并将负荷数据做归一化处理，再将样本集划分为训练集、验证集和测试集；
异常负荷数据检测器：先利用基因表达式编程(GEP)对支持向量数据描述(SVDD)进行惩罚参数C和高斯核函数的核参数σ寻优，确定最优的C和σ，建立SVDD模型，随后计算待测样本到SVDD模型超球体中心距离，与阈值比较，由此判断其是否为异常负荷数据；
异常负荷数据修正器：基于深度长短时记忆网络(LSTM)模型进行负荷预测，首先将历史负荷数据作为训练集对该模型进行训练，训练完成后将异常数据出现之前的相关数据输入模型，得到预测值，用该预测值替代异常负荷数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011278587.4A CN112733417B (zh) | 2020-11-16 | 2020-11-16 | 一种基于模型优化的异常负荷数据检测与修正方法和*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011278587.4A CN112733417B (zh) | 2020-11-16 | 2020-11-16 | 一种基于模型优化的异常负荷数据检测与修正方法和*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112733417A true CN112733417A (zh) | 2021-04-30 |
| CN112733417B CN112733417B (zh) | 2022-11-01 |
Family
ID=75597493
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011278587.4A Active CN112733417B (zh) | 2020-11-16 | 2020-11-16 | 一种基于模型优化的异常负荷数据检测与修正方法和*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112733417B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113410839A (zh) * | 2021-06-24 | 2021-09-17 | 燕山大学 | 一种电网虚假数据注入的检测方法及*** |
| CN113516317A (zh) * | 2021-07-30 | 2021-10-19 | 广东电网有限责任公司 | 一种基于神经网络的能源规划预测方法及装置 |
| CN113609635A (zh) * | 2021-05-21 | 2021-11-05 | 上海交通大学 | 一种插座负荷类型识别***的架构与识别方法 |
| CN114443635A (zh) * | 2022-01-20 | 2022-05-06 | 广西壮族自治区林业科学研究院 | 土壤大数据分析中的数据清洗方法及装置 |
| CN115442271A (zh) * | 2022-08-29 | 2022-12-06 | 云南电网有限责任公司迪庆供电局 | 一种网络性能指标时序数据异常检测方法 |
| CN117595231A (zh) * | 2023-10-20 | 2024-02-23 | 国网安徽省电力有限公司六安供电公司 | 一种智能电网配网管理***及其方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110334726A (zh) * | 2019-04-24 | 2019-10-15 | 华北电力大学 | 一种基于密度聚类和lstm的电力负荷异常数据的识别与修复方法 |
-
2020
- 2020-11-16 CN CN202011278587.4A patent/CN112733417B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110334726A (zh) * | 2019-04-24 | 2019-10-15 | 华北电力大学 | 一种基于密度聚类和lstm的电力负荷异常数据的识别与修复方法 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113609635A (zh) * | 2021-05-21 | 2021-11-05 | 上海交通大学 | 一种插座负荷类型识别***的架构与识别方法 |
| CN113410839A (zh) * | 2021-06-24 | 2021-09-17 | 燕山大学 | 一种电网虚假数据注入的检测方法及*** |
| CN113410839B (zh) * | 2021-06-24 | 2022-07-12 | 燕山大学 | 一种电网虚假数据注入的检测方法及*** |
| CN113516317A (zh) * | 2021-07-30 | 2021-10-19 | 广东电网有限责任公司 | 一种基于神经网络的能源规划预测方法及装置 |
| CN114443635A (zh) * | 2022-01-20 | 2022-05-06 | 广西壮族自治区林业科学研究院 | 土壤大数据分析中的数据清洗方法及装置 |
| CN114443635B (zh) * | 2022-01-20 | 2024-04-09 | 广西壮族自治区林业科学研究院 | 土壤大数据分析中的数据清洗方法及装置 |
| CN115442271A (zh) * | 2022-08-29 | 2022-12-06 | 云南电网有限责任公司迪庆供电局 | 一种网络性能指标时序数据异常检测方法 |
| CN115442271B (zh) * | 2022-08-29 | 2023-09-26 | 云南电网有限责任公司迪庆供电局 | 一种网络性能指标时序数据异常检测方法 |
| CN117595231A (zh) * | 2023-10-20 | 2024-02-23 | 国网安徽省电力有限公司六安供电公司 | 一种智能电网配网管理***及其方法 |
| CN117595231B (zh) * | 2023-10-20 | 2024-05-31 | 国网安徽省电力有限公司六安供电公司 | 一种智能电网配网管理***及其方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112733417B (zh) | 2022-11-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112733417B (zh) | 一种基于模型优化的异常负荷数据检测与修正方法和*** | |
| CN112949945B (zh) | 一种改进双向长短期记忆网络的风电功率超短期预测方法 | |
| CN108921339B (zh) | 基于分位数回归的遗传支持向量机光伏功率区间预测方法 | |
| CN103105246A (zh) | 一种基于遗传算法改进的bp神经网络的温室环境预测反馈方法 | |
| CN110910004A (zh) | 一种多重不确定性的水库调度规则提取方法及*** | |
| CN112990500B (zh) | 基于改进加权灰色关联分析的台区线损分析方法及*** | |
| WO2024001942A1 (zh) | 一种基于mi-gra与改进pso-lstm的山区边坡位移预测方法 | |
| CN113344288B (zh) | 梯级水电站群水位预测方法、装置及计算机可读存储介质 | |
| CN110751318A (zh) | 一种基于ipso-lstm的超短期电力负荷预测方法 | |
| CN112364560B (zh) | 矿山凿岩装备作业工时智能预测方法 | |
| CN112100911B (zh) | 一种基于深度bilstm的太阳辐射预测方法 | |
| Ning et al. | GA-BP air quality evaluation method based on fuzzy theory. | |
| CN113554466A (zh) | 一种短期用电量预测模型构建方法、预测方法和装置 | |
| CN113095648A (zh) | 基于数据驱动的配电网故障停电风险指标评估方法及*** | |
| CN113537469A (zh) | 一种基于LSTM网络和Attention机制的城市需水预测方法 | |
| CN113743538A (zh) | 基于ipso-bp神经网络的智能楼宇能耗预测方法、设备和介质 | |
| CN113762591B (zh) | 一种基于gru和多核svm对抗学习的短期电量预测方法及*** | |
| CN115982141A (zh) | 一种针对时序数据预测的特征优化方法 | |
| CN114565182A (zh) | 一种基于非支配排序遗传优化双向长短时记忆神经网络的电力设备温度预测方法 | |
| CN111311001A (zh) | 基于DBSCAN算法和特征选择的Bi-LSTM网络短期负荷预测方法 | |
| CN114357670A (zh) | 一种基于bls和自编码器的配电网用电数据异常预警方法 | |
| CN113033898A (zh) | 基于k均值聚类与bi-lstm神经网络的电负荷预测方法及*** | |
| CN113159395A (zh) | 一种基于深度学习的污水处理厂进水流量预测方法及*** | |
| CN117335425A (zh) | 一种基于ga-bp神经网络的潮流计算方法 | |
| CN117034762A (zh) | 一种基于多算法加权和的复合模型锂电池寿命预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |