CN116245373A - 一种基于深度学习的电力数据质量规则自适应方法 - Google Patents
一种基于深度学习的电力数据质量规则自适应方法 Download PDFInfo
- Publication number
- CN116245373A CN116245373A CN202211554142.3A CN202211554142A CN116245373A CN 116245373 A CN116245373 A CN 116245373A CN 202211554142 A CN202211554142 A CN 202211554142A CN 116245373 A CN116245373 A CN 116245373A
- Authority
- CN
- China
- Prior art keywords
- data
- data quality
- model
- gate
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000013135 deep learning Methods 0.000 title claims abstract description 31
- 230000006978 adaptation Effects 0.000 claims abstract description 17
- 230000005611 electricity Effects 0.000 claims abstract description 14
- 238000001514 detection method Methods 0.000 claims abstract description 13
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 12
- 238000012549 training Methods 0.000 claims abstract description 11
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims abstract description 8
- 230000000694 effects Effects 0.000 claims abstract description 5
- 238000011156 evaluation Methods 0.000 claims abstract description 5
- 238000004364 calculation method Methods 0.000 claims description 25
- 230000006870 function Effects 0.000 claims description 15
- 230000007787 long-term memory Effects 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 12
- 230000006403 short-term memory Effects 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 9
- 210000005036 nerve Anatomy 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000011056 performance test Methods 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 2
- 230000035945 sensitivity Effects 0.000 claims description 2
- 230000006641 stabilisation Effects 0.000 claims description 2
- 238000011105 stabilization Methods 0.000 claims description 2
- 241000036569 Carp sprivivirus Species 0.000 claims 1
- 230000009471 action Effects 0.000 claims 1
- 230000007613 environmental effect Effects 0.000 abstract description 3
- 230000007774 longterm Effects 0.000 abstract description 2
- 230000000452 restraining effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0637—Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Business, Economics & Management (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Entrepreneurship & Innovation (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- Educational Administration (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Primary Health Care (AREA)
- Operations Research (AREA)
- Water Supply & Treatment (AREA)
- Public Health (AREA)
- Development Economics (AREA)
- Game Theory and Decision Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于深度学***均绝对误差MAE和均方误差MSE进行评估LSTM模型预测效果确保进一步确定基准值范围；最终通过形成新的数据质量检测值域来实现自动适应变化。其中利用3Sigma方法长期因素影响的预测，利用采用LSTM算法对电力行业的用电量、缴费等时间序列数据进行预测，获取短期环境因素对这些电力数据的影响；采用加权的方式对电力数据的值域范围进行重构，最后动态更新数据质量完整性检查规则中的值域范围，从而在数据质量检测中以新的值域范围进行数据准确性检查。
Description
技术领域
本发明涉及电力数据、数据质量和质量规则自适应领域，特别是基于深度学习的电力数据质量规则自适应方法。
背景技术
当我们谈到数据质量的时候，我们必须要有一个数据质量评估的标准，有了这个标准，我们才能知道如何评估数据的质量，才能把数据质量量化，并知道改进方向，并且考核改进后的效果。目前业内认可的数据质量的标准有：
数据规范性：指数据是否按统一格式存储。数据的内容、格式和展现形式，都必须符合数据定义和业务定义的要求，不能违反数据标准规范。
数据准确性：指数据和信息的内容是否正确，有没有无效数据、错误数据或超期数据等。真实可靠的原始统计数据是企业统计工作的灵魂、是一切管理工作的基础、是经营者进行正确经营决策必不可少的一手资料。不可靠的数据可能会导致严重的问题，会造成有缺陷的方法和糟糕的决策。
数据唯一性：指数据是否存在重复，或者数据的某些属性是否重复。用于识别和度量重复数据、冗余数据。重复数据是导致业务无法协同、流程无法追溯的重要因素，也是数据治理需要解决的最基本的数据问题。
数据完整性：指数据是否丢失，或者有不可用的情况。比如模型设计不完整、数据条目不完整、数据属性不完整等情况。不完整数据的借鉴价值会大大降低，这也是数据质量问题中比较基础和常见的一类问题。
数据一致性：指数据的值在信息含义上是否有冲突，也就是相同的数据有多个副本的情况下的数据不一致、数据内容冲突的问题。
以上定义了数据质量标准通用的一些规则，通过这些规则的定义转换为数据质量检核的SQL语句，然后通过数据质量检测调度定时执行SQL，从而获得***的数据质量。
这种数据质量检测模型对电力大数据基本上的满足的，但是由于电力大数据中有很多的数据都有周期性的规律，这导致对应这些数据的准确性规则如果不能进行随着时间序列而动态调整的话，会影响对这部分数据质量的分析。比如居民的用电量数据、居民的缴费数据、变电设备的Iot数据等等。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
鉴于上述一种基于深度学习的电力数据质量规则自适应方法中存在的问题，提出了本发明。
因此，本发明所要解决的问题在于如何提供一种基于深度学习的电力数据质量规则自适应方法。
为解决上述技术问题，本发明提供如下技术方案：一种基于深度学习的电力数据质量规则自适应方法，其包括，采集历史用电量数据构建基于LSTM的时间序列预测模型；
采集历史用电量数据计算构建基于LSTM的时间序列预测模型；
构建LSTM网络的训练模型，使用Adam算法进行动态更新数据质量准确性的值域范围；
使用3sigma的原理来约束通过模型评估指标平均绝对误差MAE和均方误差MSE进行评估LSTM模型预测效果确保进一步确定基准值范围；
最终通过形成新的数据质量检测值域来实现自动适应变化。作为本发明所述一种基于深度学习的电力数据质量规则自适应方法的一种优选方案，其中：所述历史用电量数据；
对用户的历史用电量进行标准化预处理，预处理后的数据分为两部分；
第一部分为模型训练时需要输入的特征数据；
第二部分为模型验证数据，结合模型所得结果完成损失函数的计算。
作为本发明所述一种基于深度学习的电力数据质量规则自适应方法的一种优选方案，其中：所述Adam优化算法；
以Adam为优化算法，并利用测试集数据进行性能检验与模型评估的方法，算法流程如下：
给定一个包含n个样本的小批量集合{x(1)，…，x(n)}，对应目标输出为yi；计算在t时刻的梯度为
θ是要更新的参数，f是参数θ随机目标函数，
计算梯度gt，指数加权平均
以及梯度平方gt 2的指数加权平均/>
其中
和/>
为指数衰减速率，st和rt别为梯度的有偏一阶矩(均值)估计和有偏二阶矩(方差)估计；
由于
和/>
取值接近于1，st和rt一般初始化为0，在迭代初期使得st和rt值小于真实值，利用公式∶
分别度两个参数进行修正；
计算初始参数θ的更新量∶
其中δ是用于数值稳定的小常数，η为学习率，将其设置为0.01。
作为本发明所述一种基于深度学***均绝对误差MAE和均方误差MSE；
其中yi为测试集样本用电量真实值；
为LSTM模型输出用电量预测值；m为测试集样本个数。
作为本发明所述一种基于深度学习的电力数据质量规则自适应方法的一种优选方案，其中：所述损失函数的计算；
其中x'为标准化后的数据；x为某一特征原始数据样本；
为样本均值；σ(x)为样本标准差。
作为本发明所述一种基于深度学习的电力数据质量规则自适应方法的一种优选方案，其中：LSTM网络在时刻t处的内部循环单元结构；
它隐藏状态的计算仍是基于当前输入xt，和上一时刻的隐藏状态ht-1，但多了一个细胞状态Ct，的更新过程，它记录了从第一个神经单元到t时刻神经单元长期记忆信息的变化，并且加入了遗忘门ft，输入门it以及输出门ot.去决定细胞状态中信息的去除或者增加，提高了对长期记忆信息的利用。
作为本发明所述一种基于深度学习的电力数据质量规则自适应方法的一种优选方案，其中：所述遗忘门；
遗忘门用来控制上一层隐藏状态即短期记忆信息遗忘的比例，由本时刻的输入xt，和上一时刻的隐藏状态ht-1，同时决定遗忘的概率大小，丢掉它认为对模型学习无用的信息，计算公式为∶
f(t)＝σ(Wfht-1+Ufxt+bf)
其中Wf，Uf，bf，分别为遗忘门的权重、输入权重和偏置。
作为本发明所述一种基于深度学习的电力数据质量规则自适应方法的一种优选方案，其中：所述输入门；
输入门把短期记忆与当前输入信息结合在一起，作为模型学习到的新信息，它由两部分构成，其中一部分与遗忘门计算类似根据输入新的向量进行更新；另一部分把信息暂时存储起来，当作候选向量
各部分计算公式为∶
it＝σ(Wiht-1+Uixt+bi)
其中Wi，Ui，bi，Wc，Uc，bc和遗忘门中的类似为各自的权重系数和偏置。
作为本发明所述一种基于深度学习的电力数据质量规则自适应方法的一种优选方案，其中：细胞状态更新；
遗忘门更新了短期记忆，输入门学习到了模型的新信息，接下来便是对细胞状态进行更新，如果输入门允许，新的信息会累加到状态单元，遗忘门ft控制上一时刻细胞状态的权重，更新计算公式为：
其中⊙为Hdamard向量元素乘积，细胞状态由Ct-1更新到Ct，输出更新后的长期记忆。
作为本发明所述一种基于深度学习的电力数据质量规则自适应方法的一种优选方案，其中：所述输出门；
输出门首先经过sigmoid层把当前的信息输出为ot，，然后将当前输出与长期记忆作用在一起，得到当前时刻的隐藏状态ht，计算公式为∶
ot＝σ(Woht-1+Uoxt+bo)
ht＝otΘtanh(Ct)
最后得到该时刻的预测输出∶
计算过程中可以发现三个门控机制的激活函数均为sigmoid，表明信息传递的比例由各个门控输出值来决定。遗忘门决定前一时刻细胞状态C t-1所需遗忘的程度，输入门决定该时刻候选向量
所需保存的信息量，输出门决定该时刻细胞状态Ct需要传送的隐藏状态ht，最终得到该时刻的预测输出。
本发明有益效果为：采用3Sigma+LSTM算法来解决用电量、缴费等数据预测，提出一种基于动态数据质量的检测方法，解决因环境因素带来的数据质量问题，完善电力数据整体的数据质量水平。其中利用3Sigma方法长期因素影响的预测，计算出这些电力数据的基准值域范围；利用采用LSTM算法对电力行业的用电量、缴费等最近时间序列数据进行预测，获取短期环境因素对这些电力数据的影响。然后采用加权的方式对电力数据的值域范围进行重构，最后动态更新数据质量完整性检查规则中的值域范围，从而在数据质量检测中以新的值域范围进行数据准确性检查。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
图1为实施例1中一种基于深度学习的电力数据质量规则自适应方法的运行图。
图2为实施例1中一种基于深度学习的电力数据质量规则自适应方法LSTM的时间系列预测模型图。
图3为实施例1中一种基于深度学习的电力数据质量规则自适应方法LATM网络模拟训练结构图。
图4为实施例1中一种基于深度学习的电力数据质量规则自适应方法LSTM网络在时刻t处的内部循环单元结构示意图。
图5为实施例2中一种基于深度学***均的方式进行重构的流程图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
实施例1
第一步：采集电力的历史数据，并对数据进行预处理形成训练集，基于LSTM模型对训练集进行模型训练，通过参数优化最终形成时间序列预测模型。
第二步：根据形成的基于LSTM的时间序列预测模型，对电力数据进行质量敏感值的预测，并结合3sigma的方式计算出的基准值范围，形成新的数据质量检测值域，
第三步：根据新的数据质量检测值域自动更新数据质量检测规则，并对电力数据进行准确性检测。
采集历史用电量数据构建基于LSTM的时间序列预测模型对用户的历史用电量进行标准化预处理，预处理后的数据分为两部分：第一部分为模型训练时需要输入的特征数据；另一部分为模型验证数据，结合模型所得结果完成损失函数的计算。
式中：x'为标准化后的数据；x为某一特征原始数据样本；
为样本均值；σ(x)为样本标准差。
构建LSTM网络，并进行模型训练
以Adam为优化算法，并利用测试集数据进行性能检验与模型评估的方法。算法流程如下：
第一步，给定一个包含n个样本的小批量集合{x(1)，…，x(n)}，对应目标输出为yi；
第二步，计算在t时刻的梯度为
θ是要更新的参数，f是参数θ随机目标函数，；
第三步，计算梯度gt指数加权平均
以及梯度平方gt 2的指数加权平均/>
其中/>
和/>
为指数衰减速率，st和rt别为梯度的有偏一阶矩(均值)估计和有偏二阶矩(方差)估计；/>
第四步，由于
和/>
取值接近于1，st和rt一般初始化为0，在迭代初期使得st和rt值小于真实值，故需利用公式∶
分别度两个参数进行修正；
第五步，计算初始参数θ的更新量：
模型评估指标采用平均绝对误差MAE(mean absolute error)和均方误差MSE(mean squared error)，进行LSTM模型预测效果评估。
式中：yi为测试集样本用电量真实值；
为LSTM模型输出用电量预测值；m为测试集样本个数。
图4为LSTM网络在时刻t处的内部循环单元结构示意图，它隐藏状态的计算仍是基于当前输入xt，和上一时刻的隐藏状态ht-1，但多了一个细胞状态Ct，的更新过程，它记录了从第一个神经单元到t时刻神经单元长期记忆信息的变化，并且加入了遗忘门ft，输入门it以及输出门ot去决定细胞状态中信息的去除或者增加，提高了对长期记忆信息的利用。
遗忘门(forget gate)
遗忘门用来控制上一层隐藏状态即短期记忆信息遗忘的比例，由本时刻的输入xt，和上一时刻的隐藏状态ht-1，同时决定遗忘的概率大小，丢掉它认为对模型学习无用的信息，计算公式为∶
f(t)＝σ(Wfht-1+Ufxt+bf).
其中Wt，Ut，bf，分别为遗忘门的权重、输入权重和偏置。
输入门(input gate)
输入门把短期记忆与当前输入信息结合在一起，作为模型学习到的新信息，它由两部分构成，其中一部分与遗忘门计算类似根据输入新的向量进行更新；另一部分把信息暂时存储起来，当作候选向量
各部分计算公式为∶
其中Wi，Ui，bi，Wc，Uc，bc和遗忘门中的类似为各自的权重系数和偏置。
细胞状态(ceil state)更新
遗忘门更新了短期记忆，输入门学习到了模型的新信息，接下来便是对细胞状态进行更新，如果输入门允许，新的信息会累加到状态单元，遗忘门ft控制上一时刻细胞状态的权重，更新计算公式为
其中⊙为Hdamard向量元素乘积，细胞状态由Ct-1更新到Ct，输出更新后的长期记忆。
输出门(output gate)
输出门首先经过sigmoid层把当前的信息输出为ot，，然后将当前输出与长期记忆作用在一起，得到当前时刻的隐藏状态ht，计算公式为∶
Wo、Uo、bo、Ct分别为输出门的权重、输入权重、偏置和细胞状态。
从上面计算过程中可以发现三个门控机制的激活函数均为sigmoid，表明信息传递的比例由各个门控输出值来决定。遗忘门决定前一时刻细胞状态C t-1所需遗忘的程度，输入门决定该时刻候选向量
所需保存的信息量，输出门决定该时刻细胞状态Ct需要传送的隐藏状态ht。
最终得到t时刻的预测输出:
其中，V是输出层的权值矩阵，c为输出层偏置，ht是当前时刻的隐藏状态。
实施例2
参照图4～5，为本发明第二个实施例，其不同于第一个实施例的是：还包括通过LSTM模型预测动态更新数据质量准确性规则的值域范围
步骤1：运用1中构建的LSTM时间序列预测模型，使用前6个月的用电量进行当月用电量值的预测，并将该值记录为受环境影响的敏感值y。经模型预测得到202211月用电量为262.3。
步骤2：采用历史3年该月的用电量数据，比如202111用电量300、202011用电量320、201911用电量260，计算这三个月用电量的均值和方差，并以3sigma的方式[μ-3σ，μ+3σ]表示集中值范围，其中μ表示均数，σ表示标准差。计算得μ＝293，σ＝30，3sigma表示为[201，385]
步骤3：对敏感值和基准值范围进行采用加权平均的方式进行重构，以敏感值权重为40％，基准值为60％的权重，重构计算出当前用电量值域范围：[y*0.4+(μ-3σ)*0.6，y*0.4+(μ+3σ)*0.6]。通过代入结果可以得到202111的用电量值域访问是[225，335]
2、将新的用电量值域范围应用到数据质量准确性检查指标中，进行准确性检查
Selectydl from用电表where ydl＝>225and ydl<＝335
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (10)
1.一种基于深度学习的电力数据质量规则自适应方法，其特征在于：包括采集历史用电量数据计算构建基于LSTM的时间序列预测模型
构建LSTM网络的训练模型，使用Adam算法进行动态更新数据质量准确性的值域范围；
使用3sigma的原理来约束通过模型评估指标平均绝对误差MAE和均方误差MSE进行评估LSTM模型预测效果确保进一步确定基准值范围；
最终通过形成新的数据质量检测值域来实现自动适应变化。
2.如权利要求1所述的一种基于深度学习的电力数据质量规则自适应方法，其特征在于：所述历史用电量数据计算方式
对用户的历史用电量进行标准化预处理，预处理后的数据分为两部分；
第一部分为模型训练时需要输入的特征数据；
第二部分为模型验证数据，结合模型所得结果完成损失函数的计算；
标准化预处理损失函数的计算；
其中x'为标准化后的数据；x为某一特征原始数据样本；
为样本均值；σ(x)为样本标准差。
3.如权利要求1或2所述的一种基于深度学习的电力数据质量规则自适应方法，其特征在于：所述Adam优化算法
以Adam为优化算法，并利用测试集数据进行性能检验与模型评估的方法，算法流程如下：
给定一个包含n个样本的小批量集合{x(1)，…，x(n)}，对应目标输出为yi；
计算在t时刻的梯度为
其中θ是要更新的参数，f是参数θ随机目标函数，
计算梯度gt，指数加权平均st＝ρ1st-1+(1-ρ1)gt，以及梯度平方gt 2的指数加权平均
其中
和/>
为指数衰减速率，st和rt别为梯度的有偏一阶矩(均值)估计和有偏二阶矩方差估计；
由于
和/>
取值接近于1，st和rt一般初始化为0，在迭代初期使得st和rt值小于真实值，利用公式∶
分别度两个参数进行修正；
计算初始参数θ的更新量∶
其中δ是用于数值稳定的小常数，η为学习率，将其设置为0.01。
4.如权利要求1所述的一种基于深度学***均绝对误差MAE和均方误差MSE；
其中yi为测试集样本用电量真实值；
为LSTM模型输出用电量预测值；m为测试集样本个数。
5.如权利要求1所述的一种基于深度学习的电力数据质量规则自适应方法，其特征在于：LSTM网络在时刻t处的内部循环单元结构
它隐藏状态的计算仍是基于当前输入xt，和上一时刻的隐藏状态ht-1，但多了一个细胞状态Ct，的更新过程，它记录了从第一个神经单元到t时刻神经单元长期记忆信息的变化，并且加入了遗忘门ft，输入门it以及输出门ot.去决定细胞状态中信息的去除或者增加，提高了对长期记忆信息的利用。
6.如权利要求5所述的一种基于深度学习的电力数据质量规则自适应方法，其特征在于：所述遗忘门用来控制上一层隐藏状态即短期记忆信息遗忘的比例，由本时刻的输入xt，和上一时刻的隐藏状态ht-1，同时决定遗忘的概率大小，丢掉它认为对模型学习无用的信息，计算公式为∶
f(t)＝σ(Wfht-1+Ufxt+bf)
其中Wf，Uf，bf，σ分别为遗忘门的权重、输入权重、偏置和激活函数。
7.如权利要求5所述的一种基于深度学习的电力数据质量规则自适应方法，其特征在于：所述输入门把短期记忆与当前输入信息结合在一起，作为模型学习到的新信息，它由两部分构成，其中一部分与遗忘门计算类似根据输入新的向量进行更新；另一部分把信息暂时存储起来，当作候选向量
各部分计算公式为∶
it＝σ(Wiht-1+Uixt+bi)
其中Wi，Ui，bi，Wc，Uc，bc，和遗忘门中的类似为各自的权重系数和偏置；σ是激活函数；tanh是正切函数。
8.如权利要求5所述的一种基于深度学习的电力数据质量规则自适应方法，其特征在于：细胞状态更新；
遗忘门更新了短期记忆，输入门学习到了模型的新信息，接下来便是对细胞状态进行更新，如果输入门允许，新的信息会累加到状态单元，遗忘门ft控制上一时刻细胞状态的权重，更新计算公式为：
其中⊙为Hdamard向量元素乘积，细胞状态由Ct-1更新到Ct，输出更新后的长期记忆。
9.如权利要求5所述的一种基于深度学习的电力数据质量规则自适应方法，其特征在于：所述输出门；首先经过sigmoid层把当前的信息输出为ot，，然后将当前输出与长期记忆作用在一起，得到当前时刻的隐藏状态ht，计算公式为∶
ot＝σ(Woht-1+Uoxt+bo)
ht＝ot⊙tanh(Ct)
最后得到该时刻的预测输出∶
计算过程中可以发现三个门控机制的激活函数均为sigmoid，表明信息传递的比例由各个门控输出值来决定。遗忘门决定前一时刻细胞状态C t-1所需遗忘的程度，输入门决定该时刻候选向量
所需保存的信息量，输出门决定该时刻细胞状态Ct需要传送的隐藏状态ht，最终得到该时刻的预测输出。
10.如权利要求6、7、8和9所述的一种基于深度学习的电力数据质量规则自适应方法，其特征在于：根据形成的基于LSTM的时间序列预测模型，对电力数据进行质量敏感值的预测，并结合3sigma的方式计算出的基准值范围，形成新的数据质量检测值域并自动更新数据质量检测规则并对电力数据进行准确性检测；
所述动作空间为***3台SVC的无功输出，奖励函数包括整个***的有功损耗成本和节点电压越限惩罚项，节点电压限制设为0.97～1.07。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211554142.3A CN116245373A (zh) | 2022-12-06 | 2022-12-06 | 一种基于深度学习的电力数据质量规则自适应方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211554142.3A CN116245373A (zh) | 2022-12-06 | 2022-12-06 | 一种基于深度学习的电力数据质量规则自适应方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116245373A true CN116245373A (zh) | 2023-06-09 |
Family
ID=86632009
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211554142.3A Pending CN116245373A (zh) | 2022-12-06 | 2022-12-06 | 一种基于深度学习的电力数据质量规则自适应方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116245373A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117059269A (zh) * | 2023-08-10 | 2023-11-14 | 成都艾视医院管理有限公司 | 一种基于深度学习的青少年近视预测方法及模型 |
| CN117110977A (zh) * | 2023-10-25 | 2023-11-24 | 国网浙江省电力有限公司营销服务中心 | 一种电能表误差评估方法及*** |
| CN117130419A (zh) * | 2023-08-30 | 2023-11-28 | 南京普联微电子科技有限公司 | 一种基于lstm的mos管压差智能调节方法及*** |
-
2022
- 2022-12-06 CN CN202211554142.3A patent/CN116245373A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117059269A (zh) * | 2023-08-10 | 2023-11-14 | 成都艾视医院管理有限公司 | 一种基于深度学习的青少年近视预测方法及模型 |
| CN117059269B (zh) * | 2023-08-10 | 2024-04-26 | 成都艾视医院管理有限公司 | 一种基于深度学习的青少年近视预测方法及模型 |
| CN117130419A (zh) * | 2023-08-30 | 2023-11-28 | 南京普联微电子科技有限公司 | 一种基于lstm的mos管压差智能调节方法及*** |
| CN117130419B (zh) * | 2023-08-30 | 2024-03-12 | 南京普联微电子科技有限公司 | 一种基于lstm的mos管压差智能调节方法及*** |
| CN117110977A (zh) * | 2023-10-25 | 2023-11-24 | 国网浙江省电力有限公司营销服务中心 | 一种电能表误差评估方法及*** |
| CN117110977B (zh) * | 2023-10-25 | 2024-03-01 | 国网浙江省电力有限公司营销服务中心 | 一种电能表误差评估方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110298501B (zh) | 基于长短时记忆神经网络的电负荷预测方法 | |
| CN116245373A (zh) | 一种基于深度学习的电力数据质量规则自适应方法 | |
| CN112766078B (zh) | 基于emd-svr-mlr与注意力机制的gru-nn的电力负荷层次预测方法 | |
| Church et al. | Forecasting consumers' expenditure: A comparison between econometric and neural network models | |
| CN111680786B (zh) | 一种基于改进权重门控单元的时序预测方法 | |
| CN111861013B (zh) | 一种电力负荷预测方法及装置 | |
| Kao et al. | Anomaly detection for univariate time series with statistics and deep learning | |
| CN112069685A (zh) | 一种考虑可解释性的复杂机电***健康评估方法及*** | |
| CN112232561A (zh) | 基于约束并行lstm分位数回归的电力负荷概率预测方法 | |
| CN111044926A (zh) | 质子交换膜燃料电池寿命预测方法 | |
| CN114840375B (zh) | 一种半导体存储产品的老化性能测试方法及*** | |
| CN115600729A (zh) | 一种考虑多属性网格电网负荷预测方法 | |
| CN116187835A (zh) | 一种基于数据驱动的台区理论线损区间估算方法及*** | |
| CN114897264A (zh) | 一种基于迁移学习的小样本场景下光伏出力区间预测方法 | |
| CN113886454A (zh) | 一种基于lstm-rbf的云资源预测方法 | |
| CN116303786B (zh) | 一种基于多维数据融合算法的区块链金融大数据管理*** | |
| CN116384223A (zh) | 基于退化状态智能辨识的核设备可靠性评估方法及*** | |
| CN110648023A (zh) | 基于二次指数平滑改进gm(1,1)的数据预测模型的建立方法 | |
| Kotenko et al. | Formation of Indicators for Assessing Technical Reliability of Information Security Systems | |
| Yovits et al. | The average decision maker and its properties utilizing the generalized information system model | |
| KR102307201B1 (ko) | 적응적 가중치 감쇠를 이용한 딥 러닝 방법 | |
| Lee et al. | Application of temperature prediction model based on LSTNet in telecommunication Room | |
| CN112784480B (zh) | 一种油液状态自学习量化表征方法、存储介质及设备 | |
| Li et al. | A Study on House Price Prediction Based on Stacking-Sorted-Weighted-Ensemble Model | |
| CN113379455B (zh) | 订单量预测方法和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |