CN113779879B - 一种基于LSTM-seq2seq-attention模型的中长期用电异常检测方法 - Google Patents
一种基于LSTM-seq2seq-attention模型的中长期用电异常检测方法 Download PDFInfo
- Publication number
- CN113779879B CN113779879B CN202111039397.1A CN202111039397A CN113779879B CN 113779879 B CN113779879 B CN 113779879B CN 202111039397 A CN202111039397 A CN 202111039397A CN 113779879 B CN113779879 B CN 113779879B
- Authority
- CN
- China
- Prior art keywords
- data
- lstm
- seq2seq
- electricity
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005611 electricity Effects 0.000 title claims abstract description 130
- 230000005856 abnormality Effects 0.000 title claims abstract description 50
- 238000001514 detection method Methods 0.000 title claims abstract description 44
- 238000013528 artificial neural network Methods 0.000 claims abstract description 41
- 238000012549 training Methods 0.000 claims abstract description 25
- 238000003062 neural network model Methods 0.000 claims abstract description 15
- 238000007781 pre-processing Methods 0.000 claims abstract description 12
- 238000010276 construction Methods 0.000 claims abstract description 6
- 238000013480 data collection Methods 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims description 26
- 239000010410 layer Substances 0.000 claims description 24
- 230000007246 mechanism Effects 0.000 claims description 17
- 230000002159 abnormal effect Effects 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 7
- 238000012847 principal component analysis method Methods 0.000 claims description 7
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 6
- 238000004140 cleaning Methods 0.000 claims description 6
- 210000002569 neuron Anatomy 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 239000002356 single layer Substances 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 8
- 230000008901 benefit Effects 0.000 abstract description 5
- 230000002265 prevention Effects 0.000 abstract description 4
- 230000002354 daily effect Effects 0.000 description 31
- 230000006870 function Effects 0.000 description 9
- 230000006399 behavior Effects 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 7
- 210000004027 cell Anatomy 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 5
- 238000011835 investigation Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 238000000513 principal component analysis Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 230000007774 longterm Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 125000003275 alpha amino acid group Chemical group 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000004146 energy storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2113/00—Details relating to the application field
- G06F2113/04—Power grid distribution networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
- G06F2119/02—Reliability analysis or reliability optimisation; Failure analysis, e.g. worst case scenario performance, failure mode and effects analysis [FMEA]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于LSTM‑seq2seq‑attention模型的中长期用电异常检测方法，包括数据收集步骤、数据预处理步骤、神经网络模型构建步骤、神经网络模型训练步骤、经济数据估计步骤、用电异常综合指数d计算步骤、用电异常判断步骤。根据历史数据，可以通过结合包括GDP，气候，节假日在内的影响因素，分析出不同用户的用电行为特征。利用Seq2Seq‑Attention神经网络，能够快速有效的分析用户数据，对可疑用户进行检测，实施防窃电。本发明的基于LSTM‑seq2seq‑attention模型的中长期用电异常检测方法，具有快速和精确、准确性高与鲁棒性好等优点。
Description
技术领域
本发明涉及测距技术领域，特别是涉及一种基于LSTM-seq2seq-attention模型的中长期用电异常检测方法。
背景技术
随着现在社会的发展，电能成为了生产和生活中的不可缺少的重要能源，成为了现代经济发展的地基。
目前，窃电技术层出不穷，窃电手段逐渐专业化和高科技化，甚至有了一套完整的产业链。随之而来的是更大的防窃电难度。目前的窃电检测主要有人工到现场进行排查、硬件设备通过防电磁干扰、软件实时监控***等方式。首先，人工排查的方式，存在有需要大量人力物力、劳动强度和工作量大，人工排查过程中存在有漏查现象。其次，硬件设备中，市面上大多数防窃电装备或设备都有着昂贵和不便移动等缺点。再次，软件检测存在漏判误判，并且这些检测方法和设备大幅增加了投资和运营成本，性价比不高。
当前研究主要集中在解决异常用电数据检测的性能方面的问题。随着电力用户数据和用电设备的快速增长，用户用电数据的维度和数据量也快速增加，导致现有用电数据异常检测算法性能低的问题。申请号为201910389132.0的我国发明专利公开了一种在训练用电数据异常检测模型时，先基于历史用电数据，应用LSTM网络解析历史用电数据的数据关联信息以对历史用电数据进行降维处理后再训练用电数据异常检测模型，从而得到了适应用电数据时间关联特性和高维度特性的用电数据异常检测模型，应用这样的用电数据异常检测模型对输入的待检测用电数据进行检测得到检测结果。但是，这种方法存在有不同种类的数据之间相互影响、估计准确度较低等问题。
发明内容
本发明所要解决的技术问题是提供一种鲁棒性好和估计准确度高的基于LSTM-seq2seq-attention模型的中长期用电异常检测方法。
为解决上述技术问题，本发明采用如下的技术方案。
一种基于LSTM-seq2seq-attention模型的中长期用电异常检测方法，包括以下几个步骤：
步骤1：数据收集步骤；按照预设的时间周期，收集该时间周期内的用电数据；
步骤2：数据预处理步骤；对收集到的用电数据进行数据清洗、缺失值补齐和归一化处理；
步骤3：神经网络模型构建步骤；以LSTM神经网络为神经元，构建多层LSTM-seq2seq-attention神经网络；
步骤4：神经网络模型训练步骤；利用步骤2中数据预处理后的用电数据，对步骤3的LSTM-seq2seq-attention神经网络进行训练，获得用电正常情况下的电力数据；
步骤5：经济数据估计步骤；以步骤4的用电正常情况下的电力数据作为输入，通过主成分分析法计算获得用电正常情况下的经济数据的估计值；
步骤6：用电异常综合指数d计算步骤；根据步骤5的用电正常情况下的经济数据的估计值，计算用电异常综合指数d；
步骤7：用电异常判断步骤；根据预设的阈值σ，通过阈值σ与用电异常综合指数d的比较，判断用电是否存在异常。
所述步骤1中，所述时间周期为检测当前月之前的48个月。
所述用电数据包括用电负荷数据、经济数据GDP和气象数据。
气象数据包括降雨量、气温、湿度数据、风速、气压。
所述步骤1中，还包括收集检测当前月的用电数据。
所述步骤3中，所述多层LSTM-seq2seq-attention神经网络包括编码器和解码器，并引入注意力机制。
所述步骤4中，训练过程采用Adam优化算法对模型的参数进行优化。
所述步骤6中，采用公式(11)计算用电异常综合指数d；
d＝|h-s|/h*100％ (11)
公式(11)中，h是月平均GDP估计值，s是月平均待检测值，待检测值是该企业当月的月平均经济数据GDP。
所述步骤7中，通过阈值σ与用电异常综合指数d的比较，判断用户是处于无窃电嫌疑状态、存在窃电嫌疑状态还是可疑用户需报警状态。
本发明的有益效果是：
本发明的一种基于LSTM-seq2seq-attention模型的中长期用电异常检测方法，包括数据收集步骤、数据预处理步骤、神经网络模型构建步骤、神经网络模型训练步骤、经济数据估计步骤、用电异常综合指数d计算步骤、用电异常判断步骤。根据历史数据，可以通过结合包括GDP，气候，节假日在内的影响因素，分析出不同用户的用电行为特征。利用LSTM-seq2seq-attention神经网络，能够快速有效的分析用户数据，对可疑用户进行检测，实施防窃电。
近些年用电信息采集***逐渐得到应用，电力企业有着丰富的历史用户数据。根据历史数据，可以通过结合包括经济数据GDP、气象数据和节假日在内等影响因素，分析出不同用户的用电行为特征。利用LSTM-seq2seq-attention神经网络，能够快速有效的分析用户数据，对可疑用户进行检测，实施防窃电。
本发明在使用LSTM作为神经单元的seq2seq结构的同时加入注意力机制，能更好的分配网络权重，同时选用Adam优化算法优化模型参数，提升计算效率，并且seq2seq结构的编码器使用多层LSTM增强了模型的鲁棒性和估计准确度。同时选用主成分分析法，消除了评价指标之间的相互影响，减少了工作量，降低了算法的计算开销。
利用seq2seq-attention与主成分分析双模型完成用电异常检测，提高检测准确性与鲁棒性。相比于原来方法，该神经网络模型判断窃电更为快速和精确。
本发明的基于LSTM-seq2seq-attention模型的中长期用电异常检测方法，具有快速和精确、准确性高与鲁棒性好等优点。
附图说明
图1是本发明基于LSTM-seq2seq-attention模型的中长期用电异常检测方法的流程图。
图2是本发明基于LSTM-seq2seq-attention模型的中长期用电异常检测方法的LSTM结构图。
图3是本发明基于LSTM-seq2seq-attention模型的中长期用电异常检测方法的LSTM-seq2seq-attention神经网络的结构图。
图4是本发明基于LSTM-seq2seq-attention模型的中长期用电异常检测方法的原始电力负荷数据。
图5是本发明基于LSTM-seq2seq-attention模型的中长期用电异常检测方法的数据预处理后的电力负荷数据。
图6是本发明基于LSTM-seq2seq-attention模型的中长期用电异常检测方法的原始数据影响因素。
图7是本发明基于LSTM-seq2seq-attention模型的中长期用电异常检测方法的数据预处理后的影响因素数据。
图8是本发明基于LSTM-seq2seq-attention模型的中长期用电异常检测方法的电力负荷估计值。
图9是本发明基于LSTM-seq2seq-attention模型的中长期用电异常检测方法的GDP待检测值与估计值对比图。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
如图1-9，本发明的一种基于LSTM-seq2seq-attention模型的中长期用电异常检测方法，包括以下几个步骤：
步骤1：数据收集步骤；按照预设的时间周期，收集该时间周期内的用电数据；
如要判断某企业在检测月是否有用电行为异常，需收集检测月前48个月的用电数据。用电数据包括用电负荷数据、经济数据GDP和气象数据。气象数据包括降雨量、气温、湿度数据、风速、气压。并收集检测月当月的用电负荷数据、经济数据GDP、降雨量、气温、湿度数据、风速和平均气压等。
步骤2：数据预处理步骤；对收集到的用电数据进行数据清洗、缺失值补齐和归一化处理；
收集到的数据总可能存在缺失数据或者多余的混乱数据，无论是缺失数据还是混杂的多余数据，都会对最终的估计和分析结果造成误差，需要对这些数据进行数据清理，缺失值补齐，数据格式化消除量纲差异，最后进行归一化。数据预处理过程中，首先进行数据清洗，删除数据集中的重复数据，残缺数据。接着，对历史数据采用滑动平均窗口法进行缺失值补齐。最后，对补齐后的数据集进行Min-max归一化。
步骤3：神经网络模型构建步骤；以LSTM神经网络为神经元，构建多层LSTM-seq2seq-attention神经网络；
构建seq2seq-attention神经网络过程中，是以LSTM神经网络为神经元构建多层seq2seq神经网络LSTM-seq2seq-attention，并加入注意力机制，选用Mish激活函数作为整个神经网络的输出层激活函数，起到减少梯度***的效果，增加模型训练的稳定性。
步骤4：神经网络模型训练步骤；利用步骤2中数据预处理后的用电数据，对步骤3的LSTM-seq2seq-attention神经网络进行训练，获得用电正常情况下的电力数据；
用LSTM-seq2seq-attention神经网络训练归一化后的训练集，并将归一化完毕的待检测集代入训练好的LSTM-seq2seq-attention神经网络模型中进行估计，获得用电正常情况下的电力数据。
将获取到的检测月之前48个月的用电数据作为训练数据，将收集到的检测月的当月用电数据作为待检测数据，并使用Min-max方法对训练数据和待检测数据进行归一化，归一化到[0,1]范围内。
步骤5：经济数据估计步骤；以步骤4的用电正常情况下的电力数据作为输入，通过主成分分析法计算获得用电正常情况下的经济数据的估计值；
步骤6：用电异常综合指数d计算步骤；根据步骤5的用电正常情况下的经济数据的估计值，计算用电异常综合指数d；
以步骤4的用电正常情况下的电力数据作为输入，通过主成分分析法计算获得用电正常情况下的经济数据的估计值。
步骤7：用电异常判断步骤；根据预设的阈值σ，通过阈值σ与用电异常综合指数d的比较，判断用电是否存在异常。
设置阈值σ，将待检测经济数据和估计出来的经济数据相减，将阈值和差值相比较，进行用电异常行为判断。用电行为异常检测时，通过设置好阈值，利用最终GDP估计值和待检测值获取的用电异常综合指数d，来评判用户的用电异常行为程度。
所述步骤1中，所述时间周期为检测当前月之前的48个月。
所述步骤1中，还包括收集检测当前月的用电数据。
所述步骤3中，所述多层LSTM-seq2seq-attention神经网络包括编码器和解码器，并引入注意力机制。
LSTM-seq2seq-attention神经网络主要由编码器和解码器组成，并引入注意力机制。编码器由多层LSTM(Long Short-Term Memory，长短期记忆网络)组成，对输入数据进行编码，并输出编码后的状态；注意力机制在编码器和解码器中间，解码器是由单层LSTM组成，注意力机制部分的输出作为上下文向量和编码器的输出拼接起来作为解码器的输入，同时以每一步的输出值作为下一步的输入值。
所述步骤4中，训练过程采用Adam优化算法对模型的参数进行优化。
所述步骤6中，采用公式(11)计算用电异常综合指数d；
d＝|h-s|/h*100％ (11)
公式(11)中，h是月平均GDP估计值，s是月平均待检测值，待检测值是该企业当月的月平均经济数据GDP。
所述步骤7中，通过阈值σ与用电异常综合指数d的比较，判断用户是处于无窃电嫌疑状态、存在窃电嫌疑状态还是可疑用户需报警状态。
本发明的基于LSTM-seq2seq-attention模型的中长期用电异常检测方法，主要包括以下7个步骤。
步骤1：数据收集步骤；按照预设的时间周期，收集该时间周期内的用电数据；
如要判断某企业在检测月是否有用电异常行为，需收集检测月之前48个月的用电数据，按天取用电数据。每天的用电数据包括每天的用电负荷数据、每天的经济数据GDP、每天的气象数据。每天的气象数据包括每天的平均降雨量、平均气温、平均湿度、平均风速和平均气压等数据。
通过企业所在区域供电公司，获取该公司每天的用电负荷数据；通过该企业所在地区***，获取该公司每天的经济数据GDP；通过该企业所在地区气象局，获取该公司所在地的日平均降雨量、日平均气温、日平均湿度、日平均风速和日平均气压。同时，还需要收集检测月当月每天的用电数据，包括每天的用电负荷数据、经济数据GDP、平均降雨量、平均气温、平均湿度、平均风速和平均气压。
步骤2：数据预处理步骤；对收集到的用电数据进行数据清洗、缺失值补齐和归一化处理；
首先进行数据清洗，删除数据集中的重复数据，残缺数据。接着对历史数据进行缺失值补齐，采用滑动平均窗口法补差，一个列表a中的第i个位置数据为缺失数据，则取前后window个数据的平均值，作为插补数据。
例如：列表a＝[1，2，4，2，None，6，3，2，1]，其中None为缺失数据，选择window＝3；
则None位置的数据为：(2+4+2+6+3+2)/6＝3.15。即该数据的插补数据为其前3和后3个数据这6个数据的平均值。
各输入数据之间存在着量纲差异，数量级与量化单位差异较大，为了消除这些数据量纲之间差异对模型训练与估计的影响，使用Min-max方法对输入数据进行标准化，以加快模型收敛速度和提高模型精度。标准化范围为[1，0]，其表达式如下式(1)。
式(1)中，x_min表示x序列中最小值，x_max表示x序列中最大值，x表示x序列中的值，从x_1～x_n，y表示新生成的序列，从y_1～y_n。
将获取到的检测月之前48个月的数据作为训练数据，将收集到的检测月的当月数据作为待检测数据。
定义输入序列格式xl＝{Dl，Tl，Rl，Gl，Sl，Fl，Pl}。
其中Dl是日电力负荷数据，Tl是日平均气温，Rl是日平均降雨量，Gl是该公司每天的GDP生产值，Sl是日平均湿度，Fl是日平均风速，Pl是日平均气压。
分别对电力负荷数据及其影响因素按上述的步骤进行数据预处理。电力负荷数据进行数据预处理前后对比效果如图1和图2。影响因素进行数据预处理前后对比效果如图4和图5。从图4和5中的比较可以看出，数据预处理的过程，去除了数值异常点，提高了历史数据的质量，为提升估计值的精确度做好了准备。
步骤3：神经网络模型构建步骤；以LSTM神经网络为神经元，构建多层LSTM-seq2seq-attention神经网络；
从第1天的电力负荷历史数据开始，取第1天的日GDP历史数据G1、日电力负荷历史数据D1、日平均气温历史数据T1、日平均降雨量历史数据R1、日平均湿度历史数据S1、日平均风速历史数据F1、日平均气压历史数据P1，为LSTM-seq2seq-attention神经网络的第1层输入x1＝{D1，T1，R1，G1，S1，F1，P1}。当前时间的隐藏状态由上一时间和当前时间的输入共同决定，即h1＝f(h0，x1)。直到第l天的电力负荷历史数据为止，取第l天的日GDP历史数据Gl，日电力负荷历史数据Dl，日平均气温历史数据Tl，日平均降雨量历史数据Rl，日平均湿度历史数据Sl，日平均湿度历史数据Fl，日平均湿度历史数据。为Seq2Seq-Attention神经网络的第l层输入为xl。其中xl＝{Dl，Tl，Rl，Gl，Sl，Fl，Pl}，当前时间的隐藏状态由上一时间和当前时间的输入共同决定，即hl＝f(hl-1，xl)。其中，h是隐藏状态，就是一个向量，LSTM中的隐藏层状态，当前时间的隐藏状态由上一时间和当前时间的输入共同决定，而取决于上一时间多少100％还是50％由常量f决定，常量f可自取。
多层LSTM-seq2seq-attention神经网络包括编解码部分、解码器部分。
编码部分得到各个隐藏层的输出然后汇总，生成语义向量C：C＝q(h1，h2，...，hl)。其中，q是用来控制隐藏层输出汇总大小的常量，数值可自取；参数q使得方便计算，适应计算时数量级的要求。
解码部分根据给定的语义向量C和输出序列来估计下一个输出的/>即/>其中g()代表非线性激活函数，/>表示与输入x对应的输出。
多层LSTM-seq2seq-attention神经网络还引入了注意力机制。
编码部分得到各个隐藏向量h1，h2，...，hl按权重相加得到，生成l＝i时的语义向量Ci。其中，αij为权重值。
在解码部分定义条件概率，权重值αij由第i-1个输出隐藏状态si-1和输入中各个隐藏状态共同决定的，即eij＝a(si-1，hj)。其中eij是编码器Encoder中j时刻Encoder隐层状态hj对解码器Decoder中i时刻隐层状态si的影响程度。通过softmax函数将影响程度eij概率归一化为αij，权重值αij的值越高，表示在第i个输出在第j个输入上分配的注意力越多，在生成第i个输出受第j个输入的影响也越大。由此计算出解码器Decoder的下一个层隐藏状态/>(解码器i时的隐藏状态)，以及该位置的输出/>
本发明还采用了主成分分析法来进行数据的处理。
步骤4：神经网络模型训练步骤；利用步骤2中数据预处理后的用电数据，对步骤3的LSTM-seq2seq-attention神经网络进行训练，获得用电正常情况下的电力数据；
训练模型的数据取加利福尼亚州某公司2016年7月1日至2020年6月30日的电力负荷数据以及其影响因素数据。
选择基于LSTM的seq2seq模型，seq2seq结构编码器与解码器组成。编码器端具有接受数据灵活的优点，解码器中上一步的输出会作为下一步的数据输入解码器，基于这个特性使其能更好的学习数据间的时序关系，加入注意力机制优化权重分配的同时使用LSTM优秀的数据挖掘能力来解决用电行为异常问题。LSTM-seq2seq-attention神经网络的网络结构如图2所示，网络的相关参数表达如下。
输出ht：ht＝ot*tanh(ct)；
候选状态：
输入门it：it＝σ(Wi*Ct-1+Wi*ht-1+Wi*xt+bi)；
遗忘门ft：ft＝σ(Wi*Ct-1+Wi*ht-1+Wi*xt+bf)；
细胞状态ct：
输出门ot：ot＝σ(Wi*Ct-1+Wi*ht-1+Wi*xt+bo)。
LSTM-seq2seq-attention神经网络的输入为：ct-1、xt、ht-1，LSTM-seq2seq-attention神经网络的输出为：ct、ht。
遗忘门ft：将上一步细胞状态中信息选择性遗忘，通过sigmoid层实现的“忘记门”。以上一步的ht-1和这一步的xt作为输入，然后为ct-1里的每个数字输出一个0-1间的值，记为ft，表示保留多少信息，1代表完全保留，0表示完全舍弃。
输入门it：决定在细胞状态里存什么，将新的信息选择性的记录到细胞状态中。sigmoid层(输入门层)决定我们要更新什么值，这个概率表示为it。tanh层创建一个候选值向量将会被增加到细胞状态中。其中，W是权重矩阵。
输出门ot：通过sigmoid层(输出层门)来决定输出的本细胞状态ct的哪些部分，然后我们将细胞状态通过tanh层(使值在-1～1之间)，然后与sigmoid层的输出相乘得到最终的输出ht。
其中，bo和bc、bi、bf一样是对应的该门的偏置参数。σ是sigmiod函数，可理解为阈值。
Sigmiod函数表达式：
Tanh函数表达式：
最后模型在输出层使用了Mish激活函数，利用该激活函数在区间内非常平滑的特点，进一步避免梯度消失和梯度***问题。
Mish函数的函数表达式如下式(4)所示。
Mish＝x*tanh(Ln(1+ex)) (4)
最小化目标函数为：
使用Adam优化算法对模型进行参数优化，表达式如下式(5)～(10)。
mt＝β1·mt-1+(1-β1)·gt (6)
vt＝β2·vt-1+(1-β2)·gt 2 (7)
δ是学习速率或称为步长，αij为权重值，β1是第一次矩估计的指数衰减率，β2第二次矩估计的指数衰次减率，mt为有偏一阶矩估计，vt有偏二阶矩估计，修正后的有偏一阶矩估计，/>修正后的有偏二阶矩估计，θt为更新参数，t表示时间。
式(6)、式(7)分别是对梯度的一阶矩估计和二阶矩估计，可以看作是对期望E|gt|和E|gt|的估计。式(8)、式(9)是对一阶二阶矩估计的校正，这样可以近似为对期望的无偏估计。
Adam优化算法具有计算效率高，适合大规模数据运算和参数优化、对内存需求少等优点，而且相较于经典的随机梯度下降算法能更有效地更新网络权重。
LSTM-seq2seq-attention神经网络的结构如图3。
如图3，LSTM-seq2seq-attention神经网络由编码器和解码器组成，并引入注意力机制。
编码器由多层LSTM组成，对输入数据进行编码，并输出编码后的状态。注意力机制在编码器和解码器中间。
解码器是由单层LSTM组成，注意力机制部分的输出作为上下文向量和编码器的输出拼接起来作为解码器的输入，同时以每一步的输出值作为下一步的输入值。
用LSTM-seq2seq-attention神经网络训练归一化后的训练集，并将归一化完毕的待检测数据代入训练好的LSTM-seq2seq-attention神经网络模型中进行估计，获得用电正常情况下的电力数据。
步骤5：经济数据估计步骤；以步骤4的用电正常情况下的电力数据作为输入，通过主成分分析法计算获得用电正常情况下的经济数据的估计值；
获取待检测月每天的GDP数据G0、日平均气温数据T0、日平均降雨量数据R0、日平均湿度数据S0、日平均风速数据F0、日平均气压数据P0等作为待检测数据，将待检测数据导入到训练好的LSTM-seq2seq-attention神经网络中，求出储能***工作当月的电力负荷估计数据检测月数据取加利福尼亚州某公司2020年7月1日至2020年7月31日数据。电力负荷估计值如图8。
将得到的当月电力估计数据结合同时期的气温数据、降雨量数据、湿度数据、风速数据、气压数据等数据，进行主成分分析，得到同时期的GDP数值。
确定影响GDP的6个指标：用电负荷数据、气温、降雨量、湿度、风速和气压，收集l个月的指标数值，每月的6个指标分别为a1，a2，a3，a4，a5，a6，则可得l*6阶矩阵。记原来的变量指标为a1，a2，a3，a4，a5，a6，它们的综合指标(新变量指标)为b1，b2，...，bl，新的指标由原来的指标a1，a2，a3，a4，a5，a6线性表示。
观测得样本矩阵所述样本矩阵A标准化后表示为下式(2)。其中提到的指标，例如a1是电力负荷数据，只不过在二维数组中写成a11～aL1(就是A的第一列))。
计算样本的相关系数矩阵R，R＝corrcoef(x)。其中，相关系数矩阵R为rij(i＝1，2，...，l；j＝1，2，3，4，5，6)是原来变量ai和aj的相关系数，rij计算公式如下式(3)所示。
式(3)中，与/>为第i个和第j个指标的平均值。
对应于相关系数矩阵R，用雅克比方法求特征方程的6个非负的特征值，对应于6个非负的特征值λ1～λ6：λ1＞λ2＞λ3＞λ4＞λ5＞λ6＞0。
选择3个主成分，如果前面3个主成分的方差和全部总方差的比例接近于1时，就选取前面3个因子作为第1主成分、第2主成分、第3主成分。这样因子数目将由6个减少为3个，起到了筛选因子的作用。选取V＞85％的成分，其中
基于主成分分析的负荷估计误差总体上小于未经主成分分析的负荷估计误差，将影响因素由6个减少到3个，在保留原有信息的情况下减少需要计算的影响因素个数，减少计算量，提高估计准确性。
进行主成分分析，选取3个影响度最高的主成分分别为气温、降雨量和风速带入进行计算。得到同时期的GDP数值。之后通过图形来比较GDP数据的估计值与检测值。图9为待检测月GDP待检测值与估计值对比图。
步骤6：用电异常综合指数d计算步骤；根据步骤5的用电正常情况下的经济数据的估计值，计算用电异常综合指数d；
步骤7：用电异常判断步骤；根据预设的阈值σ，通过阈值σ与用电异常综合指数d的比较，判断用电是否存在异常。
为实现异常用电检测，还需获取用户当前历史数据。通过选定区域***获取以当前监测时间为开始时间之后的时间段s的历史经济数据。
采用公式(11)计算用电异常综合指数d。
d＝|h-s|/h*100％ (11)
公式(11)中，h是月平均GDP估计值，s是月平均待检测值，待检测值是该企业当月的月平均经济数据GDP。
设置阈值σ，具体判断规则如下。
若d＜σ，则用户无窃电嫌疑，并将当前监测月份电量数据、GDP数据、气温数据、降雨数据、气温数据、风速数据和气压数据添加至历史数据并覆盖之前的同期数据，保证过往数据的准确性。
若σ＜d＜2σ，则用户存在窃电嫌疑，或存在电力设备故障等突发事故引起误差，输出为可疑事件并作初步报告。
若d＞2σ，则输出为可疑用户并报警。
在大部分情况下，该模型可作为判断是否窃电的一个判别方法，但不能作为确认判别依据。该方法主要目的是方便供电企业进行企业窃电的监测，提高企业的监测效率，减少工作量及检测成本，是否窃电还需更为严谨的检测。出现可疑用户时，需后续调研确定是否有特殊情况。例如：特殊节假日或外部不可抗力等影响因素。
本发明的基于LSTM-seq2seq-attention模型的中长期用电异常检测方法，使用seq2seq网络结构搭建预测模型，使用LSTM神经网络单元组成seq2seq结构的编码器与解码器，以增强模型学习数据时序性的学习力，并在模型中加入attention注意力及机制，优化网络权重配置，为了提升预测精度，为更好地完成预测任务，将多个外界影响因素纳入考量，增强预测模型的稳定性，准确性。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
Claims (6)
1.一种基于LSTM-seq2seq-attention模型的中长期用电异常检测方法，其特征在于，包括以下几个步骤：
步骤1：数据收集步骤；按照预设的时间周期，收集该时间周期内的用电数据；
步骤2：数据预处理步骤；对收集到的用电数据进行数据清洗、缺失值补齐和归一化处理；
步骤3：神经网络模型构建步骤；以LSTM神经网络为神经元，构建多层LSTM-seq2seq-attention神经网络；构建seq2seq-attention神经网络过程中，是以LSTM神经网络为神经元构建多层seq2seq神经网络LSTM-seq2seq-attention，并加入注意力机制，选用Mish激活函数作为整个神经网络的输出层激活函数；LSTM-seq2seq-attention神经网络主要由编码器和解码器组成，并引入注意力机制；编码器由多层LSTM组成，对输入数据进行编码，并输出编码后的状态；注意力机制在编码器和解码器中间，解码器是由单层LSTM组成，注意力机制部分的输出作为上下文向量和编码器的输出拼接起来作为解码器的输入，同时以每一步的输出值作为下一步的输入值；
步骤4：神经网络模型训练步骤；利用步骤2中数据预处理后的用电数据，对步骤3的LSTM-seq2seq-attention神经网络进行训练，获得用电正常情况下的电力数据；
步骤5：经济数据估计步骤；将步骤4的用电正常情况下的电力数据以及同时期的气温数据、降雨量数据、湿度数据、风速数据和气压数据确定为影响GDP的6个指标，通过主成分分析法确定3个影响度最高的因子，进而计算得到同时期的GDP数值作为用电正常情况下的经济数据的估计值；
步骤6：用电异常综合指数d计算步骤；根据步骤5的用电正常情况下的经济数据的估计值，计算用电异常综合指数d；
采用公式（11）计算用电异常综合指数d；
d=|h-s|/h*100% （11）；
公式（11）中，h是月平均GDP估计值，s是月平均待检测值，待检测值是企业当月的月平均经济数据GDP；
步骤7：用电异常判断步骤；根据预设的阈值σ，通过阈值σ与用电异常综合指数d的比较，判断用电是否存在异常。
2.根据权利要求1所述的基于LSTM-seq2seq-attention模型的中长期用电异常检测方法，其特征在于，所述步骤1中，所述时间周期为检测当前月之前的48个月。
3.根据权利要求1所述的基于LSTM-seq2seq-attention模型的中长期用电异常检测方法，其特征在于，所述用电数据包括用电负荷数据、经济数据GDP和气象数据。
4.根据权利要求3所述的基于LSTM-seq2seq-attention模型的中长期用电异常检测方法，其特征在于，所述气象数据包括降雨量、气温、湿度数据、风速、气压。
5.根据权利要求1所述的基于LSTM-seq2seq-attention模型的中长期用电异常检测方法，其特征在于，所述步骤4中，训练过程采用Adam优化算法对模型的参数进行优化。
6.根据权利要求1所述的基于LSTM-seq2seq-attention模型的中长期用电异常检测方法，其特征在于，所述步骤7中，通过阈值σ与用电异常综合指数d的比较，判断用户是处于无窃电嫌疑状态、存在窃电嫌疑状态还是可疑用户需报警状态。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111039397.1A CN113779879B (zh) | 2021-09-06 | 2021-09-06 | 一种基于LSTM-seq2seq-attention模型的中长期用电异常检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111039397.1A CN113779879B (zh) | 2021-09-06 | 2021-09-06 | 一种基于LSTM-seq2seq-attention模型的中长期用电异常检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113779879A CN113779879A (zh) | 2021-12-10 |
| CN113779879B true CN113779879B (zh) | 2024-06-18 |
Family
ID=78841082
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111039397.1A Active CN113779879B (zh) | 2021-09-06 | 2021-09-06 | 一种基于LSTM-seq2seq-attention模型的中长期用电异常检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113779879B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114401135B (zh) * | 2022-01-14 | 2023-04-18 | 国网河北省电力有限公司电力科学研究院 | 基于LSTM-Attention用户和实体行为分析技术的内部威胁检测方法 |
| CN114418071A (zh) * | 2022-01-24 | 2022-04-29 | 中国光大银行股份有限公司 | 循环神经网络训练方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117689229A (zh) * | 2023-12-14 | 2024-03-12 | 国网北京市电力公司 | Gdp数据的预测方法和预测装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10418811B2 (en) * | 2017-09-12 | 2019-09-17 | Sas Institute Inc. | Electric power grid supply and load prediction using cleansed time series data |
| CN112163689A (zh) * | 2020-08-18 | 2021-01-01 | 国网浙江省电力有限公司绍兴供电公司 | 基于深度Attention-LSTM的短期负荷分位点概率预测方法 |
| CN112288137A (zh) * | 2020-10-09 | 2021-01-29 | 国网电力科学研究院有限公司 | 一种计及电价和Attention机制的LSTM短期负荷预测方法及装置 |
| CN112308402B (zh) * | 2020-10-29 | 2022-04-12 | 复旦大学 | 基于长短期记忆网络的电力时间序列数据的异常检测方法 |
| CN113139605A (zh) * | 2021-04-27 | 2021-07-20 | 武汉理工大学 | 基于主成分分析和lstm神经网络的电力负荷预测方法 |
-
2021
- 2021-09-06 CN CN202111039397.1A patent/CN113779879B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117689229A (zh) * | 2023-12-14 | 2024-03-12 | 国网北京市电力公司 | Gdp数据的预测方法和预测装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113779879A (zh) | 2021-12-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111191841B (zh) | 一种电力负荷预测方法、装置、计算机设备及存储介质 | |
| CN111339712B (zh) | 质子交换膜燃料电池剩余寿命预测方法 | |
| CN112116080A (zh) | 一种融合了注意力机制的cnn-gru水质预测方法 | |
| CN113779879B (zh) | 一种基于LSTM-seq2seq-attention模型的中长期用电异常检测方法 | |
| CN111798051A (zh) | 基于长短期记忆神经网络的空气质量时空预测方法 | |
| CN112990556A (zh) | 一种基于Prophet-LSTM模型的用户用电能耗预测方法 | |
| CN113554466B (zh) | 一种短期用电量预测模型构建方法、预测方法和装置 | |
| CN109886496B (zh) | 一种基于气象信息的农产量预测方法 | |
| CN111027772A (zh) | 基于pca-dbilstm的多因素短期负荷预测方法 | |
| CN111680786B (zh) | 一种基于改进权重门控单元的时序预测方法 | |
| CN112948743B (zh) | 一种基于时空融合的煤矿瓦斯浓度缺失值填充方法 | |
| CN112381292B (zh) | 一种顾及时空相关性和气象因素的河流水质预测方法 | |
| CN112215422A (zh) | 基于季节性分解的长短时记忆网络水质动态预警方法 | |
| CN112329990A (zh) | 一种基于lstm-bp神经网络的用户用电负荷预测方法 | |
| CN112232604B (zh) | 基于Prophet模型提取网络流量的预测方法 | |
| CN112765894B (zh) | 一种基于k-lstm的铝电解槽状态预测方法 | |
| CN114358213A (zh) | 非线性时序数据预测的误差消融处理方法及***与介质 | |
| CN114357670A (zh) | 一种基于bls和自编码器的配电网用电数据异常预警方法 | |
| CN114358435A (zh) | 双阶段时空注意力机制的污染源-水质预测模型权重影响计算方法 | |
| CN115343784A (zh) | 一种基于seq2seq-attention模型的局部气温预测方法 | |
| Wan et al. | Neural network model comparison and analysis of prediction methods using ARIMA and LSTM models | |
| CN117407681B (zh) | 一种基于向量聚类的时序数据预测模型建立方法 | |
| Wang et al. | A transformer-based multi-entity load forecasting method for integrated energy systems | |
| CN116913098B (zh) | 一种融合空气质量与车流量数据的短时交通流预测方法 | |
| CN114596726A (zh) | 基于可解释时空注意力机制的停车泊位预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |