CN116384574A - 一种基于w-lstm的非参数负荷区间预测方法 - Google Patents

Abstract

本发明公开了一种基于W‑LSTM的非参数负荷区间预测方法，步骤包括：S1，对收集的电力负荷数据集进行缺失值填补、异常值剔除；S2，将完成预处理的电力负荷时间序列数据集转换为监督学习数据集，并使用离散小波变换进行特征提取；S3，将提取特征向量输入以L_QD为损失函数的LSTM神经网络，实现电力负荷区间预测。本发明使用W‑LSTM神经网络进行电力负荷区间预测时，使用离散小波变化挖掘了电力负荷时序特性，提高了LSTM神经网络的预测精度，同时利用L_QD损失函数，便捷准确的实现了非参数负荷区间预测。

Description

一种基于W-LSTM的非参数负荷区间预测方法

技术领域

本发明涉及电力负荷区间预测技术领域，具体涉及一种基于W-LSTM的非参数负荷区间预测方法。

背景技术

随着电动汽车的大量接入以及需求响应技术的迅速发展，现代的电力负荷相比于传统的电力负荷波动性更强，随机性更大，因此区间预测开始被广泛应用到电力负荷预测领域，使用置信区间的形式来量化预测不确定性。区间预测可以分为参数法与非参数法，其中参数发需要提前假定负荷服从某种类型的概率分布，如果概率分布对电力负荷大小分布的描述不够准确则可能导致区间预测精度不足；而非参数法不需要假定电力负荷服从某种类型的概率分布，能够较好的适应目前变化趋势复杂的电力负荷。因此本申请基于长短期记忆网络(long short-term memory,LSTM)，使用LQD损失函数，便捷准确的实现了电力负荷非参数区间预测，同时使用多级离散小波变换挖掘原始电力负荷时间序列特征，提升了区间预测的精度。

中国专利CN202010418956.9公开了基于QRA-LSTM的日前光伏功率非参数概率预测方法，采用光伏历史数据和数值天气预报数据(NSW)训练了一组相互独立的长短期记忆网络(LSTM)确定性预测模型，并通过分位数回归平均算法(QRA)集成各独立LSTM预测模型生成了光伏出力的非参数概率预测模型，然，该方法没有考虑LSTM神经网络在不同频域挖掘负荷的时序特征，在同时存在高频分量和低频分量场合的预测存在缺陷。

发明内容

本发明的目的在于解决现有区间预测方法对电力负荷区间预测精确度不足的问题，提供了一种基于W-LSTM的非参数负荷区间预测方法。本发明首先将收集得到的电力负荷时间序列数据集进行缺失值填补、异常值剔除等预处理；完成预处理后，将电力负荷时间序列数据转换为监督学习数据集，并使用多级离散小波变换提取得到原始电力负荷的特征向量；最后以提取得到的特征向量作为LSTM神经网络的输入，并以L_QD损失函数训练LSTM神经网络，实现了精度更高的电力负荷非参数区间预测方法。

本发明的目的是通过以下技术方案来实现：一种基于W-LSTM的非参数负荷区间预测方法，包括步骤：

步骤一，对收集的电力负荷时间序列数据集进行缺失值填补、异常值剔除的预处理；

步骤二，将完成预处理的电力负荷时间序列数据集转换为监督学习数据集；

步骤三，使用离散小波变换提取电力负荷时间序列的特征向量；

步骤四，将离散小波变换提取得到的特征向量输入以L_QD损失函数训练的LSTM神经网络，得到电力负荷非参数区间预测结果。

进一步地，所述步骤一中时间序列数据集进行缺失值填补的方法为：

判断缺失数据类型，如果是单点数据缺失，则使用缺失数据前一个时间点和缺失数据后一个时间点的数据平均值填补缺失数据；

如果连续多个时间点的数据值均为缺失，即某个时间段的数据值缺失，则使用整个时间序列数据集中相同时间段的数据值的平均值填补缺失时间段的数据值。

进一步地，所述步骤一中电力负荷时间序列缺失值填补和异常值剔除方法为：

对于缺失数据，使用缺失数据前后时间点的数据平均值填补缺失数据：

式中，

为时间点t缺失数据的填补值，p_t-1、p_t+1分别代表时间点t-1和时间点t+1的电力负荷数据值。

对于异常数据，使用数据变化率来剔除异常值：

式中，r_t时间点t电力负荷的变换率，p_t、p_t-1分别代表时间点t和时间点t-1的电力负荷数据值。

如果某个时间点的电力负荷变化率大于0.8则认为该时间点的电力负荷数据值为异常值。对于异常数据点，使用异常数据点前后时间点的数据平均值替代异常数据。

进一步地，所述步骤二中完成预处理的电力负荷时间序列数据集转换为监督学习数据集的方法为：

得到完成预处理的电力负荷时间序列后，以过去12个时间点的电力负荷大小为预测模型的输入x_i＝{p_t-12,p_t-11,p_t-10,…,p_t-1}，以当前时间点的电力负荷大小为标签y_i＝{p_t}，得到(x_i，y_i)这样成对的监督学习数据集。

进一步地，所述步骤三中使用离散小波变换提取电力负荷时间序列的特征向量方法为：

得到模型输入x_i＝{p_t-12,p_t-11,p_t-10,…,p_t-1}后，使用多级离散小波变换从电力负荷时间序列数据中提取特征向量，将提取得到的第m级低频分量和第m级高频分量分别记为x^l(m)和x^h(m)。其中第m+1级变换是将第m级变换得到的低频分量分别送入一个低通滤波器l＝{l₁,...,l_k,...,l_K}和一个高通滤波器h＝{h₁,...,h_k,...,h_K}：

式中，

代表第i级变换得到的低频序列的第n+k-1个元素，滤波器输出的低频分量/>

和高频分量/>

经过平均降采样后，得到第m+1级变换提取的低频分量x^l(m+1)和高频分量x^h(m+1)；

经过i次变换后，可以提取得到一个特征向量序列：

F_i＝{x^h(1),x^h(2),...,x^h(m),x^l(m)} (5)

进一步地，所述步骤四中L_QD损失函数为：

记标签yi对应的置信度为(1-α)的预测区间为

则该预测区间应该满足：

式中，Pr()代表满足括号中条件的概率。对于n组输入与标签对应的样本，用k_i代表第i个样本的标签值是否落入给出的预测区间中：

定义c为n组样本中，标签值落入给出预测区间内的数量：

则预测区间的覆盖率可以表示为：

包含标签值的预测区间的平均宽度可以表示为：

一个好的预测区间，一方面应该尽可能保证区间覆盖率PICP接近理论置信度(1-α)，同时也应该尽可能保证预测区间平均宽度MPIW越小，因此将损失函数L_QD定义为：

式中，MPIW代表含标签值的预测区间平均宽度，应该越小越好，λ代表权重系数，本申请取1，n代表样本数量，(1-α)代表理论置信度，PICP代表预测区间覆盖率。

进一步地，所述步骤四中以L_QD损失函数训练的LSTM神经网络，得到电力负荷非参数区间预测结果方法为：

将电力负荷时间序列数据集转换得到的监督学习数据集按照8：2划分为训练集和测试集，其中训练集用来训练LSTM神经网络模型，测试集用来测试LSTM神经网络模型区间预测性能；

LSTM神经网络是在循环神经网络的基础上改进得到，一定程度上解决了循环神经网络梯度爆照和梯度消失的问题，其表达式为：

C_t＝f_tC_t-1+i_t tanh(W_C·[h_t-1,x_t]+b_C) (12)

i_t＝σ(W_i·[h_t-1,x_t]+b_i) (13)

i_t＝σ(W_i·[h_t-1,x_t]+b_i) (14)

f_t＝σ(W_f·[h_t-1,x_t]+b_f) (15)

o_t＝σ(W_o[h_t-1,x_t]+b_o) (16)

式中，x_t代表多级离散小波变换提取的特征向量，i_t是输入门，f_t是遗忘门，h_t-1是上一个时间点的输出，C_t-1是上一个时间点的记忆，h_t是当前时间点的输出，C_t是当前时间点的记忆。W代表权重矩阵参数，b是偏置项，σ和tanh分别是sigmoid和tanh激活函数。

本发明的有益效果是：利用多级离散小波变换W-LSTM神经网络模型进行电力负荷非参数区间预测时，在LSTM神经网络的基础上采用多级离散小波变化将原始负荷时间序列分解为了多个高频分量和一个低频分量，帮助LSTM神经网络在不同频域挖掘负荷的时序特征，提高预测性能；同时使用LQD损失函数便捷有效的帮助LSTM神经网络模型实现了电力负荷非参数区间预测；预测区间的覆盖率越接近理论置信度越好，平均宽度越小越好，因此本发明设计一个损失函数，是平均宽度+系数*(理论置信度-实际区间覆盖率)^2。训练是让损失函数变小，这一过程中，平均宽度变小，理论置信度和实际区间覆盖率越来越接近。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一种基于W-LSTM的非参数负荷区间预测方法的实现流程图。

图2是本发明一种基于W-LSTM的非参数负荷区间预测方法针对连续一周负荷，给出的90％置信度预测区间图。

具体实施方式

下面通过具体实施例，并结合附图，对本发明的具体实施方式作进一步具体说明。

本发明是这样来工作和实施的，如图1所示，一种基于W-LSTM的非参数负荷区间预测方法，其特征是：包括步骤：

步骤一，对收集的电力负荷时间序列数据集进行缺失值填补、异常值剔除的预处理；

步骤二，将完成预处理的电力负荷时间序列数据集转换为监督学习数据集；

步骤三，并使用离散小波变换提取电力负荷时间序列的特征向量；

步骤四，将离散小波变换提取得到的特征向量输入以L_QD损失函数训练的LSTM神经网络，得到电力负荷非参数区间预测结果。

进一步地，所述步骤一中时间序列数据集进行缺失值填补的方法为：

判断缺失数据类型，如果是单点数据缺失，则使用缺失数据前一个时间点和缺失数据后一个时间点的数据平均值填补缺失数据；

如果连续多个时间点的数据值均为缺失，即某个时间段的数据值缺失，则使用整个时间序列数据集中相同时间段的数据值的平均值填补缺失时间段的数据值。

进一步地，所述步骤一中对收集的电力负荷时间序列数据集进行缺失值填补、异常值剔除的预处理，具体步骤包括：

对于缺失数据，使用缺失数据前后时间点的数据平均值填补缺失数据：

式中，

为时间点t缺失数据的填补值，p_t-1、p_t+1分别代表时间点t-1和时间点t+1的电力负荷数据值。

对于异常数据，使用数据变化率来剔除异常值：

式中，r_t时间点t电力负荷的变换率，p_t、p_t-1分别代表时间点t和时间点t-1的电力负荷数据值。

如果某个时间点的电力负荷变化率大于0.8则认为该时间点的电力负荷数据值为异常值。对于异常数据点，使用异常数据点前后时间点的数据平均值替代异常数据。

进一步地，所述步骤二中，将完成预处理的电力负荷时间序列数据集转换为监督学习数据集，具体步骤包括：

得到完成预处理的电力负荷时间序列后，以过去12个时间点的电力负荷大小为预测模型的输入x_i＝{p_t-12,p_t-11,p_t-10,…,p_t-1}，以当前时间点的电力负荷大小为标签y_i＝{p_t}，得到(x_i，y_i)这样成对的监督学习数据集。

进一步地，所述步骤三中，使用离散小波变换提取电力负荷时间序列的特征向量，具体步骤包括：得到模型输入x_i＝{p_t-12,p_t-11,p_t-10,…,p_t-1}后，使用多级离散小波变换从电力负荷时间序列数据中提取特征向量，将提取得到的第m级低频分量和第m级高频分量分别记为x^l(m)和x^h(m)。其中第m+1级变换是将第m级变换得到的低频分量分别送入一个低通滤波器l＝{l₁,…,l_k,…,l_K}和一个高通滤波器h＝{h₁,…,h_k,…,h_K}：

式中，

代表第i级变换得到的低频序列的第n+k-1个元素，滤波器输出的低频分量/>

和高频分量/>

经过平均降采样后，得到第m+1级变换提取的低频分量x^l(m+1)和高频分量x^h(m+1)。

经过i次变换后，可以提取得到一个特征向量序列：

F_i＝{x^h(1),x^h(2),…,x^h(m),x^l(m)} (5)

在LSTM神经网络的基础上采用多级离散小波变化将原始负荷时间序列分解为了多个高频分量和一个低频分量，帮助LSTM神经网络在不同频域挖掘负荷的时序特征，提高预测性能。

进一步地，所述步骤四中，将离散小波变换提取得到的特征向量输入以L_QD损失函数训练的LSTM神经网络，得到电力负荷非参数区间预测结果，具体步骤包括：

记标签yi对应的置信度为(1-α)的预测区间为

则该预测区间应该满足：

式中，Pr()代表满足括号中条件的概率。对于n组输入与标签对应的样本，用k_i代表第i个样本的标签值是否落入给出的预测区间中：

定义c为n组样本中，标签值落入给出预测区间内的数量：

则预测区间的覆盖率可以表示为：

包含标签值的预测区间的平均宽度可以表示为：

一个好的预测区间，一方面应该尽可能保证区间覆盖率PICP接近理论置信度(1-α)，同时也应该尽可能保证预测区间平均宽度MPIW越小，因此将损失函数L_QD定义为：

式中，MPIW代表含标签值的预测区间平均宽度，应该越小越好，λ代表权重系数，本申请取1，n代表样本数量，(1-α)代表理论置信度，PICP代表预测区间覆盖率。

以L_QD损失函数训练的LSTM神经网络方法为：

将电力负荷时间序列数据集转换得到的监督学习数据集按照8：2划分为训练集和测试集，其中训练集用来训练LSTM神经网络模型，测试集用来测试LSTM神经网络模型区间预测性能。

LSTM神经网络是在循环神经网络的基础上改进得到，一定程度上解决了循环神经网络梯度爆照和梯度消失的问题，其表达式为：

C_t＝f_tC_t-1+i_t tanh(W_C·[h_t-1,x_t]+b_C) (12)

i_t＝σ(W_i·[h_t-1,x_t]+b_i) (13)

i_t＝σ(W_i·[h_t-1,x_t]+b_i) (14)

f_t＝σ(W_f·[h_t-1,x_t]+b_f) (15)

o_t＝σ(W_o[h_t-1,x_t]+b_o) (16)

式中，x_t代表多级离散小波变换提取的特征向量，i_t是输入门，f_t是遗忘门，h_t-1是上一个时间点的输出，C_t-1是上一个时间点的记忆，h_t是当前时间点的输出，C_t是当前时间点的记忆。W代表权重矩阵参数，b是偏置项，σ和tanh分别是sigmoid和tanh激活函数。

同时使用LQD损失函数便捷有效的帮助LSTM神经网络模型实现了电力负荷非参数区间预测；预测区间的覆盖率越接近理论置信度越好，平均宽度越小越好，因此本发明设计一个损失函数，是平均宽度+系数*(理论置信度-实际区间覆盖率)^2。训练是让损失函数变小，这一过程中，平均宽度变小，理论置信度和实际区间覆盖率越来越接近。

现用一个实例来验证本申请所提电力负荷非参数区间预测的结果是准确的，收集一个电力负荷时间序列数据集后，按8：2的比例划分训练集与测试集，使用训练集训练LSTM模型，使用测试集验证模型区间预测精度。附图2展示了测试集连续一周电力负荷90％置信度的区间预测结果，图中散点代表实际电力负荷大小，上方曲线和下方曲线分别代表预测区间的上界与下界，从图中可以看出，预测的90％置信度预测区间准确的实现了电力负荷区间预测。表1展示了本发明所述方法和传统的LSTM-L_QD、常见的分位数LSTM覆盖率和平均宽度两个指标的对比，可以看出在覆盖率基本相同时，本专利所提方法区间的平均宽度更低，说明了本发明所述方法的优越性。

表1

方法	覆盖率	平均宽度
			本发明W-LSTM-LQD方法	91.32％	2.37
传统LSTM-LQD方法	90.47％	2.43
			常见分位数LSTM方法	90.50％	2.49

综上，本发明首先对收集到的电力负荷时间序列数据集进行缺失值补全、异常值剔除等预处理；然后将完成预处理的电力负荷时间序列数据转换为监督学习数据集，并使用多级离散小波变换从原始输入的电力负荷时间序列中提取特征向量；最后以提取的特征向量作为LSTM神经网络的输入，使用L_QD损失函数训练LSTM神经网络，实现了精度更高的电力负荷非参数区间预测。

需要声明的是，上述具体实施方式仅仅为本发明的较佳实施例及所运用技术原理。本领域技术人员应该明白，还可以对本发明做各种修改、等同替换、变化等等。但是，这些变换只要未背离本发明的精神，都应在本发明的保护范围之内。另外，本发明说明书和权利要求书所使用的一些术语并不是限制，仅仅是为了便于描述。

Claims (7)

1.一种基于W-LSTM的非参数负荷区间预测方法，其特征在于：包括

步骤一，对收集的电力负荷时间序列数据集进行缺失值填补、异常值剔除的预处理；

步骤二，将完成预处理的电力负荷时间序列数据集转换为监督学习数据集；

步骤三，使用离散小波变换提取电力负荷时间序列的特征向量；

步骤四，将离散小波变换提取得到的特征向量输入以L_QD损失函数训练的LSTM神经网络，得到电力负荷非参数区间预测结果。

2.根据权利要求1所述一种基于W-LSTM的非参数负荷区间预测方法，其特征在于：所述步骤一中时间序列数据集进行缺失值填补的方法为：

判断缺失数据类型，如果是单点数据缺失，则使用缺失数据前一个时间点和缺失数据后一个时间点的数据平均值填补缺失数据；

如果连续多个时间点的数据值均为缺失，即某个时间段的数据值缺失，则使用整个时间序列数据集中相同时间段的数据值的平均值填补缺失时间段的数据值。

3.根据权利要求1所述一种基于W-LSTM的非参数负荷区间预测方法，其特征在于：步骤一中电力负荷时间序列缺失值填补和异常值剔除方法为：

对于缺失数据，使用缺失数据前后时间点的数据平均值填补缺失数据：

式中，

为时间点t缺失数据的填补值，p_t-1、p_t+1分别代表时间点t-1和时间点t+1的电力负荷数据值。

对于异常数据，使用数据变化率来剔除异常值：

式中，r_t时间点t电力负荷的变换率，p_t、p_t-1分别代表时间点t和时间点t-1的电力负荷数据值。

如果某个时间点的电力负荷变化率大于0.8则认为该时间点的电力负荷数据值为异常值，对于异常数据点，使用异常数据点前后时间点的数据平均值替代异常数据。

4.根据权利要求1所述一种基于W-LSTM的非参数负荷区间预测方法，其特征是：所述步骤二中完成预处理的电力负荷时间序列数据集转换为监督学习数据集的方法为：

得到完成预处理的电力负荷时间序列后，以过去12个时间点的电力负荷大小为预测模型的输入x_i＝{p_t-12,p_t-11,p_t-10,...,p_t-1}，以当前时间点的电力负荷大小为标签y_i＝{p_t}，得到(x_i，y_i)这样成对的监督学习数据集。

5.根据权利要求1所述一种基于W-LSTM的非参数负荷区间预测方法，其特征在于：所述步骤三中使用离散小波变换提取电力负荷时间序列的特征向量方法为：

得到模型输入x_i＝{p_t-12,p_t-11,p_t-10,…,p_t-1}后，使用多级离散小波变换从电力负荷时间序列数据中提取特征向量，将提取得到的第m级低频分量和第m级高频分量分别记为x^l(m)和x^h(m)。其中第m+1级变换是将第m级变换得到的低频分量分别送入一个低通滤波器l＝{l₁,...,l_k,...,l_K}和一个高通滤波器h＝{h₁,...,h_k,...,h_K}：

式中，

代表第i级变换得到的低频序列的第n+k-1个元素，滤波器输出的低频分量

和高频分量/>

经过平均降采样后，得到第m+1级变换提取的低频分量x^l(m+1)和高频分量x^h(m+1)；

经过i次变换后，可以提取得到一个特征向量序列：

F_i＝{x^h(1),x^h(2),...,x^h(m),x^l(m)} (5)

6.根据权利要求1所述一种基于W-LSTM的非参数负荷区间预测方法，其特征是：所述步骤四中L_QD损失函数为：

记标签yi对应的置信度为(1-α)的预测区间为

则该预测区间应该满足：

式中，Pr()代表满足括号中条件的概率，对于n组输入与标签对应的样本，用k_i代表第i个样本的标签值是否落入给出的预测区间中：

定义c为n组样本中，标签值落入给出预测区间内的数量：

则预测区间的覆盖率可以表示为：

包含标签值的预测区间的平均宽度可以表示为：

将损失函数L_QD定义为：

式中，MPIW代表含标签值的预测区间平均宽度，应该越小越好，λ代表权重系数，本申请取1，n代表样本数量，(1-α)代表理论置信度，PICP代表预测区间覆盖率。

7.根据权利要求1所述一种基于W-LSTM的非参数负荷区间预测方法，其特征在于：所述步骤四中以L_QD损失函数训练的LSTM神经网络，得到电力负荷非参数区间预测结果方法为：

将电力负荷时间序列数据集转换得到的监督学习数据集按照8：2划分为训练集和测试集，其中训练集用来训练LSTM神经网络模型，测试集用来测试LSTM神经网络模型区间预测性能；

LSTM神经网络是在循环神经网络的基础上改进得到，其表达式为：

C_t＝f_tC_t-1+i_ttanh(W_C·[h_t-1,x_t]+b_C) (12)

i_t＝σ(W_i·[h_t-1,x_t]+b_i) (13)

i_t＝σ(W_i·[h_t-1,x_t]+b_i) (14)

f_t＝σ(W_f·[h_t-1,x_t]+b_f) (15)

o_t＝σ(W_o[h_t-1,x_t]+b_o) (16)

式中，x_t代表多级离散小波变换提取的特征向量，i_t是输入门，f_t是遗忘门，h_t-1是上一个时间点的输出，C_t-1是上一个时间点的记忆，h_t是当前时间点的输出，C_t是当前时间点的记忆。W代表权重矩阵参数，b是偏置项，σ和tanh分别是sigmoid和tanh激活函数。

Images