CN117977568A

CN117977568A - 基于嵌套lstm和分位数计算的电力负荷预测方法

Info

Publication number: CN117977568A
Application number: CN202410049336.0A
Authority: CN
Inventors: 李丹; 张远航; 孙光帆; 杨保华; 王奇; 缪书唯; 李振兴; 刘颂凯
Original assignee: China Three Gorges University CTGU
Current assignee: China Three Gorges University CTGU
Priority date: 2020-10-13
Filing date: 2020-10-13
Publication date: 2024-05-03
Also published as: CN112232561A; CN112232561B

Abstract

本发明公开了基于嵌套LSTM和分位数计算的电力负荷预测方法，包括收集多个样本日的负荷功率和影响因素数据，形成数据集；建立嵌套LSTM模型，对嵌套LSTM模型中各个分位点LSTM进行预训练，获得权重、偏置参数集；对嵌套LSTM模型进行整体训练，训练过程中对权重、偏置参数进行微调，确定嵌套LSTM模型的最佳权重、偏置参数；将验证集输入训练好的嵌套LSTM模型，根据验证误差选出模型的最佳超参数；将测试样本输入具有最佳超参数的嵌套LSTM模型，对嵌套LSTM模型输出的预测结果进行反归一化。本发明采用嵌套LSTM模型进行电力负荷的分位数回归预测，使得预测负荷概率分布更合理，避免分位数预测值之间的交叉。

Description

基于嵌套LSTM和分位数计算的电力负荷预测方法

技术领域

本发明属于电力负荷预测领域，具体涉及一种基于嵌套LSTM和分位数计算的电力负荷预测方法。

背景技术

短期电力负荷预测是电力***安全、经济运行的基础，为电力***规划和运行、能源交易、机组启停、经济调度等提供重要信息。提高负荷预测的准确率有助于提高电力设备的利用率，并最大程度地减少能源浪费。

目前，负荷概率预测方法主要包括区间估计、核密度估计和分位数回归等。前两种方法主要基于点预测误差的参数统计估计概率分布，而分位数回归可直接解释不同分位点下响应变量和因变量之间的关系，成为近年来负荷概率预测文献关注的热点。但是，分位数回归的分位数预测值存在交叉的现象而导致不合理。

负荷概率预测方法较多是结合机器学习算法和分位数回归法，构建分位数模型。然而传统的机器学习算法，往往需要利用特征工程对数据进行处理。与传统的机器学习方法相比，深度学习神经网络被证明在应对大数据集的短期负荷预测方面更加有效。尤其是长短期记忆(long short-term memory, LSTM)神经网络，如附图2所示，因为其对时间序列形式的数据具有强适应性而得到了广泛应用。

因此，研究一种基于嵌套LSTM神经网络分位数回归的短期电力负荷概率预测方法。

发明内容

本发明的技术问题是现有的电力负荷的分位数回归方法的分位数预测值存在交叉的现象而导致不合理。

本发明的目的是解决上述问题，提供一种基于嵌套LSTM和分位数计算的电力负荷预测方法，将LSTM的鲁棒性和记忆特性与分位数回归的概率预测功能相结合，并考虑预测负荷概率分位数的固有特性，加入考虑分位数预测值之间约束关系的组合层，构建嵌套LSTM即约束并行长短期记忆网络模型（(constrained parallel Long-Short TermMemory，CP-LSTM）进行电力负荷的分位数回归预测，使得预测负荷概率分布更合理，避免分位数预测值之间的交叉。

本发明的技术方案是基于嵌套LSTM和分位数计算的电力负荷预测方法，包括以下步骤，

步骤1：收集多个样本日的负荷功率和影响因素数据，形成数据集并分为训练集、验证集和测试集；

步骤2：建立嵌套LSTM模型，设置模型超参数；采用并行式训练方法，对嵌套LSTM模型中各个分位点下并行LSTM进行预训练，获得全局参数集{W(τi),b(τi)}_opt；

步骤3：将得到全局参数集{W(τi),b(τi)}_opt作为嵌套LSTM模型的初始参数，对嵌套LSTM模型进行整体训练，训练过程中对权重、偏置参数进行微调，确定嵌套LSTM模型的最佳权重、偏置参数；

步骤4：将验证集输入训练好的嵌套LSTM模型，根据验证误差选出模型的最佳超参数；

步骤5：将测试样本输入具有最佳超参数的嵌套LSTM模型，对嵌套LSTM模型输出的预测结果进行反归一化，得到预测日中各时刻预测负荷的多个分位数预测值；

步骤6：根据步骤5得到的预测负荷的多个分位数，计算得到预测点的概率密度曲线。

优选地，步骤1还包括对数据集的各类数据进行归一化，将数据变量归一化到[-1,1]区间。

具体地，对样本日收集0时~24时相邻时间点间隔15分钟的96点负荷功率数据，选取预测前日的96点负荷功率与预测日的24时刻气温和分区降雨量组成多维特征输入变量向量，以预测日的96点负荷分位数作为输出变量向量，输入变量X _d=[T _d,R _d]，气温T _d =[T ₁ , T ₂ ,…, T ₂₄]_d，其中T _i, i∈{1,2,…,24}表示i时测取的天气温度，降雨量R _d =[R ₁ , R ₂,…,R _M]_d，其中R _j, j∈{1,2,…,M}表示预测地区的第j个子区域的降雨，d∈{1,2,…,D}，D为历史样本总天数，M为预测地区所包含的子区域数。

步骤2中，所述模型超参数包括神经元的数量m、样本的时窗长度l、节点数n和惩罚项参数λ ₁ 、λ ₂。

优选地，所述并行式训练通过GPU分布式计算实现，将训练集均等分为多个子集，分配到计算***的各个节点，每个计算节点负责处理该数据集的一个不同子集，从而减少神经网络训练总时间，将每个节点训练得到的参数集合，运用梯度下降公式计算新的全局权重集，进而分配给计算***的每一个节点，其公式为：

其中Z _φ={W, b}^(φ)为第φ次迭代训练得到的全局参数集，△Z _φ，j为第φ次迭代训练得到的第j个计算节点的参数梯度，n为计算节点的总个数，为缩放系数。

步骤3中，所述对权重、偏置参数进行微调，根据损失函数，运用梯度下降算法对权重、偏置参数进行微调整。

优选地，所述计算得到预测点的概率密度曲线采用高斯核密度估计方法。

优选地，步骤1按照8:1:1的比例，将数据集划分为训练集、验证集和测试集。

优选地，步骤5的预测结果采用计及分位数约束关系的评价指标评价分位数的交叉情况，由分位数的固有属性可知，t时刻的分位数预测值应满足

，

计及分位数约束关系的指标如下：

其中表示计及分位数约束关系的评价指标值；/>是t时刻分位点下的预测值，N为全部测试时刻数，v _t,i为约束违反程度函数，θ=τ_i+1-τ_i为分位点之间的步长，是一个常数；当相邻分位数之间满足约束关系时，v _t,i为0，而当违背约束关系时，v _t,i为相邻分位数的正差值，反映约束违反的程度。系数项2θ/N为分位数约束误差平方的归一化系数，由此计算出的X _CS为v _t,i在整个测试集样本和全部相邻分位数上的归一化均方根。故可通过X _CS来量化反映分位数的交叉情况。

当概率预测评价指标X _QS和X _CS同时较低时，表明预测得到的分位数具有更好的性能，本发明将两者结合，组成综合评价指标X _QCS：

相比现有技术，本发明的有益效果包括：

1）本发明采用嵌套LSTM模型进行电力负荷的分位数回归预测，使得预测负荷概率分布更合理，避免分位数预测值之间的交叉。

2）采用并行式训练方法，对嵌套LSTM模型中各个分位点LSTM进行预训练，获得权重、偏置参数集作为嵌套LSTM模型的初始参数，再进行整体训练，对权重、偏置参数进行微调，得到嵌套LSTM模型的最佳权重、偏置参数，使得模型预测效率更高，能获得准确的点预测结果。

3）本发明提出的计及分位数约束关系的评价指标，可用于评价分位数的交叉情况。

附图说明

下面结合附图和实施例对本发明作进一步说明。

图1为实施例的电力负荷概率预测方法的流程示意图。

图2为LSTM结构示意图。

图3为实施例的嵌套LSTM模型的结构示意图。

图4为实施例的并行式训练的示意图。

图5为并行LSTM的训练过程示意图。

图6为实施例中不同预测模型得到的测试集样本日的评价指标Xcs的对比示意图。

具体实施方式

如图1所示，基于嵌套LSTM和分位数计算的电力负荷预测方法，包括以下步骤，

步骤1：收集某实际地区2016年1月1日至2017年6月30日每间隔15分钟的负荷数据、气温数据和降雨量，形成数据集并按8:1:1的比例分为训练集、验证集和测试集，输入变量X _d=[T _d,R _d]，包括预测日24时刻气温T _d =[T ₁ , T ₂ ,…, T ₂₄]_d和M个分区的降雨量R _d =[R ₁ , R ₂,…,R _M]_d；考虑到数据之间的数据差别比较大，需要将不同的数据归化到[-1,1]里，经过归一化处理后的输入样本为；归一化处理前的样本数据为/>，其最大、最小样本值分别为、/>，样本数为N，具体处理公式如下：

步骤2：建立嵌套LSTM模型，如图3所示，嵌套LSTM模型包括输入层、隐藏层、输出层和回归层，隐藏层包括多个分位点长短期记忆网络模型（Quantile Long-Short TermMemory，Q-LSTM）。

设置模型超参数，包括神经元数量m、样本时窗长度l、计算节点数n、惩罚参数λ ₁ 、 λ ₂；实施例中，m的取值为200，时窗长度l的取值为6，λ ₁的取值为1，λ ₂的取值为20，总样本日为547天。

采用并行式训练方法，对嵌套LSTM模型中各个分位点下并行LSTM进行预训练，将训练集分为均等的n个子集，利用对应的n个计算节点对网络进行并行训练；

如图4所示，神经网络的数据并行式训练通过GPU分布式计算实现，将训练集均等分为多个子集，分配到计算***的各个节点，每个计算节点负责处理该数据集的一个不同子集，从而减少神经网络训练总时间，每个节点训练其数据子集均会得到一套模型参数，将每个节点训练得到的参数集合，运用梯度下降公式计算新的全局权重集，进而分配给计算***的每一个节点，其公式为：

其中Z _φ={W, b}^(φ)为第φ次迭代训练得到的全局参数集，△Z _φ，j为第φ次迭代训练得到的第j个计算节点的参数梯度，n为计算节点的总个数，为缩放系数，类似于学习率。

如图5所示，每个节点单独训练的模型Q-LSTM，训练过程如下：

（4）输入初始权重W _0(τi)和初始偏置b _0(τi)；

（5）计算LSTM的输入门、遗忘门/>、输出门/>、候选存储单元/>、新的存储状态、隐藏层状态/>的当前迭代值/>、/>、/>、/>、/>、/>，计算过程如下：

给定当前输入x _t，上一时刻隐含层状态h _t-1和存储状态C _t-1，详细的计算过程如下：

其中，W _i、W _f、W _o、W _c分别代表相应的权重矩阵，b _i、b _f、b _o、b _c分别代表相应的偏置向量；σ( ) 和tanh( )分别为Sigmoid 和正切S形曲线激活函数；输出层的最终输出由隐含层状态h _t计算：

其中W _S是隐含层与输出层的连接权重矩阵，b _S表示相应的偏置向量。

（6）根据损失函数利用梯度下降法计算梯度和/>，并据此计算各权重和偏置的梯度，损失函数如下：

其中

W(τ _i)={W _f(τ _i),W _i(τ _i),W _c(τ _i),W _o(τ _i)_, W _S(τ _i)}b(τ _i)={b _f(τ _i),b _i(τ _i),b _c(τ _i),b _o(τ _i),b _S(τ _i)}

分别为分位点下LSTM神经网络的全部权重参数矩阵集合和偏置向量集合；λ ₁为防止模型训练过拟合的正则项惩罚参数，/>(a)为检验函数，其定义为：

定义梯度函数和/>如下：

为损失函数/>对隐藏层状态/>的微分，/>为损失函数/>对存储状态/>的微分。

1）隐含层至输出层参数的梯度为：

为隐藏层状态/>对隐含层与输出层的连接权重矩阵W _S微分，/>为隐藏层状态/>对偏置向量b _S微分。

2）2）根据、/>分别计算遗忘门、输入门、候选存储单元和输出门参数的梯度；

（5）更新权重和偏置，公式如下：

其中η为学习率，W _*和b _*分别代表相应的权重矩阵和偏置向量。

重复步骤（2）~步骤（4），直至达到收敛条件，获得模型最优参数{W(τ _i ), b(τ _i )}_opt。

步骤3：将得到的权重、偏置参数集{W(τ _i ), b(τ _i )}_opt作为嵌套LSTM模型的初始参数，对嵌套LSTM模型进行整体训练，对{W(τ _i ),b(τ _i )}_r进行微调，确定CP-LSTM短期负荷概率预测模型的最佳权重及偏置参数；为获得嵌套LSTM模型的最佳参数，基于训练样本集，采用梯度下降法搜寻使损失函数最小的模型参数{W(τ _i),b(τ _i)}_opt；嵌套LSTM模型的训练方法与Q-LSTM训练方法一致，只是在损失函数和梯度有差别，嵌套LSTM模型损失函数如下：

其中,/>为违反约束条件的惩罚参数，对应的梯度/>、/>和/>相应变为:

向量u _i中各元素分别为：

遗忘门、输入门、存储单元、候选存储单元和输出门参数的梯度计算与步骤3中计算方式相同。

步骤4：将验证集输入步骤3训练好的嵌套LSTM模型，根据验证误差选择最优越的超参数。

实施例的547天的样本数据的10%用于验证，根据最终输出结果与真实值的误差选择最佳超参数。

步骤5：将测试样本输入具有最佳超参数的嵌套LSTM模型得到输出结果，再将输出结果转化为不同的量纲，即反归一化，最终对预测数据与真实结果进行对比分析；考虑到分位数预测结果应满足分位数约束条件，在常用概率预测评价指标Quantile score（QS)的基础上，本发明提出计及分位数约束关系的评价指标Constraint score（CS)。由分位数的固有属性可知，t时刻的分位数预测值应满足，据此本发明提出考虑分位数约束关系的指标如式：

其中表示计及分位数约束关系的评价指标值；/>是t时刻分位点下的预测值，N为测试时刻的总数，v _t,i为约束违反程度函数，θ=τ_i+1-τ_i为分位点之间的步长，是一个常数；当相邻分位数之间满足约束关系时，v _t,i为0，而当违背约束关系时，v _t,i为相邻分位数的正差值，反映约束违反的程度。系数项2θ/N为分位数约束误差平方的归一化系数，由此计算出的X _CS为v _t,i在整个测试集样本和全部相邻分位数上的归一化均方根。故可通过X _CS来量化反映分位数的交叉情况。

当X _QS和X _CS同时较低时，表明预测得到的分位数具有更好的性能，本发明将两者结合，组成综合评价指标X _QCS：

此外，预测区间(prediction interval, PI)的可靠性指标—PI覆盖概率偏差指数(PICP)和锐度指标—PI 标准均方根宽度(PINRW)也是概率预测结果评价的要指标。

常用概率预测评价指标X _QS：

其中是分位点/>下的pinball losses值，y _t为t时刻电力负荷的实际值，/>是t时刻/>分位点下的预测值，N为测试时刻的总数。

可靠性指标X _PICP：

其中ε ^α表示在置信度1-α下实际值落入预测区间的数量。

PI的实际覆盖率PICP与其标称值(PI nominal confidence, PINC)的偏差覆盖概率偏差指数X _Dev：

锐度指标X _PINRW：

其中X _PINRW ^α是在置信度1-α下的预测区间归一化均方根宽度，U _t ^α和L _t ^α分别是置信度1-α下第t个测试样本预测区间的上、下限，R是测试集中负荷最大值和最小值之差。

步骤6：根据步骤5得到的预测负荷的多个分位数，采用高斯核密度估计方法计算得到预测点的概率密度曲线，高斯核密度估计方法参照期刊《Energy》2018年刊登的文章“Short-term power load probability density forecasting based on Yeo-Johnsontransformation quantile regression and Gaussian kernel function”公开的高斯核密度估计方法。

实施例中，选取某实际地区2016年1月1日至2017年6月30日的15分钟级负荷数据集，通过本发明的方法，进行日前负荷概率预测。为验证嵌套LSTM模型的预测性能，将它与线性分位数回归模型L-QR、带参数整流线性激活函数RCLU的分位数神经网络bQRNN、QRNN以及不加组合层的Q-LSTM进行对比。各模型概率预测结果的评价指标统计对比如表1和表2所示，表1列出了训练时长T _train、常用概率预测评价指标X _QS、考虑分位数约束关系的指标X _CS、综合评价指标X _QCS及50%、90%置信度下的锐度指标X _PINRW和违背相邻分位数约束关系样本占比f；表2列出了不同置信度下可靠性指标X _PICP和偏差指数X _Dev的对比，其中X _AD、X _MD分别为各置信度下X _Dev的均值、最大值。

结合图6和表1可知，嵌套LSTM即CP-LSTM的X _CS指标在绝大多数样本日中明显低于其他几种方法，且CP-LSTM在整个测试集的综合X _CS指标仅为Q-LSTM的27.28%，而且违背约束的样本在整个测试集样本中所占的比例f相较Q-LSTM降低了16.3%，但反映预测精度的X _QS指标却并未有明显变化。可见CP-LSTM能在不降低预测精度的前提下，有效避免分位数交叉，改善预测分位数的合理性。

表1 各模型评价指标对比表

表2 各模型X _PICP和X _Dev对比表

本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。

Claims

1.基于嵌套LSTM和分位数计算的电力负荷预测方法，其特征在于，包括以下步骤：

步骤2：建立嵌套LSTM模型，设置模型超参数；采用并行式训练方法，对嵌套LSTM模型中各个分位点LSTM进行预训练，获得权重、偏置参数集；

分位点长短期记忆网络模型Q-LSTM包括输入门、遗忘门/>、输出门/>、候选存储单元；

步骤3：将得到的权重、偏置参数集作为嵌套LSTM模型的初始参数，对嵌套LSTM模型进行整体训练，训练过程中对权重、偏置参数进行微调，确定嵌套LSTM模型的最佳权重、偏置参数；

步骤5：将测试样本输入具有最佳超参数的嵌套LSTM模型，对嵌套LSTM模型输出的预测结果进行反归一化，得到预测日中各时刻预测负荷的多个分位数预测值。

2.根据权利要求1所述的基于嵌套LSTM和分位数计算的电力负荷预测方法，其特征在于，还包括步骤6：根据步骤5得到的预测负荷的多个分位数，计算得到预测点的概率密度曲线。

3.根据权利要求2所述的基于嵌套LSTM和分位数计算的电力负荷预测方法，其特征在于，步骤1对样本日收集0时~24时相邻时间点间隔15分钟的96点负荷功率数据，选取预测前日的96点负荷功率与预测日的24时刻气温和分区降雨量组成多维特征输入变量向量，以预测日的96点负荷分位数作为输出变量向量，输入变量X _d=[T _d, R _d]，气温T _d =[T ₁ , T ₂ ,…, T ₂₄]_d，其中T _i, i∈{1,2,…,24}表示i时测取的天气温度，降雨量R _d =[R ₁ , R ₂,…, R _M]_d，其中R _j, j∈{1,2,…,M}表示预测地区的第j个子区域的降雨，d∈{1,2,…,D}，D为历史样本总天数，M为预测地区所包含的子区域数。

4.根据权利要求3所述的基于嵌套LSTM和分位数计算的电力负荷预测方法，其特征在于，步骤2中，所述模型超参数包括神经元的数量m、样本的时窗长度l、节点数n和惩罚项参数λ ₁ 、λ ₂。

5.根据权利要求4所述的基于嵌套LSTM和分位数计算的电力负荷预测方法，其特征在于，所述并行式训练通过GPU分布式计算实现，将训练集均等分为多个子集，分配到计算***的各个节点，每个计算节点负责处理该数据集的一个不同子集，从而减少神经网络训练总时间，将每个节点训练得到的参数集合，运用梯度下降公式计算新的全局权重集，进而分配给计算***的每一个节点，其公式为：

6.根据权利要求5所述的基于嵌套LSTM和分位数计算的电力负荷预测方法，其特征在于，每个节点单独训练的分位点长短期记忆网络模型Q-LSTM，训练过程如下：

（1）输入初始权重W _0(τi)和初始偏置b _0(τi)；

（2）计算LSTM的输入门、遗忘门/>、输出门/>、候选存储单元/>、新的存储状态/>、隐藏层状态/>的当前迭代值/>、/>、/>、/>、/>、/>，计算过程如下：

其中W _S是隐含层与输出层的连接权重矩阵，b _S表示相应的偏置向量；

（3）根据损失函数利用梯度下降法计算梯度和/>，并据此计算各权重和偏置的梯度，损失函数如下：

其中W(τ _i)={W _f(τ _i),W _i(τ _i),W _c(τ _i),W _o(τ _i)_, W _S(τ _i)}，b(τ _i)={b _f(τ _i),b _i(τ _i),b _c(τ _i),b _o(τ _i),b _S(τ _i)}分别为分位点下LSTM神经网络的全部权重参数矩阵集合和偏置向量集合；λ ₁为防止模型训练过拟合的正则项惩罚参数，/>为检验函数；

隐含层至输出层参数的梯度为：

为隐藏层状态/>对隐含层与输出层的连接权重矩阵W _S微分，/>为隐藏层状态/>对偏置向量b _S微分；

根据、/>分别计算遗忘门、输入门、候选存储单元和输出门参数的梯度；

（4）更新权重和偏置，公式为：

其中η为学习率，W _*和b _*分别代表相应的权重矩阵和偏置向量；

重复步骤（2）-步骤（4），直至达到收敛条件，获得模型最优参数{W(τ _i ), b(τ _i )}_opt。

7.根据权利要求6所述的基于嵌套LSTM和分位数计算的电力负荷预测方法，其特征在于，步骤3中，为获得约束并行LSTM模型的最佳参数，基于训练样本集，采用梯度下降法搜寻使损失函数最小的模型参数{W(τ _i), b(τ _i)}_opt；约束并行LSTM模型的训练方法与分位点长短期记忆网络模型Q-LSTM训练方法一致，只是在损失函数和梯度有差别，约束并行LSTM模型损失函数为：

其中

；

为违反约束条件的惩罚参数；

遗忘门、输入门、存储单元、候选存储单元和输出门参数的梯度计算与步骤2中计算方式相同。

8.根据权利要求7所述的基于嵌套LSTM和分位数计算的电力负荷预测方法，其特征在于，步骤5的预测结果采用计及分位数约束关系的评价指标评价分位数的交叉情况，计及分位数约束关系的指标如下：

其中表示计及分位数约束关系的评价指标值；/>是t时刻分位点/>下的预测值，N为测试时刻的总数，v _t,i为约束违反程度函数，θ表示分站点之间的步长；当相邻分位数之间满足约束关系时，v _t,i为0，而当违背约束关系时，v _t,i为相邻分位数的正差值，反映约束违反的程度；系数项2θ/N为分位数约束误差平方的归一化系数。

9.根据权利要求8所述的基于嵌套LSTM和分位数计算的电力负荷预测方法，其特征在于，步骤6中，所述计算得到预测点的概率密度曲线采用高斯核密度估计方法。