CN109829587A - 基于深度lstm网络的小区域级超短期负荷预测及可视化方法 - Google Patents

Abstract

本发明提出了一种基于深度长短时记忆(LSTM，Long Short‑Term Memory)网络的小区域级超短期负荷预测及可视化方法，该方法包括：步骤1：确定模型的输入输出变量；步骤2：对输入输出数据集分别进行预处理；步骤3：构造深度LSTM负荷预测模型，并采用随机搜索的方法，寻找合适的超参数直到测试集预测误差达到最小。步骤4：采用t‑SNE可视化技术对网络隐藏层向量进行可视化表征，并根据隐藏层向量形成相关系数热图进行相关性定量分析，从而反映网络对输入数据特征提取能力。该方法旨在利用深度学习模型的特征提取能力以及LSTM时序相关性学习能力，以获得与机器学习模型相比更高的预测精度。

Description

基于深度LSTM网络的小区域级超短期负荷预测及可视化方法

技术领域

本发明涉及大数据背景下，基于深度长短时记忆网络的小区域级超短期负荷预测方法，及其学习能力的可视化表征。

背景技术

超短期负荷(very short term load forecasting,VSTLF)预测一般指当前时刻往后一个小时内的负荷预测，主要用于日内及实时发电计划的制定。随着分布式能源增多，负荷变化的随机性给负荷预测的准确性带来更大的挑战，而在电力市场竞争环境下，超短期负荷预测的结果是实时电力市场确定清算价格的重要依据，过大的预测误差则会造成运行费用的激增。因此超短期负荷预测准确度的提升对于揭示负荷变动的不确定性以及日前预测的偏差具有十分重要的意义。

针对超短期负荷预测模型，主要可以分为统计模型以及机器学习模型两类。其中，统计模型主要包括多元线性回归模型、卡尔曼滤波器模型、以及时间序列模型。而机器学习预测方法则以人工神经网络(Artificial Neural Network，ANN)，支持向量机(supportvector regression，SVR)，以及决策树模型为代表。决策树可以看成是一个基于if-then规则和图形表示的模型，通过递归分割将数据分成不同的子集，其应用于电力负荷预测的常见算法有随机森林算法以及梯度提升算法(gradient boosting regression tree，GBRT)。基于机器学习预测方法可以较好地把握负荷与温度、电价、星期等外界因素之间的非线性关系，并可以达到一定的预测精度。

近年来，以深度学习为代表的人工智能方法在计算机视觉，机器翻译，医疗诊断等领域均取得了不错的效果。深度学习模型通过多层非线性映射，可以逐层学习到大量数据中蕴含的抽象特征，并有效地解决分类、预测、决策等问题。电力***是一种高维非线性的复杂***，其中包含电力流、天气流、信息流、故障流等多种数据流向。因此将电力***中丰富的大数据资源结合深度学习算法，有望达到更准确的超短期负荷预测效果。

本发明中采用的LSTM是一种特殊的循环神经网络(recurrent neural networks，RNNs)，用于解决原始RNNs中具有的梯度消失问题。由于其具有特殊的记忆结构和门结构，可以较好地学习时序数据中含有的相关性特征，因此被广泛用于序列模型中。本发明针对应用LSTM对小区域级的超短期负荷预测进行研究。

发明内容

针对现有技术中的缺陷，本发明的目的是提出一种基于深度长短时记忆(LSTM，Long Short-Term Memory)网络的小区域级超短期负荷预测方法，对未来一小时的负荷进行预测。旨在利用深度学习模型的特征提取能力以及LSTM时序相关性学习能力，以获得与机器学习模型相比更高的预测精度。

一种基于深度LSTM的小区域级超短期负荷预测方法，该方法包括如下步骤：

步骤1：确定模型的输入输出变量。

输入输出数据集的确定是决定模型表现的关键，电力***中的超短期负荷预测，一般采用逐点方式进行，模型的输出为待预测负荷值，预测点的间隔可以是15min，30min或1h。输入数据则是影响负荷的各种属性，在确定输入属性之前，往往需要知道负荷的大致组成及需求侧管理等信息，如是否采用峰谷分时电价等。由于待预测时刻负荷数据与前一周负荷具有很大的相关性。因此，本发明网络输入数据x是预测时刻前一个星期每一小时的负荷数据以及对应的温度和是否为节假日等信息，输出标记数据为待预测时刻实际负荷数据。输入数据x与输出标记数据构成了训练样本

步骤2：对输入输出数据集分别进行预处理，并将预处理后的数据集划分成为训练集、验证集以及测试集三个部分。

确定输入输出数据集之后，即可对其进行预处理，以适应网络的结构和激活函数的选择。本发明采取将负荷数据以及温度数据归一化在(1,2)之间对数据进行预处理，而节假日信息则以哑变量进行标注，其中0表示非节假日，1表示节假日。则输入数据集矩阵X如下：

其中，m为总训练样本数，n为输入特征个数，x_ij代表第i个样本输入数据的第j个特征。

对原始数据集矩阵每一列的数据进行归一化处理：

其中，为每一列数据的最小值，为每一列数据的级差。本发明将经过预处理后的实验数据按照数量的70％、15％、15％划分成训练集、验证集以及测试集。

步骤3：构造深度LSTM负荷预测模型。

该深度LSTM负荷预测模型由一个输入层、多个隐藏层和一个输出层构成，上一个隐藏层的输出作为下一个隐藏层的输入，输入层与隐藏层共同实现输入负荷数据特征的提取，最后一个隐藏层的输出为一维列向量，经线性回归即得到处理后负荷数据的预测值。

其中，深度LSTM网络由一系列LSTM单元组成。每个LSTM单元中具体的计算过程如下所述：

遗忘门：

输入门：

输出门：

记忆单元状态：

其中，σ代表激活函数，代表网络的输入数据，输入门与做点乘，决定是否更新t时间步记忆单元状态，遗忘门与c^＜t-1＞做点乘，决定是否保留t-1时间步记忆单元原始状态。计算得到t时间步记忆单元状态c^＜t＞后经过tanh非线性函数，与输出门做点乘得到t时间步下隐藏层a^＜t＞。式中W_f,W_u,W_c,W_o以及b_f,b_u,b_c,b_o为同一层所有LSTM单元共有的参数，即为网络需要学习的部分，通过训练后确定，即为控制记忆单元是否需要被更新(输入门)、是否需要被设置为0(遗忘门)、以及是否需要在激活向量中被反映(输出门)的门结构。

门的激活函数采用非线性sigmoid函数，因此函数值可以在(0,1)区间内充分光滑。网络采用全连接(fully collected,FC)层作为负荷预测值的输出，如下式所示：

其中，a^＜t＞,分别是FC层的输入和输出，W_dense是该网络最后一层的权重，b是贝叶斯参数，二者均通过网络训练得到；actv()是激活函数，由于负荷预测是一个回归问题，本发明采取线性函数作为激活函数。

步骤4：选择模型的超参数。

超参数是机器学习模型开始学习过程前人为设定的参数，合理的超参数选取对模型预测的准确度十分重要。本发明提出的深度LSTM涉及到的超参数主要有：学习速度α，深度LSTM的层数L，隐藏层神经元个数(hidden layer unit)H，子训练样本集(mini batch)个数B，输入序列长度I，以及输出序列长度O。本实施例中输入选用前一周每天24小时的数据，即序列长度I＝168，而输出选择待预测时刻负荷值，即O＝1。

本发明中其余超参数的选取则采用随机搜索的方法，其基本思想是由于不同的超参数子空间对网络收敛速度的影响程度不同，因此与网格搜索的方式不同，对不同参数而言，依据其重要程度，选择不同的搜索范围，而不是在超参数空间中均匀分布。针对本发明提出的深度LSTM网络，由于学习速度即步长直接影响网络收敛与否，而子训练样本集个数即网络更新一次梯度所依据的样本集的大小，也会影响网络收敛速度，并且，为了在网络训练后期放缓训练速度以期找到最优解，采用学习速度成指数下降的方式，即α＝α₀e^-kt，其中α₀与k均为需要搜索的超参数，按照如前所述随机搜索进行网络超参数的寻找。

本发明重点搜索由学习速度和子训练样本集超参数构成的子空间。而深度LSTM的层数，隐藏层神经元个数(hidden layer unit)及子训练样本集个数B则依据经验，人为设定较小的范围，再利用随机搜算在该范围内实现搜索。

步骤5：迭代实现网络训练。

按照所采取的网络结构进行训练，本发明采取均方误差(Mean Squared Error,MSE)作为目标损失函数，如下式所示：

式中，子训练样本集中模型预测负荷值，y为负荷实际值。

判断在一定迭代次数以后，均方误差是否收敛，如未收敛则继续迭代至收敛，则完成网络训练。

步骤6：深度LSTM网络相关性学习可视化表征。

本发明中深度LSTM网络相关性学习可视化过程包括定性分析及定量展示两部分。其中定性分析部分包括提取隐藏层向量和高维向量投影；定量展示部分包括特征提取能力表征、热土展示。

定性分析首先需要进行隐藏层向量提取。LSTM单元隐藏层向量a^＜t＞可以反映出深度LSTM网络对输入数据的高维特征提取能力，针对训练后在测试集上预测效果最优的网络，分别针对预测输入数据，在学习到的最优网络参数的基础上，提取网络第二层(即LSTM层2)

所有时间步下LSTM单元隐藏层向量a^＜t＞(t＝0,....,167)。

随后实现高维向量投影。t-SNE是一种不改变样本点相对位置(即相关性信息)的非线性降维方法，与传统降维方法PCA相比，其可以将高维空间映射到可以直观表示的二维和三维空间，具有更好地可视化效果。采用t-SNE可视化技术，将原始100维的高维空间投影到2维平面上。

首先需要进行网络特征提取能力表征。为直观表示深度LSTM网络的特征提取能力，可以通过提取负荷序列中存在的时间相关性来实现。为定量描述该相关性，定义相关关系度量指标如下：

式中，＜·＞表示向量内积，a^<i>为第i个时间步对应的隐藏层向量，因反映168个时间步长之间的相关关系的矩阵维数较高，为直观表示可将矩阵转换成热图(heat map)，颜色越深则表明相关性越大，可以有效提取负荷时间序列中结构性特征的能力越强。

本发明的有益效果在于：

(1)深度LSTM的网络训练可以看成是一个有监督的特征学习过程，根据一定的网络结构设计将数据投影到高维空间，实现负荷数据特征的深度挖掘。

(2)深度LSTM网络具有记忆单元，可以避免传统深度RNN具有的梯度消失问题，且通过LSTM独特的门结构进行判断，可决定输入数据各个时间步间的相关关系是否需要被存储，使得存储的数据能够反映负荷数据时间上的联系。

(3)在最后一个LSTM单元隐藏层a^＜t＞中提炼为与被预测时刻负荷具有线性回归关系的多变量，使得具有强非线性特征的负荷预测问题在FC层中简化成为线性回归问题。

(4)采用t-SNE可视化技术，可以将高维空间映射到二维和三维空间，并结合热图表现形式，可以直观表示深度LSTM网络相关性学习能力。

附图说明

图1为深度LSTM超短期负荷预测流程图；

图2为深度LSTM模型结构图；

图3为深度LSTM与传统机器学习算法预测负荷对比图；

图4为第二层LSTM隐藏层可视化表征图；

图5为预测负荷第二层LSTM隐藏层相关系数热图。

具体实施方式

下面，参照附图，对本发明的实施例进行详细描述说明。

一种基于深度LSTM的小区域级超短期负荷预测方法，该方法流程图如图1所示，该方法包括如下步骤：

步骤1：确定模型的输入输出变量。

输入输出数据集的确定是决定模型表现的关键，电力***中的超短期负荷预测，一般采用逐点方式进行，模型的输出为待预测负荷值，预测点的间隔可以是15min，30min或1h。输入数据则是影响负荷的各种属性，在确定输入属性之前，往往需要知道负荷的大致组成及需求侧管理等信息，如是否采用峰谷分时电价等。由于待预测时刻负荷数据与前一周负荷具有很大的相关性。因此，本发明网络输入数据x是预测时刻前一个星期每一小时的负荷数据以及对应的温度和是否为节假日等信息，输出标记数据为待预测时刻实际负荷数据。输入数据x与输出标记数据构成了训练样本

步骤2：对输入输出数据集分别进行预处理，并将预处理后的数据集划分成为训练集、验证集以及测试集三个部分。

确定输入输出数据集之后，即可对其进行预处理，以适应网络的结构和激活函数的选择。本发明采取将负荷数据以及温度数据归一化在(1,2)之间对数据进行预处理，而节假日信息则以哑变量进行标注，其中0表示非节假日，1表示节假日。则输入数据集矩阵X如下：

其中，m为总训练样本数，n为输入特征个数，x_ij代表第i个样本输入数据的第j个特征。

对原始数据集矩阵每一列的数据进行归一化处理：

其中，为每一列数据的最小值，为每一列数据的级差。本发明将经过预处理后的实验数据按照数量的70％、15％、15％划分成训练集、验证集以及测试集。

步骤3：构造深度LSTM负荷预测模型。

本发明提出的深度LSTM负荷预测模型如图2所示，由一个输入层(输入变量数据)、多个隐藏层(LSTM层1，LSTM层2，……，LSTM层k)和一个输出层(待预测时刻负荷)构成，上一个隐藏层的输出作为下一个隐藏层的输入，输入层与隐藏层共同实现输入负荷数据特征的提取，最后一个隐藏层的输出为一维列向量，经线性回归即得到处理后负荷数据的预测值。

其中，深度LSTM网络由一系列LSTM单元组成。每个LSTM单元中具体的计算过程如下所述：

遗忘门：

输入门：

输出门：

记忆单元状态：

其中，σ代表激活函数，x^<t>代表网络的输入数据，输入门与做点乘，决定是否更新t时间步记忆单元状态，遗忘门与c^＜t-1＞做点乘，决定是否保留t-1时间步记忆单元原始状态。计算得到t时间步记忆单元状态c^＜t＞后经过tanh非线性函数，与输出门做点乘得到t时间步下隐藏层a^＜t＞。式中W_f,W_u,W_c,W_o以及b_f,b_u,b_c,b_o为同一层所有LSTM单元共有的参数，即为网络需要学习的部分，通过训练后确定，即为控制记忆单元是否需要被更新(输入门)、是否需要被设置为0(遗忘门)、以及是否需要在激活向量中被反映(输出门)的门结构。

门的激活函数采用非线性sigmoid函数，因此函数值可以在(0,1)区间内充分光滑。网络采用全连接(fully collected,FC)层作为负荷预测值的输出，如下式所示：

其中，a^＜t＞,分别是FC层的输入和输出，W_dense是该网络最后一层的权重，b是贝叶斯参数，二者均通过网络训练得到；actv()是激活函数，由于负荷预测是一个回归问题，本发明采取线性函数作为激活函数。

步骤4：选择模型的超参数。

超参数是机器学习模型开始学习过程前人为设定的参数，合理的超参数选取对模型预测的准确度十分重要。本发明提出的深度LSTM涉及到的超参数主要有：学习速度α，深度LSTM的层数L，隐藏层神经元个数(hidden layer unit)H，子训练样本集(mini batch)个数B，输入序列长度I，以及输出序列长度O。本实施例中输入选用前一周每天24小时的数据，即序列长度I＝168，而输出选择待预测时刻负荷值，即O＝1。

本发明中其余超参数的选取则采用随机搜索的方法，其基本思想是由于不同的超参数子空间对网络收敛速度的影响程度不同，因此与网格搜索的方式不同，对不同参数而言，依据其重要程度，选择不同的搜索范围，而不是在超参数空间中均匀分布。针对本发明提出的深度LSTM网络，由于学习速度即步长直接影响网络收敛与否，而子训练样本集个数即网络更新一次梯度所依据的样本集的大小，也会影响网络收敛速度，并且，为了在网络训练后期放缓训练速度以期找到最优解，采用学习速度成指数下降的方式，即α＝α₀e^-kt，其中α₀与k均为需要搜索的超参数，按照如前所述随机搜索进行网络超参数的寻找，搜索取值如表1所示，以α₀为例，按照近似指数变化的形式对其取值进行选取，以期覆盖尽可能大的参数空间，而t则是网络迭代次数(epoch)，根据实验，当t在2500左右时网络已基本收敛，因此取t＝2500，并记录下训练过程中验证集误差最小时的网络参数与迭代次数全部完成后的网络参数，并取在测试集上误差最小的一组作为最终的网络参数。

表1深度LSTM网络超参数选择情况

本发明重点搜索由学习速度和子训练样本集超参数构成的子空间。而深度LSTM的层数，隐藏层神经元个数(hidden layer unit)及子训练样本集个数B则依据经验，人为设定较小的范围，再利用随机搜算在该范围内实现搜索。

步骤5：迭代实现网络训练。

按照所采取的网络结构进行训练，本发明采取均方误差(Mean Squared Error,MSE)作为目标损失函数，如下式所示：

式中，子训练样本集中模型预测负荷值，y为负荷实际值。

判断在一定迭代次数以后，均方误差是否收敛，如未收敛则继续迭代至收敛，则完成网络训练。

选取在确定性负荷预测中较具有代表性的GEFCom2012比赛数据作为实验样本数据集，采用深度LSTM负荷预测方法对连续7日(2006年1月9号至2006年1月15号)负荷预测对比图，如图3所示。深度LSTM算法对负荷有较高的预测精度，当负荷变动较大时，即预测的不确定性增强，SVR和GBRT预测的误差较大，而深度LSTM算法依然可以很好地拟合出负荷的变化趋势。

步骤6：深度LSTM网络相关性学习可视化表征。

本发明中深度LSTM网络相关性学习可视化过程包括定性分析及定量展示两部分。其中定性分析部分包括提取隐藏层向量和高维向量投影；定量展示部分包括特征提取能力表征、热土展示。

定性分析首先需要进行隐藏层向量提取。LSTM单元隐藏层向量a^＜t＞可以反映出深度LSTM网络对输入数据的高维特征提取能力，针对训练后在测试集上预测效果最优的网络，分别针对预测输入数据，在学习到的最优网络参数的基础上，提取网络第二层(即LSTM层2)

所有时间步下LSTM单元隐藏层向量a^＜t＞(t＝0,....,167)。

随后实现高维向量投影。t-SNE是一种不改变样本点相对位置(即相关性信息)的非线性降维方法，与传统降维方法PCA相比，其可以将高维空间映射到可以直观表示的二维和三维空间，具有更好地可视化效果。采用t-SNE可视化技术，将原始100维的高维空间投影到2维平面上。可视化图中每一个点代表一个时间步，旁边标注对应的时间步长，随着时间步的推移，在二维平面中的路径呈现周期性的环形，变化的周期基本上满足24小时，则与负荷具有的以日为周期的变化规律基本相同，且一周各天中时刻相近的时间步相聚较近，如图4(b)中的69,93,117,141,165所示，即负荷水平较为相似。但是图4中前30时间步没有明显的规律性，表示深度LSTM的长时间记忆能力大致在100个时间步左右。

首先需要进行网络特征提取能力表征。为直观表示深度LSTM网络的特征提取能力，可以通过提取负荷序列中存在的时间相关性来实现。为定量描述该相关性，定义相关关系度量指标如下：

式中，＜·＞表示向量内积，a^<i>为第i个时间步对应的隐藏层向量，因反映168个时间步长之间的相关关系的矩阵维数较高，为直观表示可将矩阵转换成热图(heat map)，如图5所示，颜色越深则表明相关性越大，可以有效提取负荷时间序列中结构性特征的能力越强。

以上所述仅为本发明的一种实施案例，应当指出，对于本技术领域的普通技术人员来说，在不脱离发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。

Claims (16)

1.一种基于深度LSTM网络的小区域级超短期负荷预测方法，该方法包括如下步骤：

步骤1：确定模型的输入输出变量；

步骤2：对输入输出数据集分别进行预处理，并将预处理后的数据集划分成为训练集、验证集以及测试集三个部分；

步骤3：构造深度LSTM负荷预测模型；

步骤4：选择模型的超参数；

步骤5：迭代实现网络训练。

2.如权利要求1所述的一种基于深度LSTM网络的小区域级超短期负荷预测方法，其特征在于：

在步骤1中，输入变量x与输出变量构成训练样本其中网络输入数据x是预测时刻前一个星期每一小时的负荷数据以及对应的温度和是否为节假日等信息，输出标记数据为待预测时刻实际负荷数据。

3.如权利要求2所述的一种基于深度LSTM网络的小区域级超短期负荷预测方法，其特征在于：

在步骤2中，确定输入输出数据集之后，将负荷数据以及温度数据归一化在(1,2)之间对数据进行预处理，而节假日信息则以哑变量进行标注，其中0表示非节假日，1表示节假日，则输入数据集矩阵X如下：

其中，m为总训练样本数，n为输入特征个数，x_ij代表第i个样本输入数据的第j个特征；

对原始数据集矩阵每一列的数据进行归一化处理：

其中， 为每一列数据的最小值，为每一列数据的级差。

4.如权利要求3所述的一种基于深度LSTM网络的小区域级超短期负荷预测方法，其特征在于：

将经过预处理后的实验数据按照数量的70％、15％、15％划分成训练集、验证集以及测试集。

5.如权利要求1-4所述的一种基于深度LSTM网络的小区域级超短期负荷预测方法，其特征在于：

在步骤3中，深度LSTM负荷预测模型由一个输入层、多个隐藏层和一个输出层构成，上一个隐藏层的输出作为下一个隐藏层的输入，输入层与隐藏层共同实现输入负荷数据特征的提取，最后一个隐藏层的输出为一维列向量，经线性回归即得到处理后负荷数据的预测值。

6.如权利要求5所述的一种基于深度LSTM网络的小区域级超短期负荷预测方法，其特征在于：

深度LSTM网络由一系列LSTM单元组成，每个LSTM单元中具体的计算过程如下：

遗忘门：

输入门：

输出门：

记忆单元状态：

其中，σ代表激活函数，x^<t>代表网络的输入数据，输入门与做点乘，决定是否更新t时间步记忆单元状态，遗忘门与c^＜t-1＞做点乘，决定是否保留t-1时间步记忆单元原始状态；计算得到t时间步记忆单元状态c^＜t＞后经过tanh非线性函数，与输出门做点乘得到t时间步下隐藏层a^＜t＞；式中W_f,W_u,W_c,W_o以及b_f,b_u,b_c,b_o为同一层所有LSTM单元共有的参数，即为网络需要学习的部分，通过训练后确定，即为控制记忆单元是否需要被更新、是否需要被设置为0、以及是否需要在激活向量中被反映的门结构。

7.如权利要求6所述的一种基于深度LSTM网络的小区域级超短期负荷预测方法，其特征在于：

门的激活函数采用非线性sigmoid函数，网络采用全连接(fully collected,FC)层作为负荷预测值的输出，如下式所示：

其中，a^＜t＞,分别是FC层的输入和输出，W_dense是该网络最后一层的权重，b是贝叶斯参数，二者均通过网络训练得到；actv()是激活函数，采取线性函数作为激活函数。

8.如权利要求1-7所述的一种基于深度LSTM网络的小区域级超短期负荷预测方法，其特征在于：

在步骤4中，深度LSTM涉及到的超参数主要有：学习速度α，深度LSTM的层数L，隐藏层神经元个数H，子训练样本集个数B，输入序列长度I，以及输出序列长度O。

9.如权利要求8所述的一种基于深度LSTM网络的小区域级超短期负荷预测方法，其特征在于：

其中，输入选用前一周每天24小时的数据，即输入序列长度I＝168，而输出选择待预测时刻负荷值，即输出序列长度O＝1。

10.如权利要求8所述的一种基于深度LSTM网络的小区域级超短期负荷预测方法，其特征在于：

其中，学习速度α根据下式公式确定：α＝α₀e^-kt，其中α₀与k均为需要搜索的超参数，按照随机搜索进行网络超参数的寻找，t则是网络迭代次数。

11.如权利要求10所述的一种基于深度LSTM网络的小区域级超短期负荷预测方法，其特征在于：其中取t＝2500。

12.如权利要求8所述的一种基于深度LSTM网络的小区域级超短期负荷预测方法，其特征在于：

其中，深度LSTM的层数，隐藏层神经元个数H及子训练样本集个数B则依据经验，人为设定较小的范围，再利用随机搜算在该范围内实现搜索。

13.如权利要求8-12所述的一种基于深度LSTM网络的小区域级超短期负荷预测方法，其特征在于：

在步骤5中，按照所采取的网络结构进行训练，采取均方误差作为目标损失函数，如下式所示：

式中，子训练样本集中模型预测负荷值，y为负荷实际值；

判断在一定迭代次数以后，均方误差是否收敛，如未收敛则继续迭代至收敛，完成网络训练。

14.一种如权利要求1-13所述的基于深度LSTM网络的小区域级超短期负荷预测的可视化方法，该可视化方法包括定性分析及定量展示两部分，其中定性分析部分包括提取隐藏层向量和高维向量投影；定量展示部分包括特征提取能力表征和热图展示。

15.一种如权利要求14所述的基于深度LSTM网络的小区域级超短期负荷预测的可视化方法，其特征在于：

提取隐藏层向量包括提取网络第二层所有时间步下LSTM单元隐藏层向量a^＜t＞(t＝0,....,1，

高维向量投影采用t-SNE可视化技术。

16.一种如权利要求14-15所述的基于深度LSTM网络的小区域级超短期负荷预测的可视化方法，其特征在于：

其中，特征提取表征中，定义相关关系度量指标如下：

式中，＜·＞表示向量内积，a^<i>为第i个时间步对应的隐藏层向量，因反映168个时间步长之间的相关关系的矩阵维数较高，为直观表示可将矩阵转换成热图，颜色越深则表明相关性越大，可以有效提取负荷时间序列中结构性特征的能力越强。