CN115238854A - 一种基于tcn-lstm-am的短期负荷预测方法 - Google Patents
一种基于tcn-lstm-am的短期负荷预测方法 Download PDFInfo
- Publication number
- CN115238854A CN115238854A CN202210548873.0A CN202210548873A CN115238854A CN 115238854 A CN115238854 A CN 115238854A CN 202210548873 A CN202210548873 A CN 202210548873A CN 115238854 A CN115238854 A CN 115238854A
- Authority
- CN
- China
- Prior art keywords
- module
- time
- load
- output
- lstm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 21
- 230000004913 activation Effects 0.000 claims description 10
- 238000012544 monitoring process Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 8
- 230000007613 environmental effect Effects 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 7
- 239000013598 vector Substances 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 4
- 238000004140 cleaning Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 238000012886 linear function Methods 0.000 claims description 3
- 230000007787 long-term memory Effects 0.000 claims description 3
- 230000006403 short-term memory Effects 0.000 claims description 3
- 230000010339 dilation Effects 0.000 claims description 2
- 229910052731 fluorine Inorganic materials 0.000 claims description 2
- 125000001153 fluoro group Chemical group F* 0.000 claims description 2
- BVKZGUZCCUSVTD-UHFFFAOYSA-L Carbonate Chemical compound [O-]C([O-])=O BVKZGUZCCUSVTD-UHFFFAOYSA-L 0.000 abstract 1
- 238000012360 testing method Methods 0.000 description 9
- 230000002354 daily effect Effects 0.000 description 8
- 230000007246 mechanism Effects 0.000 description 8
- 101001095088 Homo sapiens Melanoma antigen preferentially expressed in tumors Proteins 0.000 description 7
- 102100037020 Melanoma antigen preferentially expressed in tumors Human genes 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000005070 sampling Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012731 temporal analysis Methods 0.000 description 2
- 238000000700 time series analysis Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J3/00—Circuit arrangements for ac mains or ac distribution networks
- H02J3/003—Load forecast, e.g. methods or systems for forecasting future load demand
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Business, Economics & Management (AREA)
- Biomedical Technology (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Human Resources & Organizations (AREA)
- Water Supply & Treatment (AREA)
- Public Health (AREA)
- Power Engineering (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Marketing (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于TCN‑LSTM‑AM的短期负荷预测方法包括如下步骤：1）数据采集；2）数据预处理；3）搭建输入模块；4）搭建TCN模块；5）搭建concatenate模块；6）搭建LSTM模块；7）搭建AM模块；8）搭建输出模块。这种方法能提高预测准确率，为电网***提供了更加精确的预测结果，为灵活调节供电量提供了更加可靠的依据。
Description
技术领域
本发明属于电力***负荷预测的应用领域，具体是一种基于TCN-LSTM-AM的短期负荷预测方法。
背景技术
短期电力负荷预测对保证电力***平稳高效运行具有重要意义，是推进电力***发电侧多源协调运行优化与用电侧安全保障体系建设，构建数字化、智能化新型电力***的重要基础。提高电力短期负荷预测精度能够有效帮助电力***工作人员制定合理生产计划，维持电力供需平衡、减少资源浪费并降低用电成本。在现代电力***中，随着经济社会的快速发展，构成电力负荷的大功率电器种类繁多，这些电器使用的频繁程度与气象因素(温度、湿度、降雨量等)高度相关，使气象条件成为了影响电力负荷重要因素。此外，电力负荷还与节假日、工作日等相关。因此，人们普遍认为电力负荷具有随机性、非平稳性、非线性、缺乏鲁棒性等特点，这使得对短期电力负荷预测是一项极具挑战性的工作。
短期电力负荷是指对未来几个小时、一天或几天的电力负荷值进行预测，目前常用的方法可以分为三类：经典预测法、传统机器学习预测法和深度学习预测法。经典预测法主要包括时间序列法(Time-Series Analysis)、线性回归分析法(linear regression,简称LR)、卡尔曼滤波法(Kalman filter)。基于经典预测方法的预测模型简单、训练速度快，但是对于非线性的电力短期负荷预测问题，该方法拟合能力不足，预测精度较低。传统机器学习预测法主要包括支持向量机法(support vector machines，简称SVM)、xgboost(eXtreme Gradient Boosting)和随机森林法Random Forest，简称RF)。传统机器学习法虽然具有较强的非线性拟合能力，但是大多数模型参数寻优困难，容易陷入局部最优的困境。深度学习预测法包括人工神经网络(back propagation，简称BP)、卷积神经网络(Convolutional Neural Networks，简称CNN)、长短期记忆网络(Long-Short TermMemory，简称LSTM)、时间卷积网络(Temporal convolutional network，简称TCN)和注意力机制(Attention Mechanism，简称AM)。这些方法凭借突出的特征提取能力及非线性拟合能力，能够获取数据中非常复杂的底层特征。但由于单模型是针对某一类问题而提出，它们在高维数据集上难以同时很好地解释主要影响因素和其他影响因素。通过组合多种不同的神经网络模型，充分利用它们各自的优势，提取负荷数据集中高维特征和多尺度特征，从而有望在在电力负荷数据拟合效果和预测精确度上有更大的提升。
发明内容
本发明的目的是针对现有技术中存在的不足，而提出一种基于TCN-LSTM-AM的短期负荷预测方法。这种方法能提高预测准确率，为电网***提供了更加精确的预测结果，为灵活调节供电量提供了更加可靠的依据。
实现本发明目的的技术方案是：
一种基于TCN-LSTM-AM的短期负荷预测方法，包括如下步骤：
1)数据采集：获取电力监测点负荷数据，以及包括温度、湿度和降雨量的环境影响数据，得到数据集；
2)数据预处理：采用箱线图法，清洗数据集中异常值样本；对数据集中的原始数据x进行归一化操作，数据归一化后区间为[0,1]，公式如下：
式中:X为标准化后的值；xmax为样本数据中的最大值；xmin为样本数据中的最小值；
3)搭建输入模块：
设x1为当前预测时刻的连续前96个时刻的历史电力负荷数据，即96维样本数据[loadt,loadt-T…loadn]；x2包括最高温度、最低温度、平均温度、相对湿度、降雨量、节假日、星期、时刻共8维样本数据，设时间步滑动窗口大小为T，在t时刻的输入序列具体表示为：
x1＝[pt,pt-T...pn]T (2)，
pt＝[loadt,loadt-T...loadn] (3)，
x2＝[ot,ot-T...on]T (4)，
ot＝[tempht,tempmt,tempat,dampt,raint,holidayt,weekt,timet] (5)，
式中：loadt为t时刻的日负荷量，tempht为t时刻的日最高温度，tempmt为t时刻的日最低温度，tempat为t时刻的日平均温度，dampt为t时刻的相对湿度，raint为t时刻的降雨量，holidayt表示t时刻是否是节假日，weekt表示t时刻是一周中的第几天，其中每周一为第一天，timet为t时刻的时间；
4)搭建TCN模块：
每个残差模块由3个一维卷积层Conv0、Conv1、Conv2组成：第一个卷积层Conv0选择使用ReLU激活函数对输入做初步处理，输出为C0；第二个卷积层Conv1的输入为C0，通过卷积特征提取后为C1；C0与C1的输入需要考虑TCN的扩张卷积参数d，并在逐步元素相乘后输入Conv2；Conv2的输出与模块输入pt相加后即可得到另一个输出Rt，因此Rt表示为：
Rt＝ReLU(pt+C2,t) (9)，
式中：W0、W1和W2均为卷积核矩阵；b0、b1、b2为偏置；
为卷积运算；“·”为逐元素相乘；Rt中的元素个数为n,记为Rt＝[rt1,rt2,…rtn]T；
考虑到一个TCN模块由多个残差模块组成，因此在将多个残差模块堆叠时，要求第k-1个残差模块的输出Rk-1作为第k个残差模块的输入；采用ReLU激活函数进行非线性计算作为TCN模块的输出Gt，因此Gt表示为：
Rt,k＝Res(Rt,k-1) (10)，
Gt＝ReLU(Rt) (11)，
式中：Rt,k表示第k个残差模块所输出的Rt；Res表示残差模块，Gt中的元素个数为n,记为Gt＝[Gt,1，Gt,2,…Gt,n]T；
5)搭建concatenate模块：
利用keras模型的concatenate函数将TCN模块的输出Gt与x2进行连接，作为长短期记忆网络的输入，记为I表示为：
I＝concatenate(x2,Gt) (12)，
式中：concatenate表示连接函数；
6)搭建LSTM模块：
在t时刻，LSTM模块对concatenate模块输出的电力负荷特征向量I进行学习，记在t时刻LSTM模块的隐层状态为Ht,i，Ht,i表示为：
Ht,i＝LSTM(Ht,i-1,It,Ct,i-1) (13)，
式中：Ht,i表示t时刻中第i个输入步长的隐层状态；Ct,i-1表示t时刻第i-1个输入步长的细胞状态；Ht中的元素个数为n,记为Ht＝[Ht,1,Ht,2,…Ht,n]T；
7)搭建AM模块：
AM模块的输入为经过LSTM模块计算的隐层状态ht，注意力权值At的计算如式(14)，记在t时刻AM模块的输出为St；通过Multiply函数将AM模块的输出St与LSTM模块的输出Ht完成位与位相乘输出，实现了对隐层单元的动态加权过程，记为Lt，St表示为：
Lt＝Multiply(St，Ht) (16)，
式中：At,i表示在t时刻，AM模块中第i个输入时间步的隐藏状态；qt表示随机初始化的注意力权重矩阵；Multiply表示逐元素相乘；
8)搭建输出模块：
输出模块为全连接层，以linear函数作为激活函数，经处理后得到第t+1时刻电力负荷预测值，记为y，输出模块的计算公式表示为：
y＝linear(wSt+b) (17)，
式中：w为卷积核矩阵；b为偏置。
本技术方案与现有技术相比，将TCN输出和电力负荷影响因素拼接在一起组合成高层特征构造出新的连续特征，将不同尺度的特征向量融合为LSTM的输入，利用LSTM非线性拟合能力，挖掘多维数据的相互关联，提取数据非线性特征。引入注意力机制为隐藏层中不同特征设置不同权重，优化关键特征对电力负荷的影响，从而达到对节假日和峰谷电力负荷更好的预测效果。该模型充分结合了TCN、LSTM和注意力机制各自的特点，并通过实验验证了模型的合理性和有效性。
TCN-LSTM-AM模型的短期负荷预测流程可分为数据预处理、预测模型和预测输出3部分，首先，输入数据进行数据预处理操作，即数据清洗、数据归一化、数据划分等。处理后的数据分别为负荷历史数据和外部影响因素(最高温度、最低温度、平均温度、相对湿度、降雨量、节假日、时刻和星期)。TCN模块利用因果卷积限制滑动窗口来实现严格的时间束缚，利用扩大扩张卷积结构感受野来获取更高层历史电力负荷序列的时序特征。其次，为了构造LSTM模块的输入数据，将TCN模块的输出与负荷影响子拼接。LSTM模块将整合出的负荷数据非线性特征进行记忆与筛选，并挖掘其内部的变化规律。融合AM模块优化目标特征权重，为LSTM提取的负荷数据深层特征自动计算相应的权重分配并与其合并为新的向量。输出模块通过全连接层dense和linear激活函数输出下一时刻的负荷预测结果。
针对短期负荷预测问题，将注意力机制与TCN-LSTM模型融合,提出一种基融合注意力机制改进TCN-LSTM组合预测模型(TCN-LSTM-AM)，TCN模型通过TCN卷积对历史负荷数据的时序特征提取，残差连接加快收敛速度；LSTM模型具有非线性拟合能力，有效提取天气(最高温度、最低温度、平均温度、相对湿度、降雨量)、节假日和周期(时刻、星期)多尺度的数据特征；引入注意力机制，动态挖掘电力负荷与输入特征间的潜在相关性。
这种方法能提高预测准确率，为电网***提供了更加精确的预测结果，为灵活调节供电量提供了更加可靠的依据。
附图说明
图1为实施例的流程图；
图2为实施例的模型结构图；
图3为实施例与其他负荷预测方法在测试数据集上的平均相对误差对比示意图；
图4为实施例与其他负荷预测方法在测试数据集上的均方根误差对比示意图；
图5为实施例与其他负荷预测方法在测试数据集上的平均绝对误差对比示意图；
图6为实施例与其他负荷预测方法在2014年下半年中某一工作日白天负荷曲线对比示意图；
图7为实施例与其他负荷预测方法在2014年下半年中某一节假日白天负荷曲线对比示意图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步的详细描述，但不是对本发明的限定。
实施例：
实验环境配置：本例中硬件平台为工作站，处理器为Intel Xeon Gold 6226R,内存为256GB,固态硬盘容量为6T,1块GPU显卡Tesla V100S PCIE 32G，算法模型采用Python3.8作为编程语言，软件架构基于Tensorflow框架和Keras框架，绘图工具采用matplotlib绘图模块。
参照图1、图2，一种基于TCN-LSTM-AM的短期负荷预测方法，包括如下步骤：
1)数据采集：获取电力监测点负荷数据，以及包括温度、湿度和降雨量的环境影响数据，得到的电力监测点负荷数据和环境影响数据作为数据集，将数据集分为训练数据集、验证数据集和测试数据集；本例选用的数据来源为南京地区某个采集点的电力监测点负荷和环境影响数据，采集时间为2012年1月1日至2014年12月31日，每日的电力监测点负荷数据按照24h设置96个采样点，电力监测点负荷采样间隔为十五分钟，环境影响数据采样间隔为24小时，数据集共计105120条数据，如图7所示自上而下依次为2012年至2014年三年的电力监测点负荷数据，以2012年1月1日至2013年12月31日电力监测点负荷数据、环境影响数据及节假日数据作为训练数据集，以2014年的1月1日至6月31日作为验证数据集，以2014年7月1日至12月31日作为测试数据集；
2)数据预处理：采用箱线图法，清洗数据集中的异常值样本，然后对数据集中的原始数据x进行归一化操作，数据归一化后区间为[0,1]，公式如下：
式中:X为标准化后的值；xmax为样本数据中的最大值；xmin为样本数据中的最小值；
3)搭建输入模块：
x1为当前预测时刻的连续前96个时刻的历史电力负荷数据即96维样本数据[loadt,loadt-T…loadn]；x2包括最高温度(temph)、最低温度(tempm)、平均温度(tempa)、相对湿度(damp)、降雨量(rain)、节假日(holiday)、星期(week)、时刻(time)共8维样本数据，设时间步滑动窗口大小为T，在t时刻的输入序列具体表示为：
x1＝[pt,pt-T…pn]T (2)，
pt＝[loadt,loadt-T...loadn] (3)，
x2＝[ot,ot-T...on]T (4)，
ot＝[tempht,tempmt,tempat,dampt,raint,holidayt,weekt,timet] (5)，
式中：loadt为t时间的日负荷量，tempht为t时间的日最高温度，tempmt为t时间的日最低温度，tempat为t时间的日平均温度，dampt为t时间的相对湿度，raint为t时间的降雨量，holidayt表示t时间是否是节假日，weekt表示t时间是一周中的第几天，其中每周一为第一天，timet为t时间的时刻；
4)搭建TCN模块：
每个残差模块由3个一维卷积层Conv0、Conv1、Conv2组成：第一个卷积层Conv0选择使用ReLU激活函数对输入做初步处理，输出为C0；第二个卷积层Conv1的输入为C0，通过卷积特征提取后称之为C1；C0与C1的输入需要考虑TCN的扩张卷积参数d，并在逐步元素相乘后输入Conv2；Conv2的输出与模块输入pt相加后即可得到另一个输出Rt，因此Rt表示为：
Rt＝ReLU(pt+C2,t) (9)，
式中：W0,、W1和W2为卷积核矩阵；b0、b1、b2为偏置；
为卷积运算；“·”为逐元素相乘；Rt中的元素个数为n,记为Rt＝[rt1,rt2,…rtn]T；
通过历史负荷数据实验TCN单模型的预测效果，发现适当地增加残差单元数量可以增加模型深度可以提高模型预测能力，但当残差单元增加到4层时训练误差率上升，表明模型过度学习；卷积核过大将大大增加神经网络参数的数量和计算量，影响算法的收敛，过小则导致特征提取不佳；TCN模块设置3层的残差单元，每层残差单元包含2个卷积单元和1个非线性映射，其中卷积单元使用ReLU函数作为激活函数，对卷积核的权重进行归一化操作，每层卷积核大小为2，扩张系数为(1，2，4，8，16，32)；
考虑到一个TCN模块由多个残差模块组成，因此在将多个残差模块堆叠时，要求第k-1个残差模块的输出Rk-1作为第k个残差模块的输入；采用ReLU激活函数进行非线性计算作为TCN模块的输出Gt，因此Gt表示为：
Rt,k＝Res(Rt,k-1) (10)，
Gt＝ReLU(Rt) (11)，
式中：Rt,k表示第k个残差模块所输出的Rt；Res表示残差模块，Gt中的元素个数为n,记为Gt＝[Gt,1，Gt,2,…Gt,n]T；
5)搭建concatenate模块：
利用keras模型的concatenate函数将TCN模块的输出Gt与x2进行连接，作为长短期记忆网络的输入，记为I表示为：
I＝concatenate(x2,Gt) (12)，
式中：concatenate表示连接函数；
6)搭建LSTM模块：
在t时刻，LSTM模块对concatenate模块输出的电力负荷特征向量I进行学习，记在t时刻LSTM模块的隐层状态为Ht,i，Ht,i表示为：
Ht,i＝LSTM(Ht,i-1,It,Ct,i-1) (13)，
式中：Ht,i表示t时刻中第i个输入步长的隐层状态；Ct,i-1表示t时刻第i-1个输入步长的细胞状态；Ht中的元素个数为n,记为Ht＝[Ht,1,Ht,2,…Ht,n]T；
采用控制变量法进行逐步的模型调优，在固定TCN模块提取特征不变的情况下，测试不同层数LSTM网络层对预测结果的影响，试验结果发现通过适当地增加LSTM网络层来增加模型深度可以提高模型预测能力，但当LSTM网络层增加到4层时训练误差率上升，表明模型过度学习，因此设置3层LSTM单元，每层设置Dropout系数为0.2，Dropout设置可以随机选取部分神经元失活，防止训练过拟合，同时加快模型的收敛速度；
7)搭建AM模块：
AM模块的输入为经过LSTM模块计算的隐层状态ht，注意力权值At的计算如式(14)，记在t时刻AM模块的输出为St；通过Multiply函数将AM模块的输出St与LSTM模块的输出Ht完成位与位相乘输出，实现了对隐层单元的动态加权过程，记为Lt；St表示为：
Lt＝Multiply(St，Ht) (16)，
式中：At,i表示在t时刻，AM模块中第i个输入时间步的隐藏状态；qt表示随机初始化的注意力权重矩阵；Multiply表示逐元素相乘；
8)搭建输出模块：
输出模块为全连接层，以linear函数作为激活函数，经处理后得到第t+1时刻电力负荷预测值，记为y，输出模块的计算公式表示为：
y＝linear(wSt+b) (17)，
式中：w为卷积核矩阵；b为偏置。
评价指标：
采用相对误差作为衡量标准,衡量TCN-LSTM-AM混合网络模型的预测准确性，平均绝对百分比误差(Mean Absolute Percentage Error，简称Mape)均方根误差(root meansquare error，简称RMSE)和平均绝对误差(mean absolute error，简称MAE)作为评价预测模型的预测准确度的指标，计算式分别为：
式中
为样本预测值；yi为样本真实值；n为样本数量，MAPE表示预测值和真实值之间绝对误差的平均值，反映预测效果的精准度，RMSE表示预测值和真实值之间残差的标准偏差，反映了样本的离散程度，MAE表示预测值和真实值之间绝对误差的平均值，可以准确描述实际预测误差的大小；
预测结果分析：
利用训练数据集，对预测模型训练1000个epoch，将本例提出的TCN-LSTM-AM模型与TCN、LSTM、TCN-AM、TCN-LSTM模型在测试数据集上的MAPE、RMSE和MAE如图3～图5所示，TCN-LSTM-AM模型有着较低的MAPE、RMSE和MAE，其预测值与真实值拟合图形的分散程度较小，具有较高的预测精度。
为了更加直观地显示几种模型预测方法和TCN-LSTM-AM模型的差异，将TCN-LSTM-AM模型分别与LSTM、TCN、TCN-AM和TCN-LSTM模型预测结果评价指标的平均值对比，具体计算如一下公式所示：
ΔMAPE＝(MAPEMODEL-MAPETCN-LSTM-AM)/MAPEMODEL (22)，
ΔRMSE＝(RMSEMODEL-RMSETCN-LSTM-AM)/RMSEMODEL (23)，
ΔMAE＝(MAEMODEL-MAETCN-LSTM-AM)/MAEMODEL (24)，
TCN-LSTM-AM模型分别与LSTM、TCN、TCN-AM和TCN-LSTM模型比较，MAPE分别下降了44.58％、25.41％、17.86％、11.54％；RMSE分别下降了45.88％、18.15％、3.48％、9.73％；MAE分别下降了40.98％、19.02％、2.21％、1.15％，具体如表2所示：
表2 TCN-LSTM-AM模型与其他模型量化对比
，为了更好地评估TCN-LSTM-AM模型的预测性能，从测试数据集中任意抽取一个工作日和一个节假日的白天，将实际数据与模型的预测结果进行比较，表3～表4分别显示了工作日和节假日数据与各模型预测结果的对比情况，图6～图7为相应预测对比曲线。
表3工作日预测结果量化对比
，从图6和表3中可以明显看出：单独的LSTM和TCN预测模型都能够较好地跟踪负荷实时变化,且有不错的预测准确度，但相较于其他三个组合预测模型效果依然稍逊一筹。其原因在于，组合预测模型能更好地从多尺度去捕捉负荷变化规律，从而在一定程度上弥补了单一预测模型的不足。
表4节假日预测结果量化对比
，从图7和表4中可以看出：引入注意力机制后的TCN-AM和TCN-LSTM-AM模型在节假日上的整体预测效果较好，且在峰谷的几个时刻预测较为精准。通过以上实验表明，TCN-LSTM-AM模型相比其他预测模型，在本例数据集中具有更高的预测精度。
本例方法，利用可并发计算的时序卷积网络挖掘历史负荷数据的时序特征，长短期记忆网络拟合负荷影响因素的非线性特征，融合注意力机制优化关键特征，最后通TCN-LSTM-AM过模型的非线性拟合能力以及深度学习能力对电力负荷进行预测。通过MAPE、RMSE、MAE三个评价指标，采用负荷数据集将本例方法与其他常用的深度学习预测模型进行对比。经实验结果表明，TCN-LSTM-AM模型具有更高的预测准确率。为电网***提供了更加精确的预测结果，为灵活调节供电量提供了更加可靠的依据。
Claims (1)
1.一种基于TCN-LSTM-AM的短期负荷预测方法，其特征在于，包括如下步骤：
1)数据采集：获取电力监测点负荷数据，以及包括温度、湿度和降雨量的环境影响数据，得到数据集；
2)数据预处理：采用箱线图法，清洗数据集中异常值样本；对数据集中的原始数据x进行归一化操作，数据归一化后区间为[0,1]，公式如下：
式中:X为标准化后的值；xmax为样本数据中的最大值；xmin为样本数据中的最小值；
3)搭建输入模块：
设x1为当前预测时刻的连续前96个时刻的历史电力负荷数据，即96维样本数据[loadt,loadt-T…loadn]；x2包括最高温度、最低温度、平均温度、相对湿度、降雨量、节假日、星期、时刻共8维样本数据，设时间步滑动窗口大小为T，在t时刻的输入序列具体表示为：
x1＝[pt,pt-T…pn]T (2)，
pt＝[loadt,loadt-T...loadn] (3)，
x2＝[ot,ot-T...on]T (4)，
ot＝[tempht,tempmt,tempat,dampt,raint,holidayt,weekt,timet] (5)，
式中：loadt为t时刻的日负荷量，tempht为t时刻的日最高温度，tempmt为t时刻的日最低温度，tempat为t时刻的日平均温度，dampt为t时刻的相对湿度，raint为t时刻的降雨量，holidayt表示t时刻是否是节假日，weekt表示t时刻是一周中的第几天，其中每周一为第一天，timet为t时刻的时间；
4)搭建TCN模块：
每个残差模块由3个一维卷积层Conv0、Conv1、Conv2组成：第一个卷积层Conv0选择使用ReLU激活函数对输入做初步处理，输出为C0；第二个卷积层Conv1的输入为C0，通过卷积特征提取后为C1；C0与C1的输入需要考虑TCN的扩张卷积参数d，并在逐步元素相乘后输入Conv2；Conv2的输出与模块输入pt相加后即可得到另一个输出Rt，因此Rt表示为：
Rt＝ReLU(pt+C2,t) (9)，
式中：W0、W1和W2均为卷积核矩阵；b0、b1、b2为偏置；
为卷积运算；“·”为逐元素相乘；Rt中的元素个数为n,记为Rt＝[rt1,rt2,…rtn]T；
考虑到一个TCN模块由多个残差模块组成，因此在将多个残差模块堆叠时，要求第k-1个残差模块的输出Rk-1作为第k个残差模块的输入；采用ReLU激活函数进行非线性计算作为TCN模块的输出Gt，因此Gt表示为：
Rt,k＝Res(Rt,k-1) (10)，
Gt＝ReLU(Rt) (11)，
式中：Rt,k表示第k个残差模块所输出的Rt；Res表示残差模块，Gt中的元素个数为n,记为Gt＝[Gt,1，Gt,2,…Gt,n]T；
5)搭建concatenate模块：
利用keras模型的concatenate函数将TCN模块的输出Gt与x2进行连接，作为长短期记忆网络的输入，记为I表示为：
I＝concatenate(x2,Gt) (12)，
式中：concatenate表示连接函数；
6)搭建LSTM模块：
在t时刻，LSTM模块对concatenate模块输出的电力负荷特征向量I进行学习，记在t时刻LSTM模块的隐层状态为Ht,i，Ht,i表示为：
Ht,i＝LSTM(Ht,i-1,It,Ct,i-1) (13)，
式中：Ht,i表示t时刻中第i个输入步长的隐层状态；Ct,i-1表示t时刻第i-1个输入步长的细胞状态；Ht中的元素个数为n,记为Ht＝[Ht,1,Ht,2,…Ht,n]T；
7)搭建AM模块：
AM模块的输入为经过LSTM模块计算的隐层状态ht，注意力权值At的计算如式(14)，记在t时刻AM模块的输出为St；通过Multiply函数将AM模块的输出St与LSTM模块的输出Ht完成位与位相乘输出，实现了对隐层单元的动态加权过程，记为Lt，St表示为：
Lt＝Multiply(St，Ht) (16)，
式中：At,i表示在t时刻，AM模块中第i个输入时间步的隐藏状态；qt表示随机初始化的注意力权重矩阵；Multiply表示逐元素相乘；
8)搭建输出模块：
输出模块为全连接层，以linear函数作为激活函数，经处理后得到第t+1时刻电力负荷预测值，记为y，输出模块的计算公式表示为：
y＝linear(wSt+b) (17)，
式中：w为卷积核矩阵；b为偏置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210548873.0A CN115238854A (zh) | 2022-05-20 | 2022-05-20 | 一种基于tcn-lstm-am的短期负荷预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210548873.0A CN115238854A (zh) | 2022-05-20 | 2022-05-20 | 一种基于tcn-lstm-am的短期负荷预测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115238854A true CN115238854A (zh) | 2022-10-25 |
Family
ID=83668370
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210548873.0A Pending CN115238854A (zh) | 2022-05-20 | 2022-05-20 | 一种基于tcn-lstm-am的短期负荷预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115238854A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115936185A (zh) * | 2022-11-15 | 2023-04-07 | 国网江苏省电力有限公司苏州供电分公司 | 基于dcnn-lstm-ae-am的短期电力负荷和碳排放量预测方法及*** |
| CN117937475A (zh) * | 2024-03-21 | 2024-04-26 | 合肥工业大学 | 基于多模态时序学习的负荷预测模型、方法和*** |
-
2022
- 2022-05-20 CN CN202210548873.0A patent/CN115238854A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115936185A (zh) * | 2022-11-15 | 2023-04-07 | 国网江苏省电力有限公司苏州供电分公司 | 基于dcnn-lstm-ae-am的短期电力负荷和碳排放量预测方法及*** |
| CN117937475A (zh) * | 2024-03-21 | 2024-04-26 | 合肥工业大学 | 基于多模态时序学习的负荷预测模型、方法和*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113962364B (zh) | 一种基于深度学习的多因素用电负荷预测方法 | |
| CN110610280B (zh) | 一种电力负荷短期预测方法、模型、装置及*** | |
| CN108280551B (zh) | 一种利用长短期记忆网络的光伏发电功率预测方法 | |
| CN115238854A (zh) | 一种基于tcn-lstm-am的短期负荷预测方法 | |
| CN111680841B (zh) | 基于主成分分析的短期负荷预测方法、***及终端设备 | |
| CN111027775A (zh) | 基于长短期记忆网络的梯级水电站发电量预测方法 | |
| CN113554466A (zh) | 一种短期用电量预测模型构建方法、预测方法和装置 | |
| CN113807951A (zh) | 一种基于深度学习的交易数据趋势预测方法和*** | |
| CN114330934A (zh) | 一种模型参数自适应的gru新能源短期发电功率预测方法 | |
| CN116186548A (zh) | 电力负荷预测模型训练方法及电力负荷预测方法 | |
| CN114611757A (zh) | 基于遗传算法与改进深度残差网络的电力***短期负荷预测方法 | |
| CN114091776A (zh) | 一种基于K-means的多分支AGCNN短期电力负荷预测方法 | |
| CN113139698A (zh) | 负荷预测方法、装置及设备 | |
| CN117374920A (zh) | 考虑环境因素的超短期预测方法、装置及介质 | |
| CN117293809A (zh) | 一种基于大模型的多时空尺度新能源发电功率预测方法 | |
| CN116090635A (zh) | 一种气象驱动的新能源发电功率预测方法 | |
| CN115759343A (zh) | 一种基于e-lstm的用户电量预测方法和装置 | |
| CN115545319A (zh) | 一种基于气象相似日集的电网短期负荷预测方法 | |
| CN114925931A (zh) | 台区负荷预测方法及*** | |
| KR20230066927A (ko) | 발전량 예측 방법 및 장치 | |
| CN114004405A (zh) | 基于Elman神经网络和卫星云图的光伏功率预测方法及*** | |
| Deng et al. | Medium-term rolling load forecasting based on seasonal decomposition and long short-term memory neural network | |
| Liang et al. | Short-term Load Forecasting of a Technology Park Based on a LightGBM-LSTM Fusion Algorithm | |
| Zhang et al. | A Novel Sequence to Sequence based CNN-LSTM Model for Long Term Load Forecasting | |
| CN114254828B (zh) | 一种基于混合卷积特征提取器和gru的电力负荷预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |