CN116345450A - 一种基于深度强化学习的风光水互补***智能调度方法 - Google Patents

一种基于深度强化学习的风光水互补***智能调度方法 Download PDF

Info

Publication number
CN116345450A
CN116345450A CN202310469309.4A CN202310469309A CN116345450A CN 116345450 A CN116345450 A CN 116345450A CN 202310469309 A CN202310469309 A CN 202310469309A CN 116345450 A CN116345450 A CN 116345450A
Authority
CN
China
Prior art keywords
wind
light
water
complementary system
water complementary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310469309.4A
Other languages
English (en)
Inventor
葛远裕
谢俊
段佳南
邢单玺
徐志诚
金永天
周翠玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN202310469309.4A priority Critical patent/CN116345450A/zh
Publication of CN116345450A publication Critical patent/CN116345450A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/004—Generation forecast, e.g. methods or systems for forecasting future energy generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/067—Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/007—Arrangements for selectively connecting the load or loads to one or several among a plurality of power lines or power sources
    • H02J3/0075—Arrangements for selectively connecting the load or loads to one or several among a plurality of power lines or power sources for providing alternative feeding paths between load and source according to economic or energy efficiency considerations, e.g. economic dispatch
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/38—Arrangements for parallely feeding a single network by two or more generators, converters or transformers
    • H02J3/46—Controlling of the sharing of output between the generators, converters, or transformers
    • H02J3/466—Scheduling the operation of the generators, e.g. connecting or disconnecting generators to meet a given demand
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
    • H02J2203/20—Simulating, e g planning, reliability check, modelling or computer assisted design [CAD]
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2300/00—Systems for supplying or distributing electric power characterised by decentralized, dispersed, or local generation
    • H02J2300/20—The dispersed energy generation being of renewable origin
    • H02J2300/22—The renewable source being solar energy
    • H02J2300/24—The renewable source being solar energy of photovoltaic origin
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2300/00—Systems for supplying or distributing electric power characterised by decentralized, dispersed, or local generation
    • H02J2300/20—The dispersed energy generation being of renewable origin
    • H02J2300/28—The renewable source being wind energy
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2300/00—Systems for supplying or distributing electric power characterised by decentralized, dispersed, or local generation
    • H02J2300/40—Systems for supplying or distributing electric power characterised by decentralized, dispersed, or local generation wherein a plurality of decentralised, dispersed or local energy generation technologies are operated simultaneously
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • General Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Power Engineering (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Educational Administration (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Supply And Distribution Of Alternating Current (AREA)

Abstract

本发明公开了一种基于深度强化学习的风光水互补***智能调度方法，步骤如下：建立风光水互补***优化调度模型；根据建立的风光水互补***优化调度模型，将风光水互补***优化调度问题转换为马尔可夫决策过程；搭建基于双延迟深度确定性策略梯度算法的风光水互补***智能调度模型；采用历史数据训练风光水互补***智能调度模型，基于训练好的调度模型，对风光水互补***进行智能调度。本发明提出的方法能够自适应风光出力未来的不确定性，提高风光水互补***发电收益，并且能够快速地给出风光水互补***的调度结果。

Description

一种基于深度强化学习的风光水互补***智能调度方法
技术领域
本发明涉及风光水互补***，特别是一种基于深度强化学习的风光水互补***智能调度方法。
背景技术
近年来，能源危机迅速蔓延全球，环境污染问题日趋严重，寻找化石能源替代方案迫在眉睫。为推动能源结构转型，减少碳排放量，清洁高效的可再生能源受到了广泛关注。
风能和太阳能具有较强的波动性、间歇性，若直接将这两种新能源发电输送到电网，将直接威胁着电网的安全稳定运行。水能是一种经济、高效的可再生能源，水力发电具有调节范围广、能源储存容量大的特点。将水电与风力发电、光伏发电结合，组成多能互补发电***，利用水电的灵活调度能力，补偿风电和光伏发电的功率变化，有效促进了新能源的消纳。
目前风光水互补***研究中，在处理风、光等不确定性时，主要采用随机优化和鲁棒优化方法，随机优化方法倾向于一种统计上的预期结果，具有一定的风险，当出现较大的预测误差时，可能难以保证***的安全运行。鲁棒优化的结果往往过于保守，给出的优化结果通常是面向最坏的运行情况。这些方法对风光不确定性的描述往往与实际存在着较大的差异，降低了优化结果在实际执行时的可行性。其次，针对风光水互补***优化调度求解，广泛使用的算法有混合整数线性规划、遗传算法、粒子群算法等。这些算法求解速度慢，易陷入局部最优，难以快速地得到有效的风光水互补***优化调度结果。
发明内容
发明目的：本发明的目的是提供一种基于深度强化学习的风光水互补***智能调度方法，从而自适应风光出力未来的不确定性，并提高风光水互补***发电收益。
技术方案：本发明所述的一种基于深度强化学习的风光水互补***智能调度方法，包括以下步骤：
(1)建立风光水互补***优化调度模型。
步骤(1)中所述的风光水互补***优化调度模型包括目标函数和约束条件。
所述目标函数为：
Figure BDA0004203460160000021
Pt A＝Pt W,for+Pt S,for+Pt H
式中，T是日前调度周期长度；Pt A为t时刻风光水互补***计划总出力；
Figure BDA0004203460160000022
分别为t时刻水电站预留的向上备用容量和向下备用容量；β1、β2分别为风光水互补***发电收益系数和备用容量成本系数；Pt W,for为t时刻风电出力日前预测值；Pt S,for为t时刻光伏出力日前预测值；Pt H为t时刻日前水电计划出力。
所述约束条件包括水电站出力约束、水电站发电流量约束、水电站出库流量约束、水量平衡约束、水库蓄水量约束，具体如下：
水电站出力约束：
Figure BDA0004203460160000023
Figure BDA0004203460160000024
Figure BDA0004203460160000025
式中，
Figure BDA0004203460160000026
为j水电站在t时刻的出力；kj,n(n＝1,2,…,6)为j水电站的能量转换系数；Qj,t为j水电站在t时刻的发电流量；Vj,t为j水电站在t时刻的水库容量；/>
Figure BDA0004203460160000027
分别为j水电站在t时刻预留的向上备用容量和向下备用容量；/>
Figure BDA0004203460160000028
分别是j水电站在t时刻出力的上限和下限。
水电站发电流量约束：
Qj,min≤Qj,t≤Qj,max
式中，Qj,min、Qj,max分别是j水电站发电流量的下限和上限；
水电站出库流量约束：
Figure BDA0004203460160000031
Figure BDA0004203460160000032
式中，
Figure BDA0004203460160000033
为j水电站在t时刻的出库流量；/>
Figure BDA0004203460160000034
分别是j水电站出库流量的下限和上限；Sj,t为j水电站在t时刻的弃水流量。
水量平衡约束：
Figure BDA0004203460160000035
Figure BDA0004203460160000036
式中，Vj,t+1为j水电站在t+1时刻的水库容量；
Figure BDA0004203460160000037
为j水电站在t时刻的入库流量；Δt为调度时间间隔；Uj为j水电站直接上游水电站的集合；/>
Figure BDA0004203460160000038
为k水电站在t时刻的出库流量；qj,t为j水电站在t时刻的天然来水量。
水库蓄水量约束：
Vj,min≤Vj,t≤Vj,max
|Vj,end-Vj,start|≤ΔVj
式中，Vj,min、Vj,max分别是j水电站蓄水量的下限和上限；Vj,end、Vj,start分别是j水电站调度结束蓄水量和调度初始蓄水量；ΔVj表示j水电站蓄水量在调度周期内的最大变化。
(2)根据步骤(1)建立的风光水互补***优化调度模型，将风光水互补***优化调度问题转换为马尔可夫决策过程。
步骤(2)中所述的马尔可夫决策过程包括状态、动作和奖励函数的建立，具体如下：
状态建立：t时刻的状态st包括风电出力、光伏出力、负荷需求、梯级水电天然来水量、梯级水电水库水量和调度时刻，即：
Figure BDA0004203460160000041
式中，
Figure BDA0004203460160000042
分别是t-1/4和t-1/2时刻的风电出力日前预测值；
Figure BDA0004203460160000043
分别是t-1/4和t-1/2时刻的光伏出力日前预测值；qt是包含每个梯级水电站天然来水的集合；Vt是包含每个梯级水电站水库水量的集合。
动作建立：t时刻的动作at包括梯级水电站发电流量、梯级水电站弃水流量、梯级水电站预留的向上备用容量和向下备用容量，即：
Figure BDA0004203460160000044
式中，
Figure BDA0004203460160000045
是包含每个梯级水电站发电流量的集合；St是包含每个梯级水电站弃水流量的集合；/>
Figure BDA0004203460160000046
分别是包含每个梯级水电站预留的向上备用容量和向下备用容量的集合。
奖励函数建立：t时刻的奖励rt包括风光水互补***日收益、备用不能平衡不确定性的惩罚和违反约束条件的惩罚，即：
Figure BDA0004203460160000047
Figure BDA0004203460160000048
Pt err＝Pt W,act-Pt W,for+Pt S,act-Pt S,for
式中，Ct是t时刻风光水互补***日收益；b1、b2、b3是各分量的权重系数；
Figure BDA0004203460160000049
是t时刻备用不能平衡不确定性的惩罚；/>
Figure BDA00042034601600000410
是t时刻违反约束条件的惩罚；Pt err是t时刻风电和光伏预测误差之和；Pt W,act、Pt S,act分别是t时刻风电和光伏实际出力。
(3)搭建基于双延迟深度确定性策略梯度算法的风光水互补***智能调度模型。
步骤(3)中所述的风光水互补***智能调度模型包括3组不同的神经网络，具体如下：
第一组是包括两个结构相同的网络，分别是具有参数θπ的Actor网络和具有参数θπ′的Actor目标网络；
第二组是包括两个结构相同的网络，分别是具有参数
Figure BDA0004203460160000051
的Critic网络1和具有参数/>
Figure BDA0004203460160000052
的Critic目标网络1；
第三组是包括两个结构相同的网络，分别是具有参数
Figure BDA0004203460160000053
的Critic网络2和具有参数/>
Figure BDA0004203460160000054
的Critic目标网络2。
(4)采用历史数据训练风光水互补***智能调度模型，基于训练好的调度模型，对风光水互补***进行智能调度。
所述步骤(4)中，采用历史数据训练风光水互补***智能调度模型的步骤具体为：
(4.1)设置基于双延迟深度确定性策略梯度算法的风光水互补***智能调度模型的总迭代次数M，确定调度周期长度T。
(4.2)初始化Actor网络、Critic网络1和Critic网络2参数，令目标网络参数
Figure BDA0004203460160000055
θπ′＝θπ，初始化经验回放池D，设置当前迭代次数m为1。
(4.3)判断m是否大于M，若m大于M，则结束训练，否则设置当前调度时段t＝1，令m＝m+1，初始化状态st。
(4.4)判断t是否大于T，若t大于T，则返回步骤(4.3)，否则将状态st输入到Actor网络，并叠加随机高斯噪声输出动作at。
(4.5)将动作at与风光水互补调度环境交互，获取奖励rt和下一时刻状态st+1。
(4.6)将样本(st,at,rt,st+1)存储到经验回放池D。
(4.7)从经验回放池D中选择N个样本，计算下一动作at′+1。
(4.8)判断t是否等于T，若t等于T，则令累积奖励y＝rt，否者将st+1和at′+1输入到Critic目标网络1和Critic目标网络2中，选取Critic目标网络1和Critic目标网络2中最小的输出值计算累积奖励y。
(4.9)根据累积奖励y和Critic网络输出值，采用最小化损失函数更新两个Critic网络参数，采用梯度下降法更新Actor网络参数，更新采用软更新方式更新三个目标网络参数，令t＝t+1，返回步骤(4.4)。
一种基于深度强化学习的风光水互补***智能调度***，所述***采用上述的一种基于深度强化学习的风光水互补***智能调度方法，包括以下模块：
第一处理模块：用于建立风光水互补***优化调度模型；
第二处理模块：用于将风光水互补***优化调度问题转换为马尔可夫决策过程；
第三处理模块：用于搭建基于双延迟深度确定性策略梯度算法的风光水互补***智能调度模型；
第四处理模块：用于训练风光水互补***智能调度模型，并基于训练好的调度模型，对风光水互补***进行智能调度。
一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的一种基于深度强化学习的风光水互补***智能调度方法。
一种计算机设备，包括储存器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的一种基于深度强化学习的风光水互补***智能调度方法。
有益效果：与现有技术相比，本发明具有如下优点：
1、本发明基于历史数据训练后，能够自适应风光出力未来的不确定性，提高了风光水互补***发电收益；
2、本发明相比于传统的遗传算法具有决策时间短的优点，能够快速地给出风光水互补***的调度结果。
附图说明
图1是本发明所述方法的步骤流程图；
图2是风光水互补出力过程图；
图3是梯级水电站出力过程图；
图4是水电站对风光预测不确定的平衡图。
具体实施方式
下面结合附图对本发明的技术方案进一步说明。
在本实施例中，风光水互补***由风电、光伏发电和梯级水电构成；其中，风电装机容量为300MW，光伏发电装机容量为400MW，梯级水电站由四座水电站组成。
如图1所示，一种基于深度强化学习的风光水互补***智能调度方法，包括以下步骤：
(1)建立风光水互补***优化调度模型；
在风电、光伏出力的不确定下，为保证互补发电***日收益最大，目标函数建立为：
Figure BDA0004203460160000071
Pt A＝Pt W,for+Pt S,for+Pt H
式中，T是日前调度周期长度；Pt A为t时刻风光水互补***计划总出力；
Figure BDA0004203460160000072
分别为t时刻水电站预留的向上备用容量和向下备用容量；β1、β2分别为风光水互补***发电收益系数和备用容量成本系数；Pt W,for为t时刻风电出力日前预测值；Pt S,for为t时刻光伏出力日前预测值；Pt H为t时刻日前水电计划出力。
为了保证风光水多能互补***安全稳定运行，调度模型需要满足一些约束条件，包括水电站出力约束、水电站发电流量约束、水电站出库流量约束、水量平衡约束、水库蓄水量约束，具体如下：
水电站出力约束：
Figure BDA0004203460160000073
Figure BDA0004203460160000074
Figure BDA0004203460160000081
式中，
Figure BDA0004203460160000082
为j水电站在t时刻的出力；kj,n(n＝1,2,…,6)为j水电站的能量转换系数；Qj,t为j水电站在t时刻的发电流量；Vj,t为j水电站在t时刻的水库容量；/>
Figure BDA0004203460160000083
分别为j水电站在t时刻预留的向上备用容量和向下备用容量；/>
Figure BDA0004203460160000084
分别是j水电站在t时刻出力的上限和下限。
水电站发电流量约束：
Qj,min≤Qj,t≤Qj,max
式中，Qj,min、Qj,max分别是j水电站发电流量的下限和上限。
水电站出库流量约束：
Figure BDA0004203460160000085
Figure BDA0004203460160000086
式中，
Figure BDA0004203460160000087
为j水电站在t时刻的出库流量；/>
Figure BDA0004203460160000088
分别是j水电站出库流量的下限和上限；Sj,t为j水电站在t时刻的弃水流量。
水量平衡约束：
Figure BDA0004203460160000089
Figure BDA00042034601600000810
式中，Vj,t+1为j水电站在t+1时刻的水库容量；
Figure BDA00042034601600000811
为j水电站在t时刻的入库流量；Δt为调度时间间隔；Uj为j水电站直接上游水电站的集合；/>
Figure BDA00042034601600000812
为k水电站在t时刻的出库流量；qj,t为j水电站在t时刻的天然来水量；
水库蓄水量约束：
Vj,min≤Vj,t≤Vj,max
|Vj,end-Vj,start|≤ΔVj
式中，Vj,min、Vj,max分别是j水电站蓄水量的下限和上限；Vj,end、Vj,start分别是j水电站调度结束蓄水量和调度初始蓄水量；ΔVj表示j水电站蓄水量在调度周期内的最大变化。
(2)根据步骤(1)建立的风光水互补***优化调度模型，将风光水互补***优化调度问题转换为马尔可夫决策过程，这包括状态、动作和奖励函数的建立，具体如下：
状态建立：t时刻的状态st包括风电出力、光伏出力、负荷需求、梯级水电天然来水量、梯级水电水库水量和调度时刻，即：
Figure BDA0004203460160000091
式中，
Figure BDA0004203460160000092
分别是t时刻前15分钟和30分钟的风电出力日前预测值；
Figure BDA0004203460160000093
分别是t时刻前15分钟和30分钟的光伏出力日前预测值；qt是包含每个梯级水电站天然来水的集合；Vt是包含每个梯级水电站水库水量的集合。
动作建立：t时刻的动作at包括梯级水电站发电流量、梯级水电站弃水流量、梯级水电站预留的向上备用容量和向下备用容量，即：
Figure BDA0004203460160000094
式中，
Figure BDA0004203460160000095
是包含每个梯级水电站发电流量的集合；St是包含每个梯级水电站弃水流量的集合；/>
Figure BDA0004203460160000096
分别是包含每个梯级水电站预留的向上备用容量和向下备用容量的集合。
奖励函数建立：奖励t时刻的奖励rt包括风光水互补***日收益、备用不能平衡不确定性的惩罚和违反约束条件的惩罚，即：
Figure BDA0004203460160000097
Figure BDA0004203460160000098
Pt err＝Pt W,act-Pt W,for+Pt S,act-Pt S,for
式中，Ct是t时刻风光水互补***日收益；b1、b2、b3是各分量的权重系数；
Figure BDA0004203460160000101
是t时刻备用不能平衡不确定性的惩罚；/>
Figure BDA0004203460160000102
是t时刻违反约束条件的惩罚；Pt err是t时刻风电和光伏预测误差之和；Pt W,act、Pt S,act分别是t时刻风电和光伏实际出力。
(3)搭建基于双延迟深度确定性策略梯度(Twin Delayed Deep DeterministicPolicy Gradient，TD3)算法的风光水互补***智能调度模型，该模型一共采用了3组不同的神经网络，分别是Actor网络、Critic网络1、Critic网络2和与之相对应的目标网络。其中，Actor网络主要是根据状态输出动作，负责策略的制定，而Critic网络主要是根据状态和动作输出Q值，负责策略的评估。3组神经网络具体如下：
第一组是包括两个结构相同的网络，分别是具有参数θπ的Actor网络和具有参数θπ′的Actor目标网络；
第二组是包括两个结构相同的网络，分别是具有参数
Figure BDA0004203460160000103
的Critic网络1和具有参数/>
Figure BDA0004203460160000104
的Critic目标网络1；
第三组是包括两个结构相同的网络，分别是具有参数
Figure BDA0004203460160000105
的Critic网络2和具有参数/>
Figure BDA0004203460160000106
的Critic目标网络2。
(4)采用历史数据训练风光水互补***智能调度模型。历史数据包含风电出力、光伏出力、负荷和梯级水电站天然来水数据，数据间隔为1小时，一天24个小时为一个调度周期。采用360天历史数据训练风光水互补***智能调度模型，基于训练好的调度模型，对风光水互补***进行智能调度。风光水互补***智能调度模型训练步骤如下：
(4.1)设置基于TD3算法的风光水互补***智能调度模型的总迭代次数M，确定调度周期长度T；
(4.2)初始化Actor网络、Critic网络1和Critic网络2参数，令目标网络参数
Figure BDA0004203460160000111
θπ′＝θπ，初始化经验回放池D，设置当前迭代次数m为1；
(4.3)判断m是否大于M，若m大于M，则结束训练，否则设置当前调度时段t＝1，令m＝m+1，初始化状态st；
(4.4)判断t是否大于T，若t大于T，则返回步骤(4.3)，否则将状态st输入到Actor网络，并叠加随机高斯噪声输出动作at；
(4.5)将动作at与风光水互补调度环境交互，获取奖励rt和下一时刻状态st+1；
(4.6)将样本(st,at,rt,st+1)存储到经验回放池D；
(4.7)从经验回放池D中选择N个样本，计算下一动作at′+1；
(4.8)判断t是否等于T，若t等于T，则令累积奖励y＝rt，否者将st+1和at′+1输入到Critic目标网络1和Critic目标网络2中，选取Critic目标网络1和Critic目标网络2中最小的输出值计算累积奖励y；
(4.9)根据累积奖励y和Critic网络输出值，采用最小化损失函数更新两个Critic网络参数，采用梯度下降法更新Actor网络参数，更新采用软更新方式更新三个目标网络参数，令t＝t+1，返回步骤(4.4)。
为了验证本发明调度方法的有效性，我们选取360天训练集外的一天数据进行测试。训练好的智能调度模型根据输入的测试数据输出风光水互补调度结果，包括各个水电站计划出力、各个水电站提供的上、下备用量。风光水互补出力结果如图2所示，风光具有较强的不确定，调度梯级水电可以为***提供更加平滑的出力曲线，增加***收益。
梯级水电站各个水电站出力如图3所示，智能调度模型能够充分利用各个水电站的出力特点，协调好各个电站出力和上下备用容量。在4个水电站中，水电站4位于最下游，有着较多的来水且发电效率高，提供了最大的出力，上下备用主要由其它3个水电站提供。
为了应对风光出力日前预测误差，智能调度模型制定了各个水电站的上下备用计划。基于360天数据的训练，智能调度模型能够较好的学***衡风光预测不确定，保障互补***发电计划的执行。
另采用遗传算法(GA)进行了对比分析。对于风光预测不确定性，采用确定性调度方法，按照预测值的10％制定上下备用，对比结果如表1所示。
表1TD3与GA算法对比
Figure BDA0004203460160000121
在调度收益方面，TD3算法相较于GA调度收益增加了10437.2，能够给互补***带来更好的收益。在备用不平衡量方面，TD3算法比GA算法少了194.48MW，TD3算法通过对历史数据集的学习，能够自适应风光预测不确定性。在求解时间方面，TD3算法远小于GA算法的决策时间，这是由于TD3算法基于训练集数据，花费大量的时间进行探索，寻找制定最佳调度策略的经验，一旦训练完成，可以根据输入数据，快速输出调度结果。

Claims (8)

1.一种基于深度强化学习的风光水互补***智能调度方法，其特征在于，包括以下步骤：
(1)建立风光水互补***优化调度模型；
(2)根据步骤(1)建立的风光水互补***优化调度模型，将风光水互补***优化调度问题转换为马尔可夫决策过程；
(3)搭建基于双延迟深度确定性策略梯度算法的风光水互补***智能调度模型；
(4)采用历史数据训练风光水互补***智能调度模型，基于训练好的调度模型，对风光水互补***进行智能调度。
2.根据权利要求1所述的一种基于深度强化学习的风光水互补***智能调度方法，其特征在于，步骤(1)中所述的风光水互补***优化调度模型包括目标函数和约束条件；
所述目标函数为：
Figure FDA0004203460150000011
Pt A＝Pt W,for+Pt S,for+Pt H
式中，T是日前调度周期长度；Pt A为t时刻风光水互补***计划总出力；
Figure FDA0004203460150000012
分别为t时刻水电站预留的向上备用容量和向下备用容量；β1、β2分别为风光水互补***发电收益系数和备用容量成本系数；Pt W,for为t时刻风电出力日前预测值；Pt S,for为t时刻光伏出力日前预测值；Pt H为t时刻日前水电计划出力；
所述约束条件包括水电站出力约束、水电站发电流量约束、水电站出库流量约束、水量平衡约束、水库蓄水量约束，具体如下：
水电站出力约束：
Figure FDA0004203460150000013
Figure FDA0004203460150000014
Figure FDA0004203460150000021
式中，
Figure FDA0004203460150000022
为j水电站在t时刻的出力；kj,n(n＝1,2,…,6)为j水电站的能量转换系数；Qj,t为j水电站在t时刻的发电流量；Vj,t为j水电站在t时刻的水库容量；/>
Figure FDA0004203460150000023
分别为j水电站在t时刻预留的向上备用容量和向下备用容量；/>
Figure FDA0004203460150000024
分别是j水电站在t时刻出力的上限和下限；
水电站发电流量约束：
Qj,min≤Qj,t≤Qj,max
式中，Qj,min、Qj,max分别是j水电站发电流量的下限和上限；
水电站出库流量约束：
Figure FDA0004203460150000025
Figure FDA0004203460150000026
式中，
Figure FDA0004203460150000027
为j水电站在t时刻的出库流量；/>
Figure FDA0004203460150000028
分别是j水电站出库流量的下限和上限；Sj,t为j水电站在t时刻的弃水流量；
水量平衡约束：
Figure FDA0004203460150000029
Figure FDA00042034601500000210
式中，Vj,t+1为j水电站在t+1时刻的水库容量；
Figure FDA00042034601500000211
为j水电站在t时刻的入库流量；Δt为调度时间间隔；Uj为j水电站直接上游水电站的集合；/>
Figure FDA00042034601500000212
为k水电站在t时刻的出库流量；qj,t为j水电站在t时刻的天然来水量；
水库蓄水量约束：
Vj,min≤Vj,t≤Vj,max
|Vj,end-Vj,start|≤ΔVj
式中，Vj,min、Vj,max分别是j水电站蓄水量的下限和上限；Vj,end、Vj,start分别是j水电站调度结束蓄水量和调度初始蓄水量；ΔVj表示j水电站蓄水量在调度周期内的最大变化。
3.根据权利要求1所述的一种基于深度强化学习的风光水互补***智能调度方法，其特征在于，步骤(2)中所述的马尔可夫决策过程包括状态、动作和奖励函数的建立，具体如下：
状态建立：t时刻的状态st包括风电出力、光伏出力、负荷需求、梯级水电天然来水量、梯级水电水库水量和调度时刻，即：
Figure FDA0004203460150000031
式中，
Figure FDA0004203460150000032
分别是t-1/4和t-1/2时刻的风电出力日前预测值；/>
Figure FDA0004203460150000033
分别是t-1/4和t-1/2时刻的光伏出力日前预测值；qt是包含每个梯级水电站天然来水的集合；Vt是包含每个梯级水电站水库水量的集合；
动作建立：t时刻的动作at包括梯级水电站发电流量、梯级水电站弃水流量、梯级水电站预留的向上备用容量和向下备用容量，即：
Figure FDA0004203460150000034
式中，
Figure FDA0004203460150000035
是包含每个梯级水电站发电流量的集合；St是包含每个梯级水电站弃水流量的集合；/>
Figure FDA0004203460150000036
分别是包含每个梯级水电站预留的向上备用容量和向下备用容量的集合；
奖励函数建立：t时刻的奖励rt包括风光水互补***日收益、备用不能平衡不确定性的惩罚和违反约束条件的惩罚，即：
Figure FDA0004203460150000037
Figure FDA0004203460150000038
Pt err＝Pt W,act-Pt W,for+Pt S,act-Pt S,for
式中，Ct是t时刻风光水互补***日收益；b1、b2、b3是各分量的权重系数；
Figure FDA0004203460150000041
是t时刻备用不能平衡不确定性的惩罚；/>
Figure FDA0004203460150000042
是t时刻违反约束条件的惩罚；Pt err是t时刻风电和光伏预测误差之和；Pt W,act、Pt S,act分别是t时刻风电和光伏实际出力。
4.根据权利要求1所述的一种基于深度强化学习的风光水互补***智能调度方法，其特征在于，步骤(3)中所述的风光水互补***智能调度模型包括3组不同的神经网络，具体如下：
第一组是包括两个结构相同的网络，分别是具有参数θπ的Actor网络和具有参数θ′π的Actor目标网络；
第二组是包括两个结构相同的网络，分别是具有参数
Figure FDA0004203460150000043
的Critic网络1和具有参数/>
Figure FDA0004203460150000044
的Critic目标网络1；
第三组是包括两个结构相同的网络，分别是具有参数
Figure FDA0004203460150000045
的Critic网络2和具有参数
Figure FDA0004203460150000046
的Critic目标网络2。
5.根据权利要求1所述的一种基于深度强化学习的风光水互补***智能调度方法，其特征在于，所述步骤(4)中，采用历史数据训练风光水互补***智能调度模型的步骤具体为：
(4.1)设置基于双延迟深度确定性策略梯度算法的风光水互补***智能调度模型的总迭代次数M，确定调度周期长度T；
(4.2)初始化Actor网络、Critic网络1和Critic网络2参数，令目标网络参数
Figure FDA0004203460150000047
θ′π＝θπ，初始化经验回放池D，设置当前迭代次数m为1；
(4.3)判断m是否大于M，若m大于M，则结束训练，否则设置当前调度时段t＝1，令m＝m+1，初始化状态st；
(4.4)判断t是否大于T，若t大于T，则返回步骤(4.3)，否则将状态st输入到Actor网络，并叠加随机高斯噪声输出动作at；
(4.5)将动作at与风光水互补调度环境交互，获取奖励rt和下一时刻状态st+1；
(4.6)将样本(st,at,rt,st+1)存储到经验回放池D；
(4.7)从经验回放池D中选择N个样本，计算下一动作a′t+1；
(4.8)判断t是否等于T，若t等于T，则令累积奖励y＝rt，否者将st+1和a′t+1输入到Critic目标网络1和Critic目标网络2中，选取Critic目标网络1和Critic目标网络2中最小的输出值计算累积奖励y；
(4.9)根据累积奖励y和Critic网络输出值，采用最小化损失函数更新两个Critic网络参数，采用梯度下降法更新Actor网络参数，更新采用软更新方式更新三个目标网络参数，令t＝t+1，返回步骤(4.4)。
6.一种基于深度强化学习的风光水互补***智能调度***，所述***采用如权利要求1-5中任一项所述的一种基于深度强化学习的风光水互补***智能调度方法，其特征在于，包括以下模块：
第一处理模块：用于建立风光水互补***优化调度模型；
第二处理模块：用于将风光水互补***优化调度问题转换为马尔可夫决策过程；
第三处理模块：用于搭建基于双延迟深度确定性策略梯度算法的风光水互补***智能调度模型；
第四处理模块：用于训练风光水互补***智能调度模型，并基于训练好的调度模型，对风光水互补***进行智能调度。
7.一种计算机存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-5中任一项所述的一种基于深度强化学习的风光水互补***智能调度方法。
8.一种计算机设备，包括储存器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-5中任一项所述的一种基于深度强化学习的风光水互补***智能调度方法。
CN202310469309.4A 2023-04-26 2023-04-26 一种基于深度强化学习的风光水互补***智能调度方法 Pending CN116345450A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310469309.4A CN116345450A (zh) 2023-04-26 2023-04-26 一种基于深度强化学习的风光水互补***智能调度方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310469309.4A CN116345450A (zh) 2023-04-26 2023-04-26 一种基于深度强化学习的风光水互补***智能调度方法

Publications (1)

Publication Number Publication Date
CN116345450A true CN116345450A (zh) 2023-06-27

Family

ID=86889622

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310469309.4A Pending CN116345450A (zh) 2023-04-26 2023-04-26 一种基于深度强化学习的风光水互补***智能调度方法

Country Status (1)

Country Link
CN (1) CN116345450A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116581755A (zh) * 2023-07-12 2023-08-11 长江水利委员会水文局 功率预测方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116581755A (zh) * 2023-07-12 2023-08-11 长江水利委员会水文局 功率预测方法、装置、设备及存储介质
CN116581755B (zh) * 2023-07-12 2023-09-29 长江水利委员会水文局 功率预测方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN112713618B (zh) 基于多场景技术的主动配电网源网荷储协同优化运行方法
CN110854932B (zh) 一种交直流配电网多时间尺度优化调度方法及***
CN106532778B (zh) 一种计算分布式光伏并网最大准入容量的方法
CN112508221A (zh) 一种有限储能下考虑源-荷不确定性的日前调度决策方法
Li et al. Dispatch planning of a wide-area wind power-energy storage scheme based on ensemble empirical mode decomposition technique
CN109034587B (zh) 一种协调多种可控单元的主动配电***优化调度方法
CN111786417A (zh) 一种面向分布式新能源消纳的主动配电网多目标区间优化调度的方法
CN104299173A (zh) 一种适用于多种能源接入的鲁棒优化日前调度方法
CN111404204A (zh) 一种利用改进狼群算法的含风电场电力***优化调度方法
CN114696351A (zh) 一种电池储能***动态优化方法、装置、电子设备和存储介质
CN110350589A (zh) 一种可再生能源和储能调度模型及调度方法
CN116345450A (zh) 一种基于深度强化学习的风光水互补***智能调度方法
CN116169698A (zh) 一种新能源平稳消纳的分布式储能优化配置方法及***
CN116402210A (zh) 一种综合能源***多目标优化方法、***、设备和介质
CN116418001A (zh) 应对新能源不确定性的水库群多能互补调度方法与***
CN112072643A (zh) 一种基于深度确定性梯度策略的光-蓄***在线调度方法
CN113363976B (zh) 一种基于场景图的风光水互补发电***中期优化调度方法
Aburiyana et al. Direct net load forecasting using adaptive neuro fuzzy inference system
CN108233357A (zh) 基于非参数概率预测及风险期望的风电日前消纳优化方法
Xu et al. Optimal scheduling of microgrid with consideration of demand response in smart grid
CN111525556B (zh) 一种计及风电置信风险的多目标最优潮流计算方法
El-Bidairi et al. Impact of tidal energy on battery sizing in standalone microgrids: A case study
CN116169785A (zh) 一种基于深度q学习的灵活互动资源安全运行预警方法
Pappala et al. Unit commitment under wind power and demand uncertainties
CN114418232A (zh) 储能***运行优化方法、***、服务器及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination