CN115001002B - 一种求解储能参与削峰填谷的优化调度方法和*** - Google Patents
一种求解储能参与削峰填谷的优化调度方法和*** Download PDFInfo
- Publication number
- CN115001002B CN115001002B CN202210916196.3A CN202210916196A CN115001002B CN 115001002 B CN115001002 B CN 115001002B CN 202210916196 A CN202210916196 A CN 202210916196A CN 115001002 B CN115001002 B CN 115001002B
- Authority
- CN
- China
- Prior art keywords
- energy storage
- value
- network
- strategy
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004146 energy storage Methods 0.000 title claims abstract description 218
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000011217 control strategy Methods 0.000 claims abstract description 66
- 238000012549 training Methods 0.000 claims abstract description 45
- 238000005457 optimization Methods 0.000 claims abstract description 32
- 230000008569 process Effects 0.000 claims abstract description 15
- 238000013528 artificial neural network Methods 0.000 claims description 80
- 239000013598 vector Substances 0.000 claims description 9
- 230000009471 action Effects 0.000 claims description 7
- 238000002372 labelling Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims 2
- 230000001537 neural effect Effects 0.000 claims 1
- 230000006870 function Effects 0.000 abstract description 39
- 238000009826 distribution Methods 0.000 abstract description 12
- 230000008859 change Effects 0.000 abstract description 6
- 238000007599 discharging Methods 0.000 description 11
- 230000008901 benefit Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 6
- 150000001875 compounds Chemical class 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 229960001948 caffeine Drugs 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000009987 spinning Methods 0.000 description 1
- RYYVLZVUVIJVGH-UHFFFAOYSA-N trimethylxanthine Natural products CN1C(=O)N(C)C(=O)C2=C1N=CN2C RYYVLZVUVIJVGH-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J3/00—Circuit arrangements for ac mains or ac distribution networks
- H02J3/28—Arrangements for balancing of the load in a network by storage of energy
- H02J3/32—Arrangements for balancing of the load in a network by storage of energy using batteries with converting means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06315—Needs-based resource requirements planning or analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Health & Medical Sciences (AREA)
- Entrepreneurship & Innovation (AREA)
- Development Economics (AREA)
- General Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Game Theory and Decision Science (AREA)
- Computational Linguistics (AREA)
- Power Engineering (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Educational Administration (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- Primary Health Care (AREA)
- Supply And Distribution Of Alternating Current (AREA)
Abstract
本发明提供了一种求解储能参与削峰填谷的优化调度方法和***,包括设置参数化的深度Q值网络,利用负荷历史数据以及对应时刻储能的功率出率对参数化的深度Q值网络进行训练,训练过程中利用信赖域优化模型对控制策略的更新次数做出限制,从而快速准确的获取最优策略,以便在当前条件下实现储能的优化调度控制。本发明利用信赖域‑强化学习,在连续控制中,对策略更新的大小做出限制,每次更新的时候不大幅度地改变分布的形态,使收益满足调递增收敛性,能够在线修正优化结果,并且考虑到充放电约束,达到最优的削峰填谷控制功能。
Description
技术领域
本发明属于电网调度技术领域,具体涉及一种基于信赖域-强化学习求解储能参与削峰填谷的优化调度方法和***。
背景技术
大规模电池储能***通过在负荷高峰时放电,在负荷低谷时充电,可以实现对负荷的削峰填谷功能。电网公司利用储能削峰填谷,能够推迟设备容量升级,提高设备利用率,节省设备更新的费用;电力用户利用储能削峰填谷,可以利用峰谷电价差获得经济效益。如何利用有限的电池容量达到最优的削峰填谷效果,并满足一组约束条件的限制,需要借助于优化算法来实现。
求解储能***充放电策略的经典优化算法包括梯度类算法和动态规划算法。梯度类算法无法处理不连续的约束条件,对初值的依赖性强。采用动态规划算法则可以在模型中考虑不连续、非线性的约束,且方便使用计算机求解。但是当大规模储能并网和高随机性的负荷存在时,这两类方法均存在精度和计算效率的问题,同时这两类方法基于精确的物理模型,这在实际问题里难以保证建模的准确度。
发明内容
有鉴于此,本发明旨在解决当大规模储能并网和高随机性的负荷存在时,求解储能***充放电策略的经典优化算法均存在精度和计算效率的问题且难以保证建模的准确度的问题。
为了解决上述技术问题,本发明提供以下技术方案:
第一方面,本发明提供了一种求解储能参与削峰填谷的优化调度方法,包括如下步骤:
设置参数化深度Q值网络,参数化深度Q值网络用于利用自身的网络参数将输入的控制策略参数化并输出若干个参数化控制策略;
获取负荷历史有功值和预测值以及对应时刻储能功率出力,以初始时刻的储能功率出力、负荷有功值和预测值为初始状态进行输入,以任意一个初始储能控制策略对储能进行控制,以最小化负荷曲线的方差作为目标对参数化深度Q值网络进行迭代训练并更新网络参数,利用信赖域优化模型对网络参数的更新次数进行控制,满足条件时,结束训练,其中表示流形上的信赖域约束,表示利用网络参数参数化的控制策略,表示约束限值,和表示网络参数的更新次数;
获取当前负荷有功值和储能功率出力并输入至训练好的参数化深度Q值网络中,选择输出结果中最大值对应的策略下发至储能子站控制器进行储能调度控制。
进一步地,参数化深度Q值网络具体包括:储能策略神经网络和储能状态价值神经网络;
进一步地,信赖域优化模型具体为:
以所述初始状态为起始状态,以控制策略对储能进行次控制,得到策略状态-动作轨迹,其中为所述储能策略神经网络的输出结果,为储能策略网络的参数,为第轮策略状态-动作轨迹,为第个轨迹且, 为时刻的第个轨迹状态和动作向量;
对于中每一步,均记录其对应的回报并且基于所述回报,利用所述储能策略神经网络计算对应步的动作-状态价值函数以及利用所述储能状态价值神经网络计算对应步的状态价值函数,其中是所述储能状态价值神经网络的参数;
进一步地,最小化负荷曲线的方差的表达式具体如下:
式中,为一日中负荷数据点的个数,由预测负荷数据决定,设当前时刻对应于第()个负荷数据;为时刻的负荷,为已知量,且时为实际负荷,时为预测负荷;为时刻到时刻之间BES的输出功率,电池充电为正,放电为负,且时为已知量,时为控制变量。
第二方面,本发明提供了一种求解储能参与削峰填谷的优化调度***,包括:
设置单元,用于设置参数化深度Q值网络,参数化深度Q值网络用于利用自身的网络参数将输入的控制策略参数化并输出若干个参数化控制策略;
训练单元,用于获取负荷历史有功值和预测值以及对应时刻储能功率出力,以初始时刻的储能功率出力、负荷有功值和预测值为初始状态进行输入,以任意一个初始储能控制策略对储能进行控制,以最小化负荷曲线的方差作为目标对参数化深度Q值网络进行迭代训练并更新网络参数,利用信赖域优化模型对网络参数的更新次数进行控制,满足条件 时,结束训练,其中表示流形上的信赖域约束,表示利用网络参数参数化的控制策略,表示约束限值,和表示网络参数的更新次数;
控制单元,用于获取当前负荷有功值和储能功率出力并输入至训练好的参数化深度Q值网络中,选择输出结果中最大值对应的策略下发至储能子站控制器进行储能调度控制。
进一步地,参数化深度Q值网络具体包括:储能策略神经网络和储能状态价值神经网络;
进一步地,信赖域优化模型具体为:
进一步地,训练单元对参数化深度Q值网络进行迭代训练并更新网络参数的过程具体包括:
以所述初始状态为起始状态,以控制策略对储能进行次控制,得到策略状态-动作轨迹,其中为所述储能策略神经网络的输出结果,为储能策略网络的参数,为第轮策略状态-动作轨迹,为第个轨迹且, 为时刻的第个轨迹状态和动作向量;
对于中每一步,均记录其对应的回报并且基于所述回报,利用所述储能策略神经网络计算对应步的动作-状态价值函数以及利用所述储能状态价值神经网络计算对应步的状态价值函数,其中是所述储能状态价值神经网络的参数;
进一步地,最小化负荷曲线的方差的表达式具体如下:
式中,为一日中负荷数据点的个数,由预测负荷数据决定,设当前时刻对应于第()个负荷数据;为时刻的负荷,为已知量,且时为实际负荷,时为预测负荷;为时刻到时刻之间BES的输出功率,电池充电为正,放电为负,且时为已知量,时为控制变量。
综上,本发明提供了一种求解储能参与削峰填谷的优化调度方法和***,包括设置参数化的深度Q值网络,利用负荷历史数据以及对应时刻储能的功率出率对参数化的深度Q值网络进行训练,训练过程中利用信赖域优化模型对控制策略的更新次数做出限制,从而快速准确的获取最优策略,以便在当前条件下实现储能的优化调度控制。本发明利用信赖域-强化学习,在连续控制中,对策略更新的大小做出限制,每次更新的时候不大幅度地改变分布的形态,使收益满足调递增收敛性,能够在线修正优化结果,并且考虑到充放电约束,达到最优的削峰填谷控制功能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种求解储能参与削峰填谷的优化调度方法的流程示意图;
图2为本发明实施例提供的信赖域-强化学习的参数更新过程;
图3为本发明实施例提供的储能策略神经网络的示意图;
图4为本发明实施例提供的储能状态价值神经网络的示意图;
图5为本发明实施例提供的网络训练流程图。
具体实施方式
为使得本发明的目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,下面所描述的实施例仅仅是本发明一部分实施例,而非全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
大规模电池储能***通过在负荷高峰时放电,在负荷低谷时充电,可以实现对负荷的削峰填谷功能。电网公司利用储能削峰填谷,能够推迟设备容量升级,提高设备利用率,节省设备更新的费用;电力用户利用储能削峰填谷,可以利用峰谷电价差获得经济效益。如何利用有限的电池容量达到最优的削峰填谷效果,并满足一组约束条件的限制,需要借助于优化算法来实现。
求解储能***充放电策略的经典优化算法包括梯度类算法和动态规划算法。梯度类算法无法处理不连续的约束条件,对初值的依赖性强。采用动态规划算法则可以在模型中考虑不连续、非线性的约束,且方便使用计算机求解。但这当大规模储能并网和高随机性的负荷存在时,这两类方法均存在精度和计算效率的问题,同时这两类方法基于精确的物理模型,这在实际问题里难以保证建模的准确度。
传统的基于策略梯度的强化学习方法让深度神经网络在控制任务中取得了明显进步。但是用策略梯度的方法取得好的结果也有一些难度,因为这类方法对迭代步骤数非常敏感:如果选得太小,训练过程非常缓慢;如果选得太大,反馈信号就会淹没在噪声中,甚至有可能让模型表现雪崩式地下降。这类方法的采样效率也经常很低,学习简单的任务就需要百万级至十亿级的总迭代次数。
基于此,本发明提出了一种基于信赖域-强化学习求解储能参与削峰填谷的优化调度方法和***。
以下对本发明的一种基于信赖域-强化学习求解储能参与削峰填谷的优化调度方法进行详细的介绍。
请参阅图1,本实施例提供一种基于信赖域-强化学习求解储能参与削峰填谷的优化调度方法。
以下首先对基于信赖域-强化学习求解储能参与削峰填谷的优化调度的设计思路进行详细说明,如下:
信赖域-强化学习(Trust Region Policy Optimization,TRPO)是通过在连续控制中,对策略更新的大小做出限制,每次更新的时候不大幅度地改变分布的形态,使收益满足调递增收敛性,能够在线修正优化结果。
由于储能的充放电功率可以快速、灵活地改变,不需要考虑爬坡速率约束。忽略电池组的内部损耗,可以将电池看做恒压源模型。若储能***的拥有者为电力用户,在市场电价体系下,用户的目标为最大化储能***给用户带来的经济利益;若储能***的拥有者为电网,为了减少常规发电机组的开停机次数以及旋转备用的容量,电网的目标为负荷曲线尽量平坦。在数学上,方差可以反映随机变量偏离其均值的程度,负荷的方差可以反映负荷曲线的平坦程度。因此本实施例选取最小化负荷曲线的方差作为目标函数:
式中,为一日中负荷数据点的个数,由预测负荷数据决定,设当前时刻对应于第()个负荷数据;为时刻的负荷,为已知量,且时为实际负荷,时为预测负荷;为时刻到时刻之间BES的输出功率,电池充电为正,放电为负,且时为已知量,时为控制变量。
如下依次对本方案的各各项参数进行说明。本实施例的实时优化包含以下几类约束条件。
1、电池容量约束
各时刻的电池电量不超出电池容量的上下限:
2、功率约束
由于电力电子变流器(PCS)及电池本体的限制,电池各时刻的输出功率不能超过功率的上下限:
本实施例将上述优化问题转化成一个马尔科夫序列决策模型模型,主要包含状态空间、动作空间和回报函数。
为叙述方便,首先说明本实施例中使用较多的符号:
9、状态-动作储能Q-Value网络:
10、储能Q-Value网络:
11、优势函数:
这里和是任意的两个控制策略,可以看到我们成功的把对策略进行评价的折扣回报函数转换成由优势函数进行评价的形式,于是要考虑这一项何时为正,为正时则要对策略进行更新。但这一表达式并没有给出太多信息,我们来把其中的状态显式的表现出来:
调整各项的位置:
定义折扣状态访问概率:
进一步的,为了加速计算过程,尤其是园区负荷,光伏,储能在控制每个控制后期内的最优控制能力不会变化很大,且每次训练变动的幅度并不会特别大,此处考虑忽略折扣状态访问概率因策略更新而产生的变化,用替代,此时则有:
为了和后面算法中符号统一,同时为了叙述方便,此处简单改写下标记为如下形式:
令
以下讨论根据采样值计算上述优化问题中目标函数:
所以上述信赖域问题的最终计算形式为:
综上所述,本实施例的一种基于信赖域-强化学习求解储能参与削峰填谷的优化调度方法的实施步骤如下:
S100:设置参数化深度Q值网络,参数化深度Q值网络用于利用自身的网络参数将输入的控制策略参数化并输出若干个参数化控制策略。
本实施例的设置流程如下:
S200:获取负荷历史有功值和预测值以及对应时刻储能功率出力,以初始时刻的储能功率出力、负荷有功值和预测值为初始状态进行输入,以任意一个初始储能控制策略对储能进行控制,以最小化负荷曲线的方差作为目标对参数化深度Q值网络进行迭代训练并更新网络参数,利用信赖域优化模型对网络参数的更新次数进行控制,满足条件时,结束训练,其中表示流形上的信赖域约束,表示利用网络参数参数化的控制策略,表示约束限值(图1中该条件未示出)。
本实施例中,对参数化深度Q值网络进行迭代训练的具体过程如下:
6)估计策略梯度
8)求解如下方程组:
如图2所示,图2为信赖域-强化学习的参数更新过程,箭头所示方向为保证降低储能策略网络损失或随机梯度下降的方向,对应圆圈为参数在该次更新下的取值范围。在每次更新参数时,其更新的范围随着更新次数越来越小,从而在有限的次数内实现网络参数的更新。
图3和图4分别为储能策略神经网络和储能状态价值神经网络的示意图。其中,储能策略神经网络的输入包括负荷预测值、当前负荷以及当前储能充放电功率,经隐含层操作后,输出为未来储能充放电功率状态对应的概率;储能状态价值神经网络的输入包括负荷预测值、当前负荷以及当前储能充放电功率,经隐含层操作后,输出为未来储能充放电功率状态对应的Q值。
图5则给出了参数化深度Q值网络训练的流程简图。其中,训练过程基于对优势函数的更新,储能策略神经网络通过信赖域的方法实现参数更新,储能Q-Value网络则通过随机梯度下降的方法更新网络参数。
S300:获取当前负荷有功值和储能功率出力并输入至训练好的参数化深度Q值网络中,选择输出结果中最大值对应的策略下发至储能子站控制器进行储能调度控制。
基于训练好的参数化深度Q值网络,本实施例实现优化调度的实时控制步骤如下:
本实施例提供了一种求解储能参与削峰填谷的优化调度方法,包括设置参数化的深度Q值网络,利用负荷历史数据以及对应时刻储能的功率出率对参数化的深度Q值网络进行训练,训练过程中利用信赖域优化模型对控制策略的更新次数做出限制,从而快速准确的获取最优策略,以便在当前条件下实现储能的优化调度控制。本发明利用信赖域-强化学习,在连续控制中,对策略更新的大小做出限制,每次更新的时候不大幅度地改变分布的形态,使收益满足调递增收敛性,能够在线修正优化结果,并且考虑到充放电约束,达到最优的削峰填谷控制功能。
以上是对本发明的一种求解储能参与削峰填谷的优化调度方法的一个实施例进行的详细介绍,以下将对本发明的一种求解储能参与削峰填谷的优化调度***的实施例进行详细的介绍。
本实施例提供了一种求解储能参与削峰填谷的优化调度***,包括:
设置单元,用于设置参数化深度Q值网络,参数化深度Q值网络用于利用自身的网络参数将输入的控制策略参数化并输出若干个参数化控制策略;
训练单元,用于获取负荷历史有功值和预测值以及对应时刻储能功率出力,以初始时刻的储能功率出力、负荷有功值和预测值为初始状态进行输入,以任意一个初始储能控制策略对储能进行控制,以最小化负荷曲线的方差作为目标对参数化深度Q值网络进行迭代训练并更新网络参数,利用信赖域优化模型对网络参数的更新次数进行控制,满足条件 时,结束训练,其中表示流形上的信赖域约束,表示利用网络参数参数化的控制策略,表示约束限值;
控制单元,用于获取当前负荷有功值和储能功率出力并输入至训练好的参数化深度Q值网络中,选择输出结果中最大值对应的策略下发至储能子站控制器进行储能调度控制。
其中,参数化深度Q值网络具体包括:储能策略神经网络和储能状态价值神经网络;
另外,信赖域优化模型具体为:
进一步地,训练单元对参数化深度Q值网络进行迭代训练并更新网络参数的过程具体包括:
以所述初始状态为起始状态,以控制策略对储能进行次控制,得到策略状态-动作轨迹,其中为所述储能策略神经网络的输出结果,为储能策略网络的参数,为第轮策略状态-动作轨迹,为第个轨迹且,为时刻的第个轨迹状态和动作向量;
对于中每一步,均记录其对应的回报并且基于所述回报,利用所述储能策略神经网络计算对应步的动作-状态价值函数以及利用所述储能状态价值神经网络计算对应步的状态价值函数,其中是所述储能状态价值神经网络的参数;
进一步地,本实施例的最小化负荷曲线的方差的表达式具体如下:
式中,为一日中负荷数据点的个数,由预测负荷数据决定,设当前时刻对应于第()个负荷数据;为时刻的负荷,为已知量,且时为实际负荷,时为预测负荷;为时刻到时刻之间BES的输出功率,电池充电为正,放电为负,且时为已知量,时为控制变量。
需要说明的是,本实施例提供的一种求解储能参与削峰填谷的优化调度***用于实现前述实施例提供的优化调度方法,各单元的具体设置均以完整实现该方法为准,在此不再赘述。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (4)
1.一种求解储能参与削峰填谷的优化调度方法,其特征在于,包括如下步骤:
设置参数化深度Q值网络,所述参数化深度Q值网络用于利用自身的网络参数将输入的控制策略参数化并输出若干个参数化控制策略,所述参数化深度Q值网络具体包括:储能策略神经网络和储能状态价值神经网络;
获取负荷历史有功值和预测值以及对应时刻储能功率出力,以初始时刻的储能功率出力、负荷有功值和预测值为初始状态进行输入,以任意一个初始储能控制策略对储能进行控制,以最小化负荷曲线的方差作为目标对所述参数化深度Q值网络进行迭代训练并更新所述网络参数,利用信赖域优化模型对所述网络参数的更新次数进行控制,满足条件时,结束训练,其中表示流形上的信赖域约束,表示利用网络参数参数化的控制策略,表示约束限值,和表示网络参数的更新次数,所述信赖域优化模型具体为:
式中,表示更新前的控制策略,表示按网络参数更新后的控制策略,表示更新后的控制策略相比较更新前的控制策略的期望折扣回报,表示更新后的控制策略与更新前的控制策略之间的信赖域约束条件;对所述参数化深度Q值网络进行迭代训练并更新所述网络参数,利用信赖域优化模型对所述网络参数的更新次数进行控制,满足条件时,结束训练,具体包括:
以所述初始状态为起始状态,以控制策略对储能进行次控制,得到策略状态-动作轨迹,其中为所述储能策略神经网络的输出结果,为储能策略网络的参数,为第轮策略状态-动作轨迹,为第个轨迹且, 为时刻的第个轨迹状态和动作向量;
对于中每一步,均记录其对应的回报并且基于所述回报,利用所述储能策略神经网络计算对应步的动作-状态价值函数以及利用所述储能状态价值神经网络计算对应步的状态价值函数,其中是所述储能状态价值神经网络的参数;
获取当前负荷有功值和储能功率出力并输入至训练好的所述参数化深度Q值网络中,选择输出结果中最大值对应的策略下发至储能子站控制器进行储能调度控制。
3.一种求解储能参与削峰填谷的优化调度***,其特征在于,包括:
设置单元,用于设置参数化深度Q值网络,所述参数化深度Q值网络用于利用自身的网络参数将输入的控制策略参数化并输出若干个参数化控制策略,所述参数化深度Q值网络具体包括:储能策略神经网络和储能状态价值神经网络;
训练单元,用于获取负荷历史有功值和预测值以及对应时刻储能功率出力,以初始时刻的储能功率出力、负荷有功值和预测值为初始状态进行输入,以任意一个初始储能控制策略对储能进行控制,以最小化负荷曲线的方差作为目标对所述参数化深度Q值网络进行迭代训练并更新所述网络参数,利用信赖域优化模型对所述网络参数的更新次数进行控制,满足条件时,结束训练,其中表示流形上的信赖域约束,表示利用网络参数参数化的控制策略,表示约束限值,和表示网络参数的更新次数,所述信赖域优化模型具体为:
式中,表示更新前的控制策略,表示按网络参数更新后的控制策略,表示更新后的控制策略相比较更新前的控制策略的期望折扣回报,表示更新后的控制策略与更新前的控制策略之间的信赖域约束条件;所述训练单元对所述参数化深度Q值网络进行迭代训练并更新所述网络参数的过程具体包括:
以所述初始状态为起始状态,以控制策略对储能进行次控制,得到策略状态-动作轨迹,其中为所述储能策略神经网络的输出结果,为储能策略网络的参数,为第轮策略状态-动作轨迹,为第个轨迹且,为时刻的第个轨迹状态和动作向量;
对于中每一步,均记录其对应的回报并且基于所述回报,利用所述储能策略神经网络计算对应步的动作-状态价值函数以及利用所述储能状态价值神经网络计算对应步的状态价值函数,其中是所述储能状态价值神经网络的参数;
控制单元,用于获取当前负荷有功值和储能功率出力并输入至训练好的所述参数化深度Q值网络中,选择输出结果中最大值对应的策略下发至储能子站控制器进行储能调度控制。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210916196.3A CN115001002B (zh) | 2022-08-01 | 2022-08-01 | 一种求解储能参与削峰填谷的优化调度方法和*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210916196.3A CN115001002B (zh) | 2022-08-01 | 2022-08-01 | 一种求解储能参与削峰填谷的优化调度方法和*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115001002A CN115001002A (zh) | 2022-09-02 |
CN115001002B true CN115001002B (zh) | 2022-12-30 |
Family
ID=83021019
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210916196.3A Active CN115001002B (zh) | 2022-08-01 | 2022-08-01 | 一种求解储能参与削峰填谷的优化调度方法和*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115001002B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116826816B (zh) * | 2023-08-30 | 2023-11-10 | 湖南大学 | 考虑电能质量分级治理的储能有功-无功协调复用方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109347149A (zh) * | 2018-09-20 | 2019-02-15 | 国网河南省电力公司电力科学研究院 | 基于深度q值网络强化学习的微电网储能调度方法及装置 |
CN110365057A (zh) * | 2019-08-14 | 2019-10-22 | 南方电网科学研究院有限责任公司 | 基于强化学习的分布式能源参与配电网调峰调度优化方法 |
CN110488861A (zh) * | 2019-07-30 | 2019-11-22 | 北京邮电大学 | 基于深度强化学习的无人机轨迹优化方法、装置和无人机 |
CN113242469A (zh) * | 2021-04-21 | 2021-08-10 | 南京大学 | 一种自适应视频传输配置方法和*** |
CN113572157A (zh) * | 2021-07-27 | 2021-10-29 | 东南大学 | 一种基于近端策略优化的用户实时自治能量管理优化方法 |
CN114630299A (zh) * | 2022-03-08 | 2022-06-14 | 南京理工大学 | 一种基于深度强化学习的信息年龄可感知资源分配方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220164657A1 (en) * | 2020-11-25 | 2022-05-26 | Chevron U.S.A. Inc. | Deep reinforcement learning for field development planning optimization |
-
2022
- 2022-08-01 CN CN202210916196.3A patent/CN115001002B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109347149A (zh) * | 2018-09-20 | 2019-02-15 | 国网河南省电力公司电力科学研究院 | 基于深度q值网络强化学习的微电网储能调度方法及装置 |
CN110488861A (zh) * | 2019-07-30 | 2019-11-22 | 北京邮电大学 | 基于深度强化学习的无人机轨迹优化方法、装置和无人机 |
CN110365057A (zh) * | 2019-08-14 | 2019-10-22 | 南方电网科学研究院有限责任公司 | 基于强化学习的分布式能源参与配电网调峰调度优化方法 |
CN113242469A (zh) * | 2021-04-21 | 2021-08-10 | 南京大学 | 一种自适应视频传输配置方法和*** |
CN113572157A (zh) * | 2021-07-27 | 2021-10-29 | 东南大学 | 一种基于近端策略优化的用户实时自治能量管理优化方法 |
CN114630299A (zh) * | 2022-03-08 | 2022-06-14 | 南京理工大学 | 一种基于深度强化学习的信息年龄可感知资源分配方法 |
Non-Patent Citations (1)
Title |
---|
应对新能源预测偏差不确定性的电力***动态经济调度研究;吕晓茜;《中国优秀硕士学位论文全文数据库-工程科技II辑》;20220228;29-30 * |
Also Published As
Publication number | Publication date |
---|---|
CN115001002A (zh) | 2022-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112614009B (zh) | 一种基于深度期望q-学习的电网能量管理方法及*** | |
CN110059844B (zh) | 基于集合经验模态分解和lstm的储能装置控制方法 | |
CN111884213B (zh) | 一种基于深度强化学习算法的配电网电压调节方法 | |
Jasmin et al. | Reinforcement learning approaches to economic dispatch problem | |
Zhou et al. | Reinforcement learning-based scheduling strategy for energy storage in microgrid | |
CN112491094B (zh) | 一种混合驱动的微电网能量管理方法、***及装置 | |
CN117277357B (zh) | 采用液流电池的新型火电储能调频方法、***及电子设备 | |
CN111367349A (zh) | 一种基于预测模型的光伏mppt控制方法及*** | |
CN112213945B (zh) | 电动汽车参与微网群调频的改进鲁棒预测控制方法和*** | |
CN114784823A (zh) | 基于深度确定性策略梯度的微电网频率控制方法及*** | |
CN115001002B (zh) | 一种求解储能参与削峰填谷的优化调度方法和*** | |
CN116629461B (zh) | 一种主动配电网分布式优化方法、***、设备及存储介质 | |
CN115986839A (zh) | 一种风-水-火综合能源***的智能调度方法及*** | |
CN111313449A (zh) | 一种基于机器学习的集群电动汽车功率优化管理方法 | |
Harrold et al. | Battery control in a smart energy network using double dueling deep q-networks | |
CN114123256B (zh) | 一种适应随机优化决策的分布式储能配置方法及*** | |
CN111516702B (zh) | 一种混合动力车辆在线实时分层能量管理方法和*** | |
CN116865343B (zh) | 分布式光伏配电网的无模型自适应控制方法、装置及介质 | |
CN111799820B (zh) | 一种电力***双层智能混合零星云储能对抗调控方法 | |
CN116436003B (zh) | 主动配电网风险约束备用优化方法、***、介质及设备 | |
CN114048576B (zh) | 一种稳定电网输电断面潮流的储能***智能化控制方法 | |
CN114298429A (zh) | 一种配电网动案辅助决策方法、***、装置和存储介质 | |
CN115544856A (zh) | 一种电热综合能源***日前优化调度方法 | |
Bizjak et al. | Time series prediction for EMS with machine learning | |
CN113298329A (zh) | 训练、策略生成方法、***、计算机装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |