CN113972645A - 基于多智能体深度确定策略梯度算法的配电网优化方法 - Google Patents
基于多智能体深度确定策略梯度算法的配电网优化方法 Download PDFInfo
- Publication number
- CN113972645A CN113972645A CN202111208279.9A CN202111208279A CN113972645A CN 113972645 A CN113972645 A CN 113972645A CN 202111208279 A CN202111208279 A CN 202111208279A CN 113972645 A CN113972645 A CN 113972645A
- Authority
- CN
- China
- Prior art keywords
- energy storage
- clustering
- charging
- wind
- power
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000005457 optimization Methods 0.000 title claims abstract description 18
- 238000004146 energy storage Methods 0.000 claims abstract description 161
- 238000007599 discharging Methods 0.000 claims abstract description 39
- 230000002787 reinforcement Effects 0.000 claims abstract description 19
- 230000005611 electricity Effects 0.000 claims abstract description 10
- 239000003795 chemical substances by application Substances 0.000 claims description 58
- 230000006870 function Effects 0.000 claims description 18
- 230000003827 upregulation Effects 0.000 claims description 15
- 230000003828 downregulation Effects 0.000 claims description 12
- 101000813777 Homo sapiens Splicing factor ESS-2 homolog Proteins 0.000 claims description 9
- 101000712674 Homo sapiens TGF-beta receptor type-1 Proteins 0.000 claims description 9
- 102100039575 Splicing factor ESS-2 homolog Human genes 0.000 claims description 9
- 102100033456 TGF-beta receptor type-1 Human genes 0.000 claims description 9
- 230000009471 action Effects 0.000 claims description 7
- 230000008901 benefit Effects 0.000 claims description 7
- 230000001105 regulatory effect Effects 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 230000033228 biological regulation Effects 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 150000001875 compounds Chemical class 0.000 claims description 3
- 230000003750 conditioning effect Effects 0.000 claims description 3
- 230000007613 environmental effect Effects 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 230000003749 cleanliness Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J3/00—Circuit arrangements for ac mains or ac distribution networks
- H02J3/008—Circuit arrangements for ac mains or ac distribution networks involving trading of energy or energy transmission rights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J3/00—Circuit arrangements for ac mains or ac distribution networks
- H02J3/28—Arrangements for balancing of the load in a network by storage of energy
- H02J3/32—Arrangements for balancing of the load in a network by storage of energy using batteries with converting means
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J3/00—Circuit arrangements for ac mains or ac distribution networks
- H02J3/38—Arrangements for parallely feeding a single network by two or more generators, converters or transformers
- H02J3/46—Controlling of the sharing of output between the generators, converters, or transformers
- H02J3/466—Scheduling the operation of the generators, e.g. connecting or disconnecting generators to meet a given demand
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
- H02J2203/20—Simulating, e g planning, reliability check, modelling or computer assisted design [CAD]
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J2300/00—Systems for supplying or distributing electric power characterised by decentralized, dispersed, or local generation
- H02J2300/20—The dispersed energy generation being of renewable origin
- H02J2300/28—The renewable source being wind energy
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E10/00—Energy generation through renewable energy sources
- Y02E10/70—Wind energy
- Y02E10/76—Power conversion electric or electronic aspects
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E70/00—Other energy conversion or management systems reducing GHG emissions
- Y02E70/30—Systems combining energy storage with energy generation of non-fossil origin
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Power Engineering (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Marketing (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- Quality & Reliability (AREA)
- Development Economics (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Entrepreneurship & Innovation (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Supply And Distribution Of Alternating Current (AREA)
- Charge And Discharge Circuits For Batteries Or The Like (AREA)
- Secondary Cells (AREA)
Abstract
本发明公开了一种基于多智能体深度确定策略梯度算法的配电网优化方法,其特征在于:包括:综合考虑售电收益、出力偏差惩罚以及储能越限惩罚因素构建确定风储联合***的收益最大化调度模型;采用Ward***聚类法和改进FCM法构成的二次聚类法进行二次聚类,实现风储联合***的储能电池根据荷电状态和充放电切换次数进行分组;基于多智能体深度强化学习算法将风电储能建模为多智能体***并且基于风储联合***的收益最大化调度模型训练并执行多智能体以实现对风储联合***的配置。
Description
技术领域
本发明涉及新能源技术领域,具体涉及一种基于多智能体深度确定策略梯度算法的配电网优化方法。
背景技术
风电作为新能源的代表,一方面因其清洁性等优点得到了广泛关注,但另一方面风电出力固有的间断和波动特征,也给电力***运行和发电计划安排造成了很大困难。储能设备运行具有很大的灵活性,可实现在长时间尺度上的出力平移,因此,目前有很多研究将储能与风电组合成联合***,以实现对风电出力波动的平抑,大大提高了风电的利用率。
目前,有利用抽水蓄能电站建立优化模型,缓解风电场功率的波动;有采用风电功率分解的思想,将功率分解为2个不同频率成分并使用混合储能进行出力补偿;有在考虑风电不确定性引起失负荷概率的基础上,以风储联合***收益最大化建立调度模型,有效地降低失负荷风险;有以储能收益最大化为目标建立优化模型,采用混合整数规划进行求解,但没有考虑风电的不确定性。但传统的优化模型都属于数学优化方法。除此之外,通过引入强化学习理论的调度决策方法也已经取得了初步进展。强化学习具有强大的自我学习能力,能在与环境的不断反馈中优化动作策略,使得智能体选择的策略能够获得环境的奖励最大,进而使得外部环境对学习***在某方面的评价为最优。将深度强化学习理论应用于综合能源的调度,可对环境中的不确定性因素做出动态响应,提高了***运行的经济性。已有方法利用Rainbow算法建立控制器对储能***的充放电进行优化控制,有效地减轻了风电场出力的间歇性、不稳定性等问题,并实现风电场收益的最大化。
另外,目前多数方法缺乏对储能充放电调度策略的合理性和有序性安排,且没有考虑由于储能状态越限而带来的惩罚,故在实现风储联合***的长期收益最大化上稍显不足。储能电池的寿命受循环次数、充放电深度等因素的影响,无序运行会降低储能电池寿命,引起不必要的损耗,并且无序运行还会降低储能电池的可调控容量,若独立调节每一个储能电池组又过于复杂。
发明内容
1.所要解决的技术问题:
针对上述技术问题,本发明提供一种基于多智能体深度确定策略梯度算法的配电网优化配置,实现实现风储联合***的收益的最大化,降低损耗以及调控的简单化。
2.技术方案:
一种基于多智能体深度确定策略梯度算法的配电网优化方法,其特征在于:包括:
综合考虑售电收益、出力偏差惩罚以及储能越限惩罚因素构建确定风储联合***的收益最大化调度模型;采用Ward***聚类法和改进FCM法构成的二次聚类法进行二次聚类,实现风储联合***的储能电池根据荷电状态和充放电切换次数进行分组;基于多智能体深度强化学习算法将风电储能建模为多智能体***并且基于风储联合***的收益最大化调度模型训练并执行多智能体以实现对风储联合***的配置。
进一步地,确定风储联合***的收益最大化调度模型具体包括以下步骤:
S11:建立目标函数;以收益最大化为目标建立日前调度目标函数,综合考虑售电收益、出力偏差惩罚以及储能越限惩罚因素的使风储联合***收益最大化,则目标函数表示为:
(1)式中:T为调度周期内时段个数,取24小时;λt为t时段的电价;Psys,t为联合***t时段出力;C1,t为t时段出力偏差惩罚;C2,t为t时段储能越限惩罚;
S12:确定约束;其中风电出力约束为:
(5)式中:Pw,max为风电场最大发电功率;
上报容量约束为:
0≤Psys,t≤Pw,max+Pdis,max (6)
(6)式中:Pdis,max为储能最大放电功率。
储能荷电状态约束为:
SOCmin≤SOCt≤SOCmax (7)
(7)式中:SOCmin、SOCmax为储能荷电状态最小值、最大值;
储能充放电约束:
Idis,t+Ich,t≤1 (12)
(8)至(12)式中:Ich,t、Idis,t分别为储能处于充放电状态的电流变量;Pch,max为储能最大充电功率;
S13:为了考虑了惩罚费用,能够提高风电场风电功率预测结果的准确性和备用容量的充裕性,当上调备用不足,出力偏差的惩罚费用为:
当下调备用不足,出力偏差的惩罚费用为:
若t-1时段结束时储能荷电状态为SOCt-1,假设t时段需要储能下调功率,为满足t时段结束时荷电状态不越上限,则储能充电功率最大值为:
(15)式中,EB为储能电池额定容量;ηch为储能电池充电效率。
此时储能状态越限的惩罚费用为:
(16)式中,ρlim为储能状态越限的惩罚价格;
若t时段需要储能上调功率,为满足储能调节完成后其荷电状态高于下限值,则放电功率最大值为:
(17)式中,ηdis为储能电池放电效率;
此时储能状态越限的惩罚费用为:
进一步地,所述采用Ward***聚类法和改进FCM法构成的二次聚类法进行二次聚类,实现风储联合***的储能电池根据荷电状态和充放电切换次数进行分组,具体包括以下步骤:
S21:收集储能SOC数据,选定表示储能的荷电状态、充放电次数作为聚类特征向量,基于原始数据构造样本特征向量集X;
S22:计算各样本的邻近相关度f(xi)及权重Wi,并将权重赋予各样本;
S23:算法初始化,给变量赋值;变量包括模糊聚类的模糊指数m、截止误差ε、最大迭代次数Tmax、聚类数上限c′(2≤c′≤n),聚类有效性Fc;给定初始聚类有效性Fc0=0,初始聚类数c=2;
S24:选取聚类数为c,进行Ward***聚类;
S25:将Ward***聚类结果作为FCM聚类初始状态,进行FCM聚类分析;
S26:计算聚类有效性Fc值,比较Fc与Fc0,若Fc0≤Fc,则Fc0=Fc,反之Fc0不变;
S27:当c′≤c时结束,否则令c=c+1,返回第四步,最终对应的聚类结果为最优结果。
进一步地,将所有储能电池组依据荷电状态、充放电切换次数分为三组:优先下调组ESS1、优先上调组ESS2、中间组ESS3;中间组ESS3既可上调也可下调;优先下调组ESS1是优先充电组,组内储能电池的特点是SOC低,不宜执行放电操作,且放电次数多,而充电次数少;优先上调组ESS2是优先放电组,组内储能电池的特点是SOC高,不宜执行充电操作,且充电次数多,而放电次数少;中间组是组内储能电池组SOC值相对居中,充电次数与放电次数相近,既可使其充电,也可使其放电。
进一步地,基于多智能体深度强化学习算法将风电储能建模的多智能体***包括:风电、储能优先下调组ESS1、储能优先上调组ESS2及储能中间组ESS3为4个智能体,4个智能体根据次日各时段的负荷曲线、电价、惩罚费用、风电预测情况及储能的状态的环境因素进行决策,以使联合***的收益最大化;决策内容包括各时段风电最优上报出力、各个储能小组充放电情况;
所述基于多智能体深度强化学习算法将风电储能建模为多智能体***并且基于风储联合***的收益最大化调度模型训练具体为:
S31:基于多智能体深度强化学习算法,采用Actor-Critic架构;设有N个智能体,观测状态集合为S={s1,s2,…sN};动作集合为A={a1,a2,…,aN};策略集合为π={π1,π2,…πN}。
Critic当前网络通过最小化每个智能体的损失函数来优化更新参数,损失函数计算公式如下:
yi=ri+γQ′(S′,a′1,…a′N,θQ′) (20)
(19)(20)式中:为网络参数;a1,a2,…,aN为N个智能体的动作;ri为奖励值;yi为目标Q值;γ为奖励折扣系数;S′为下一状态的观测状态集合;a′1,…a′N为最优下一动作;θQ′为更新的网络参数;
S32:Actor当前网络通过神经网络的梯度反向传播来更新网络参数,梯度计算公式为:
Critic目标网络与Actor目标网络参数均采用软更新:
式中:τ为软更新系数;
定义状态空间为:
St={S1,t,S2,t,S3,t,S4,t} (24)
S1,t={Pw,t,σw,t,α,β} (25)
Si,t={SOCi,t,Ci,t,Di,t} (26)
式中:Ci,t、Di,t分别为t时段储能组i中储能电池充放电次数的平均值。式(24)为t时段4个Agent的状态集合;式(25)为t时段风电状态值;式(26)为t时段储能组的状态值。
定义动作空间为:
At={a1,t,a2,t,a3,t,a4,t} (27)
将奖励函数设计为联合***日前调度模型中的收益最大化函数,表示为:
ri,t(si,t,ai,t)=λtPsys,t(si,t,ai,t)-C1,t(si,t,ai,t)-C2,t(Si,t,ai,t) (28)。
3.有益效果:
本方法针对风储联合***,为了实现其收益最大化,提高储能设备可调控容量,本专利首先根据荷电状态和充放电切换次数对储能电池进行聚类分组,以小组为单位参与调控;然后引入多智能体深度强化学习理论,将各个储能小组及风电场建模为多智能体***,建立基于二次聚类法和多智能体深度确定性策略梯度(MADDPG)算法的风储联合***日前优化调度模型。能够有效解决传统的强化学习算法求解复杂问题时受到信息和条件的制约以及改善储能的可调控容量。
附图说明
图1为基于多智能体深度强化学习算法将风电储能建模的多智能体***模型。
具体实施方式
下面结合附图对本发明进行具体的说明。
一种基于多智能体深度确定策略梯度算法的配电网优化方法,其特征在于:包括:综合考虑售电收益、出力偏差惩罚以及储能越限惩罚因素构建确定风储联合***的收益最大化调度模型;采用Ward***聚类法和改进FCM法构成的二次聚类法进行二次聚类,实现风储联合***的储能电池根据荷电状态和充放电切换次数进行分组;基于多智能体深度强化学习算法将风电储能建模为多智能体***并且基于风储联合***的收益最大化调度模型训练并执行多智能体以实现对风储联合***的配置。
进一步地,确定风储联合***的收益最大化调度模型具体包括以下步骤:
(1)式中:T为调度周期内时段个数,取24小时;λt为t时段的电价;Psys,t为联合***t时段出力;c1,t为t时段出力偏差惩罚;c2,t为t时段储能越限惩罚;
S12:确定约束;其中风电出力约束为:
(5)式中:Pw,max为风电场最大发电功率;
上报容量约束为:0≤Psys,t≤Pw,max+Pdis,max (6)
(6)式中:Pdis,max为储能最大放电功率。
储能荷电状态约束为:
SOCmin≤SOCt≤SOCmax (7)
(7)式中:SOCmin、SOCmax为储能荷电状态最小值、最大值;
储能充放电约束:
Idis,t+Ich,t≤1 (12)
(8)至(12)式中:Ich,t、Idis,t分别为储能处于充放电状态的电流变量;Pch,max为储能最大充电功率;
S13:为了考虑了惩罚费用,能够提高风电场风电功率预测结果的准确性和备用容量的充裕性,当上调备用不足,出力偏差的惩罚费用为:
当下调备用不足,出力偏差的惩罚费用为:
若t-1时段结束时储能荷电状态为SOCt-1,假设t时段需要储能下调功率,为满足t时段结束时荷电状态不越上限,则储能充电功率最大值为:
(15)式中,EB为储能电池额定容量;ηch为储能电池充电效率。
此时储能状态越限的惩罚费用为:
(16)式中,ρlim为储能状态越限的惩罚价格;
若t时段需要储能上调功率,为满足储能调节完成后其荷电状态高于下限值,则放电功率最大值为:
(17)式中,ηdis为储能电池放电效率;
此时储能状态越限的惩罚费用为:
进一步地,所述采用Ward***聚类法和改进FCM法构成的二次聚类法进行二次聚类,实现风储联合***的储能电池根据荷电状态和充放电切换次数进行分组,具体包括以下步骤:
S21:收集储能SOC数据,选定表示储能的荷电状态、充放电次数作为聚类特征向量,基于原始数据构造样本特征向量集X;
S22:计算各样本的邻近相关度f(xi)及权重Wi,并将权重赋予各样本;
S23:算法初始化,给变量赋值;变量包括模糊聚类的模糊指数m、截止误差ε、最大迭代次数Tmax、聚类数上限c′(2≤c′≤n),聚类有效性Fc;给定初始聚类有效性Fc0=0,初始聚类数c=2;
S24:选取聚类数为c,进行Ward***聚类;
S25:将Ward***聚类结果作为FCM聚类初始状态,进行FCM聚类分析;
S26:计算聚类有效性Fc值,比较Fc与Fc0,若Fc0≤Fc,则Fc0=Fc,反之Fc0不变;
S27:当c′≤c时结束,否则令c=c+1,返回第四步,最终对应的聚类结果为最优结果。
进一步地,将所有储能电池组依据荷电状态、充放电切换次数分为三组:优先下调组ESS1、优先上调组ESS2、中间组ESS3;中间组ESS3既可上调也可下调;优先下调组ESS1是优先充电组,组内储能电池的特点是SOC低,不宜执行放电操作,且放电次数多,而充电次数少;优先上调组ESS2是优先放电组,组内储能电池的特点是SOC高,不宜执行充电操作,且充电次数多,而放电次数少;中间组是组内储能电池组SOC值相对居中,充电次数与放电次数相近,既可使其充电,也可使其放电。
进一步地,如附图1所示,基于多智能体深度强化学习算法将风电储能建模的多智能体***包括:风电、储能优先下调组ESS1、储能优先上调组ESS2及储能中间组ESS3为4个智能体,4个智能体根据次日各时段的负荷曲线、电价、惩罚费用、风电预测情况及储能的状态的环境因素进行决策,以使联合***的收益最大化;决策内容包括各时段风电最优上报出力、各个储能小组充放电情况;
所述基于多智能体深度强化学习算法将风电储能建模为多智能体***并且基于风储联合***的收益最大化调度模型训练具体为:
S31:基于多智能体深度强化学习算法,采用Actor-Critic架构;设有N个智能体,观测状态集合为S={s1,s2,…sN};动作集合为A={a1,a2,…,aN};策略集合为π={π1,π2,…πN}。
Critic当前网络通过最小化每个智能体的损失函数来优化更新参数,损失函数计算公式如下:
yi=ri+γQ′(S′,a′1,…a′N,θQ′) (20)
(19)(20)式中:为网络参数;a1,a2,…,aN为N个智能体的动作;ri为奖励值;yi为目标Q值;γ为奖励折扣系数;S′为下一状态的观测状态集合;a′i,…a′N为最优下一动作;θQ′为更新的网络参数;
S32:Actor当前网络通过神经网络的梯度反向传播来更新网络参数,梯度计算公式为:
Critic目标网络与Actor目标网络参数均采用软更新:
式中:τ为软更新系数;
定义状态空间为:
St={S1,t,S2,t,S3,t,s4,t} (24)
S1,t={Pw,t,σw,t,α,β} (25)
Si,t={SOCi,t,Ci,t,Di,t} (26)
式中:Ci,t、Di,t分别为t时段储能组i中储能电池充放电次数的平均值。式(24)为t时段4个Agent的状态集合;式(25)为t时段风电状态值;式(26)为t时段储能组的状态值。
定义动作空间为:
At={a1,t,a2,t,a3,t,a4,t} (27)
将奖励函数设计为联合***日前调度模型中的收益最大化函数,表示为:
ri,t(si,t,ai,t)=λtPsys,t(si,t,ai,t)-C1,t(si,t,ai,t)-C2,t(si,t,ai,t) (28)。
虽然本发明已以较佳实施例公开如上,但它们并不是用来限定本发明的,任何熟习此技艺者,在不脱离本发明之精神和范围内,自当可作各种变化或润饰,因此本发明的保护范围应当以本申请的权利要求保护范围所界定的为准。
Claims (5)
1.基于多智能体深度确定策略梯度算法的配电网优化方法,其特征在于:
综合考虑售电收益、出力偏差惩罚以及储能越限惩罚因素构建确定风储联合***的收益最大化调度模型;采用Ward***聚类法和改进FCM法构成的二次聚类法进行二次聚类,实现风储联合***的储能电池根据荷电状态和充放电切换次数进行分组;基于多智能体深度强化学习算法将风电储能建模为多智能体***并且基于风储联合***的收益最大化调度模型训练并执行多智能体以实现对风储联合***的配置。
2.根据权利要求1所述的基于多智能体深度确定策略梯度算法的配电网优化方法,其特征在于:确定风储联合***的收益最大化调度模型具体包括以下步骤:
S11:建立目标函数;以收益最大化为目标建立日前调度目标函数,综合考虑售电收益、出力偏差惩罚以及储能越限惩罚因素的使风储联合***收益最大化,则目标函数表示为:
(1)式中:T为调度周期内时段个数,取24小时;λt为t时段的电价;Psys,t为联合***t时段出力;c1,t为t时段出力偏差惩罚;c2,t为t时段储能越限惩罚;
S12:确定约束;其中风电出力约束为:
(5)式中:Pw,max为风电场最大发电功率;
上报容量约束为:
0≤Psys,t≤Pw,max+Pdis,max (6)
(6)式中:Pdis,max为储能最大放电功率;
储能荷电状态约束为:
SOCmin≤SOCt≤SOCmax (7)
(7)式中:SOCmin、SOCmax为储能荷电状态最小值、最大值;
储能充放电约束:
Idis,t+Ich,t≤1 (12)
(8)至(12)式中:Ich,t、Idis,t分别为储能处于充放电状态的电流变量;Pch,max为储能最大充电功率;
S13:为了考虑了惩罚费用,能够提高风电场风电功率预测结果的准确性和备用容量的充裕性,当上调备用不足,出力偏差的惩罚费用为:
当下调备用不足,出力偏差的惩罚费用为:
若t-1时段结束时储能荷电状态为SOCt-1,假设t时段需要储能下调功率,为满足t时段结束时荷电状态不越上限,则储能充电功率最大值为:
(15)式中,EB为储能电池额定容量;ηch为储能电池充电效率;
此时储能状态越限的惩罚费用为:
(16)式中,ρlim为储能状态越限的惩罚价格;
若t时段需要储能上调功率,为满足储能调节完成后其荷电状态高于下限值,则放电功率最大值为:
(17)式中,ηdis为储能电池放电效率;
此时储能状态越限的惩罚费用为:
3.根据权利要求1所述的基于多智能体深度确定策略梯度算法的配电网优化方法,其特征在于:所述采用Ward***聚类法和改进FCM法构成的二次聚类法进行二次聚类,实现风储联合***的储能电池根据荷电状态和充放电切换次数进行分组,具体包括以下步骤:
S21:收集储能SOC数据,选定表示储能的荷电状态、充放电次数作为聚类特征向量,基于原始数据构造样本特征向量集X;
S22:计算各样本的邻近相关度f(xi)及权重Wi,并将权重赋予各样本;
S23:算法初始化,给变量赋值;变量包括模糊聚类的模糊指数m、截止误差ε、最大迭代次数Tmax、聚类数上限c′(2≤c′≤n),聚类有效性Fc;给定初始聚类有效性Fc0=0,初始聚类数c=2;
S24:选取聚类数为c,进行Ward***聚类;
S25:将Ward***聚类结果作为FCM聚类初始状态,进行FCM聚类分析;
S26:计算聚类有效性Fc值,比较Fc与Fc0,若Fc0≤Fc,则Fc0=Fc,反之Fc0不变;
S27:当c′≤c时结束,否则令c=c+1,返回第四步,最终对应的聚类结果为最优结果。
4.根据权利要求1所述的基于多智能体深度确定策略梯度算法的配电网优化方法,其特征在于:将所有储能电池组依据荷电状态、充放电切换次数分为三组:优先下调组ESS1、优先上调组ESS2、中间组ESS3;中间组ESS3既可上调也可下调;优先下调组ESS1是优先充电组,组内储能电池的特点是SOC低,不宜执行放电操作,且放电次数多,而充电次数少;优先上调组ESS2是优先放电组,组内储能电池的特点是SOC高,不宜执行充电操作,且充电次数多,而放电次数少;中间组是组内储能电池组SOC值相对居中,充电次数与放电次数相近,既可使其充电,也可使其放电。
5.根据权利要求1所述的基于多智能体深度确定策略梯度算法的配电网优化方法,其特征在于:基于多智能体深度强化学习算法将风电储能建模的多智能体***包括:风电、储能优先下调组ESS1、储能优先上调组ESS2及储能中间组ESS3为4个智能体,4个智能体根据次日各时段的负荷曲线、电价、惩罚费用、风电预测情况及储能的状态的环境因素进行决策,以使联合***的收益最大化;决策内容包括各时段风电最优上报出力、各个储能小组充放电情况;
所述基于多智能体深度强化学习算法将风电储能建模为多智能体***并且基于风储联合***的收益最大化调度模型训练具体为:
S31:基于多智能体深度强化学习算法,采用Actor-Critic架构;设有N个智能体,观测状态集合为S={s1,s2,…sN};动作集合为A={a1,a2,…,aN};策略集合为π={π1,π2,…πN};
Critic当前网络通过最小化每个智能体的损失函数来优化更新参数,损失函数计算公式如下:
yi=ri+γQ′(S′,a′1,…a′N,θQ′) (20)
(19)(20)式中:为网络参数;a1,a2,…,aN为N个智能体的动作;ri为奖励值;yi为目标Q值;γ为奖励折扣系数;S′为下一状态的观测状态集合;a′1,…a′N为最优下一动作;θQ′为更新的网络参数;
S32:Actor当前网络通过神经网络的梯度反向传播来更新网络参数,梯度计算公式为:
Critic目标网络与Actor目标网络参数均采用软更新:
式中:τ为软更新系数;
定义状态空间为:
St={s1,t,s2,t,s3,t,s4,t} (24)
s1,t={Pw,t,σw,t,α,β} (25)
si,t={SOCi,t,Ci,t,Di,t} (26)
式中:Ci,t、Di,t分别为t时段储能组i中储能电池充放电次数的平均值;式(24)为t时段4个Agent的状态集合;式(25)为t时段风电状态值;式(26)为t时段储能组的状态值;
定义动作空间为:
At={a1,t,a2,t,a3,t,a4,t} (27)
将奖励函数设计为联合***日前调度模型中的收益最大化函数,表示为:
ri,t(si,t,ai,t)=λtPsys,t(si,t,ai,t)-C1,t(si,t,ai,t)-C2,t(si,t,ai,t) (28)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111208279.9A CN113972645A (zh) | 2021-10-18 | 2021-10-18 | 基于多智能体深度确定策略梯度算法的配电网优化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111208279.9A CN113972645A (zh) | 2021-10-18 | 2021-10-18 | 基于多智能体深度确定策略梯度算法的配电网优化方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113972645A true CN113972645A (zh) | 2022-01-25 |
Family
ID=79587536
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111208279.9A Withdrawn CN113972645A (zh) | 2021-10-18 | 2021-10-18 | 基于多智能体深度确定策略梯度算法的配电网优化方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113972645A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114362175A (zh) * | 2022-03-10 | 2022-04-15 | 山东大学 | 基于深度确定性策略梯度算法的风电功率预测方法及*** |
CN116990625A (zh) * | 2023-09-27 | 2023-11-03 | 国网江苏省电力有限公司电力科学研究院 | 一种配电变压器智能快检装置的功能切换***及方法 |
-
2021
- 2021-10-18 CN CN202111208279.9A patent/CN113972645A/zh not_active Withdrawn
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114362175A (zh) * | 2022-03-10 | 2022-04-15 | 山东大学 | 基于深度确定性策略梯度算法的风电功率预测方法及*** |
CN114362175B (zh) * | 2022-03-10 | 2022-06-07 | 山东大学 | 基于深度确定性策略梯度算法的风电功率预测方法及*** |
CN116990625A (zh) * | 2023-09-27 | 2023-11-03 | 国网江苏省电力有限公司电力科学研究院 | 一种配电变压器智能快检装置的功能切换***及方法 |
CN116990625B (zh) * | 2023-09-27 | 2023-12-08 | 国网江苏省电力有限公司电力科学研究院 | 一种配电变压器智能快检装置的功能切换***及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111884213B (zh) | 一种基于深度强化学习算法的配电网电压调节方法 | |
CN108347062B (zh) | 基于势博弈的微电网能量管理分布式多目标协同优化算法 | |
CN109361237B (zh) | 基于改进混合粒子群算法的微电网容量优化配置方法 | |
CN112713618B (zh) | 基于多场景技术的主动配电网源网荷储协同优化运行方法 | |
CN112117760A (zh) | 基于双q值网络深度强化学习的微电网能量调度方法 | |
CN106953316B (zh) | 微电网变时间尺度优化调度方法 | |
CN110086187B (zh) | 计及负荷特性的储能调峰日前优化调度方法 | |
Kunya et al. | Review of economic dispatch in multi-area power system: State-of-the-art and future prospective | |
CN112238781B (zh) | 一种基于分层架构的电动汽车有序充电控制方法 | |
CN114725936A (zh) | 基于多智能体深度强化学习的配电网优化方法 | |
CN113972645A (zh) | 基于多智能体深度确定策略梯度算法的配电网优化方法 | |
CN110518580A (zh) | 一种考虑微网主动优化的主动配电网运行优化方法 | |
CN112838604A (zh) | 一种储能电站群参与电力***agc的优化方法及*** | |
CN113962446B (zh) | 一种微电网群协同调度方法、装置、电子设备和存储介质 | |
CN114448044A (zh) | 一种换电站双向快充有序充放电方法及*** | |
CN115115130A (zh) | 一种基于模拟退火算法的风光储制氢***日前调度方法 | |
CN114899856A (zh) | 一种电动汽车充电桩功率调节方法、***、设备及介质 | |
CN114123256B (zh) | 一种适应随机优化决策的分布式储能配置方法及*** | |
CN114462854A (zh) | 含新能源和电动汽车并网的分层调度方法及其*** | |
CN117394404A (zh) | 考虑碳效益和辅助调频的风电场储能容量配置方法 | |
CN116645089A (zh) | 一种考虑退役电池容量退化的储能***双层优化配置方法 | |
CN115036952A (zh) | 一种基于mpc的电动汽车参与负荷平抑的实时功率控制方法 | |
CN114742453A (zh) | 基于Rainbow深度Q网络的微电网能量管理方法 | |
CN113300392B (zh) | 考虑余电上网的光储充一体化电站优化控制方法 | |
CN114154718A (zh) | 基于储能技术特性的风储联合***日前优化调度方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20220125 |