CN112290536B - 基于近端策略优化的电-热综合能源***在线调度方法 - Google Patents
基于近端策略优化的电-热综合能源***在线调度方法 Download PDFInfo
- Publication number
- CN112290536B CN112290536B CN202011010326.4A CN202011010326A CN112290536B CN 112290536 B CN112290536 B CN 112290536B CN 202011010326 A CN202011010326 A CN 202011010326A CN 112290536 B CN112290536 B CN 112290536B
- Authority
- CN
- China
- Prior art keywords
- time
- heat
- action
- comprehensive energy
- energy system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000005457 optimization Methods 0.000 title claims abstract description 30
- 230000005611 electricity Effects 0.000 claims abstract description 37
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 21
- 238000010248 power generation Methods 0.000 claims abstract description 19
- 230000008569 process Effects 0.000 claims abstract description 16
- 238000006243 chemical reaction Methods 0.000 claims abstract description 9
- 230000009471 action Effects 0.000 claims description 60
- 230000006870 function Effects 0.000 claims description 26
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 24
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 5
- 238000012546 transfer Methods 0.000 claims description 4
- 230000001133 acceleration Effects 0.000 claims description 3
- 238000013016 damping Methods 0.000 claims description 3
- 230000005251 gamma ray Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 230000005484 gravity Effects 0.000 claims 1
- 230000002787 reinforcement Effects 0.000 abstract description 2
- 238000009825 accumulation Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J3/00—Circuit arrangements for ac mains or ac distribution networks
- H02J3/008—Circuit arrangements for ac mains or ac distribution networks involving trading of energy or energy transmission rights
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J3/00—Circuit arrangements for ac mains or ac distribution networks
- H02J3/38—Arrangements for parallely feeding a single network by two or more generators, converters or transformers
- H02J3/381—Dispersed generators
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J3/00—Circuit arrangements for ac mains or ac distribution networks
- H02J3/38—Arrangements for parallely feeding a single network by two or more generators, converters or transformers
- H02J3/46—Controlling of the sharing of output between the generators, converters, or transformers
- H02J3/466—Scheduling the operation of the generators, e.g. connecting or disconnecting generators to meet a given demand
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
- H02J2203/10—Power transmission or distribution systems management focussing at grid-level, e.g. load flow analysis, node profile computation, meshed network optimisation, active network management or spinning reserve management
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
- H02J2203/20—Simulating, e g planning, reliability check, modelling or computer assisted design [CAD]
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J2300/00—Systems for supplying or distributing electric power characterised by decentralized, dispersed, or local generation
- H02J2300/20—The dispersed energy generation being of renewable origin
- H02J2300/28—The renewable source being wind energy
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E10/00—Energy generation through renewable energy sources
- Y02E10/70—Wind energy
- Y02E10/76—Power conversion electric or electronic aspects
Landscapes
- Engineering & Computer Science (AREA)
- Power Engineering (AREA)
- Supply And Distribution Of Alternating Current (AREA)
Abstract
本发明公开了一种基于近端策略优化的电‑热综合能源***在线调度方法，针对风能的间歇性、实时电力市场的随机性以及用户负载的不确定性，构建电‑热综合能源***的实时运行成本模型；然后采用深度强化学习方法，将动态能量转换问题转化为离散有限马尔科夫决策过程，并采用近似策略优化算法来求解决策问题，这样***运营商可以通过在线学习从而自适应地确定风电转化率，也解决了用户负荷需求的不确定性、实时电价的灵活性和风力发电的不确定性，实现电‑热综合能源***收益最大化。
Description
技术领域
本发明属于新能源发电技术领域，更为具体地讲，涉及一种基于近端策略优化的电-热综合能源***在线经济调度方法。
背景技术
对风电的开发利用是能源结构调整与转型的重大措施，且已进入产业化和规模化发展。据国家能源局统计，截至2020年3月底，国家能源局发布了我国风力发电累计装机达到2.13亿千瓦，其中陆上风电累计装机2.06亿千瓦、海上风电累计装机614万千瓦。由于风机的发电的实际曲线与负荷需求曲线存在着时空差异，其严重制约了风电的消纳。
随着新一轮电力市场改革的不断深化，实时市场模式的应用普及是未来电力***发展的必然趋势，然而实时电价的动态波动给发电厂商的优化运行带了一系列挑战。
综合能源***具有可靠性能高、调节能力强等优势，是实现大规模消纳风电的重要中转枢纽。但是综合能源***的引入增加了风力发电***最优经济调度的难度，非凸、非线性的经济调度模型难以实时求解；面对大规模风电电源的接入，在经济调度层面需要找到一种能够适应风机发电特点的实时优化方法。
由于风电的间歇特性使得含高渗透率风电的电网运行风险高，事故备用容量大，不利于保证电网的稳定性与经济性。而现有的风电-综合能源***优化调度研究中，大多数是基于日前优化来对风电进行调度，由于风力发电具有难以预测的波动特性，因此，该方法难以保证风电***的实时最优运行。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于近端策略优化的风电-综合能源***在线调度方法，在考虑风力发电的波动性，电价与用户用电量的随机性的同时以最小化风电-综合能源的运行成本为目标，并通过近端策略优化算法实现风电-综合能源***的实时优化运行。
为实现上述发明目的，本发明一种基于近端策略优化的风电-综合能源***在线调度方法，其特征在于，包括以下步骤：
(1)、采集风力电站wp的历史发电数据，记为pwp,t，其中，t表示时刻，t＝1,2,3,…；采集电-热综合能源***的历史上网电价，记为λt；采集电-热综合能源***的用户的历史热负载和电负载数据，分别记为μt、σt；
(2)、构建电-热综合能源***中各组件的出力模型；
(2.1)、构建热泵HP与热电联产装置CHP的出力模型；
其中，φth(t)为t时刻热泵输出的热能，PHP(t)为t时刻热泵的输入功率，COPave为输入功率和输出热能之间的转换率，QCHP为t时刻CHP的输出热能，PCHP(t)为t时刻CHP的输出电能，α为CHP的输出电-热比率；
(2.2)、构建分布式热力***的出力模型；
(2.2.1)、构建分布式热力***中的水力模型；
其中，j＝1,2,…,n，n为分布式热力***中管道回路中的管道条数；i＝1,2,…,l，l为分布式热力***中第l个管道回路；Bij为与热力***管道网络拓扑有关的矩阵，若管道中水流向为顺时针，则对应矩阵Bij位置的元素值为1，若管道中水流向为逆时针，则矩阵Bij位置的元素值为-1，若管道中没有水流量经过，则矩阵Bij位置的元素值为0；
为矢量，表示管道j的质量流量；
表示求矢量
的模；Rj为管道j的阻尼系数，ρ为水的密度，f为管道的长度，D为管道的横截面直径，g为标准重力加速度，f为管道的摩擦系数；
(2.2.2)、构建分布式热力***中的热力模型；
其中，Qk(t)为t时刻节点k处热源供应热功率或热负荷需求热功率，κ为水的比热容，mk(t)为t时刻节点k处流出热源或流进热负荷的质量流量，
为t时刻节点k处热水流出热源或流进热负荷的热水温度，
为t时刻节点k处热水流回热源或流出热负荷的热水温度；
分别为t时刻管道j所处的环境温度、管道首端温度与末端温度；γj,Lj分别为管道j的传热系数和管道长度；
分别为t时刻流入、流出节点k的热水温度；
分别为t时刻流入、流出节点k的质量流量；
(2.3)、构建电力***的出力模型；
其中，Ki'j'为首末端节点为i',j'的支路的电纳，θi'(t)、θj'(t)分别为节点i',j'的相角，Δθi'j'(t)为差值，xi'j'为首末端节点为i',j'的支路的电抗；
其中，
(3)、构建电-热综合能源***的在线调度目标函数及约束条件；
目标函数为：
其中，C为电-热综合能源***在整个优化运行周期内的运行成本，CCHP(t),CWT(t),Cgrid(t)分别为t时刻的CHP的运行成本，风机的运行成本和购电成本；T为优化运行周期；a,b,c,d,e,f,g,h为常数；HCHP(t)为t时刻CHP的热功率输出；Pup(t)为t时刻的上网电量，当Pup(t)为负数时表示电-热综合能源***向上层电网购电，即pp,t＝|pphs,t|；当Pup(t)为正数时表示电-热综合能源***向上层电网售电，即ptur,t＝pphs,t；λ(t)为t时刻上层电网的实时电价；αt为t时刻风电接入电网的比例系数，PWT(t)为t时刻风电的功率输出；
约束条件为：
其中，
表示热电联产的最大输出功率，
表示热泵的最大输入功率，Vi(t)表示为t时刻节点i的电压；
(4)、搭建并训练基于近端策略梯度算法(Proximal Policy Gradient,PPO)的电-热综合能源***在线调度模型；
(4.1)、将一个运行周期内的电-热综合能源***的在线调度目标函数转化为包含状态集合S、动作集合A和奖励函数r的马尔可夫决策过程；
其中，S包含决策过程所有状态，t时刻的状态st＝{WP(t),π(t),μ(t),σ(t)}；A包含决策过程所有动作，t时刻的动作at＝αt；t时刻在st下执行at获得的即时回报，记为rt(at|st)；
rt(at|st)＝-(CCHP(t)+CWT(t)+Cgrid(t))
(4.2)、构建PPO算法所需的三个结构相同的神经网络；
在线构建两个动作网络，记为μnew、μold，其参数集合分别记为
用于实现输入状态st到输出动作at；
在线构建一个评价网络，记为υ，其参数集合分别记为
用于实现输入状态s的价值函数V(s)的映射，π为映射策略；
(4.3)、设置基于近端策略梯度算法的电-热综合能源***在线调度模型的总迭代次数N和马尔可夫过程的迭代步数T；设置记忆库，记其容量为M，并初始化为空；初始化所有神经网络的参数集合，初始化n＝1，初始化学习率α，初始化计数器m和k为0；
(4.4)、复位电-热综合能源***，令t＝1并获取当前状态st，然后执行一次马尔可夫过程；
(4.5)、判断t是否小于T，若t＜T，则进入步骤(4.6)，反之，则进入步骤(4.15)；
(4.6)、将st送输入至动作网络μnew，输出均值μ和方差σ，得到动作的正态分布Normal1，通过正态分布Normal1采样得动作at；
(4.7)、根据输出动作at计算步骤(4.1)中的目标函数值rt，同时获得at作用后的下一时刻状态st+1；
(4.8)、构建元组信息{st,at,rt,st+1}，并将其存入记忆库的m％M位置处，然后赋值m＝m+1；
(4.9)、判断m是否大于M，若是，则进入步骤(4.10)；反之，则进入步骤(4.14)；
(4.10)、基于近端策略优化算法在线更新价值网络ν的参数集合θν；
At＝R-V(s)
其中，R表示为累计折扣奖励，γ为折扣因子，b表示从记忆库中有放回且等概率抽样的元组信息个数，sτ,aτ表示第τ个元组信息中对应的状态和动作；V(s)表示为元组中所有状态的价值，At表示t时刻的优势函数；
表示对优势函数的平方求θν的梯度；α表示为网络ν的参数学习率；
(4.11)、将存储的所有状态s组合输入到两个动作网络μnew、μold，分别得到动作的正态分布Normal1和Normal2；将存储的所有动作a组合输入到动作的正态分布Normal1和Normal2，得到动作组合对应的概率prob1和prob2，再计算重要性权重ratio，ratio＝prob1/prob2；然后基于近端策略优化算法在线更新动作网络μnew的参数集合
其中，min表示为取最小值，clip表示为将ratio范围限制在[1-ξ,1+ξ]；βnew是动作网络μnew的学习率；
(4.12)、待步骤(4.10)-(4.11)更新结束后，将计数器k的计数值增加1，然后判断计数值是否达到阈值K，如果达到则进入步骤(4.13)，否则进入步骤(4.14)；
(4.13)、用动作网络μnew的权重来更新另一个动作网络μold的权重；
(4.14)、令t＝t+1，再返回至步骤(4.5)；
(4.15)、令n＝n+1，再判断n是否大于N，如果是，则进入步骤(4.16)；反之，则进入步骤(4.4)；
(4.16)、迭代停止，并输出神经网络参数集合，从而得到电-热综合能源***在线调度模型；
(5)、实时采集风电出力pwp,t，电价数据λt，用户用电数据μt和用户用热数据σt，然后构建t时刻的实时状态st＝{pwp,t,λt,μt,σt}，最后将st输入至光-蓄***在线调度模型，得到实时输出动作at，然后按照at实现电-热综合能源***的在线调度。
本发明的发明目的是这样实现的：
本发明基于近端策略优化的电-热综合能源***在线调度方法，针对风能的间歇性、实时电力市场的随机性以及用户负载的不确定性，构建电-热综合能源***的实时运行成本模型；然后采用深度强化学习方法，将动态能量转换问题转化为离散有限马尔科夫决策过程，并采用近似策略优化算法来求解决策问题，这样***运营商可以通过在线学习从而自适应地确定风电转化率，也解决了用户负荷需求的不确定性、实时电价的灵活性和风力发电的不确定性，实现电-热综合能源***收益最大化。
同时，本发明基于近端策略优化的电-热综合能源***在线调度方法还具有以下有益效果：
(1)、本发明与传统的粒子群算法(PSO)进行对比分析，结果表明基于近端策略优化的电-热综合能源***在线调度方法具有耗时短，优化结果好等优点；
(2)、本发明考虑风力发电的波动性，电价与用户用电量的随机性，以最小化风电-综合能源的运行成本为目标，实现了电-热综合能源***收益最大化。
附图说明
图1是本发明基于近端策略优化算法的电-热综合能源***在线调度方法流程图；
图2是电-热综合能源***的框图；
图3是电-热综合能源***在线调度模型的训练流程图；
图4是风电转换率跟随实时电价的曲线图。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
实施例
在本实施例中，如图2所示，电-热综合能源***由风电场、电网、热网和电力市场构成；
其中，风电场通过变压器和交流电缆与汇流母线连接；汇流母线经架空输电线与电网连接。
下面结合图2对本发明一种基于近端策略优化的电-热综合能源***实时优化方法进行详细说明。
在本实施例中，如图1所示，本发明一种基于近端策略优化的电-热综合能源***在线调度方法，包括以下步骤：
S1、采集风力电站wp过去一年的历史发电数据，记为pwp,t，其中，t表示时刻，t＝1,2,3,…；采集电-热综合能源***过去一年的历史上网电价，记为λt；采集电-热综合能源***的用户过去一年的历史热负载和电负载数据，分别记为μt、σt；
S2、构建电-热综合能源***中各组件的出力模型；
S2.1、构建热泵HP与热电联产装置CHP的出力模型；
其中，φth(t)为t时刻热泵输出的热能，PHP(t)为t时刻热泵的输入功率，COPave为输入功率和输出热能之间的转换率，取值为0.8，QCHP为t时刻CHP的输出热能，PCHP(t)为t时刻CHP的输出电能，α为CHP的输出电-热比率，取值为0.75；
S2.2、构建分布式热力***的出力模型；
S2.2.1、构建分布式热力***中的水力模型；
其中，j＝1,2,…,n，n为分布式热力***中管道回路中的管道条数；i＝1,2,…,l，l为分布式热力***中第l个管道回路；Bij为与热力***管道网络拓扑有关的矩阵，若管道中水流向为顺时针，则对应矩阵Bij位置的元素值为1，若管道中水流向为逆时针，则矩阵Bij位置的元素值为-1，若管道中没有水流量经过，则矩阵Bij位置的元素值为0；
为矢量，表示管道j的质量流量；
表示求矢量
的模；Rj为管道j的阻尼系数，ρ为水的密度，f为管道的长度，D为管道的横截面直径，g为标准重力加速度，f为管道的摩擦系数；
S2.2.2、构建分布式热力***中的热力模型；
其中，Qk(t)为t时刻节点k处热源供应热功率或热负荷需求热功率，κ为水的比热容，mk(t)为t时刻节点k处流出热源或流进热负荷的质量流量，
为t时刻节点k处热水流出热源或流进热负荷的热水温度，
为t时刻节点k处热水流回热源或流出热负荷的热水温度；
分别为t时刻管道j所处的环境温度、管道首端温度与末端温度；γj,Lj分别为管道j的传热系数和管道长度；
分别为t时刻流入、流出节点k的热水温度；
分别为t时刻流入、流出节点k的质量流量；
S2.3、构建电力***的出力模型；
其中，Ki'j'为首末端节点为i',j'的支路的电纳，θi'(t)、θj'(t)分别为节点i',j'的相角，Δθi'j'(t)为差值，xi'j'为首末端节点为i',j'的支路的电抗；
其中，
S3、构建电-热综合能源***的在线调度目标函数及约束条件；
目标函数为：
其中，C为电-热综合能源***在整个优化运行周期内的运行成本，CCHP(t),CWT(t),Cgrid(t)分别为t时刻的CHP的运行成本，风机的运行成本和购电成本；T为优化运行周期；a,b,c,d,e,f,g,h为常数，取值如表1；HCHP(t)为t时刻CHP的热功率输出；Pup(t)为t时刻的上网电量，当Pup(t)为负数时表示电-热综合能源***向上层电网购电，即pp,t＝|pphs,t|；当Pup(t)为正数时表示电-热综合能源***向上层电网售电，即ptur,t＝pphs,t；λ(t)为t时刻上层电网的实时电价；αt为t时刻风电接入电网的比例系数，取值为[0,1]，PWT(t)为t时刻风电的功率输出；
表1是成本函数中各个常数取值；
| a | b | c | d | e | f | g | h |
| 14.618 | 0.292 | 0.000072 | 0.15 | 0.15 | 0.6278 | 50 | 14.5 |
表1
约束条件为：
其中，
表示热电联产的最大输出功率，
表示热泵的最大输入功率，Vi(t)表示为t时刻节点i的电压；
S4、搭建并训练基于近端策略梯度算法(Proximal Policy Gradient,PPO)的电-热综合能源***在线调度模型；
S4.1、将一个运行周期内的电-热综合能源***的在线调度目标函数转化为包含状态集合S、动作集合A和奖励函数r的马尔可夫决策过程；
其中，S包含决策过程所有状态，t时刻的状态st＝{WP(t),π(t),μ(t),σ(t)}；A包含决策过程所有动作，t时刻的动作at＝αt，取值范围为[0,1]；t时刻在st下执行at获得的即时回报，记为rt(at|st)；
rt(at|st)＝-(CCHP(t)+CWT(t)+Cgrid(t))
S4.2、构建PPO算法所需的三个结构相同的神经网络；
在线构建两个动作网络，记为μnew、μold，其参数集合分别记为
用于实现输入状态st到输出动作at；
在线构建一个评价网络，记为υ，其参数集合分别记为
用于实现输入状态s的价值函数V(s)的映射，π为映射策略；
S4.3、设置基于近端策略梯度算法的电-热综合能源***在线调度模型的总迭代次数N＝10000和马尔可夫过程的迭代步数T＝24；设置记忆库，记其容量为M＝48000，并初始化为空；初始化所有神经网络的参数集合，初始化n＝1，初始化学习率α＝0.0015，初始化计数器m和k为0；
S4.4、复位电-热综合能源***，令t＝1并获取当前状态st，然后执行一次马尔可夫过程；
S4.5、判断t是否小于T，若t＜T，则进入步骤S4.6，反之，则进入步骤S4.15；
S4.6、将st送输入至动作网络μnew，输出均值μ和方差σ，得到动作的正态分布Normal1，通过正态分布Normal1采样得动作at；
S4.7、根据输出动作at计算步骤S4.1中的目标函数值rt，同时获得at作用后的下一时刻状态st+1；
S4.8、构建元组信息{st,at,rt,st+1}，并将其存入记忆库的m％M位置处，然后赋值m＝m+1；
S4.9、判断m是否大于M，若是，则进入步骤S4.10；反之，则进入步骤(4.14)；
S4.10、基于近端策略优化算法在线更新价值网络ν的参数集合θν；
At＝R-V(s)
其中，R表示为累计折扣奖励，γ为折扣因子，b表示从记忆库中有放回且等概率抽样的元组信息个数，sτ,aτ表示第τ个元组信息中对应的状态和动作；V(s)表示为元组中所有状态的价值，At表示t时刻的优势函数；
表示对优势函数的平方求θν的梯度；α表示为网络ν的参数学习率，取值为0.0015；
S4.11、将存储的所有状态s组合输入到两个动作网络μnew、μold，分别得到动作的正态分布Normal1和Normal2；将存储的所有动作a组合输入到动作的正态分布Normal1和Normal2，得到动作组合对应的概率prob1和prob2，再计算重要性权重ratio，ratio＝prob1/prob2；然后基于近端策略优化算法在线更新动作网络μnew的参数集合
其中，min表示为取最小值，clip表示为将ratio范围限制在[1-ξ,1+ξ]，ξ取值为0.01；βnew是动作网络μnew的学习率，取值为0.003；
S4.12、待步骤S4.10-S4.11更新结束后，将计数器k的计数值增加1，然后判断计数值是否达到阈值K，如果达到则进入步骤S4.13，否则进入步骤S4.14；
S4.13、用动作网络μnew的权重来更新另一个动作网络μold的权重；
S4.14、令t＝t+1，再返回至步骤S4.5；
S4.15、令n＝n+1，再判断n是否大于N，如果是，则进入步骤S4.16；反之，则进入步骤S4.4；
S4.16、迭代停止，并输出神经网络参数集合，从而得到电-热综合能源***在线调度模型；
S5、实时采集风电出力pwp,t，电价数据λt，用户用电数据μt和用户热负荷数据σt，然后构建t时刻的实时状态st＝{pwp,t,λt,μt,σt}，最后将st输入至电-热综合能源***在线调度模型，得到实时输出动作at，即风电的实时转换比例αt，然后按照at实现电-热综合能源***的在线调度。
在本实施例中，选用处理器为Inter(R)Core(TM)i9-9820X [email protected]的硬件平台上，由Python3.7与tensorflow1.8.0实现本发明所申请方法中的实施例。对成功训练后的神经网络实施连续3天实时测试，结果显示如图4为所示，在图中可以看，当电价降低时，所有的风电都为热泵供电，产出更多热能，即降低热电联产的运行成本，同时，由于电价较低，电网允许从外网进行购电以降低购电成本；当电价升高时，仅有少量风电为热泵供电，剩余风电直接接入电网供给电负荷，降低电网从外电网购电成本，热电联产出力减小，从而有效降低了热电联产的运行成本。结果表明，基于PPO算法的在线调度能够为电-热综合能源***进行有效地实时调度。
结果显示：表2不同方法对应的收益增长率和耗时的对比结果，其中PPO是本发明提出的方法，由于PPO方法是基于过去一年的风电数据、用户负荷数据以及实时电价数据进行了大量仿真训练，即神经网络刻画了上述三重不确定性的概率特性，可以有效地实现实时调度；而PSO方法粒子群优化算法没有记忆功能，不能实时在线反馈，因此计算耗时长，且实时优化效果不好。
表2是不同方法的对比结果；
| 方法 | 平均成本(EUR/天) | 提高率 | 耗时(秒) |
| PPO | 781.02 | 0 | 62.3 |
| PSO | 852.69 | 8.41％ | 1812 |
表2
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
Claims (1)
1.一种基于近端策略优化的电-热综合能源***在线调度方法，其特征在于，包括以下步骤：
(1)、采集风力电站wp的历史发电数据，记为pwp,t，其中，t表示时刻，t＝1,2,3,…；采集电-热综合能源***的历史上网电价，记为λt；采集电-热综合能源***的用户的历史热负载和电负载数据，分别记为μt、σt；
(2)、构建电-热综合能源***中各组件的出力模型；
(2.1)、构建热泵HP与热电联产装置CHP的出力模型；
其中，φth(t)为t时刻热泵输出的热能，PHP(t)为t时刻热泵的输入功率，COPave为输入功率和输出热能之间的转换率，QCHP(t)为t时刻CHP的输出热能，PCHP(t)为t时刻CHP的输出电能，α为CHP的输出电-热比率；
(2.2)、构建分布式热力***的出力模型；
(2.2.1)、构建分布式热力***中的水力模型；
其中，
为分布式热力***中管道回路中的管道条数；i＝1,2,…,l，l为分布式热力***中第l个管道回路；Bij为与热力***管道网络拓扑有关的矩阵，若管道中水流向为顺时针，则对应矩阵Bij位置的元素值为1，若管道中水流向为逆时针，则矩阵Bij位置的元素值为-1，若管道中没有水流量经过，则矩阵Bij位置的元素值为0；
为矢量，表示管道j的质量流量；
表示求矢量
的模；Rj为管道j的阻尼系数，ρ为水的密度，Lj为管道j的长度，Dj为管道j的横截面直径，g为标准重力加速度，f为管道的摩擦系数；
(2.2.2)、构建分布式热力***中的热力模型；
其中，Qk(t)为t时刻节点k处热源供应热功率或热负荷需求热功率，κ为水的比热容，mk(t)为t时刻节点k处流出热源或流进热负荷的质量流量，
为t时刻节点k处热水流出热源或流进热负荷的热水温度，
为t时刻节点k处热水流回热源或流出热负荷的热水温度；
分别为t时刻管道j所处的环境温度、管道首端温度与末端温度；γj,Lj分别为管道j的传热系数和管道长度；
分别为t时刻流入、流出节点k的热水温度；
分别为t时刻流入、流出节点k的质量流量；
(2.3)、构建电力***的出力模型；
其中，Ki'j'为首末端节点为i',j'的支路的电纳，θi'(t)、θj'(t)分别为节点i',j'的相角，Δθi'j'(t)为差值，xi'j'为首末端节点为i',j'的支路的电抗；
其中，
Ki'j'＝-1/xi'j'
(3)、构建电-热综合能源***的在线调度目标函数及约束条件；
目标函数为：
其中，C为电-热综合能源***在整个优化运行周期内的运行成本，CCHP(t),CWT(t),Cgrid(t)分别为t时刻的CHP的运行成本，风机的运行成本和购电成本；T为优化运行周期；a,b,c,d,e,f,g,h为常数；HCHP(t)为t时刻CHP的热功率输出；Pup(t)为t时刻的上网电量，当Pup(t)为负数时表示电-热综合能源***向上层电网购电；当Pup(t)为正数时表示电-热综合能源***向上层电网售电；λ(t)为t时刻上层电网的实时电价；αt为t时刻风电接入电网的比例系数，PWT(t)为t时刻风电的功率输出；
约束条件为：
其中，
表示热电联产的最大输出功率，
表示热泵的最大输入功率，Vi(t)表示为t时刻节点i的电压；
(4)、搭建并训练基于近端策略梯度算法(Proximal Policy Gradient,PPO)的电-热综合能源***在线调度模型；
(4.1)、将一个运行周期内的电-热综合能源***的在线调度目标函数转化为包含状态集合S、动作集合A和奖励函数r的马尔可夫决策过程；
其中，S包含决策过程所有状态，t时刻的状态st＝{pwp,t,λt,μt,σt}；A包含决策过程所有动作，t时刻的动作at＝αt；t时刻在st下执行at获得的即时回报，记为rt(at|st)；
rt(at|st)＝-(CCHP(t)+CWT(t)+Cgrid(t))
(4.2)、构建PPO算法所需的三个结构相同的神经网络；
在线构建两个动作网络，记为μnew、μold，其参数集合分别记为
用于实现输入状态st到输出动作at；
在线构建一个评价网络，记为υ，其参数集合分别记为
用于实现输入状态s的价值函数V(s)的映射，π为映射策略；
(4.3)、设置基于近端策略梯度算法的电-热综合能源***在线调度模型的总迭代次数N和马尔可夫过程的迭代步数
设置记忆库，记其容量为M，并初始化为空；初始化所有神经网络的参数集合，初始化n＝1，初始化学习率α，初始化计数器m和k为0；
(4.4)、复位电-热综合能源***，令
并获取当前状态st，然后执行一次马尔可夫过程；
(4.5)、判断
是否小于
若
则进入步骤(4.6)，反之，则进入步骤(4.15)；
(4.6)、将st送输入至动作网络μnew，输出均值μ和方差σ，得到动作的正态分布Normal1，通过正态分布Normal1采样得动作at；
(4.7)、根据输出动作at计算步骤(4.1)中的目标函数值rt，同时获得at作用后的下一时刻状态st+1；
(4.8)、构建元组信息{st,at,rt,st+1}，并将其存入记忆库的m％M位置处，然后赋值m＝m+1；
(4.9)、判断m是否大于M，若是，则进入步骤(4.10)；反之，则进入步骤(4.14)；
(4.10)、基于近端策略优化算法在线更新价值网络ν的参数集合θν；
At＝R-V(s)
其中，R表示为累计折扣奖励，γ为折扣因子，b表示从记忆库中有放回且等概率抽样的元组信息个数，sτ,aτ表示第τ个元组信息中对应的状态和动作；V(s)表示为元组中所有状态的价值，At表示t时刻的优势函数；
表示对优势函数的平方求θν的梯度；α表示为网络ν的参数学习率；
(4.11)、将存储的所有状态s组合输入到两个动作网络μnew、μold，分别得到动作的正态分布Normal1和Normal2；将存储的所有动作a组合输入到动作的正态分布Normal1和Normal2，得到动作组合对应的概率prob1和prob2，再计算重要性权重ratio，ratio＝prob1/prob2；然后基于近端策略优化算法在线更新动作网络μnew的参数集合
其中，min表示为取最小值，clip表示为将ratio范围限制在[1-ξ,1+ξ]；βnew是动作网络μnew的学习率；
(4.12)、待步骤(4.10)-(4.11)更新结束后，将计数器k的计数值增加1，然后判断计数值是否达到阈值K，如果达到则进入步骤(4.13)，否则进入步骤(4.14)；
(4.13)、用动作网络μnew的权重来更新另一个动作网络μold的权重；
(4.14)、令
再返回至步骤(4.5)；
(4.15)、令n＝n+1，再判断n是否大于N，如果是，则进入步骤(4.16)；反之，则进入步骤(4.4)；
(4.16)、迭代停止，并输出神经网络参数集合，从而得到电-热综合能源***在线调度模型；
(5)、实时采集风电出力pwp,t，电价数据λt，用户用电数据μt和用户用热数据σt，然后构建t时刻的实时状态st＝{pwp,t,λt,μt,σt}，最后将st输入至光-蓄***在线调度模型，得到实时输出动作at，然后按照at实现电-热综合能源***的在线调度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011010326.4A CN112290536B (zh) | 2020-09-23 | 2020-09-23 | 基于近端策略优化的电-热综合能源***在线调度方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011010326.4A CN112290536B (zh) | 2020-09-23 | 2020-09-23 | 基于近端策略优化的电-热综合能源***在线调度方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112290536A CN112290536A (zh) | 2021-01-29 |
| CN112290536B true CN112290536B (zh) | 2022-12-23 |
Family
ID=74422116
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011010326.4A Active CN112290536B (zh) | 2020-09-23 | 2020-09-23 | 基于近端策略优化的电-热综合能源***在线调度方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112290536B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113432352B (zh) * | 2021-06-22 | 2023-02-21 | 山东和同信息科技股份有限公司 | 一种基于5g物联网技术的空气源热泵除霜调控方法和*** |
| CN113779871A (zh) * | 2021-08-26 | 2021-12-10 | 清华大学 | 一种电热耦合***调度方法、装置、电子设备及其存储介质 |
| CN114362187B (zh) * | 2021-11-25 | 2022-12-09 | 南京邮电大学 | 一种基于多智能体深度强化学习的有源配电网协同调压方法及*** |
| CN113824116B (zh) * | 2021-11-25 | 2022-03-11 | 国网江西省电力有限公司电力科学研究院 | 一种基于混合时间尺度drl的综合能源在线调度方法 |
| CN114865696B (zh) * | 2022-04-25 | 2023-06-02 | 电子科技大学 | 一种基于sac算法的混合能源***在线调度方法 |
| CN115234332B (zh) * | 2022-06-17 | 2024-05-03 | 成都理工大学 | 一种基于二氧化碳的综合能源*** |
| CN115173490B (zh) * | 2022-09-05 | 2022-11-25 | 北京邮电大学 | 综合能源站供能方法和装置、电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110323740A (zh) * | 2019-06-24 | 2019-10-11 | 中国农业大学 | 计及光伏出力和空调负荷动态相关性的经济调峰方法 |
| CN110365056A (zh) * | 2019-08-14 | 2019-10-22 | 南方电网科学研究院有限责任公司 | 一种基于ddpg的分布式能源参与配电网调压优化方法 |
| CN111144728A (zh) * | 2019-12-18 | 2020-05-12 | 东南大学 | 基于深度强化学习的热电联产***经济调度方法 |
| CN111695742A (zh) * | 2020-06-22 | 2020-09-22 | 南方电网科学研究院有限责任公司 | 一种综合能源***日前调度区间优化方法、***及设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8566266B2 (en) * | 2010-08-27 | 2013-10-22 | Mitsubishi Electric Research Laboratories, Inc. | Method for scheduling the operation of power generators using factored Markov decision process |
-
2020
- 2020-09-23 CN CN202011010326.4A patent/CN112290536B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110323740A (zh) * | 2019-06-24 | 2019-10-11 | 中国农业大学 | 计及光伏出力和空调负荷动态相关性的经济调峰方法 |
| CN110365056A (zh) * | 2019-08-14 | 2019-10-22 | 南方电网科学研究院有限责任公司 | 一种基于ddpg的分布式能源参与配电网调压优化方法 |
| CN111144728A (zh) * | 2019-12-18 | 2020-05-12 | 东南大学 | 基于深度强化学习的热电联产***经济调度方法 |
| CN111695742A (zh) * | 2020-06-22 | 2020-09-22 | 南方电网科学研究院有限责任公司 | 一种综合能源***日前调度区间优化方法、***及设备 |
Non-Patent Citations (2)
| Title |
|---|
| "基于多主体博弈与强化学习的并网型综合能源微网协调调度";刘洪等;《电力***自动化》;20190110;第43卷(第1期);40-48 * |
| "考虑源-荷-储多能互补的冷-热-电综合能源***优化运行研究";欧阳斌等;《发电技术》;20200229;第41卷(第1期);19-29 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112290536A (zh) | 2021-01-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112290536B (zh) | 基于近端策略优化的电-热综合能源***在线调度方法 | |
| CN109727158B (zh) | 一种基于改进弱鲁棒优化的电热综合能源***调度方法 | |
| Tan et al. | A wind power accommodation capability assessment method for multi-energy microgrids | |
| US20220036392A1 (en) | Deep Reinforcement Learning Based Real-time scheduling of Energy Storage System (ESS) in Commercial Campus | |
| CN107403256B (zh) | 一种考虑需求响应不确定性的光伏微网电池储能配置方法 | |
| CN114358431A (zh) | 计及供需双向需求响应的多能源***优化调度方法及装置 | |
| CN113592133A (zh) | 一种能量枢纽优化配置方法及*** | |
| CN111401664A (zh) | 一种综合能源***鲁棒优化调度方法及装置 | |
| CN114358432A (zh) | 计及需求响应与碳交易的多能源***优化调度方法及装置 | |
| CN114266382A (zh) | 一种考虑热惯性的热电联产***两阶段优化调度方法 | |
| CN112072643A (zh) | 一种基于深度确定性梯度策略的光-蓄***在线调度方法 | |
| CN113283786A (zh) | 基于gru和需求响应的电/气/热/储配网协同规划方法 | |
| CN113610316A (zh) | 不确定环境下考虑综合需求响应的园区综合能源***优化调度方法 | |
| CN111798111A (zh) | 一种综合能源***供能可靠性评估方法及计算机*** | |
| CN113298407B (zh) | 一种工业园区电-气综合能源***优化调度模型建立方法 | |
| Ju et al. | Three‐level energy flexible management strategy for micro energy grids considering multiple uncertainties at different time scales | |
| Li et al. | Economic dispatch with high penetration of wind power using extreme learning machine assisted group search optimizer with multiple producers considering upside potential and downside risk | |
| CN109409609A (zh) | 综合能源***多能流供需平衡的概率约束建模方法和装置 | |
| CN115693797A (zh) | 考虑v2g与需求响应的配电网调度方法、介质及*** | |
| Wang et al. | Integrated energy system optimal operation using Data-Driven district heating network model | |
| Wu et al. | Neural Network Based Fea sible Region Approximation Model for Optimal Operation of Integrated Electricity and Heating System | |
| Hu et al. | Robust optimal scheduling of integrated energy systems considering multiple uncertainties | |
| CN114039378B (zh) | 可中断负荷的风蓄火联合调度方法及***、存储介质 | |
| CN112290535A (zh) | 基于深度策略优化的电-气综合能源***在线调度方法 | |
| CN111952968B (zh) | 增量分布式电源设备的配置方法、装置和可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |