CN116914732A - 基于深度强化学习的热电联产***低碳调度方法及*** - Google Patents

基于深度强化学习的热电联产***低碳调度方法及*** Download PDF

Info

Publication number
CN116914732A
CN116914732A CN202310854951.4A CN202310854951A CN116914732A CN 116914732 A CN116914732 A CN 116914732A CN 202310854951 A CN202310854951 A CN 202310854951A CN 116914732 A CN116914732 A CN 116914732A
Authority
CN
China
Prior art keywords
power
cogeneration system
carbon
module
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310854951.4A
Other languages
English (en)
Inventor
皮润一
孙中海
郑伟铭
杨超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202310854951.4A priority Critical patent/CN116914732A/zh
Publication of CN116914732A publication Critical patent/CN116914732A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H02GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02JCIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00Circuit arrangements for ac mains or ac distribution networks
    • H02J3/007Arrangements for selectively connecting the load or loads to one or several among a plurality of power lines or power sources
    • H02J3/0075Arrangements for selectively connecting the load or loads to one or several among a plurality of power lines or power sources for providing alternative feeding paths between load and source according to economic or energy efficiency considerations, e.g. economic dispatch
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • G06F30/27Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • HELECTRICITY
    • H02GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02JCIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00Circuit arrangements for ac mains or ac distribution networks
    • H02J3/38Arrangements for parallely feeding a single network by two or more generators, converters or transformers
    • H02J3/46Controlling of the sharing of output between the generators, converters, or transformers
    • H02J3/466Scheduling the operation of the generators, e.g. connecting or disconnecting generators to meet a given demand
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00Details relating to CAD techniques
    • G06F2111/04Constraint-based CAD
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00Details relating to CAD techniques
    • G06F2111/06Multi-objective optimisation, e.g. Pareto optimisation using simulated annealing [SA], ant colony algorithms or genetic algorithms [GA]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00Details relating to CAD techniques
    • G06F2111/10Numerical modelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2113/00Details relating to the application field
    • G06F2113/04Power grid distribution networks
    • HELECTRICITY
    • H02GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02JCIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2203/00Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
    • H02J2203/20Simulating, e g planning, reliability check, modelling or computer assisted design [CAD]
    • HELECTRICITY
    • H02GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02JCIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2300/00Systems for supplying or distributing electric power characterised by decentralized, dispersed, or local generation
    • H02J2300/20The dispersed energy generation being of renewable origin
    • H02J2300/22The renewable source being solar energy
    • H02J2300/24The renewable source being solar energy of photovoltaic origin
    • HELECTRICITY
    • H02GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02JCIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2300/00Systems for supplying or distributing electric power characterised by decentralized, dispersed, or local generation
    • H02J2300/20The dispersed energy generation being of renewable origin
    • H02J2300/28The renewable source being wind energy
    • HELECTRICITY
    • H02GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02JCIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2300/00Systems for supplying or distributing electric power characterised by decentralized, dispersed, or local generation
    • H02J2300/40Systems for supplying or distributing electric power characterised by decentralized, dispersed, or local generation wherein a plurality of decentralised, dispersed or local energy generation technologies are operated simultaneously

Landscapes

  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了基于深度强化学***衡,实现***的利润最大化和碳排放最小化。本发明可广泛应用于智能电网技术领域。

Description

基于深度强化学习的热电联产***低碳调度方法及***
技术领域
本发明涉及智能电网技术领域,尤其涉及基于深度强化学习的热电联产***低碳调度方法及***。
背景技术
全球变暖和环境污染已成为人类社会面临的主要挑战,迫切需要发展低碳经济以实现CO2减排,现有能源***优化调度运行的研究逐渐向低碳经济调度发展。与传统的配电网相比,热-电联产(CHP)可以结合多种能源,如电、气和热,以克服传统供能***产生的余热,然而,由于分布式电力设备独立运行会导致资源分配不合理。随着智能电网无线通信网络和边缘计算等各类计算机、通信技术的发展,热电联产耦合网络的出现解决了这个问题。通过先进的智能计算机技术和通信***聚合各种分布式能源(DER),可以同时具备能量存储和灵活负载的功能。但现有的热电联产***大部分只是考虑电力负荷,热能***仅作为电力***的补充,热电***之间不能进行相互耦合、相互供能,导致能源利用率低,能量转换的能源损耗大。
发明内容
为了解决上述技术问题,本发明的目的是提供基于深度强化学***衡,实现***的利润最大化和碳排放最小化。
本发明所采用的第一技术方案是:基于深度强化学习的热电联产***低碳调度方法,包括以下步骤:
将碳捕捉技术和P2G技术融入到热电联产***中,得到改进的热电联产***;
基于设备运行特点对改进的热电联产***的各类设备进行建模,得到设备数学模型;
根据设备数学模型构建约束条件;
基于约束条件对改进的热电联产***进行马尔可夫决策过程设计,得到多目标优化函数;
使用改进的基于TD3的调度算法对改进的热电联产***进行交互训练,得到最优低碳经济调度策略。
进一步,所述设备数学模型包括风力涡轮机数学模型、光伏发电机数学模型、燃气轮机数学模型、余热锅炉数学模型、燃气锅炉数学模型、储能***数学模型、碳捕捉单元数学模型和P2G单元数学模型,其中:
所述碳捕捉单元数学模型,其表达式如下:
其中,Pcc,b和/>分别表示时段t内碳捕获单元的总能耗、基本能耗和运行能耗;εe,cc、ηcc分别表示通过捕获单位量的CO2而消耗的电功率和碳捕获效率;/>和/>分别表示排放的总重量和CO2重量上限;/>和/>分别表示燃气轮机和燃气锅炉的单位碳排放强度系数。
所述P2G单元数学模型,其表达式如下:
其中,表示在时段t内被捕获的CO2重量,/>表示被封存的部分CO2重量,表示被提供给P2G装置的部分CO2重量;/>表示/>在/>中所占的比例;和/>分别表示由P2G装置产生的天然气重量和P2G装置消耗的电能;ηp2g和εe,p2g分别表示将单位数量的CO2转化为天然气时的转换效率和消耗的电能;λp2g为调整参数,用于消除/>和/>之间的量纲差异。
通过该优选步骤,将改进的热电联产***的各类设备的性能参数进行量化,从量化的性能参数中构建约束条件更为便利;
进一步,所述约束条件,其具体包括:
功率均衡约束,其表达式如下:
其中,表示第t时段虚拟电厂与公用电网之间的互联功率,/>表示时段t内的第nwt台风力涡轮机的发电量,/>表示周期t内第n台光伏发电机的输出发电量,/>表示周期t内第n台燃气轮机的输出电功率,/>表示周期t内第nes个电能存储单元的放电功率,/>表示能耗侧电负荷功率之和,/>表示周期t内第nes个电能存储单元的放电功率,/>表P2G装置消耗的电能,/>时段t内碳捕获单元的总能耗,/>表示在时间t内第nwbb个余热锅炉的输出热功率,/>表示周期t内天然气的输出热功率,/>表示能耗侧热负荷功率之和,/>周期t内第nhs个热能存储单元的充电热功率。
分布式发电约束,其表达式如下:
其中,和/>分别表示第ndg台发电机到时间t的连续启动时间和连续停机时间,/>表示第ndg台发电机在时段t内的状态,/>和/>分别表示第ndg台发电机的最小允许启动时间、最小允许停机时间、最大发电量爬坡和最大发电量,dg∈[wt,pv]表示dg类型标识符。
设备运行约束,其表达式如下:
其中,u∈[gt,whb,gb,cc,p2g]表示设备类型标识符,表示第nu台设备在时段t内的状态,/>分别为第nu台设备的最小允许启动时间、最大允许停机时间、最大爬坡功率和最大功率。
储能***约束,其表达式如下:
其中,分别表示第nes个电能存储单元的最小电量存储、最大电量存储、电量存储量、最大充电功率、充放电功率、最大放电功率; 分别为第nhs个热能存储单元的最小蓄热功率、最大蓄热功率、蓄热功率、最大充热功率、充放热功率和最大放热功率。
其他约束,其表达式如下:
其中,和/>分别表示市电互连功率的最小值和最大值;/>表示线路y在t周期内的容量,/>表示线路y的最大容量;/>表示h母线在t周期内的电压;/>和/>分别表示母线电压的最小限值和最大限值,/>表示为周期t内天然气消耗量占总供气量的比例系数,/>表示被封存的部分CO2重量在捕获的CO2重量中所占的比例。
进一步,所述多目标优化函数,其表达式如下:
R=CI-CII+CB
其中,R表示多目标优化函数,CI、CII和CB分别表示虚拟电厂的运行成本、惩罚成本和确保R始终为正的固定参数,和/>分别表示在时段t内的电售价、电购价、碳排放售价和天然气价格,/>和/>分别表示碳排放配额和总碳排放量,u∈[gt,whb,gb,cc,p2g]表示设备类型标识符,/>表示第nu种设备的消耗电力,Nu表示第u种设备的总数量,ωu表示第nu种设备的运维成本单位费用,/>表示天然气总供应量,ρ表示由基线法确定的区域碳排放系数,/>表示排放CO2的总重量,ηcc表示通过捕获单位量的CO2而消耗的碳捕获效率,/>表示治理燃气轮机和燃气锅炉产生的单位数量CO2的惩罚成本,/>表示燃气轮机的单位碳排放强度系数,/>表示时间t内燃气轮机的输出电功率,/>表示时间t内燃气轮机的输出热功率,ψwt和ψpv表示风电功率限制和光伏功率限制的惩罚系数,/>和/>表示时段t内风力发电机和光伏发电机预测的输出功率,/>表示超出约束的惩罚系数,/>表示动作aχ的最大约束值;χ表示消除超出约束成本的量纲差异的调整参数,/>和/>表示时段t内风力发电机和光伏发电机的输出功率。
通过该优选步骤,建立了考虑收入、运营成本、碳交易、削减和过度约束行为的多目标优化函数,以实现改进的热电联产***的利润最大化和碳排放最小化。
进一步,所述基于TD3的调度算法具体为在TD3算法的基础上将一个独立经验回放池扩展为两个独立经验回放池,包括当前奖励经验回放池和长期经验回放池。
通过该优选步骤,能够实现存储不同时间尺度的经验样本。
进一步,所述使用改进的基于TD3的调度算法对改进的热电联产***进行交互训练,得到最优低碳经济调度策略这一步骤,其具体包括:
获取改进的热电联产***运行数据,并将其存储到独立经验回放池中;
基于长期经验回放池中样本的奖励值优先概率抽取样本,得到批量样本;
计算批量样本的奖励平均值,并基于奖励平均值进行筛选,得到优化样本;
根据优化样本内的状态信息对样本动作进行更新,得到更新样本动作;
将改进的热电联产***的当前信息输入到更新样本动作后的调度算法网络中,得到最优低碳经济调度策略。
通过该优选步骤,能够改善样本选择中的局部最优、耗时和不收敛问题,
本发明所采用的第二技术方案是:基于深度强化学习的热电联产***低碳调度***,包括:
改进的热电联产***模块,用于对热电联产***进行碳捕捉和碳转化;
模型构建模块,用于对改进的热电联产***各设备进行建模,得到设备数学模型;
约束模块,用于对设备数学模型进行约束,得到约束条件
马尔可夫决策设计模块,基于约束条件对改进的热电联产***进行函数设计,得到多目标优化函数;
改进的基于TD3的调度算法模块,用于对改进的热电联产***进行交互训练,得到最优低碳经济调度策略。
进一步,所述改进的热电联产***模块,其具体包括:
风力发电模块,用于将可再生清洁风能转换成电能,为***提供电能;
光伏发电模块,用于将可再生清洁光能转换成电能,为***提供电能;
燃气轮机模块,用于为***提供电能和热能;
余热锅炉模块,用于吸收燃气轮机产生的多余热能,并优先向热负载提供热能
燃气锅炉模块,用于为***提供热能;
能量存储模块,用于存储多余的电能和热能;
碳捕捉模块,用于捕获和存储燃气轮机模块、余热锅炉模块和燃气锅炉模块排放的CO2
P2G模块,用于将碳捕捉模块捕捉的CO2转换成甲烷;
AC总线模块,用于将稳定的电压输送到电负荷中;
AC-DC转换模块,用于将电能转换成稳定的电压;
热能总线模块,用于将热能输送到热负荷中。
通过该优选***,将电网剩余功率转化为易于储存的电网兼容燃气,实现电力和燃气供应的平衡,提高能源利用率,减少能量转换的能源损耗。
本发明方法、***的有益效果是:本发明在耦合的电、气和热联产***基础上,融合了碳捕获和P2G技术,构建了改进的热电联产***,能够将电网剩余功率转化为易于储存的电网兼容燃气,减少能量转换的能源损耗;基于改进的热电联产***,进行马尔可夫决策过程设计,建立了考虑收入、运营成本、碳交易、削减和过度约束行为的多目标优化函数;设计改进的基于TD3的调度算法能够改善样本选择所带来的局部最优、耗时和不收敛问题,利用该算法对对改进的热电联产***进行交互训练,获得最优低碳经济调度策略,在该策略下能够保证热电联产***的热电供应平衡,实现***的利润最大化和碳排放最小化。
附图说明
图1是本发明基于深度强化学习的热电联产***低碳调度方法的步骤流程图;
图2是本发明基于深度强化学习的热电联产***低碳调度***的结构框图;
图3是本发明基于深度强化学习的热电联产***低碳调度方法的基于TD3的调度算法交互训练流程图;
图4是本发明基于深度强化学习的热电联产***低碳调度***的改进的热电联产***拓扑结构图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号,其仅为了便于阐述说明而设置,对步骤之间的顺序不做任何限定,实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
如图1所示,本发明提供了基于深度强化学习的热电联产***低碳调度方法,该方法包括以下步骤:
S1、将碳捕捉技术和P2G技术融入到热电联产***中,得到改进的热电联产***;
具体地,参照图4,改进的热电联产***的设备主要包括风力发电机、光伏发电机、燃气轮机、余热锅炉、燃气锅炉、电能存储单元、热能存储单元、碳捕捉单元和P2G单元,在能源供应方面,电能由共有电网、燃气轮机、风力发电机和光伏发电机协同提供,同时优先采用光伏发电机供能,当电能供应不足时,可从传统电网购买;热能由燃气锅炉和燃气轮机提供,燃气轮机产生的多余热能被余热锅炉吸收,从而优先向热负荷提供热能,当热量供应不足时,由燃气锅炉提供;在能量存储方面,电能存储单元用于存储多余的电能,热能存储单元存储多余的热量,使得电能和热能的供需关系能够在电价、天然气价或负荷波动时进行调整;另外,碳捕捉单元用于捕获和存储燃气轮机和锅炉排放的CO2,P2G单元将CO2甲烷化;在能量转换方面,P2G单元可以利用捕获的CO2将电能转换为天然气。
S2、基于设备运行特点对改进的热电联产***的各类设备进行建模,得到设备数学模型;
具体地,各设备数学模型包括风力发电机数学模型、光伏发电机数学模型、燃气轮机数学模型、余热锅炉数学模型、燃气锅炉数学模型、储能***数学模型、碳捕捉单元数学模型和P2G单元数学模型,其中:
风力发电机数学模型,其表达式如下:
其中,和vt分别表示时段t内的第nwt台风力发电机的发电量和风速,/>为第nwt台风力发电机的额定功率,nwt=1,2,…,Nwt,Nwt表示风力发电机的总数,vci、vN和vco分别表示切入风速、额定风速和切出风速。
光伏发电机数学模型,其表达式如下:
其中,表示第n台光伏发电机在周期t内的输出发电量,npv=1,2,…,Npv,Npv表示光伏发电机的总数,ηpv表示光伏发电机的效率,/>是辐照度条件G0=1000下第n台光伏发电机的额定功率,Gt是光伏发电机倾斜平面上的入射辐照度,Tstc和Tt是周期t内的参考温度和环境温度,α为温度系数。
燃气轮机数学模型,其表达式如下:
其中,分别表示周期t内燃气轮机的输出电功率、输出热功率和天然气消耗重量;ngt=1,2,…,Ngt,Ngt表示燃气轮机的总数;ηgt、/>δLHV分别表示燃气轮机的发电效率、散热效率和天然气的热值。
余热锅炉数学模型,其表达式如下:
其中,表示第nwbb个余热锅炉在时间t内的输出热功率;nwhb=1,2,…,Nwhb,Nwhb表示余热锅炉的总数;ηwhb和COPb分别是余热锅炉的传热效率和加热系数,/>表示周期t内燃气轮机的输出热功率。
燃气锅炉数学模型,其表达式如下:
其中,和/>表示周期t内燃气锅炉天然气的输出热功率和天然气消耗重量;ngb=1,2,…,Ngb,Ngb表示燃气锅炉总数;ηgb是燃气锅炉的传热效率,δLHV表示天然气的热值,/>表示天然气总供应量,/>表示周期t内燃气轮机的然气消耗重量,/>表示为周期t内天然气消耗量占总供气量的比例系数。
储能***数学模型由电能存储和热能存储两部分组成,其公式表示如下:
其中,和/>表示第nes个电能存储单元的电力存储量和第nhs个热能存储单元的热量存储量;nes=1,2,…,Nes,nhs=1,2,…,NhS;Ness和Nhss表示电能存储单元和热能存储单元的总数;ζes和ζhs表示电能存储单元和热能存储单元的自然损耗率;/>和/>表示周期t内第nes个电能存储单元的充电功率和放电功率;/>和/>表示周期t内第nhs个热能存储单元的充电热功率和放电热功率;ηc,es、ηd,es、ηc,hs、ηd,hs分别表示电能存储单元的充电效率、电能存储单元放电效率、热能存储单元的热充电效率和热能存储单元热放电效率。
碳捕捉单元数学模型,其表达式如下:
其中,Pcc,b和/>分别表示时段t内碳捕获单元的总能耗、基本能耗和运行能耗;εe,cc、ηcc分别表示通过捕获单位量的CO2而消耗的电功率和碳捕获效率;/>和/>分别表示排放的总重量和CO2重量上限;/>和/>分别表示燃气轮机和燃气锅炉的单位碳排放强度系数。
P2G单元数学模型,其表达式如下:
其中,表示在时段t内被捕获的CO2重量,/>表示被封存的部分CO2重量,表示被提供给P2G装置的部分CO2重量;/>表示/>在/>中所占的比例;和/>分别表示由P2G装置产生的天然气重量和P2G装置消耗的电能;ηp2g和εe,p2g分别表示将单位数量的CO2转化为天然气时的转换效率和消耗的电能;λp2g为调整参数,用于消除/>和/>之间的量纲差异。
S3、根据设备数学模型构建约束条件;
具体地,约束条件包括功率平衡约束、分布式发电约束、设备运行约束、储能***约束和其他约束,其中:
功率均衡约束,其表达式如下:
其中,表示第t时段虚拟电厂与公用电网之间的互联功率,/>表示时段t内的第nwt台风力涡轮机的发电量,/>表示周期t内第n台光伏发电机的输出发电量,/>表示周期t内第n台燃气轮机的输出电功率,/>表示周期t内第nes个电能存储单元的放电功率,/>表示能耗侧电负荷功率之和,/>表示周期t内第nes个电能存储单元的放电功率,/>表P2G装置消耗的电能,/>时段t内碳捕获单元的总能耗,/>表示在时间t内第nwbb个余热锅炉的输出热功率,/>表示周期t内天然气的输出热功率,/>表示能耗侧热负荷功率之和,/>周期t内第nhs个热能存储单元的充电热功率。
分布式发电约束,其表达式如下:
其中,和/>分别表示第ndg台发电机到时间t的连续启动时间和连续停机时间,/>表示第ndg台发电机在时段t内的状态,/>和/>分别表示第ndg台发电机的最小允许启动时间、最小允许停机时间、最大发电量爬坡和最大发电量,dg∈[wt,pv]表示dg类型标识符。
设备运行约束,其表达式如下:
其中,u∈[gt,whb,gb,cc,p2g]表示设备类型标识符,表示第nu台设备在时段t内的状态,/>分别为第nu台设备的最小允许启动时间、最大允许停机时间、最大爬坡功率和最大功率。
储能***约束,其表达式如下:
其中,分别表示第nes个电能存储单元的最小电量存储、最大电量存储、电量存储量、最大充电功率、充放电功率、最大放电功率; 分别为第nhs个热能存储单元的最小蓄热功率、最大蓄热功率、蓄热功率、最大充热功率、充放热功率和最大放热功率。
其他约束,其表达式如下:
其中,和/>分别表示市电互连功率的最小值和最大值;/>表示线路y在t周期内的容量,/>表示线路y的最大容量;/>表示h母线在t周期内的电压;/>和/>分别表示母线电压的最小限值和最大限值,/>表示为周期t内天然气消耗量占总供气量的比例系数,/>表示被封存的部分CO2重量在捕获的CO2重量中所占的比例。
S4、基于约束条件对改进的热电联产***进行马尔可夫决策过程设计,得到多目标优化函数;
具体地,改进的热电联产***的低碳经济调度问题是在满足热、电负荷等约束条件的基础上,确定日总利润最大化和日内碳排放最小化。因此,最优调度问题在数学上可以理解为在一系列约束条件下,求取在可行域内的最优解,从而使一个或多个目标函数最大化的顺序决策问题。将低碳经济调度问题进行马尔可夫决策过程设计,可以提高序列决策问题的简单性和计算效率。
马尔可夫决策过程通常被定义为元组(A,S,P,R),其中S是称为状态空间的状态数组;A是称为动作空间的动作数组;P:S×A×S→[0,1]为转移概率分布;R:S×A→R是奖励函数。马尔可夫决策过程的主要思想是智能体在多个时间步上与环境交互,以改善最佳游戏策略。
本发明具体实施例提出的改进的热电联产***处于仿真环境,通过智能体对***的功率输出进行调整,制定最优的调度策略。在每一个时间步t中,根据观察到改进的热电联产***环境中的当前状态st∈S,智能体根据其策略从动作空间A中生成一个调度动作at∈A。智能体的策略是从状态st到动作at的映射。在执行所选动作之后,智能体传输调度动作以调整改进的热电联产***中每个单元的功率输出。然后,智能体从改进的热电联产***环境接收下一状态st′,并返回当前奖励值rt。重复上述过程,直到满足环境设置的条件。智能体人的目标是最大化利润和最小化碳排放量。
对改进的热电联产***进行马尔可夫决策过程设计的基本定义如下:
在运行过程中,状态观测值st是指智能体在选择行动之前观察到的值。时间步t的环境状态st包括燃气轮机、燃气锅炉、余热锅炉、热能存储单元、碳捕捉单元和P2G单元的输出。因此,对于改进的热电联产******,时间步t的当前状态描述为:
其中,st∈S,S是满足约束条件的所有可观察状态的集合。
改进的热电联产***环境状态通过智能体在每个步骤t的动作来控制。低碳经济调度的目的是优化确定电能存储单元的输出功率、碳捕捉单元的CO2捕获率和用于甲烷化的CO2捕获率。因此调度决策变量(动作)可以用时间步t的当前动作来表示,包含电能存储单元充放电功率比例系数/>和/>
其中,at∈A,A是满足约束条件的所有允许的调度动作的集合。
根据公式1-9描述的各设备数学模型,由当前信息at和st决定到下一个状态st′的转移概率P(st′|st,at)。
多目标优化函数主要由虚拟电厂的运行成本和惩罚成本组成,运营成本包括电力交易和碳排放交易获得的利润、燃料和设备运行维护的成本;惩罚成本包括污染气体排放成本、削减WT和削减PV的成本以及超过约束的成本,其表达式如下:
R=CI-CII+CB (17)
其中,R表示多目标优化函数,CI、CII和CB分别表示虚拟电厂的运行成本、惩罚成本和确保R始终为正的固定参数,和/>分别表示在时段t内的电售价、电购价、碳排放售价和天然气价格,/>和/>分别表示碳排放配额和总碳排放量,u∈[gt,whb,gb,cc,p2g]表示设备类型标识符,/>表示第nu种设备的消耗电力,Nu表示第u种设备的总数量,ωu表示第nu种设备的运维成本单位费用,/>表示天然气总供应量,ρ表示由基线法确定的区域碳排放系数,/>表示排放CO2的总重量,ηcc表示通过捕获单位量的CO2而消耗的碳捕获效率,/>表示治理燃气轮机和燃气锅炉产生的单位数量CO2的惩罚成本,/>表示燃气轮机的单位碳排放强度系数,/>表示时间t内燃气轮机的输出电功率,/>表示时间t内燃气轮机的输出热功率,ψwt和ψpv表示风电功率限制和光伏功率限制的惩罚系数,/>和/>表示时段t内风力发电机和光伏发电机预测的输出功率,/>表示超出约束的惩罚系数,/>表示动作aχ的最大约束值;χ表示消除超出约束成本的量纲差异的调整参数,/>和/>表示时段t内风力发电机和光伏发电机的输出功率。
S5、使用改进的基于TD3的调度算法对改进的热电联产***进行交互训练,得到最优低碳经济调度策略。
TD3是一种基于Actor-Critic框架的DRL算法,DRL算法的目标是探索TD3智能体的最优行动调度策略π,以最大化预期奖励回报J(φ)=Es-p|π,a~π(R)。原始TD3智能体包括2个actor网络、4个critic网络以及一个经验回放池。改进的基于TD3的调度算法将一个独立经验回放池扩展为两个独立经验回放池,包括当前奖励经验回放池和长期经验回放池,动作策略由actor网络πφ来近似,该网络通过参数φ将改进的热电联产***环境状态映射到连续的调度动作at。critic网络和/>用于评估在状态st下采取行动at的行动价值函数Q,此外,应用目标网络πφ′、/>和/>实现“滞后”更新,能够提高神经网络的稳定性。
参照图3,改进的基于TD3的调度算法的过程描述如下:
获取改进的热电联产***运行数据,并将其存储到独立经验回放池中;
具体地,独立经验回放池包含当前奖励经验回放池B1和长期经验回放池B2,存储不同时间尺度的经验样本。以第l个存储样本为例,第t个时间步的经验样本Ωt l=(st,at,rt,st′)l存储在B1中,t=1,…,T,其中T为总时间步;在结束一个时间总步后,整个时间总步的经验样本Ωl=(rl|s,a,r,s′)l存储在B2中。
基于长期经验回放池中样本的奖励值优先概率抽取样本,得到批量样本;
具体地,计算长期经验重放缓冲池B2中的样本的奖励平均值参考值在网络的初始化之前,将B2中样本的平均奖励值/>标记为0,每次将新样本放入池中时,都会重新计算/>然后,将所有样本中的奖励值除以它们的平均奖励值以获得优先比例数组θ=[θ1,…,θl],随后将对该数组进行归一化,得到数组/>中,训练期间获取长期经验重放缓冲池B2中第l个样本的概率为/>这使得在B2中抽样获得高价值样本的概率增加。从B2中基于优先比例数组/>选择一个小批量样本来更新改进的基于TD3的调度算法的网络。
计算批量样本的奖励平均值,并基于奖励平均值进行筛选,得到优化样本;
具体地,智能体从B2中奖励值优先概率抽取出z个样本,对于第z个样本Ωt Z=(rZ|s,a,r,s′)Z,计算样本的奖励平均值并将第z个样本Ωt Z=(rZ|s,a,r,s′)Z中的每步奖励值/>与其平均值/>进行比较,当第m个时间步奖励/>小于平均值/>时m=1,…,M,M<Z,应将第m个时间步骤/>的样本标记为要优化的样本。
根据优化样本内的状态信息对样本动作进行更新,得到更新样本动作;
具体地,根据标记的优化样本Ωm Z元组中的状态信息包括和/>智能在B1中搜索在Ωk一定邻域±δ内的近似状态sk±δ,其中k=1,…,K。然后将近似状态sk±δ对应的动作ak替换为原始动作/>从而计算出新的奖励值/>如果/>则将原始动作/>更新为新动作ak。如果不是,则根据上述过程处理下一个近似状态sk+1±δ,直到k=K。按照上述方法更新出样本的更新动作。
将改进的热电联产***的当前信息输入到更新样本动作后的调度算法网络中,得到最优低碳经济调度策略。
具体地,将改进的热电联产***的环境当前状态信息输入更新动作参数后的调度算法网络中,模型将输出调度动作以达到改进的热电联产***的利润最大化和碳排放最小化的目的。
如图2所示,基于深度强化学习的热电联产***低碳调度***,包括:
改进的热电联产***模块,用于对热电联产***进行碳捕捉和碳转化;
模型构建模块,用于对改进的热电联产***各设备进行建模,得到设备数学模型;
约束模块,用于对设备数学模型进行约束,得到约束条件
马尔可夫决策设计模块,基于约束条件对改进的热电联产***进行函数设计,得到多目标优化函数;
改进的基于TD3的调度算法模块,用于对改进的热电联产***进行交互训练,得到最优低碳经济调度策略。
进一步,参照图4,所述改进的热电联产***模块,其具体包括:
风力发电模块,用于将可再生清洁风能转换成电能,为***提供电能;
光伏发电模块,用于将可再生清洁光能转换成电能,为***提供电能;
燃气轮机模块,用于为***提供电能和热能;
余热锅炉模块,用于吸收燃气轮机产生的多余热能,并优先向热负载提供热能
燃气锅炉模块,用于为***提供热能;
能量存储模块,用于存储多余的电能和热能;
碳捕捉模块,用于捕获和存储燃气轮机模块、余热锅炉模块和燃气锅炉模块排放的CO2
P2G模块,用于将碳捕捉模块捕捉的CO2转换成甲烷;
AC总线模块,用于将稳定的电压输送到电负荷中;
AC-DC转换模块,用于将电能转换成稳定的电压;
热能总线模块,用于将热能输送到热负荷中。
上述方法实施例中的内容均适用于本***实施例中,本***实施例所具体实现的功能与上述方法实施例相同,并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
以上是对本发明的较佳实施进行了具体说明,但本发明创造并不限于所述实施例,熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (8)

1.一种基于深度强化学习的热电联产***低碳调度方法,其特征在于,包括以下步骤:
将碳捕捉技术和P2G技术融入到热电联产***中,得到改进的热电联产***;
基于设备运行特点对改进的热电联产***的各类设备进行建模,得到设备数学模型;
根据设备数学模型构建约束条件;
基于约束条件对改进的热电联产***进行马尔可夫决策过程设计,得到多目标优化函数;
使用改进的基于TD3的调度算法对改进的热电联产***进行交互训练,得到最优低碳经济调度策略。
2.根据权利要求1所述基于深度强化学习的热电联产***低碳调度方法,其特征在于,所述设备数学模型包括风力涡轮机数学模型、光伏发电机数学模型、燃气轮机数学模型、余热锅炉数学模型、燃气锅炉数学模型、储能***数学模型、碳捕捉单元数学模型和P2G单元数学模型,其中:
所述碳捕捉单元数学模型,其表达式如下:
其中,Pcc,b和/>分别表示时段t内碳捕获单元的总能耗、基本能耗和运行能耗;εe,cc、ηcc分别表示通过捕获单位量的CO2而消耗的电功率和碳捕获效率;/>和/>分别表示排放的总重量和CO2重量上限;/>和/>分别表示燃气轮机和燃气锅炉的单位碳排放强度系数;
所述P2G单元数学模型,其表达式如下:
其中,表示在时段t内被捕获的CO2重量,/>表示被封存的部分CO2重量,表示被提供给P2G装置的部分CO2重量;/>表示/>在/>中所占的比例;和/>分别表示由P2G装置产生的天然气重量和P2G装置消耗的电能;ηp2g和εe,p2g分别表示将单位数量的CO2转化为天然气时的转换效率和消耗的电能;λp2g为调整参数,用于消除/>和/>之间的量纲差异。
3.根据权利要求1所述基于深度强化学习的热电联产***低碳调度方法,其特征在于,所述约束条件,其具体包括:
功率均衡约束,其表达式如下:
其中,表示第t时段虚拟电厂与公用电网之间的互联功率,/>表示时段t内的第nwt台风力涡轮机的发电量,/>表示周期t内第n台光伏发电机的输出发电量,/>表示周期t内第n台燃气轮机的输出电功率,/>表示周期t内第nes个电能存储单元的放电功率,表示能耗侧电负荷功率之和,/>表示周期t内第nes个电能存储单元的放电功率,表P2G装置消耗的电能,/>时段t内碳捕获单元的总能耗,/>表示在时间t内第nwbb个余热锅炉的输出热功率,/>表示周期t内天然气的输出热功率,
表示能耗侧热负荷功率之和,/>周期t内第nhs个热能存储单元的充电热功率;
分布式发电约束,其表达式如下:
其中,和/>分别表示第ndg台发电机到时间t的连续启动时间和连续停机时间,/>表示第ndg台发电机在时段t内的状态,/>和/>分别表示第ndg台发电机的最小允许启动时间、最小允许停机时间、最大发电量爬坡和最大发电量,dg∈[wt,pv]表示dg类型标识符;
设备运行约束,其表达式如下:
其中,u∈[gt,whb,gb,cc,p2g]表示设备类型标识符,表示第nu台设备在时段t内的状态,/>分别为第nu台设备的最小允许启动时间、最大允许停机时间、最大爬坡功率和最大功率;
储能***约束,其表达式如下:
其中,分别表示第nes个电能存储单元的最小电量存储、最大电量存储、电量存储量、最大充电功率、充放电功率、最大放电功率;/>
分别为第nhs个热能存储单元的最小蓄热功率、最大蓄热功率、蓄热功率、最大充热功率、充放热功率和最大放热功率;
其他约束,其表达式如下:
其中,和/>分别表示市电互连功率的最小值和最大值;/>表示线路y在t周期内的容量,/>表示线路y的最大容量;/>表示h母线在t周期内的电压;/>和/>分别表示母线电压的最小限值和最大限值,/>表示为周期t内天然气消耗量占总供气量的比例系数,/>表示被封存的部分CO2重量在捕获的CO2重量中所占的比例。
4.根据权利要求1所述基于深度强化学习的热电联产***低碳调度方法,其特征在于,所述多目标优化函数,其表达式如下:
R=CI-CII+CB
其中,R表示多目标优化函数,CI、CII和CB分别表示虚拟电厂的运行成本、惩罚成本和确保R始终为正的固定参数,和/>分别表示在时段t内的电售价、电购价、碳排放售价和天然气价格,/>和/>分别表示碳排放配额和总碳排放量,u∈[gt,whb,gb,cc,p2g]表示设备类型标识符,/>表示第nu种设备的消耗电力,Nu表示第u种设备的总数量,ωu表示第nu种设备的运维成本单位费用,/>表示天然气总供应量,ρ表示由基线法确定的区域碳排放系数,/>表示排放CO2的总重量,ηcc表示通过捕获单位量的CO2而消耗的碳捕获效率,/>表示治理燃气轮机和燃气锅炉产生的单位数量CO2的惩罚成本,/>表示燃气轮机的单位碳排放强度系数,/>表示时间t内燃气轮机的输出电功率,表示时间t内燃气轮机的输出热功率,ψwt和ψpv表示风电功率限制和光伏功率限制的惩罚系数,/>和/>表示时段t内风力发电机和光伏发电机预测的输出功率,/>表示超出约束的惩罚系数,/>表示动作aχ的最大约束值;χ表示消除超出约束成本的量纲差异的调整参数,/>和/>表示时段t内风力发电机和光伏发电机的输出功率。
5.根据权利要求1所述基于深度强化学习的热电联产***低碳调度方法,其特征在于,所述基于TD3的调度算法具体为在TD3算法的基础上将一个独立经验回放池扩展为两个独立经验回放池,包括当前奖励经验回放池和长期经验回放池。
6.根据权利要求1所述基于深度强化学习的热电联产***低碳调度方法,其特征在于,所述使用改进的基于TD3的调度算法对改进的热电联产***进行交互训练,得到最优低碳经济调度策略这一步骤,其具体包括:
获取改进的热电联产***运行数据,并将其存储到独立经验回放池中;
基于长期经验回放池中样本的奖励值优先概率抽取样本,得到批量样本;
计算批量样本的奖励平均值,并基于奖励平均值进行筛选,得到优化样本;
根据优化样本内的状态信息对样本动作进行更新,得到更新样本动作;
将改进的热电联产***的当前信息输入到更新样本动作后的调度算法网络中,得到最优低碳经济调度策略。
7.一种基于深度强化学习的热电联产***低碳调度***,其特征在于,包括:
改进的热电联产***模块,用于对热电联产***进行碳捕捉和碳转化;
模型构建模块,用于对改进的热电联产***各设备进行建模,得到设备数学模型;约束模块,用于对设备数学模型进行约束,得到约束条件
马尔可夫决策设计模块,基于约束条件对改进的热电联产***进行函数设计,得到多目标优化函数;
改进的基于TD3的调度算法模块,用于对改进的热电联产***进行交互训练,得到最优低碳经济调度策略。
8.根据权利要求7所述基于深度强化学习的热电联产***低碳调度***,其特征在于,所述改进的热电联产***模块,其具体包括:
风力发电模块,用于将可再生清洁风能转换成电能,为***提供电能;
光伏发电模块,用于将可再生清洁光能转换成电能,为***提供电能;
燃气轮机模块,用于为***提供电能和热能;
余热锅炉模块,用于吸收燃气轮机产生的多余热能,并优先向热负载提供热能
燃气锅炉模块,用于为***提供热能;
能量存储模块,用于存储多余的电能和热能;
碳捕捉模块,用于捕获和存储燃气轮机模块、余热锅炉模块和燃气锅炉模块排放的CO2
P2G模块,用于将碳捕捉模块捕捉的CO2转换成甲烷;AC总线模块,用于将稳定的电压输送到电负荷中;
AC-DC转换模块,用于将电能转换成稳定的电压;
热能总线模块,用于将热能输送到热负荷中。
CN202310854951.4A 2023-07-13 2023-07-13 基于深度强化学习的热电联产***低碳调度方法及*** Pending CN116914732A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310854951.4A CN116914732A (zh) 2023-07-13 2023-07-13 基于深度强化学习的热电联产***低碳调度方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310854951.4A CN116914732A (zh) 2023-07-13 2023-07-13 基于深度强化学习的热电联产***低碳调度方法及***

Publications (1)

Publication Number Publication Date
CN116914732A true CN116914732A (zh) 2023-10-20

Family

ID=88354264

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310854951.4A Pending CN116914732A (zh) 2023-07-13 2023-07-13 基于深度强化学习的热电联产***低碳调度方法及***

Country Status (1)

Country Link
CN (1) CN116914732A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117541030A (zh) * 2024-01-09 2024-02-09 中建科工集团有限公司 虚拟电厂优化运行方法、装置、设备及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117541030A (zh) * 2024-01-09 2024-02-09 中建科工集团有限公司 虚拟电厂优化运行方法、装置、设备及介质
CN117541030B (zh) * 2024-01-09 2024-04-26 中建科工集团有限公司 虚拟电厂优化运行方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN105591406B (zh) 一种基于非合作博弈的微电网能量管理***的优化算法
Ju et al. A two-stage optimal coordinated scheduling strategy for micro energy grid integrating intermittent renewable energy sources considering multi-energy flexible conversion
CN111738497B (zh) 计及需求侧响应的虚拟电厂双层优化调度方法
Zhou et al. Distributed economic and environmental dispatch in two kinds of CCHP microgrid clusters
CN105071389B (zh) 计及源网荷互动的交直流混合微电网优化运行方法及装置
CN108009693A (zh) 基于两级需求响应的并网微电网双层优化方法
CN111210079B (zh) 一种分布式能源虚拟电厂运行优化方法及***
Li et al. A hybrid dynamic economic environmental dispatch model for balancing operating costs and pollutant emissions in renewable energy: A novel improved mayfly algorithm
CN114977180A (zh) 一种基于负荷侧灵活性资源的微电网低碳优化调度方法
CN115759610A (zh) 一种电力***源网荷储协同的多目标规划方法及其应用
Wu et al. Dynamic pricing and energy management of hydrogen-based integrated energy service provider considering integrated demand response with a bi-level approach
CN116050637A (zh) 基于分时电价的综合能源虚拟电厂优化调度方法及***
CN116914732A (zh) 基于深度强化学习的热电联产***低碳调度方法及***
CN112541612B (zh) 一种基于多网耦合的虚拟电厂经济优化调度方法
Ju et al. Three‐level energy flexible management strategy for micro energy grids considering multiple uncertainties at different time scales
Wang et al. Research on short‐term and mid‐long term optimal dispatch of multi‐energy complementary power generation system
CN117559526A (zh) 一种基于光储充一体化充电站的拟路由器能量调控方法
CN115936336B (zh) 一种虚拟电厂容量配置与调控运行优化方法
CN116742723A (zh) 一种考虑碳排放量的多海岛微电网***双层优化调度方法
CN116611575A (zh) 基于双层决策博弈的多vpp共享储能容量优化配置方法
Han et al. Analysis of economic operation model for virtual power plants considering the uncertainties of renewable energy power generation
CN112561120B (zh) 一种基于微电网参考日前市场出清***优化运行方法
Zhou et al. Dynamic pricing of integrated energy service providers based on master-slave game
Li et al. Energy system and scheduling strategies of electric–gas networks deeply coupled under dual electricity prices
Zhu et al. Isolated Microgrid Capacity Configuration Considering Economic Risk of Customer Interruption

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination