CN117859132A - 用于配电***的鲁棒操作的多资产配置与大小确定 - Google Patents

用于配电***的鲁棒操作的多资产配置与大小确定 Download PDF

Info

Publication number
CN117859132A
CN117859132A CN202180101795.3A CN202180101795A CN117859132A CN 117859132 A CN117859132 A CN 117859132A CN 202180101795 A CN202180101795 A CN 202180101795A CN 117859132 A CN117859132 A CN 117859132A
Authority
CN
China
Prior art keywords
configuration
distribution network
power distribution
assets
power
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180101795.3A
Other languages
English (en)
Inventor
王语博
乌尔里赫·明茨
苏阿特·古穆索伊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of CN117859132A publication Critical patent/CN117859132A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H02GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02JCIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00Circuit arrangements for ac mains or ac distribution networks
    • H02J3/38Arrangements for parallely feeding a single network by two or more generators, converters or transformers
    • H02J3/381Dispersed generators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/092Reinforcement learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06Energy or water supply
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2113/00Details relating to the application field
    • G06F2113/04Power grid distribution networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/10Geometric CAD
    • G06F30/18Network design, e.g. design based on topological or interconnect aspects of utility systems, piping, heating ventilation air conditioning [HVAC] or cabling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/30Circuit design
    • G06F30/39Circuit design at the physical level
    • G06F30/392Floor-planning or layout, e.g. partitioning or placement
    • HELECTRICITY
    • H02GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02JCIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2203/00Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
    • H02J2203/10Power transmission or distribution systems management focussing at grid-level, e.g. load flow analysis, node profile computation, meshed network optimisation, active network management or spinning reserve management
    • HELECTRICITY
    • H02GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02JCIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2203/00Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
    • H02J2203/20Simulating, e g planning, reliability check, modelling or computer assisted design [CAD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • Primary Health Care (AREA)
  • Power Engineering (AREA)
  • Supply And Distribution Of Alternating Current (AREA)

Abstract

一种用于向配电网络添加资产的方法,包括使用配置发电引擎来生成要被添加到受资产安装约束影响的配电网络的资产的离散配置。每个配置通过将来自不同大小的多个资产到由配电网络的节点或分支限定的配置位置的资产映射来限定。每个配置用于更新配电网络的操作电路模型,用于调谐配电网络的一个或多个控制器的控制参数,以便在负载和/或发电场景的范围内进行鲁棒操作。基于模拟操作评估每个配置的成本函数。基于经评估的成本函数迭代地调整配置发电引擎的参数,以达到要添加到配电网络的资产的最优配置和大小确定。

Description

用于配电***的鲁棒操作的多资产配置与大小确定
技术领域
本公开总体上涉及电力分配***的上下文,并且具体地涉及一种用于在配电网络中配置资产和确定资产(例如分布式能源资源)的大小的技术,该技术确保了该配电网络(distribution network)的鲁棒操作。
背景技术
分布式能源资源(DER)是在配电网上部署的物理和虚拟资产,通常接近于负载,其可以单独使用或集合使用以向电网、单个客户或两者提供价值。DER的示例包括诸如光伏(PV)面板的可再生发电源,诸如电池、电动车辆(EV)充电器等的能量存储***。分布式发电和存储可以使得能够从许多源收集能量并且可以降低环境影响。
电力公用事业公司通常负责确保其服务的平稳操作,特别是在配电侧。为了实现该目标,可以在智能电网内管理和控制现有资产(例如,DER、电压调节器、无功功率补偿器等)。随着时间的推移,电网中的负载和可再生功率波动通常例如由于连接到电网的家用PV面板的高穿透性而增加。结果,公用事业公司可能必须定期投资附加资产,例如,以满足负载要求和/或改进电压调节,以克服由于增加可再生发电源而引起的过电压问题。对于公用事业公司来说,配电网络中资产的配置和大小确定是关键任务,随着未来分配***中可再生发电源和EV充电器的大量增加,更是如此。DER和其他资产的不当配置和大小确定可能导致更大的投资、次优电压曲线、更多的循环无功功率等。
长期以来一直在研究配电网络中单个资产的最优大小和配置。随着DER的日益渗透,存在对可缩放方法的需要,具体地,如果期望在配电网络中连续配置多个资产。
发明内容
简而言之,本公开的各方面提供了一种用于在配电网络中配置和确定多个资产的大小的技术,该技术确保配电网络的鲁棒操作,解决至少一些上述技术问题。
本公开的第一方面提供了用于向配电网络添加资产的计算机实现的方法。配电网络包括多个现有电网资产和一个或多个用于控制配电网络的操作的控制器。该方法包括由配置发电引擎生成要添加到受到一个或多个资产安装约束影响的配电网络的资产的离散配置。每个配置由从不同大小的多个可用资产中到由配电网络的节点或分支限定的配置位置的资产的映射来限定。该方法还包括使用每个配置来更新包括功率流优化引擎和模拟引擎的配电网络的操作电路模型。该方法包括:使用功率流优化引擎来调谐一个或多个控制器的配电网络控制参数中的一个或多个控制器的控制参数,以用于分布式网络在负载和/或发电场景的范围内的鲁棒操作;以及使用模拟引擎来模拟配电网络在一段时间上所调谐的控制参数的操作,以评估用于该配置的成本函数。该方法还包括基于所生成的配置的所述经评估的成本函数来迭代地调整配置发电引擎的参数,以达到要添加到配电网络的资产的最优配置和大小确定。
本公开的另一方面提供了一种用于通过基于由上述方法确定的资产的最优配置和大小确定,在配电网络中配置附加资产,来使配电网络适应负载和/或产生的功率波动的长期增加的方法。
本公开的其他方面在计算***和计算机程序产品中实现上述方法的特征。
通过本公开的技术可以实现附加技术特征和益处。本公开的实施方式和方面在本文中详细描述并且被认为是所要求保护的主题的一部分。为了更好地理解,参考详细描述和附图。
附图说明
当结合附图阅读时,从以下详细描述最优地理解本公开的前述和其他方面。为了容易地识别对任何元素或动作的讨论,参考标号中的最高有效数位或多个数位是指该元素或动作首先被引入其中的图号。
图1是示出根据本公开的各方面可以实现多个附加资产的最优配置和大小确定的配电网络的示例的示意图。
图2是根据本公开的一方面的支持配电网络中的多个资产的最优配置和大小确定的***的示意性框图。
图3示出根据本公开的示例实施方式的逻辑的示例,***可以实现该逻辑以支持使用强化学习代理对按顺序添加到配电网络的多个资产的最优配置和大小确定。
图4示出根据本公开的各方面的支持配电网络中的多个资产的最优配置和大小确定的计算***的示例。
具体实施方式
现在将参考附图描述与***和方法相关的各种技术,其中相同的附图标记始终表示相同的元件。以下讨论的附图和用于描述本专利文件中的本公开的原理的各种实施方式仅作为说明,而不应当以任何方式解释为限制本公开的范围。本领域技术人员将理解,本公开的原理可以在任何适当布置的装置中实现。应当理解,被描述为由某些***元件执行的功能可以由多个元件执行。类似地,例如,元件可以被配置为执行被描述为由多个元件执行的功能。将参考示例性的非限制性实施方式来描述本申请的许多创新教导。
公用事业经常发现需要投资额外的电网资产以应付不断增加的负荷和由部署在配电网络中的可再生分布式能源资源(DER)的高度渗透引起的发电波动。可再生DER(例如光伏(PV)面板)的越来越多的渗透可将净负载分布的缓慢趋势转变为快速动态趋势,这带来对操作的挑战,包括电压调节问题和高循环无功功率。这可能需要在配电网络中部署诸如电压调节器、无功功率补偿器和诸如电池的能量存储***的附加资产。已经发现,具体地,能量存储电池特别适合于实现灵活的有功功率控制和解决源于引入PV面板的过电压问题。
资产的增加可以包括解决受新资产和其它资产安装约束影响的总允许投资约束的优化问题。与资产相关联的成本可以与资产的“大小”直接相关。例如,诸如电池的能量存储设备的大小可以根据其能量存储容量(例如,以kWh为单位)或功率(例如,kW单位)或两者的组合来限定。诸如PV面板的发电源的大小通常根据其有功发电容量(例如,kW单位)来限定。对于给定大小的资产,资产在配电网络中的配置影响配电网络的不同节点如何彼此交互。配置,结合大小,从而构成可以优化以解决上述技术问题的技术特征。
资产的最优配置和大小确定已经被长期研究,其中典型的方法是将大小和配置公式化为优化变量,并使用求解器求解优化问题。该方法的一个实例描述于出版物中:Nazaripouya,H.,Wang,Y.,Chu,P.,Pota,H.R.和Gadh,R.,于2015年7月的Optimal sizingand placement of battery energy storage in distribution system based on solarsize for voltage regulation(基于太阳能调节的太阳能大小的配电***中电池能量存储的最优大小和配置),在2015年IEEE(电气与电子工程师协会)电力与能源协会大会(第1至5页),IEEE。
现有技术的解决方案,例如在上述出版物中,集中于一次调整一个资产的大小和配置一个资产,而在不同资产之间没有关系。此外,这种解决方案没有考虑动态效应,例如负载的不可预测变化、进给功率波动和故障。
本公开的各方面提供了一种用于支持公用事业的技术解决方案,所述公用事业对要添加到配电网络的多个资产的数量、大小和配置进行优化,服从潜在的约束,以提供针对操作中的不确定性范围的配电网络的鲁棒操作。
现在转向附图,图1示出了配电网络100的示例,其中可以根据本文所公开的方法来实现多个附加资产的最优配置和大小确定。所示的配电网络100包括节点或总线102a、102b、102c、102d、102e,这些节点或总线102a、102b、102c、102d、102e由辐射树拓扑中的分支或配电线路104a、104b、104c、104d连接。所示的配电网络的拓扑是说明性的和简化的。所公开的方法不限于任何特定类型的网络拓扑,并且可以应用于包括若干节点和分支的大型配电网络。除了诸如发电厂的常规发电机(G)之外,配电网络100可以具有可以包括诸如风电场(WP)、光伏发电场(PVP)等的多个DER的现有电网资产。如图所示,一些节点可以具有连接到它们的负载(L)和/或发电机(G)和/或DER,而其它节点可以不具有功耗或注入(零注入节点)。配电网络100包括至少一个但通常几个控制器,例如电压调节器、转换器和发电机(G)的本地控制器。配电网络100还可以包括与一个或多个控制器通信的集中式电网控制***(GCS)106,其可以调谐这些控制器的控制参数以提供配电网络100的优化操作(例如,保持电压、无功功率、线路损耗等的容差),以抵抗负载和发电(例如,来自诸如WP和PVP的可再生DER)的波动。
为了使配电网络100适应负载和/或产生的功率波动的长期增加,可以根据所公开的方法,基于资产的最优配置和大小确定,在配电网络100中配置附加资产。在说明性示例中,示出了三种不同大小的两种类型的资产,即PV面板108a、108b、108c和能量存储电池108d、108e和108f。在各种实施方式中,所公开的方法可被实现用于可被添加到配电网络100的更少或更多类型的资产。除了PV面板和电池之外,可以添加的其他类型的资产包括电动车辆(EV)充电器、电压调节器、无功功率补偿器等。此外,可用于每种类型的资产的离散大小的数量可以变化。
所公开的方法要解决的问题是确定可以添加到配电网络的资产的最优大小、配置和数量,其在满足一个或多个资产安装约束的同时实现期望的技术结果。在这种情况下的技术结果可以是针对不可预测的变化,例如负载变化、EV充电器变化、PV进给变化或故障,例如在暴风雪、野火或飓风期间,最大化对配电网络的鲁棒控制。资产安装约束可以包括以下一种或多种:对额外资产的最大总投资、最大允许资产数等。对于要添加的每个资产,可能的配置位置可以由配电网络的节点限定。在一些实施方式中,例如,当要添加线路电压调节器时,可能的配置位置可以包括配电网络的分支。给定位置(节点或分支)可用于配置多个附加资产。此外,可以将相同的资产(相同类型和大小)配置在多个配置位置。在大的配电网络中,如本领域公知的,通过应用拓扑嵌入,可以将待经评估的配置位置的总数减少到紧凑表示。
图2示出了根据本公开的一方面的支持配电网络中的多个资产的最优配置和大小确定的***200。***200包括配置发电引擎202,其与功率流优化引擎206和模拟引擎208交互,所述功率流优化引擎206和模拟引擎208是配电网络(例如图1中所示的配电网络100)的操作电路模型204的一部分,以解决上述问题。包括其组件的引擎202、206和208可以由计算***以各种方式(例如,作为硬件和编程)来实现。用于引擎202、206和208的程序采用存储在非瞬态机器可读存储介质上的处理器可执行指令的形式,并且引擎202、206和208的硬件可以包括执行这些指令的处理器。下面参照图4描述用于实现引擎202、206和208的计算***的示例。
仍然参考图2,配置发电引擎202用于生成要添加到受一个或多个资产安装约束影响的配电网络的资产的离散配置。一个或多个资产安装约束限定了要添加的资产之间的关系,诸如对要添加的资产的最大总投资、和/或可以添加的资产的最大数量,这约束了配置生成。每个配置由从不同大小的多个可用资产中到配置位置的资产的映射来限定。在配置DER(例如,图1中所示的资产108a至108f)的问题中,所述配置位置由所述配电网络的节点限定。对于某些类型的资产(例如电压调节器),配置位置可以由配电网络的分支来限定。根据要配置的可用资产的集合,配置位置可以包括配电网络的节点和/或分支。配置发电引擎202使用学习参数生成离散配置(P1、P2,…),该学习参数可以基于每个配置的相应值(V1、V2,…)进行调整,使得这些参数最终学习输出最优解。配置发电引擎202可以包括任何合适的整数优化引擎,诸如增强学习(RL)代理,诸如遗传算法的进化学习算法,诸如爬山算法的无梯度优化算法等。
由配置发电引擎202生成的每个配置(P1、P2,…)被馈送到操作电路模型204,该操作电路模型204由按照该配置添加的资产来更新。然后,操作电路模型204用于产生该配置的相应值(V1、V2,…)。操作电路模型204可以包括例如由公用事业公司使用的用于与配电网络100有关的操作规划的电力***模型。这样,操作电路模型204可以包括配电网络100的数字孪生。在操作电路模型204内,功率流优化引擎206可以被部署在模拟环境中,以调谐配电网络的一个或多个控制器(例如,电压调节器、本地资产控制器等)的控制参数,用于在负载和发电场景的范围上的鲁棒操作,考虑到按照每个配置添加的资产。模拟引擎208在限定的时间段(例如,模拟时间尺度中的2个月至6个月)上模拟具有添加的资产和调谐的控制参数的配电网的操作,以评估每个配置的成本函数。基于功率流优化引擎206和模拟引擎208之间的动态交互,在模拟周期上评估成本函数。所述经评估的成本函数被用于为每个配置(P1、P2,…)获得相应的值(V1、V2,…)。因此,根据所公开的方法,操作电路模型204用于针对由配置发电引擎202生成的固定配置场景来优化(调谐)对配电网络的控制。
功率流优化引擎206可以将包括由当前配置添加的现有资产和新资产、一个或多个控制器的控制参数、不确定性和电网约束的电网部件的功率***模型集成到鲁棒优化问题中以优化(例如,最小化)预限定成本函数,从而调谐控制参数,使得对于所有可允许的发电和负载变化都满足稳态限制。可以假设不确定性位于已知的范数有界集合内。例如,不确定性可以由未来给定地平线上的配电网络生产中的负载和/或进给有功功率(例如,来自可再生DER)的容许间隔(例如,模拟时标中的15分钟至60分钟)来限定。要满足的电网约束可以包括例如电力线、转换器和发电机有功功率的容许间隔、AC电网频率、DC总线中的电压等。可以由功率流优化引擎206调谐的控制参数可以包括例如电压调节器的参考电压设定点、转换器和常规发电机(例如发电厂)的有功功率设定点和下降增益等。
成本函数可以是以下电路参数中的一个或多个的函数,即:配电网络100中的总无功功率、配电网络100中的功率损耗,以及配电网络100中的电压违规情况。成本函数可以被公式化为一个或多个上述电路参数的线性、二次或多项式函数。在一些实施方式中,成本函数可以被公式化为上述电路参数的加权函数。
在出版物中描述了一种用于基于预限定成本函数的优化的电网鲁棒控制的方法:A.Mesanovic,U.Munz和C.Ebenbauer,“Robust Optimal Power Flow for Mixed AC/DCTransmission Systems With Volatile Renewables(具有挥发性可再生能源的混合AC/DC输电***的鲁棒最优功率流)”,载于IEEE电力***汇刊,第33卷,第5期,第5171-5182页,2018年9月,doi:10.1109/TPWRS.2018.2804358.
在美国专利第10,416,620号和美国专利第10,944,265号中描述了其他方法。
根据特定的应用,当前公开的方法可以使用或调整任何上述方法或使用任何其它方法来解决鲁棒优化问题,以针对由配置发电引擎202生成的每个配置(P1、P2,…)来调谐配电网络的一个或多个控制器。然后,所公开的方法包括在模拟操作的周期上对成本函数进行评估,以得到每个生成的配置的值(V1、V2,…)。
可以通过将功率流离散化成模拟操作周期(例如,模拟时间尺度中的两个月)内的较小间隔(例如,模拟时间尺度中的一个小时)以及采样电路功能参数(诸如总无功功率、电力线中的总损耗以及配电网络中的电压违规情况)来评估成本函数。可以使用模拟周期的持续时间的成本函数的累积值或平均值来获得每个配置(P1、P2,…)的值(V1、V2,…)。例如,配置的值可以利用在模拟周期上成本函数的累积或平均值的负数,使得较低的成本意味着配置的较高值。
各个配置(P1、P2,…)的对应值(V1、V2,…)被反馈到配置发电引擎202。基于所生成的配置(P1、P2,…)的值(V1、V2,…)迭代地调整配置发电引擎202的参数,以获得要添加到配电网络100的资产的最优配置和大小确定。
在一些实施方式中,例如利用RL代理,可以通过一次顺序地配置一个资产来配置多个资产。在这种情况下,每个配置(P1、P2,...)由配置发电引擎202生成的是由对单个资产到单个配置位置进行的映射来限定的。下面参考图3说明该方法,到达要添加到配电网络的资产的最优顺序、配置位置和大小。该方法特别适合于支持将资产添加到配电网络的实用程序,即以分阶段的方式,允许附加资产以连续配置之间的操作间隔(例如,几个月)顺序地配置在配电网络中。在其它实施方式中,例如利用遗传算法,可以同时配置多个资产。在这种情况下,由配置发电引擎202生成的每个配置(P1、P2,…)可以由多个资产到一个或多个配置位置的映射来限定。
在所公开的方法的示例性实施方式中,配置发电引擎202包括RL代理,其可用于经由顺序决策过程来解决最优配置和大小确定问题。RL代理可以由两个主要组件限定,即策略和学习引擎。RL问题可被公式化为马尔可夫决策过程(MDP),其依赖于下一状态仅取决于当前状态且有条件地取决于过去的马尔可夫假设。
策略可以包括任何函数,例如表、数学函数或神经网络,其在每个步骤处采用状态作为输入并输出动作。作为输入接收的状态可以包括具有资产的配电网络的当前拓扑的快照(例如,图形嵌入),所述资产可能已经按照在当前试验事件内的任何先前配置而被添加。该动作可以包括不多于单个资产的配置(例如,“无配置”是可能动作之一)。动作空间由不同类型和大小的可用资产的数量和诸如节点和/或分支的配置位置的数量来限定。给定位置(节点或分支)可用于配置多个附加资产。此外,可以将相同的资产(相同类型和大小)配置在多个配置位置。例如,在图1中所示的说明性实例中,有6个DER资产可以配置在5个节点中,由此动作空间可以包括最多30个可能的配置。此外,在一个实现中,“无配置”动作可被包括在动作空间中,例如,通过限定要添加的资产的附加大小“零”,使得配置“零”大小的资产有效地等于无配置动作。如上所述,可以通过应用拓扑嵌入来减少要经评估的配置位置的总数,这可以有效地减少大网络的动作空间。
RL代理通过执行配置单个资产(P1、P2,…P3)的动作来操作,其可以包括“无配置”动作,收集由使用操作电路模型204获得的该配置的值(V1、V2,…)限定的奖励,并使用学习引擎来调整策略函数的策略参数。调整策略参数,使得在一个事件上的累积奖励在受到一个或多个资产安装约束影响的情况下最大化,其中事件包括预定数量的步骤。收敛可以在RL代理执行预定数量的事件之后实现。事件的数量和每个事件的步骤数量可以被限定为学习引擎的超参数。
在特别合适的实现中,RL代理的策略可以包括神经网络。神经网络可以包括足够大量的神经元节点的隐藏层和每层神经元节点的数量,以近似涉及大的状态和动作空间的输入-输出关系。这里,策略参数可以由各个神经元节点的权重来限定。神经网络的体系结构,例如节点的数量和层以及它们的连接,可以是基于特定应用的设计选择的问题,例如,以实现期望水平的函数近似,同时不招致高计算成本。
学习引擎可以包括例如使用策略梯度算法的基于策略的学习引擎。策略梯度算法可以与随机策略一起工作,其中输出状态的确定性动作,输出动作空间中的动作的概率分布。因此,探索的一个方面固有地建立在RL代理中。通过动作的重复执行和收集奖励,学习引擎可以通过调整策略参数(例如,神经网络的权重)来迭代地更新动作空间的概率分布。在另一示例中,学习引擎可以包括基于值的学习引擎,例如Q学习算法。这里,学习引擎可以输出具有该事件上的累积奖励的最大预期值的动作(例如,对该事件中的未来动作的奖励应用折扣)。在动作被执行并且奖励被收集之后,学习引擎可以基于它刚刚为相同动作收集的奖励来更新动作空间中该动作的值。在其他示例中,学习引擎可以实现基于策略和基于值的学习引擎的组合(例如,使用神经网络的组合来实现行为-批判方法)。
图3示出了逻辑300的示例,***可以实现该逻辑以支持顺序添加到配电网络的多个资产的最优配置和大小确定。逻辑300可以由计算***(例如,如图4所示)实现为存储在机器可读介质上的可执行指令。计算***可以经由包括RL代理的配置发电引擎202、功率流优化引擎206和模拟引擎208来实现逻辑300。
逻辑300包括重复地执行多个试验事件,其中每个事件包括预定数量的步骤,这里用超参数n表示。为了实现逻辑300,初始化事件计数器i(框302),初始化步进计数器j(框304),并将配电网络的***状态S初始化为S0(框306)。初始化的***状态S0可以表示在添加任何资产之前具有现有电网资产的配电网络的初始拓扑。RL代理包括由θ参数化的策略。在由逻辑300驱动的过程开始时,策略参数θ可以具有分配给它们的任意初始值。
继续参考图3,在每个步骤j,RL代理基于作为输入的当前***状态Sj-1,使用策略参数θ的当前值来离散地生成单个资产配置Aj(框308)。动作Aj可以从RL代理的动作空间产生,目的是最大化对事件i的累积奖励。例如,可以如上所述限定状态和动作空间。
例如,如果RL代理包括基于策略的学习引擎(例如,使用策略梯度或行为-批判方法),则在逻辑300的框308处,基于每个步骤j处的当前***状态Sj-1,该步骤处的RL代理的输出可以包括表示将每个资产分配给动作空间中的每个配置位置的概率的概率分布。可以通过采样输出概率分布或采用输出概率分布的argmax来选择配置动作Aj
另一方面,如果RL代理包括纯粹基于值的学习引擎(例如,使用Q学习方法),则在逻辑300的框308处,基于每个步骤j处的当前***状态Sj-1,该步骤处的RL代理的输出可以包括将每个资产分配给动作空间中的每个配置位置的事件i上的累积奖励的预期值。累积奖励的预期值可以通过对事件i中的未来动作的奖励应用折扣来确定。可以选择在动作空间中具有累积奖励的最大预期值的配置动作Aj
在一些情况下,在框308生成的配置动作Aj可以包括“无配置”动作,如上所述。如果资产安装约束(例如,可以安装的资产的最大总投资和/或最大数量)被违规或接近于被当前事件中的先前配置动作违规,则RL代理可以被训练以选择这样的动作。这可以由RL代理通过在配置动作导致违规一个或多个资产安装约束时在配置动作的奖励Rj中引入惩罚来获知。通过以这种方式重复地奖励动作,RL代理可以学习将“无配置”动作推送到事件的尾端,同时可以在事件的开始处执行正配置动作的连续序列。
然后,逻辑300用所生成的配置动作Aj更新***状态S(框310)。更新的***状态现在是S。
基于由配置动作Aj产生的配电网络的更新的电力***模型,例如由功率流优化引擎206执行功率流优化(框312),以调谐配电网络的一个或多个控制器的控制参数,用于配电网络的鲁棒操作。例如,通过模拟引擎208,在模拟时间尺度中,对于限定的周期,模拟具有按照配置动作Aj的增加的资产和调谐的控制参数的配电网络的操作(框314),以评估在模拟周期上的成本函数。由功率流优化引擎206执行以解决鲁棒优化问题的示例性操作步骤和由模拟引擎208执行以在模拟周期上评估成本函数的操作步骤在本说明书中描述。
所述经评估的成本函数用于限定配置动作Aj的奖励Rj。例如,Rj奖励可以包括两个分量。第一奖励分量可以包括所述经评估的成本函数,例如被限定为在模拟周期上成本函数的累积或平均值的负数,使得较低的成本意味着配置动作的较高值。第二奖励分量可以包括量化违规资产安装约束的惩罚。奖励Rj用于更新RL代理的策略参数θ(框316),然后其限定下一步骤j=j+1的策略参数的当前值。
通过顺序地执行n个步骤来执行每个事件i,此后新的事件i=i+1以初始化的***状态S0开始(框306),但是以更新的策略参数θ开始。因此,每个事件涉及连续配置最多n个不同类型和大小的资产,受满足的指定资产安装约束的影响。随着大量事件的重复执行,RL代理可以学习从要添加的可用资产中确定要配置在配电网络中的资产的最优数量、类型和大小,以及最优配置顺序。在所示的逻辑300中,学习引擎执行预定数量的事件,由超参数m表示。分别在逻辑300的判决框318和320处,针对相应的预限定值n和m来评估步长计数器j和事件计数器i。在其他实施方式中,代替或除了使用超参数m之外,学习引擎可以使用其他收敛标准来终止逻辑300。
根据安装资产的顺序,在分阶段将这些资产安装在配电网络中的过程中,同一组资产的相同最终配置仍然可能导致不同的操作损失。RL代理可以通过基于单个资产配置的每个步骤的奖励更新其策略来学习最优序列,使得在事件的尾端时的累积奖励最大化。所学习的序列可以支持公用事业公司实现将资产战略性地分阶段添加到配电网络,使诸如电力线损耗、电压违规、循环无功功率等的操作损耗最小化。
所公开的方法的实施方式不同于使用优化求解器结合电路模型来优化配置和大小确定的方法,例如在所识别的现有技术中。这种现有技术的方法通常需要定制电路模型,其中在将电路模型翻译为优化解算器的语言中通常涉及大量的努力,主要是人工的。此外,如果电路模型改变,则在该方法给出任何有意义的结果之前可能必须执行另一轮转换。相反,在所公开的方法中,定制工作转移到配置发电引擎202,允许它与标准操作软件交互。在这种情况下的定制工作涉及对配置发电引擎202的训练,其很大程度上是自动的,具有最小的手动输入。如上所述,操作电路模型204可以已经由公用事业公司构建和使用用于操作目的。根据所公开的方法,如果操作电路模型改变,则仅需要重新配置/再训练配置发电引擎202,使得可以跳过电路模型转换中的繁重提升。
此外,现有技术的方法通常确定单个DER的大小和配置。然而,它不可能是固定投资的最优解决方案,其中多个DER和其它资产可能更有益于配电网络。相反,所公开的方法支持多个资产的配置,并且可以另外支持多个资产的顺序配置(例如,使用RL)。而且,当使用涉及优化求解器的现有技术方法时,由配置和大小确定确定问题引入的整数变量可能限制问题大小。所公开的方法遵循机器学习方法,该方法可用于求解大型配电网络。
图4示出了根据本公开的支持配电网络中的多个资产的最优配置和大小确定的计算***400的示例。计算***400包括至少一个处理器410,其可以采取单个或多个处理器的形式。处理器410可以包括中央处理单元(CPU)、图形处理单元(GPU)、微处理器或适于执行存储在机器可读媒体上的指令的任何硬件设备。计算***400还包括机器可读介质420。机器可读介质420可以采取存储可执行指令的任何非瞬态电子、磁、光或其它物理存储设备的形式,所述可执行指令诸如图4中所示的配置生成指令422、功率流优化指令424和模拟指令426。这样,机器可读介质420可以是例如随机存取存储器(RAM),诸如动态RAM(DRAM)、闪存、自旋转移矩存储器、电可擦除可编程只读存储器(EEPROM)、存储驱动器、光盘等。
计算***400可以通过处理器410执行存储在机器可读介质420上的指令。执行指令(例如,配置生成指令422、功率流优化指令424和模拟指令426)可以使计算***400执行本文所述的任何技术特征,包括根据上述的配置发电引擎202、功率流优化引擎206和模拟引擎208的任何特征。
包括配置发电引擎202、功率流优化引擎206和模拟引擎208的上述***、方法、设备和逻辑可以以存储在机器可读介质上的硬件、逻辑、电路和可执行指令的许多不同组合的许多不同方式来实现。例如,这些引擎可以包括控制器、微处理器或专用集成电路(ASIC)中的电路,或者可以用分立逻辑或组件,或其它类型的模拟或数字电路的组合来实现,组合在单个集成电路上或分布在多个集成电路之间。诸如计算机程序产品的产品可以包括存储介质和存储在该介质上的机器可读指令,当在端点、计算机***或其他设备中执行该指令时,使得该设备执行根据以上描述中的任一项的操作,包括根据配置发电引擎202、功率流优化引擎206和模拟引擎208的任何特征的操作。这里描述的计算机可读程序指令可以从计算机可读存储介质下载到相应的计算/处理设备,或者经由网络(例如因特网、局域网、广域网和/或无线网络)下载到外部计算机或外部存储设备。
这里描述的***、设备和引擎(包括配置发电引擎202、功率流优化引擎206和模拟引擎208)的处理能力可以分布在多个***组件之间,诸如分布在多个处理器和存储器之间,可选地包括多个分布式处理***或云/网络元件。参数、数据库和其它数据结构可以被分开地存储和管理,可以被合并到单个存储器或数据库中,可以以许多不同的方式在逻辑上和物理上组织,并且可以以许多方式实现,包括诸如链接列表、散列表或隐式存储机制的数据结构。程序可以是单个程序的部分(例如,子程序)、分开的程序,分布在几个存储器和处理器上,或者以许多不同的方式实现,例如在库(例如,共享库)中。
虽然上面已经描述了各种示例,但是更多的实现是可行的。

Claims (17)

1.一种用于向配电网络添加资产的计算机实现的方法,所述配电网络包括多个现有电网资产和用于控制所述配电网络的操作的一个或多个控制器,所述方法包括:
由配置发电引擎生成要添加到受到一个或多个资产安装约束影响的所述配电网络的资产的离散配置,其中,每个配置由从不同大小的多个可用资产到由所述配电网络的节点或分支限定的配置位置的资产的映射来限定,
使用每个配置更新所述配电网络的操作电路模型,以便:
通过功率流优化引擎来调谐所述一个或多个控制器的控制参数,以用于在负载和/或发电场景的范围内对所述配电网络进行鲁棒操作,以及
通过模拟引擎在时间段上使用调谐的控制参数来模拟所述配电网络的操作,以便评估用于所述配置的成本函数,以及
基于生成的配置的经评估的成本函数来迭代地调整所述配置发电引擎的参数,以便达到要添加到所述配电网络的资产的最优配置和大小确定。
2.根据权利要求1所述的方法,
其中,所述配置发电引擎包括包含由策略参数限定的策略的强化学习(RL)代理,
其中,所述配置限定所述RL代理的动作,并且所述经评估的成本函数用于限定针对用于调整所述RL代理的所述策略参数的各个动作的奖励。
3.根据权利要求2所述的方法,其中,所述策略包括神经网络,并且所述策略参数由所述神经网络的权重来限定。
4.根据权利要求2和3中任一项所述的方法,包括由所述RL代理执行多个试验事件,其中每个事件包括预定数量的步骤,其中,执行每个事件包括:
初始化所述配电网络的***状态,
生成动作,所述动作包括在所述事件的离散步骤处单个资产的配置,其中,每个步骤处的所述动作是基于当前***状态从所述RL代理的动作空间生成的,使得对所述事件的累积奖励最大化,
基于在每个步骤处由生成的动作限定的配置来更新所述***状态,以及
基于由在所述步骤处的所述动作产生的相应奖励来调整每个步骤处的所述策略参数,
其中,在完成多个事件时,所述RL代理学习要顺序添加到所述配电网络的资产的最优配置和大小确定。
5.根据权利要求4所述的方法,其中,由所述RL代理在离散步骤处生成动作包括:
基于每个步骤处的所述当前***状态,输出概率分布,所述概率分布表示将每个资产分配给所述RL代理的所述动作空间中的每个配置位置的概率,以及
通过采样或采用所述输出概率分布的argmax来选择动作。
6.根据权利要求4所述的方法,其中,由所述RL代理在离散步骤处生成动作包括:
基于每个步骤的所述当前***状态,输出在将每个资产分配给所述RL代理的所述动作空间中的每个配置位置的所述事件上的所述累积奖励的预期值,以及
基于所述动作空间中的所述累积奖励的最大预期值来选择动作。
7.根据权利要求4至6中任一项所述的方法,其中,为要添加的所述资产限定附加大小“零”,并且其中,所述RL代理的所述动作空间包括表示“零”大小的资产的配置的“无配置”动作。
8.根据权利要求2至7中任一项所述的方法,其中,对于每个动作的所述奖励包括由所述经评估的成本函数限定的第一奖励分量和包括对所述一个或多个资产安装约束的违规的惩罚的量化的第二奖励分量。
9.根据权利要求1至8中任一项所述的方法,其中,要添加的所述资产包括不同大小的一种或多种类型的分布式能源资源(DER),并且所述配置位置由所述配电网络的节点限定。
10.根据权利要求1至9中任一项所述的方法,其中,所述一个或多个资产安装约束包括:
要添加的资产的最大总投资,和/或
能够添加的资产的最大数量。
11.根据权利要求1至10中任一项所述的方法,其中,通过使用所述配电网络中的负载和/或进给有功功率的容许间隔作为鲁棒优化不确定性,来执行所述成本函数的鲁棒优化,从而调谐所述一个或多个控制器的所述控制参数,使得满足一个或多个电网约束。
12.根据权利要求1至11中任一项所述的方法,其中,所述成本函数是以下各项中的一项或多项的函数:
所述配电网络中的总无功功率,
所述配电网络中的功率损耗,以及
所述配电网络中电压违规的实例。
13.根据权利要求1至12中任一项所述的方法,其中,通过将功率流离散化成模拟操作的时间段内的较小间隔来评估所述成本函数。
14.一种包括指令的非暂时性计算机可读存储介质,所述指令在由计算***处理时配置所述计算***以执行根据权利要求1至13中任一项所述的方法。
15.一种用于使配电网络适应长期增长的负载和/或产生的功率波动的方法,所述配电网络包括多个现有电网资产和用于控制所述电网资产的操作的一个或多个控制器,所述方法包括:
基于由根据权利要求1至13中任一项所述的方法确定的资产的最优配置和大小确定,在所述配电网络中配置附加资产。
16.根据权利要求15所述的方法,其中,所述附加资产按照在连续配置之间具有操作间隔来顺序配置。
17.一种计算***,包括:
处理器;以及
存储指令的存储器,所述指令在由所述处理器执行时使所述计算***执行根据权利要求1至13中任一项所述的方法。
CN202180101795.3A 2021-08-27 2021-08-27 用于配电***的鲁棒操作的多资产配置与大小确定 Pending CN117859132A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2021/047932 WO2023027721A1 (en) 2021-08-27 2021-08-27 Multi-asset placement and sizing for robust operation of distribution systems

Publications (1)

Publication Number Publication Date
CN117859132A true CN117859132A (zh) 2024-04-09

Family

ID=78085732

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180101795.3A Pending CN117859132A (zh) 2021-08-27 2021-08-27 用于配电***的鲁棒操作的多资产配置与大小确定

Country Status (4)

Country Link
US (1) US20240232472A1 (zh)
EP (1) EP4374278A1 (zh)
CN (1) CN117859132A (zh)
WO (1) WO2023027721A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2599183B1 (en) * 2010-07-29 2016-11-30 Spirae Inc. Dynamic distributed power grid control system
WO2015031581A1 (en) * 2013-08-28 2015-03-05 Robert Bosch Gmbh System and method for energy asset sizing and optimal dispatch
US10135247B2 (en) * 2013-10-17 2018-11-20 General Electric Company Methods and systems for integrated Volt/VAr control in electric network
DE102015219808A1 (de) 2015-10-13 2017-04-13 Siemens Aktiengesellschaft Verfahren zur rechnergestützten Steuerung der Leistung in einem elektrischen Stromnetz
EP3226374B1 (de) 2016-04-01 2019-02-13 Siemens Aktiengesellschaft Verfahren und steuereinrichtung zum steuern eines stromnetzes
WO2020102450A1 (en) * 2018-11-13 2020-05-22 Heila Technologies, Inc. Decentralized hardware-in-the loop scheme

Also Published As

Publication number Publication date
EP4374278A1 (en) 2024-05-29
US20240232472A1 (en) 2024-07-11
WO2023027721A1 (en) 2023-03-02

Similar Documents

Publication Publication Date Title
Das et al. Optimal placement of distributed energy storage systems in distribution networks using artificial bee colony algorithm
Cui et al. Reinforcement learning for optimal primary frequency control: A Lyapunov approach
Huang et al. A self-learning scheme for residential energy system control and management
Wang et al. Distribution network reconfiguration based on NoisyNet deep Q-learning network
Levent et al. Energy management for microgrids: a reinforcement learning approach
CN113410900B (zh) 基于自适应差分鲸鱼优化的微电网hess优化配置方法及***
Duan et al. A deep reinforcement learning based approach for optimal active power dispatch
CN112636396B (zh) 光伏配电网控制方法及终端
Zhang et al. An intelligent hybrid model for power flow optimization in the cloud-IOT electrical distribution network
Wang et al. Coordinated dispatch of networked energy storage systems for loading management in active distribution networks
CN115498623A (zh) 多微电网的储能配置优化方法、装置、设备及存储介质
CN115313519A (zh) 一种配电网储能优化配置方法、装置、设备及存储介质
CN113872213B (zh) 一种配电网电压自主优化控制方法及装置
Nguyen et al. The application of an effective cuckoo search algorithm for optimal scheduling of hydrothermal system considering transmission constraints
Behera et al. Modelling and simulations of modified slime mould algorithm based on fuzzy PID to design an optimal battery management system in microgrid
Zhang et al. Physical-model-free intelligent energy management for a grid-connected hybrid wind-microturbine-PV-EV energy system via deep reinforcement learning approach
Liu et al. Deep reinforcement learning for real-time economic energy management of microgrid system considering uncertainties
Shahzad et al. Optimal planning of distributed energy storage systems in active distribution networks using advanced heuristic optimization techniques
El Bourakadi et al. Multi-agent system based on the fuzzy control and extreme learning machine for intelligent management in hybrid energy system
Navidi et al. Predicting solutions to the optimal power flow problem
CN114400675B (zh) 基于权重均值深度双q网络的主动配电网电压控制方法
Yang et al. Microgrid energy management strategy base on UCB-A3C learning
CN117859132A (zh) 用于配电***的鲁棒操作的多资产配置与大小确定
CN115360768A (zh) 基于muzero和深度强化学习的电力调度方法、装置及存储介质
Sedaghati et al. Study of network reconfiguration in distribution systems using an adaptive modified firefly algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination