CN113890098A - 基于人工情感sarsa学习的微电网非计划性孤岛切换方法 - Google Patents

基于人工情感sarsa学习的微电网非计划性孤岛切换方法 Download PDF

Info

Publication number
CN113890098A
CN113890098A CN202111235755.6A CN202111235755A CN113890098A CN 113890098 A CN113890098 A CN 113890098A CN 202111235755 A CN202111235755 A CN 202111235755A CN 113890098 A CN113890098 A CN 113890098A
Authority
CN
China
Prior art keywords
load
function
emotion
learning
power
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111235755.6A
Other languages
English (en)
Inventor
王灿
田福银
应宇辰
李欣然
褚四虎
徐恒山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Three Gorges University CTGU
Original Assignee
China Three Gorges University CTGU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Three Gorges University CTGU filed Critical China Three Gorges University CTGU
Priority to CN202111235755.6A priority Critical patent/CN113890098A/zh
Publication of CN113890098A publication Critical patent/CN113890098A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/38—Arrangements for parallely feeding a single network by two or more generators, converters or transformers
    • H02J3/388—Islanding, i.e. disconnection of local power supply from the network
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/12—Circuit arrangements for ac mains or ac distribution networks for adjusting voltage in ac networks by changing a characteristic of the network load
    • H02J3/14—Circuit arrangements for ac mains or ac distribution networks for adjusting voltage in ac networks by changing a characteristic of the network load by switching loads on to, or off from, network, e.g. progressively balanced loading
    • H02J3/144—Demand-response operation of the power transmission or distribution network
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/24—Arrangements for preventing or reducing oscillations of power in networks
    • H02J3/241—The oscillation concerning frequency
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
    • H02J2203/20—Simulating, e g planning, reliability check, modelling or computer assisted design [CAD]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B70/00—Technologies for an efficient end-user side electric power management and consumption
    • Y02B70/30—Systems integrating technologies related to power network operation and communication or information technologies for improving the carbon footprint of the management of residential or tertiary loads, i.e. smart grids as climate change mitigation technology in the buildings sector, including also the last stages of power distribution and the control, monitoring or operating management systems at local level
    • Y02B70/3225—Demand response systems, e.g. load shedding, peak shaving
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S20/00—Management or operation of end-user stationary applications or the last stages of power distribution; Controlling, monitoring or operating thereof
    • Y04S20/20—End-user application control systems
    • Y04S20/222—Demand response systems, e.g. load shedding, peak shaving

Landscapes

  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Supply And Distribution Of Alternating Current (AREA)

Abstract

基于人工情感SARSA学习的微电网非计划性孤岛切换方法，包括以下步骤：计算联络线上产生的功率缺额；构建微电网状态信息集和动作决策集；构建基于负荷优先级的奖励值函数；建立基于负荷优先级的期望奖赏函数；构建人工情感量化函数；构建人工情感系数输出函数；引入二次函数将情感系数转化为SARSA学习的实际影响，并将其作用到SARSA学习智能体的学习率，输出时变的学习率；构建状态‑动作值函数的更新函数。通过执行使值函数累积最大的减载动作，消除联络线功率缺额。本发明所述方法在微电网因配网故障而发生非计划性孤岛时能够保证重要负荷的供电可靠性，维持***频率的稳定。

Description

基于人工情感SARSA学习的微电网非计划性孤岛切换方法
技术领域
本发明属于微电网并离网切换技术领域，具体涉及一种基于人工情感SARSA学习的微电网非计划性孤岛切换方法。
背景技术
微电网作为分布式电源接入配电网的有效途径，既能满足用户日益增长的电力需求，又能促进分布式能源的就地消耗。微电网在不同运行方式间进行平稳切换是保证其供电可靠性的关键。当配电网发生故障导致微电网非计划性孤岛时，若微电网内分布式电源的出力无法弥补联络线上的功率缺额，会使微电网内***频率发生震荡，影响微电网的安全稳定运行。为了保障微电网的安全稳定运行，有必要对微电网的非计划性孤岛切换方法进行深入研究。
现有技术文献中：
文献[1]:《光储微电网并离网平滑切换控制策略研究》(刘梦超,***,温素芳.光储微电网并离网平滑切换控制策略研究[J].可再生能源,2020,38(12):1633-1639.)提出了一种改进的蓄电池PQ和V/f控制方法，有效降低了微电网并离网切换过程中的暂态电流冲击。但是该文献并未考虑***出现功率缺额的情况。
文献[2]:Coordinated control of passive transition from grid-connectedto islanded operation for three/single-phase hybrid multimicrogridsconsidering speed and smoothness(C.Wang,X.Li,T.Tian,et al.Coordinated controlof passive transition from grid-connected to islanded operation for three/single-phase hybrid multimicrogrids considering speed and smoothness[J].IEEETransactions on Industrial Electronics,2020,67(3):1921-1931.)提出了一种将切换过程与智能减载相互配合的并离网切换策略，抑制了孤岛形成后的功率震荡。但是该切换策略只考虑了计划内的孤岛切换，并未考虑配电网发生故障导致非计划性孤岛切换的紧急情况。
文献[3]:《基于隐枚举法的稳定控制优化切机方法》(陆崎,任祖怡,徐柯,张俊芳,白杨,陈鸿亮.基于隐枚举法的稳定控制优化切机方法[J].电力***自动化,2016,40(05):139-144.)提出了一种基于隐枚举法的微电网减载率，实现了孤岛微电网内功率缺额的快速消除。但是该文献未在减载期间考虑负荷的优先级。
发明内容
为解决上述技术问题，本发明提供一种基于人工情感SARSA学习的微电网非计划性孤岛切换方法，该方法在应对微电网非计划性孤岛切换时，能够有效保证重要负荷持续供电，并维持***频率的稳定。
本发明采取的技术方案为：
基于人工情感SARSA学习的微电网非计划性孤岛切换方法，包括以下步骤：
步骤1：微电网因配网故障发生非计划性孤岛时，判断微电网内分布式电源出力与联络线上功率缺额的大小关系，若微电网出力能够平衡联络线的功率缺额，则非计划性孤岛过程结束。若微电网出力不能平衡联络线上的功率缺额，则进入步骤2；
步骤2：将微电网联络线的功率缺额、光伏的总有功功率输出、储能的总有功功率输出、负荷的总有功功率需求作为人工情感SARSA学习中情感体的状态输入，SARSA学习的逻辑体根据联络线的功率缺额划分离散的状态信息集，以负荷作为动作决策集；
步骤3：根据负荷中断对经济和社会的影响程度，将负荷分为三个优先级，并基于负荷优先级构建奖励值函数；
步骤4：SARSA学习的情感体感知***内源荷储功率信息，从而输出人工情感系数，并将人工情感系数作用于学习率，从而生成时变学习率；
步骤5：构建状态-动作值函数的更新函数，选择状态-动作值函数取值最大时所对应的减载动作，通过执行该减载动作消除联络线功率缺额。
所述步骤1中，计算联络线上产生的功率缺额，功率缺额可表示为：
PCL＝∑PES+∑PPV-∑PL
其中：PCL为联络线上产生的功率缺额；∑PES为微电网***内所有储能功率之和；∑PPV为微电网***内所有光伏功率之和；∑PL为微电网***内所有负荷功率之和。
所述步骤1中，根据公式PCL＝∑PES+∑PPV-∑PL判断微电网内分布式电源出力与联络线上功率缺额的大小关系。若PCL≥0，则微电网内分布式电源出力大于联络线上功率缺额，调节分布式电源出力即可实现微电网内功率平衡，微电网内不存在功率缺额问题；反之PCL<0，则微电网内分布式电源出力小于联络线上功率缺额，微电网内存在功率缺额问题。
所述步骤2中，将微电网联络线的功率缺额、光伏的总有功功率输出、储能的总有功功率输出、负荷的总有功功率需求作为步骤4中人工情感SARSA学习中情感体的状态输入；构建的微电网状态信息集和动作决策集，
状态信息集可表示为：
S＝[S1,S2,…,Sn]
其中：S为状态信息集；Sn为联络线功率缺额的离散状态集；S1为***的目标状态。
动作决策集可表示为：
A＝[A1,A2,…An]
其中：A为动作决策集；An为网内对应切除的负荷功率。
所述步骤3中，根据负荷中断对经济和社会的影响程度，将负荷分为G级。G表示最大负荷等级，一般情况下G＝3。其中，一级负荷是不间断供电的重要负荷，一旦中断，将造成巨大的经济损失；二级负荷为可中断负荷，其中断将造成一定的经济损失；三级负荷是可调整的非重要负荷。其中G越大，负荷的优先级越低。
所述步骤3中，基于负荷优先级的奖励值函数，奖励值函数可表示为：
Figure BDA0003317444380000031
其中：rt为奖励值函数；st为当前状态；at为智能体当前的动作；Pa为动作a下切除的负荷功率；V*(a)为动作a下的期望奖赏。
构建基于负荷优先级的期望奖赏函数，期望奖赏函数可表示为：
Figure BDA0003317444380000032
其中：G为负荷优先级；G＝1表示一级负荷，是不间断供电的重要负荷；G＝2表示二级负荷，是可中断负荷；G＝3表示三级负荷，是可调整的非重要负荷。
所述步骤4中，SARSA学习的情感体感知***内源荷储功率信息，即微电网联络线的功率缺额、光伏的总有功功率输出、储能的总有功功率输出、负荷的总有功功率需求。
所述步骤4中，构建人工情感量化函数，人工情感量化函数可表示为：
Figure BDA0003317444380000033
其中：fn为情感函数输出综合；θi为人工情感感知到的微电网内源荷储功率信息；ωi为各信息的权重；λi为θi和ωi的乘积。
构建人工情感系数输出函数，人工情感系数输出函数可表示为：
Figure BDA0003317444380000041
其中：kn为人工情感最大化的范围；η为情感系数；ηmax为情感系数的最大值。
所述步骤4中，引入二次函数，将情感系数转化为SARSA学习的实际影响，并将其作用到SARSA学习智能体的学习率上，输出时变的学习率；
引入二次函数将情感系数转化为SARSA学习的实际影响：
Cf(η)＝Kaη2+Kbη
其中：Cf为情感系数的实际影响；Ka和Kb为转化系数。
将实际影响作用到SARSA学习智能体的学习率，输出时变的学习率：
αη←αCf(η)
其中：αη为人工情感作用后的时变学习率；α为学习率。
所述步骤5中，选择状态-动作值函数取值最大时所对应的减载动作，通过执行该减载动作消除联络线功率缺额。在状态-动作值函数Q(st,at)取值最大时，存在对应的微电网状态信息集和减载动作策略集，通过执行该减载动作消除联络线功率缺额。
所述步骤5中，
构建状态-动作值函数的更新函数，更新函数可表示为：
Q(st,at)←Q(st,at)+αη(rt(st,at)+γQ(st,at)-Q(st,at))
其中：Q(st,at)为状态-动作值函数；st为当前状态；αt为智能体当前的动作；αη为基于人工情感的时变学习率；γ为折扣因子；rt(st,at)为奖励值函数。
本发明一种基于人工情感SARSA学习的微电网非计划性孤岛切换方法，技术效果如下：
1)针对微电网非计划性孤岛切换时的功率缺额问题，本发明方法在人工情感SARSA学习的奖励值函数中考虑了负荷优先级，通过在非计划性孤岛期间合理切除部分负荷以保证重要负荷的供电可靠性。
2)本发明利用情感体感知微电网源荷储功率信息，构建基于人工情感的时变学习率进而加快智能体探索速度。
3)本发明提出了一种基于人工情感SARSA学习的微电网非计划性孤岛切换方法。该方法将负荷作为决策对象，通过执行基于人工情感SARSA学习的减载方法能够迅速消除联络线上的功率缺额。此外，在奖励值函数中考虑负荷优先级以保证重要负荷的供电可靠性。相对于传统切换方法，本发明所述方法在应对微电网非计划性孤岛切换出现联络线功率缺额时，能有效的保证重要负荷持续供电，并维持***频率的稳定。
附图说明
图1是微电网非计划性孤岛切换方法流程图。
图2是改进IEEE-13节点的微电网拓扑结构图。
图3(a)是微电网非计划性孤岛切换时的减载对象构成比例图(基于隐枚举法的减载方法)；
图3(b)是微电网非计划性孤岛切换时的减载对象构成比例图(本发明所述方法)。
图4是微电网非计划性孤岛切换时的***频率波形图。
图5(a)是考虑光伏电源PV2退出运行的微电网非计划性孤岛切换时的减载对象构成比例图(基于隐枚举法的减载方法)；
图5(b)是考虑光伏电源PV2退出运行的微电网非计划性孤岛切换时的减载对象构成比例图(本发明所述方法)。
图6是考虑光伏电源PV2退出运行的微电网非计划性孤岛切换时的***频率波形图。
图7(a)是微电网非计划孤岛切换运行状态下本发明所述方法的决策结果图；
图7(b)是源荷储并入微电网运行状态下本发明所述方法的决策结果图；
图7(c)是微电网节点支路扰动运行状态下本发明所述方法的决策结果图。
具体实施方式
基于人工情感SARSA学习的微电网非计划性孤岛切换方法，该方法包括以下步骤：
S1.计算联络线上产生的功率缺额，功率缺额可表示为：
PCL＝∑PES+∑PPV-∑PL
其中：PCL为联络线上产生的功率缺额；∑PES为微电网***内所有储能功率之和；∑PPV为微电网***内所有光伏功率之和；∑PL为微电网***内所有负荷功率之和。
S2.构建微电网状态信息集和动作决策集：
微电网状态信息集可表示为：
S＝[S1,S2,…,Sn]
其中：S为状态信息集；Sn为联络线功率缺额的离散状态集；S1为***的目标状态。
动作决策集可表示为：
A＝[A1,A2,…An]
其中：A为动作决策集；An为网内对应切除的负荷功率。
S3.构建基于负荷优先级的奖励值函数，奖励值函数可表示为：
Figure BDA0003317444380000061
其中：rt为奖励值函数；st为当前状态；at为智能体当前的动作；Pa为动作a下切除的负荷功率；V*(a)为动作a下的期望奖赏。
S4.建立基于负荷优先级的期望奖赏函数，期望奖赏函数可表示为：
Figure BDA0003317444380000062
其中：G为负荷优先级；G＝1表示一级负荷，是不间断供电的重要负荷；G＝2表示二级负荷，是可中断负荷；G＝3表示三级负荷，是可调整的非重要负荷。
S5.构建人工情感量化函数，人工情感量化函数可表示为：
Figure BDA0003317444380000064
其中：fn为情感函数输出综合；θi为人工情感感知到的微电网内源荷储功率信息；ωi为各信息的权重；λi为θi和ωi的乘积。
S6.构建人工情感系数输出函数，情感输出函数可表示为：
Figure BDA0003317444380000063
其中kn为人工情感最大化的范围；η为情感系数；ηmax为情感系数的最大值。
S7.引入二次函数将情感系数转化为SARSA学习的实际影响，并将其作用到SARSA学习智能体的学习率，输出时变的学习率：
引入二次函数将情感系数转化为SARSA学习的实际影响：
Cf(η)＝Kaη2+Kbη
其中：Cf为情感系数的实际影响；Ka和Kb为转化系数。
将实际影响作用到SARSA学习智能体的学习率，输出时变的学习率：
αη←αCf(η)
其中αη为人工情感作用后的时变学习率；α为学习率。
S8.构建状态-动作值函数的更新函数，更新函数可表示为：
Q(st,at)←Q(st,at)+αη(rt(st,at)+γQ(st,at)-Q(st,at))
其中：Q(st,at)为状态-动作值函数；st为当前状态；αt为智能体当前的动作和；αη为基于人工情感的时变学习率；γ为折扣因子；rt(st,at)为奖励值函数。
实施例：
图1是微电网非计划性孤岛切换方法流程图。微电网中央控制器通过接收终端测量信息，检测到非计划性孤岛的发生，发出控制信号，同时搜集微电网内源荷储参数。人工情感SARSA学习中的逻辑体根据联络线的功率缺额划分离散的状态信息集，以切除负荷作为动作决策集，并基于负荷优先级构建奖励函数。人工情感SARSA学习中的情感体通过感知微电网的源荷储功率信息生成情感系数，将人工情感作用于学习率，进而产生时变学习率加快智能体探索速度。SARSA学习中的逻辑体从初始状态开始，在时变学习率的作用下进行探索并更新Q值函数，通过执行使得Q值累积最大的减载动作，消除联络线上的功率缺额。
其中：***参数如下：微电网中光伏电源PV1、PV2的额定功率分别为70kW、60kW；储能装置BS1、BS2的额定功率分别为50kW、130kW；负荷Load1-9的额定功率分别为35kW、35kW、30kW、40kW、45kW、60kW、20kW、25kW、20kW；负荷Load1、Load4、Load8为一级负荷，负荷Load2、Load6、Load9为二级负荷，负荷Load3、Load5、Load7为三级级负荷；联络线功率为130kW。
图2是改进IEEE-13节点的微电网拓扑结构图。该微电网包含2个光伏电源，2个储能装置，9个负载。当配电网发生故障导致开关断开时，微电网被动切换为非计划性孤岛运行模式。
图3(a)、图3(b)是微电网非计划性孤岛切换时的减载对象构成比例图。其中：基于隐枚举法的减载方法的减载结果如图3(a)所示，本发明所述方法的减载结果如图3(b)所示。在执行基于隐枚举法的减载方法后，一级负荷、二级负荷、三级负荷的切除比例分别为19.2％、46.2％、34.6％，减载对象包含Load5、Load6、Load8，但是该方法并没有考虑负荷的优先级，一级负荷Load8被选取为减载对象，造成重要负荷断电。相同情况下，本发明所述方法的减载对象中，二级负荷、三级负荷分别占比26.9％、73.1％，减载对象包含Load2、Load3、Load5、Load7，由于本发明所述方法充分考虑负荷的优先级，没有造成一级负荷断电，保障了重要负荷的持续供电。
图4是微电网非计划性孤岛切换时的***频率波形图。执行基于隐枚举法的减载方法后，频率波动的最大值和最小值分别为50.01Hz、49.71Hz；相同情况下，执行本发明所述方法后，频率波动的最大值和最小值分别为49.98Hz、49.77Hz，本发明所述方法产生的频率波动幅度更小。执行基于隐枚举法的减载方法后，频率在0.29s后恢复到额定值50Hz，而执行本发明所述方法仅需0.23s就可将频率恢复到额定值50Hz，本发明所述方法能够使频率恢复时间缩短20.69％。
图5(a)、图5(b)是考虑光伏电源PV2退出运行的微电网非计划性孤岛切换时的减载对象构成比例图。光伏电源PV2退出运行造成更大的功率缺额，功率缺额达到190kW。其中基于隐枚举法的减载方法的减载结果如图5(a)所示，本发明所述方法的减载结果如图5(b)所示。在执行基于隐枚举法的减载方法后，一级负荷、二级负荷、三级负荷的切除比例分别为34.2％、42.1％、23.7％；而执行本发明所述方法后，二级负荷、三级负荷的切除比例分别为50％、50％。其中，在本发明所述方法中选择负荷Load2、Load3、Load5、Load6、Load7进行切除，不包含一级负荷；而在基于隐枚举法的减载方法中选择负荷Load4、Load5、Load6、Load8、Load9进行切除，负荷Load4、Load8均为一级负荷，导致了重要负荷断电。
图6是考虑光伏电源PV2退出运行的微电网非计划性孤岛切换时的***频率波形图。执行基于隐枚举法的减载方法后，频率波动的最大值和最小值分别为50.02Hz、49.59Hz；相同情况下，执行本发明所述方法后，频率波动的最大值和最小值分别为49.99Hz、49.65Hz，可知执行本发明所述方法造成的频率波动幅度更小。执行基于隐枚举法的减载方法后，频率在0.42s后恢复到额定值50Hz，而执行本发明所述方法仅需0.37s就可将频率恢复到额定值50Hz，本发明所述方法能够使频率恢复时间缩短11.9％。所得结论与图4结果相一致，进一步验证了本发明所述方法的优越性。
图7(a)、图7(b)、图7(c)是微电网不同运行状态下本发明所述方法的决策结果图。微电网非计划性孤岛时，本发明所述方法的决策结果如图7(a)所示；在t＝5s时，额定功率分别为50kW，70kW，90kW的光伏组件，储能元件和负荷在节点3、4、5处并入微电网，本发明所述方法在该模拟情况下的决策结果如图7(b)所示；在t＝9s时，微电网中11、12号节点支路发生扰动导致负荷Load7、Load8退出***，本发明所述方法在该模拟情况下的决策结果如图7(c)所示，图7(c)中横坐标的动作编号代表负荷编号。在微电网随时间变化导致其运行状态发生改变时，Q值都收敛在奖励值附近，其分布与奖励值的变化趋势一致，有效的证明了本发明所述方法在面对微电网运行状态发生改变时能得到较好的减载决策。
在本发明所述方法中，人工情感SARSA学习的智能体通过与微电网运行环境信息进行交互学习，不断丰富减载决策的训练数据集，从而使最优减载决策能够适应微电网结构和运行状态的变化。测试结果充分表明本发明所述方法对微电网结构和运行状态的变化具有较强的适应性。

Claims (8)

1.基于人工情感SARSA学习的微电网非计划性孤岛切换方法，其特征在于包括以下步骤：
步骤1：微电网因配网故障发生非计划性孤岛时，判断微电网内分布式电源出力与联络线上功率缺额的大小关系，若微电网出力能够平衡联络线的功率缺额，则非计划性孤岛过程结束；若微电网出力不能平衡联络线上的功率缺额，则进入步骤2；
步骤2：将微电网联络线的功率缺额、光伏的总有功功率输出、储能的总有功功率输出、负荷的总有功功率需求作为人工情感SARSA学习中情感体的状态输入，根据联络线的功率缺额划分离散的状态信息集，以负荷作为动作决策集；
步骤3：根据负荷中断对经济和社会的影响程度，将负荷分为三个优先级，并基于负荷优先级构建奖励值函数；
步骤4：SARSA学习的情感体感知***内源荷储功率信息，从而输出人工情感系数，并将人工情感系数作用于学习率，从而生成时变学习率；
步骤5：构建状态-动作值函数的更新函数，通过执行使值函数累积最大的减载动作，消除联络线功率缺额。
2.根据权利要求1所述基于人工情感SARSA学习的微电网非计划性孤岛切换方法，其特征在于：所述步骤1中，计算联络线上产生的功率缺额，功率缺额可表示为：
PCL＝∑PES+∑PPV-∑PL
其中：PCL为联络线上产生的功率缺额；∑PES为微电网***内所有储能功率之和；∑PPV为微电网***内所有光伏功率之和；∑PL为微电网***内所有负荷功率之和。
3.根据权利要求1所述基于人工情感SARSA学习的微电网非计划性孤岛切换方法，其特征在于：所述步骤2中，构建的微电网状态信息集和动作决策集，
状态信息集可表示为：
S＝[S1,S2,…,Sn]
其中：S为状态信息集；Sn为联络线功率缺额的离散状态集；S1为***的目标状态；
动作决策集可表示为：
A＝[A1,A2,…An]
其中：A为动作决策集；An为网内对应切除的负荷功率。
4.根据权利要求1所述基于人工情感SARSA学习的微电网非计划性孤岛切换方法，其特征在于：所述步骤3中，基于负荷优先级的奖励值函数，奖励值函数可表示为：
Figure FDA0003317444370000021
其中：rt为奖励值函数；st为当前状态；at为智能体当前的动作；Pa为动作a下切除的负荷功率；V*(a)为动作a下的期望奖赏；
构建基于负荷优先级的期望奖赏函数，期望奖赏函数可表示为：
Figure FDA0003317444370000022
其中：G为负荷优先级；G＝1表示一级负荷，是不间断供电的重要负荷；G＝2表示二级负荷，是可中断负荷；G＝3表示三级负荷，是可调整的非重要负荷。
5.根据权利要求1所述基于人工情感SARSA学习的微电网非计划性孤岛切换方法，其特征在于：所述步骤4中，构建人工情感量化函数，人工情感量化函数可表示为：
Figure FDA0003317444370000023
其中：fn为情感函数输出综合；θi为人工情感感知到的微电网内源荷储功率信息；ωi为各信息的权重；λi为θi和ωi的乘积；
构建人工情感系数输出函数，人工情感系数输出函数可表示为：
Figure FDA0003317444370000024
其中：kn为人工情感最大化的范围；η为情感系数；ηmax为情感系数的最大值。
6.根据权利要求1所述基于人工情感SARSA学习的微电网非计划性孤岛切换方法，其特征在于：所述步骤4中，引入二次函数，将情感系数转化为SARSA学习的实际影响，并将其作用到SARSA学习智能体的学习率上，输出时变的学习率；
引入二次函数将情感系数转化为SARSA学习的实际影响：
Cf(η)＝Kaη2+Kbη
其中：Cf为情感系数的实际影响；Ka和Kb为转化系数；
将实际影响作用到SARSA学习智能体的学习率，输出时变的学习率：
αη←αCf(η)
其中：αη为人工情感作用后的时变学习率；α为学习率。
7.根据权利要求1所述基于人工情感SARSA学习的微电网非计划性孤岛切换方法，其特征在于：所述步骤5中，构建状态-动作值函数的更新函数，更新函数可表示为：
Q(st,at)←Q(st,at)+αη(rt(st,at)+γQ(st,at)-Q(st,at))
其中：Q(st,at)为状态-动作值函数；st为当前状态；αt为智能体当前的动作；αη为基于人工情感的时变学习率；γ为折扣因子；rt(st,at)为奖励值函数。
8.基于人工情感SARSA学习的微电网非计划性孤岛切换方法，其特征在于包括以下步骤：
S1.计算联络线上产生的功率缺额，功率缺额可表示为：
PCL＝∑PES+∑PPV-∑PL
其中：PCL为联络线上产生的功率缺额；∑PES为微电网***内所有储能功率之和；∑PPV为微电网***内所有光伏功率之和；∑PL为微电网***内所有负荷功率之和；
S2.构建微电网状态信息集和动作决策集：
微电网状态信息集可表示为：
S＝[S1,S2,…,Sn]
其中：S为状态信息集；Sn为联络线功率缺额的离散状态集；S1为***的目标状态；动作决策集可表示为：
A＝[A1,A2,…An]
其中：A为动作决策集；An为网内对应切除的负荷功率；
S3.构建基于负荷优先级的奖励值函数，奖励值函数可表示为：
Figure FDA0003317444370000031
其中：rt为奖励值函数；st为当前状态；at为智能体当前的动作；Pa为动作a下切除的负荷功率；V*(a)为动作a下的期望奖赏；
S4.建立基于负荷优先级的期望奖赏函数，期望奖赏函数可表示为：
Figure FDA0003317444370000041
其中：G为负荷优先级；G＝1表示一级负荷，是不间断供电的重要负荷；G＝2表示二级负荷，是可中断负荷；G＝3表示三级负荷，是可调整的非重要负荷；
S5.构建人工情感量化函数，人工情感量化函数可表示为：
Figure FDA0003317444370000042
其中：fn为情感函数输出综合；θi为人工情感感知到的微电网内源荷储功率信息；ωi为各信息的权重；λi为θi和ωi的乘积；
S6.构建人工情感系数输出函数，情感输出函数可表示为：
Figure FDA0003317444370000043
其中kn为人工情感最大化的范围；η为情感系数；ηmax为情感系数的最大值；
S7.引入二次函数将情感系数转化为SARSA学习的实际影响，并将其作用到SARSA学习智能体的学习率，输出时变的学习率：
引入二次函数将情感系数转化为SARSA学习的实际影响：
Cf(η)＝Kaη2+Kbη
其中：Cf为情感系数的实际影响；Ka和Kb为转化系数；
将实际影响作用到SARSA学习智能体的学习率，输出时变的学习率：
αη←αCf(η)
其中αη为人工情感作用后的时变学习率；α为学习率；
S8.构建状态-动作值函数的更新函数，更新函数可表示为：
Q(st,at)←Q(st,at)+αη(rt(st,at)+γQ(st,at)-Q(st,at))
其中：Q(st,at)为状态-动作值函数；st为当前状态；αt为智能体当前的动作和；αη为基于人工情感的时变学习率；γ为折扣因子；rt(st,at)为奖励值函数。
CN202111235755.6A 2021-10-22 2021-10-22 基于人工情感sarsa学习的微电网非计划性孤岛切换方法 Pending CN113890098A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111235755.6A CN113890098A (zh) 2021-10-22 2021-10-22 基于人工情感sarsa学习的微电网非计划性孤岛切换方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111235755.6A CN113890098A (zh) 2021-10-22 2021-10-22 基于人工情感sarsa学习的微电网非计划性孤岛切换方法

Publications (1)

Publication Number Publication Date
CN113890098A true CN113890098A (zh) 2022-01-04

Family

ID=79013449

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111235755.6A Pending CN113890098A (zh) 2021-10-22 2021-10-22 基于人工情感sarsa学习的微电网非计划性孤岛切换方法

Country Status (1)

Country Link
CN (1) CN113890098A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104052078A (zh) * 2013-03-12 2014-09-17 珠海优特电力科技股份有限公司 微电网并网运行模式切换孤岛运行模式的调控方法及***
CN109842148A (zh) * 2018-02-01 2019-06-04 大全集团有限公司 一种微电网并网转孤岛运行模式的稳定控制方法
CN111817349A (zh) * 2020-07-31 2020-10-23 三峡大学 基于深度q学习的多微网被动并离网切换控制方法
CN112186796A (zh) * 2020-09-04 2021-01-05 三峡大学 基于人工情感强化学习的多微网非计划性孤岛控制方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104052078A (zh) * 2013-03-12 2014-09-17 珠海优特电力科技股份有限公司 微电网并网运行模式切换孤岛运行模式的调控方法及***
CN109842148A (zh) * 2018-02-01 2019-06-04 大全集团有限公司 一种微电网并网转孤岛运行模式的稳定控制方法
CN111817349A (zh) * 2020-07-31 2020-10-23 三峡大学 基于深度q学习的多微网被动并离网切换控制方法
CN112186796A (zh) * 2020-09-04 2021-01-05 三峡大学 基于人工情感强化学习的多微网非计划性孤岛控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
龙军;罗群;覃龙;: "低压微网孤岛模式下改进的下垂控制策略", 广西大学学报(自然科学版), no. 03, pages 754 - 763 *

Similar Documents

Publication Publication Date Title
Hong et al. Multiscenario underfrequency load shedding in a microgrid consisting of intermittent renewables
Zhou et al. Compartmentalization strategy for the optimal economic operation of a hybrid AC/DC microgrid
CN104037765B (zh) 基于改进遗传算法选取有源配电网供电恢复方案的方法
CN112271727B (zh) 含柔性软开关的韧性配电网的故障恢复方法
CN112598159B (zh) 一种基于多源网络重构的孤岛融合恢复方法
Nemati et al. Optimization of microgrids short term operation based on an enhanced genetic algorithm
CN115207935B (zh) 一种提高电压薄弱区域暂态电压稳定的无功协调优化方法
CN110994626A (zh) 基于电压趋势预测的500-220kV区域电网自动电压控制方法
Amirtharaj et al. Optimal utilization of renewable energy sources in MG connected system with integrated converters: an AGONN approach
CN115719979A (zh) 新能源微电网离网运行的源荷储协调控制方法及***
Liu et al. Grid-friendly energy prosumers based on the energy router with load switching functionality
Kottas et al. New operation scheme and control of smart grids using fuzzy cognitive networks
CN110311386A (zh) 一种基于pso新能源电站自发无功和svg无功补偿的容量优化配置方法
Alanazi et al. Designing a new controller in the operation of the hybrid PV-BESS system to improve the transient stability
Al Jajeh et al. Islanding of a microgrid using a distributed multi-agent control system
Ashourian et al. Controlling and modeling power-electronic interface DERs in islanding mode operation micro grid
CN112186796A (zh) 基于人工情感强化学习的多微网非计划性孤岛控制方法
CN112039126A (zh) 含分布式电源的配电网多时间尺度协调调度方法及***
CN113890098A (zh) 基于人工情感sarsa学习的微电网非计划性孤岛切换方法
CN109412192A (zh) 自储能多端背靠背柔直装置运行方法
Du et al. Two-step solution to optimal load shedding in a micro-grid
Joshi et al. Control uncertainty based LQR for frequency regulation using distributed energy resources
Nair et al. Satin bower bird algorithm for controller parameter optimization in an autonomous AC microgrid
Behera et al. Battery energy management and power control in microgrids using PI and fuzzy logic controller based SMA
Jamian et al. Reconfiguration distribution network with multiple distributed generation operation types using simplified artificial bees colony

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination