CN116760047A - 基于安全强化学习算法的配电网电压无功控制方法及*** - Google Patents
基于安全强化学习算法的配电网电压无功控制方法及*** Download PDFInfo
- Publication number
- CN116760047A CN116760047A CN202310674784.5A CN202310674784A CN116760047A CN 116760047 A CN116760047 A CN 116760047A CN 202310674784 A CN202310674784 A CN 202310674784A CN 116760047 A CN116760047 A CN 116760047A
- Authority
- CN
- China
- Prior art keywords
- distribution network
- power distribution
- voltage
- power
- reactive power
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000009826 distribution Methods 0.000 title claims abstract description 132
- 238000000034 method Methods 0.000 title claims abstract description 79
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 64
- 230000002787 reinforcement Effects 0.000 title claims abstract description 63
- 230000006870 function Effects 0.000 claims abstract description 67
- 238000012549 training Methods 0.000 claims abstract description 29
- GEPDYQSQVLXLEU-AATRIKPKSA-N methyl (e)-3-dimethoxyphosphoryloxybut-2-enoate Chemical compound COC(=O)\C=C(/C)OP(=O)(OC)OC GEPDYQSQVLXLEU-AATRIKPKSA-N 0.000 claims abstract description 28
- 238000005457 optimization Methods 0.000 claims abstract description 26
- 238000013528 artificial neural network Methods 0.000 claims abstract description 21
- 230000008569 process Effects 0.000 claims abstract description 19
- 230000009471 action Effects 0.000 claims abstract description 10
- 239000003795 chemical substances by application Substances 0.000 claims description 52
- VYLDEYYOISNGST-UHFFFAOYSA-N bissulfosuccinimidyl suberate Chemical compound O=C1C(S(=O)(=O)O)CC(=O)N1OC(=O)CCCCCCC(=O)ON1C(=O)C(S(O)(=O)=O)CC1=O VYLDEYYOISNGST-UHFFFAOYSA-N 0.000 claims description 35
- 239000000243 solution Substances 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000002347 injection Methods 0.000 claims description 7
- 239000007924 injection Substances 0.000 claims description 7
- 238000010845 search algorithm Methods 0.000 claims description 6
- 230000001186 cumulative effect Effects 0.000 claims description 5
- 238000013461 design Methods 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 5
- 238000007599 discharging Methods 0.000 claims description 4
- 230000009977 dual effect Effects 0.000 claims description 4
- 238000005728 strengthening Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 2
- 238000004088 simulation Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000010248 power generation Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000011217 control strategy Methods 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 230000035699 permeability Effects 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 208000014530 benign exophthalmos syndrome Diseases 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004146 energy storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/092—Reinforcement learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J3/00—Circuit arrangements for ac mains or ac distribution networks
- H02J3/04—Circuit arrangements for ac mains or ac distribution networks for connecting networks of the same frequency but supplied from different sources
- H02J3/06—Controlling transfer of power between connected networks; Controlling sharing of load between connected networks
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J3/00—Circuit arrangements for ac mains or ac distribution networks
- H02J3/12—Circuit arrangements for ac mains or ac distribution networks for adjusting voltage in ac networks by changing a characteristic of the network load
- H02J3/16—Circuit arrangements for ac mains or ac distribution networks for adjusting voltage in ac networks by changing a characteristic of the network load by adjustment of reactive power
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J3/00—Circuit arrangements for ac mains or ac distribution networks
- H02J3/28—Arrangements for balancing of the load in a network by storage of energy
- H02J3/32—Arrangements for balancing of the load in a network by storage of energy using batteries with converting means
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J3/00—Circuit arrangements for ac mains or ac distribution networks
- H02J3/38—Arrangements for parallely feeding a single network by two or more generators, converters or transformers
- H02J3/46—Controlling of the sharing of output between the generators, converters, or transformers
- H02J3/48—Controlling the sharing of the in-phase component
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J3/00—Circuit arrangements for ac mains or ac distribution networks
- H02J3/38—Arrangements for parallely feeding a single network by two or more generators, converters or transformers
- H02J3/46—Controlling of the sharing of output between the generators, converters, or transformers
- H02J3/50—Controlling the sharing of the out-of-phase component
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
- H02J2203/10—Power transmission or distribution systems management focussing at grid-level, e.g. load flow analysis, node profile computation, meshed network optimisation, active network management or spinning reserve management
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
- H02J2203/20—Simulating, e g planning, reliability check, modelling or computer assisted design [CAD]
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J2300/00—Systems for supplying or distributing electric power characterised by decentralized, dispersed, or local generation
- H02J2300/20—The dispersed energy generation being of renewable origin
- H02J2300/22—The renewable source being solar energy
- H02J2300/24—The renewable source being solar energy of photovoltaic origin
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Power Engineering (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Business, Economics & Management (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Economics (AREA)
- Mathematical Analysis (AREA)
- Water Supply & Treatment (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Public Health (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Computational Mathematics (AREA)
- Algebra (AREA)
- Probability & Statistics with Applications (AREA)
- Supply And Distribution Of Alternating Current (AREA)
Abstract
本发明属于智能强化学习技术领域和计算机技术领域，本发明公开了基于安全强化学习算法的配电网电压无功控制方法包括，构建配电网的电压无功控制模型；将电压无功控制模型描述成约束性马尔科夫决策过程，并定义CMDP模型的状态空间、动作空间及奖励函数；构建约束策略优化算法的神经网络架构和CPO智能体的训练规则，求解CMDP模型；采集配电网的历史运行数据对CPO智能体进行训练，将训练好的智能体在线部署，完成配电网的实时VVC过程。本发明将安全强化学习算法与配电网电压无功控制相结合，为配电网的电力管理领域带来了创新的技术解决方案。提供了一种方法来解决电力***中的电压无功控制问题。
Description
技术领域
本发明属于智能强化学习技术领域和计算机技术领域，具体涉及基于安全强化学习算法的配电网电压无功控制方法。
背景技术
电压无功控制(Volt/VAR control,VVC)是保证配电网电压在允许范围内，最大限度地减少损耗，减少调压装置磨损的关键，然而越来越多分布式资源(distributedresources,DRs)的渗透导致配电网VVC的难度不断加大。例如，间歇性的光伏(PV)和风力发电，可能由于其功率快速变化导致电压波动。分布式电源向配电网上游注入实功率会导致电压升高，并干扰传统的VVC控制装置。为了协调VVC设备和分布式资源，人们提出了广泛的基于模型的方法。以配电网电压控制为例，人们提出了混合整数非线性规划模型和混合整数二次约束模型。为了考虑DRs的不确定性，提出了随机规划模型。然而，基于随机规划的方法通常假设不确定性的已知概率分布，为了解决这一问题人们又提出了鲁棒优化模型。虽然基于鲁棒优化的方法不需要已知的不确定性概率分布，但它们仍然依赖于一个不确定性集来表征不确定性。
通常，基于模型的方法需要一个明确的物理模型来描述配电网，一个精确的统计模型来描述不确定性，一个高效的求解器来在有限的时间内获得最优解。开发这样的方法依赖于广泛的领域知识和在模型选择、参数估计和算法设计方面的人力努力。不适当的物理模型或不准确的参数可能导致性能下降或不现实的解决方案。为了消除配电网对显式模型的依赖和不确定性，基于深度强化学习(DRL)技术的无模型方法近年来受到了广泛的关注。对于VVC问题，一些最先进的方法也利用深度神经网络的优势采用了基于DRL的方法。例如，有人提出了一种双时间尺度电压控制方案，利用深度Q网络优化电容器单元的通断承诺，以维持配电网母线电压。有人开发了一种基于软动作家-评论家的DRL算法来优化配电网的电压分布。然而，这些无模型的方法也存在一些问题，首先，在VVC问题中有许多不等式约束，这对于奖励驱动的DRL方法来说是棘手的。其次，分布***表现出严重的不确定性和非线性，这对完全无模型算法的表示和学习能力是一个重大挑战。这些挑战促使我们研究用于VVC问题的安全强化学习(SRL)解决方案，因此本发明提出了一种基于安全强化学习算法的配电网电压无功控制方法。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
鉴于上述现有存在的问题，提出了本发明。
因此，本发明提供了基于安全强化学习算法的配电网电压无功控制方法，能够解决传统的自由表面相关多次波压制方法不能适应海底节点观测方式采集的地震数据的问题。
为解决上述技术问题，本发明提供如下技术方案，基于安全强化学习算法的配电网电压无功控制方法，包括：
构建配电网的电压无功控制模型；
将电压无功控制模型描述成约束性马尔科夫决策过程，并定义CMDP模型的状态空间、动作空间及奖励函数；
构建约束策略优化算法的神经网络架构和CPO智能体的训练规则，求解CMDP模型；
采集配电网的历史运行数据对CPO智能体进行训练，将训练好的智能体在线部署，完成配电网的实时VVC过程。
作为本发明所述的基于安全强化学习算法的配电网电压无功控制方法的一种优选方案，其中：所述电压无功控制模型包括，潮流计算约束模型，PV逆变器和BSSs的控制模型；
当配电网的运行范围划分为T个时隙时，t∈Ωt对时间间隔进行索引，i∈Ωn对配电网的节点进行索引，jk∈Ωb对配电网的支路进行索引，其中Ωt表示时间间隔集合,Ωn表示节点集合,Ωb表示支路集合；
可调度的资源包括PV逆变器和BSSs的控制模型，可决策的变量包括PV逆变器输出的无功功率QPV及BSSs的有功功率PBSSs，QPV决策量的上下限为，
QPV,min<QPV，t<QPV,max
其中，QPV,t表示i节点PV的无功输出量，QPV,min及QPV,max为t时刻PV的无功裕度；
的取值限制为，
其中，为节点i的BSSs控制变量，/>和/>分别表示最大充电功率和最大放电功率；
储能的容量限制，在时间间隔t时，BSSs中存储的能量约束为，
其中，为BSSs的能量容量，/>表示BSSs中允许存储的最小能量；
以配电网无功优化控制最小化网络有功功率损耗为目的构建t时刻目标函数，
其中，F表示T时段内配电网的总有功损耗成本，Cp为有功网络损耗的成本系数，Ploss(t)为时刻t的有功网络损耗，具体表达式为，
其中，Gij为支路Eij导纳矩阵的实部，Ve,i(t)与Vf,i(t)分别表示节点i出t时刻电压的实部和虚部，N表示配电网供N个节点；
配电网无功优化控制过程中，约束条件分为配电网有功潮流平衡约束及无功潮流平衡约束，有功潮流平衡表示为，
其中，Bij表示支路Eij导纳矩阵的虚部，Pi(t)表示节点i处t时刻的有功功率注入量，其计算方式为：
Pi(t)＝PL,i(t)+Pi BSSs(t),i∈Ω,t∈Ωt
其中PL,i(t)表示节点i处t时刻的基础负荷有功功率，PBSSs表示BSS的有功功率，无功潮流平衡表达式为，
其中，Qi(t)表示节点i处t时刻的无功功率注入量，其计算方式为，
Qi(t)＝QL,i(t)-QPV,i(t),i∈Ωn,t∈Ωt
其中，QL,i(t)表示节点i处t时刻的基础负荷无功功率，QPV,i(t)表示i节点PV的无功功率输出，节点电压约束如下式：
Vmin＜Vi(t)＜Vmax
其中，Vmax与Vmin分别表示节点电压上下限。
作为本发明所述的基于安全强化学习算法的配电网电压无功控制方法的一种优选方案，其中：所述定义CMDP的状态空间、动作空间及奖励函数包括，
所述状态空间包括，t时刻环境状态定义为，
St＝(x1(t),x2(t),x3(t),...,xn(t))
其中，xi(t)表示节点i处的状态信息，各节点xi(t)的具体表达式为：
xi(t)＝(Pi(t),Qi(t),Vi(t))
其中，矩阵特征xi(t)由节点i处的有功功率Pi(t)、无功功率Qi(t)以及电压幅值Vi(t)组成；
所述动作空间包括，在t时刻的动作at表示PV的无功输出和BSS的有功出力：
at＝{QPV,i(t),Pi bss(t)},i∈Ωn,t∈Ωt
所述奖励函数包括，配电网VVC的目标是最小化网络损耗，而强化学习的学习目标是最大化累积奖励函数，取反网络损耗作为奖励函数，具体表示为：
rt＝-CpPloss(t)
其中，rt为t时刻强化学习智能体所获得的奖励。
当节点电压在安全范围内表明约束条件满足，超出则表明违反约束条件，具体如下所示：
其中，Ct为t时刻强化学习智能体的累积约束。
配电网VVC问题的CMDP模型可描述为，
s.t.JC(π)≤d
其中，JC(π)为强化学习智能体的目标惩罚函数，d为惩罚阈值，JR(π)为强化学习智能体的目标奖励函数，τ为智能体当前的策略。
最优决策π*定义为：
作为本发明所述的基于安全强化学习算法的配电网电压无功控制方法的一种优选方案，其中：所述求解CMDP模型包括，使用本地策略搜索寻找最优策略或使用标准策略梯度；
所述本地策略搜索包括，局部策略搜索算法通过最近一次迭代的πk附近迭代寻找改进的策略来优化策略，使J(π)最大化，
πk+1＝arg maxπ∈ΠJ(π)
s.t.D(π,πk)≤δ
其中，D是距离度量值，δ定义了邻域的大小；
典型的局部策略搜索算法是信任域策略优化，使用平均KL散度，
其中，πk表示策略k。
作为本发明所述的基于安全强化学习算法的配电网电压无功控制方法的一种优选方案，其中：所述标准策略梯度包括，使用l-2测度D(π,πk)＝||θ-θk||2，在πk的邻域最大化线性化目标J(π)；
通过计算约束函数JC(π)确定策略是否可行，CPO使用代理函数，从收集的样本对πk近似约束和目标，代理函数表示为，
其中，表示优势函数，/>是约束条件下的优势函数，代理函数满足下述条件，
当将目标和约束替换为代理函数并根据更新策略得到，
策略更新上述公式转换为，
由于策略π(s|a)是s和a的函数，利用神经网络参数逼近策略分布参数，并优化神经网络的权值来改进策略。
作为本发明所述的基于安全强化学习算法的配电网电压无功控制方法的一种优选方案，其中：所述利用神经网络参数逼近策略分布参数包括，通过求解优化问题更新参数θ，将上述公式近似为，
θk+1＝arg maxθ∈ΘgT(θ-θk)
s.t.c+bT(θ-θk)≤0
其中，g为梯度b为梯度/>H为hessian矩阵，/>c＝JC(θk)-d；
其中，λ*和ν*是最优对偶解，对于优势函数和/>如下式所示，
其中，γ为折扣因子，r为奖励值，λ是GAE参数，值函数/>和/>用φ参数化的神经网络逼近，通过最小化平方误差损失来训练:
其中,Vπk为采取策略k时的价值，C为约束值，l为当前时间步骤，为约束值函数，/>为奖励值函数，t为第t个时间步骤，φ为值函数的参数，T为总的时间步骤。
作为本发明所述的基于安全强化学习算法的配电网电压无功控制方法的一种优选方案，其中：所述采集配电网的历史运行数据包括，配电网的真实的负荷、PV、BSSs历史运行数据。
本发明的另外一个目的是提供新能源场站多级并行网络快速通讯***，可以提高配电网的电压稳定性、减少能量损失和设备过载运行，同时也可以使得配电网的电压无功控制更加智能化和自适应。
基于安全强化学习算法的配电网电压无功控制方法的***，其特征在于：包括，模型构建模块，CMDP模型描述模块，强化学习模块，数据采集模块；
包括，电压无功控制模型构建模块，CMDP模型转换模块，强化学习智能体训练模块，强化学习智能体测试模块；
所述模型构建模块，负责根据配电网的拓扑结构、设备参数、负载信息，构建适合于特定配电网的电压无功控制模型；
所述CMDP模型描述模块，将电压无功控制模型转化为约束性马尔科夫决策过程模型，定义状态空间、动作空间和奖励函数；
所述强化学习智能体训练模块，包括神经网络架构设计和CPO算法智能体训练规则两个方面，其中训练规则描述了智能体的训练步骤；
所述强化学习智能体测试，就是将训练好的智能体进行现场部署，通过输入配电网的观测状态，包括电压、功率、电流信息，得到配电网电压无功控制的决策指令。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如基于安全强化学习算法的配电网电压无功控制方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如基于安全强化学习算法的配电网电压无功控制方法的步骤。
本发明的有益效果：1、提高配电网的安全性和稳定性：通过使用安全强化学习算法，该方法能够动态地调整配电网设备的运行参数，实现对电压无功的精确控制。它能够适应复杂多变的电力***环境，减轻电压波动带来的潜在风险，保障***的安全运行。
2、优化能源利用和降低损耗：通过协调分布式资源、PV发电和储能***的运行，该方法能够最大限度地减少配电网的有功损耗并优化电压分布。它利用智能强化学习算法，实现对配电网的无功功率分配的优化，提高电网的能源利用效率。
3、自适应性和学习能力：该方法基于强化学习算法，能够根据实时的***状态进行自适应调节和优化，无需依赖事先建立的物理模型。所提CMDP框架可以独立处理奖励和约束，而不需要为约束违反精心设计具体的奖励函数。同时，它具备学习和优化能力，能够通过与配电网实时交互，不断改进控制策略，提高***的性能和效果。
4、减少人工干预和操作人员工作负担：采用基于安全强化学习算法的方法，能够减少人工干预，降低操作人员的工作负担。***能够自主学习和决策，实现自动化的电压无功控制，减少对人工操作的依赖，同时CPO算法可以训练复杂的非线性策略来解决具有状态和行为约束的高维控制问题，同时保证单调性能的提高和约束的满足。
5、引入创新的技术解决方案：本发明将安全强化学习算法与配电网电压无功控制相结合，为配电网的电力管理领域带来了创新的技术解决方案。它不仅提供了一种新颖的方法来解决电力***中的电压无功控制问题，还为电力***的智能化和自主化提供了新的思路和方向。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
图1为本发明一个实施例提供的基于安全强化学习算法的配电网电压无功控制方法流程示意图；
图2为本发明一个实施例提供的基于安全强化学习算法的配电网电压无功控制方法的标准IEEE-34节点配电***示意图；
图3为本发明一个实施例提供的基于安全强化学习算法的配电网电压无功控制方法的CPO算法的约束值和奖励值收敛示意图；
图4为本发明一个实施例提供的基于安全强化学习算法的配电网电压无功控制方法的三种算法***网络损耗对比图；
图5为本发明一个实施例提供的基于安全强化学习算法的配电网电压无功控制***流程示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1
参照图1-2，为本发明的第一个实施例，该实施例提供了基于安全强化学习算法的配电网电压无功控制方法，包括：
S1：构建配电网的电压无功控制模型；
更进一步的，所述电压无功控制模型包括，潮流计算约束模型，PV逆变器和BSSs的控制模型；
当配电网的运行范围划分为T个时隙时，t∈Ωt对时间间隔进行索引，i∈Ωn对配电网的节点进行索引，ij∈Ωb对配电网的支路进行索引，其中Ωt表示时间间隔集合,Ωn表示节点集合,Ωb表示支路集合；值得注意的是，在本发明中，配电网被认为是一个黑箱，这意味着网络拓扑、线路参数和负载波动是未知的，必须根据对***状态的观察来学习和制定控制策略和调度决策。
可调度的资源包括PV逆变器和BSSs的控制模型，可决策的变量包括PV逆变器输出的无功功率QPV及BSSs的有功功率Pbss，QPV决策量的上下限为，
QPV,min<QPV，t<QPV,max
其中，QPV,t表示i节点PV的无功输出量，QPV,min及QPV,max为t时刻PV的无功裕度；
的取值限制为，
其中，为节点i的BSS控制变量，/>和/>分别表示最大充电功率和最大放电功率；
储能的容量限制，在时间间隔t时，BSS中存储的能量约束为，
其中，为BSS的能量容量，/>表示BSS中允许存储的最小能量；
配电网无功优化控制旨在最小化网络有功功率损耗，则t时刻目标函数表示为，
其中，F表示T时段内配电网的总有功损耗成本，Cp为有功网络损耗的成本系数，Ploss(Pt)为时刻t的有功网络损耗，具体表达式为，
其中，Gij为支路Eij导纳矩阵的实部，Ve,i(t)与Vf,i(t)分别表示节点i出t时刻电压的实部和虚部，N表示配电网供N个节点；
配电网无功优化控制过程中，约束条件分为两部分，第一部分为配电网有功潮流平衡约束及无功潮流平衡约束，有功潮流平衡表示为，
其中，Bij表示支路Eij导纳矩阵的虚部，Pi(t)表示节点i处t时刻的有功功率注入量，其计算方式为：
Pi(t)＝PL,i(t)+Pi bss(t),i∈Ωn,t∈Ωt
其中PL,i(t)表示节点i处t时刻的基础负荷有功功率，Pbss表示BSS的有功功率，无功潮流平衡表达式为，
其中，Qi(t)表示节点i处t时刻的无功功率注入量，其计算方式为，
Qi(t)＝QL,i(t)-QPV,i(t),i∈Ωn,t∈Ωt
其中，QL,i(t)表示节点i处t时刻的基础负荷无功功率，QPV,i(t)表示i节点PV的无功功率输出，节点电压约束如下式：
Vmin＜Vi(t)＜Vmax
其中，Vmax与Vmin分别表示节点电压上下限，用以稳定节点电压，防止电压偏差过大影响用户侧电能质量。
S2：将电压无功控制模型描述成约束性马尔科夫决策过程，并定义CMDP模型的状态空间、动作空间及奖励函数；
应说明的是，约束性马尔科夫决策过程为CMDP。
更进一步的，所述定义CMDP的状态空间、动作空间及奖励函数包括，
所述状态空间包括，t时刻环境状态定义为，
St＝(x1(t),x2(t),x3(t),...,xn(t))
其中，xi(t)表示节点i处的状态信息，各节点xi(t)的具体表达式为：
xi(t)＝(Pi(t),Qi(t),Vi(t))
其中，矩阵特征xi(t)由节点i处的有功功率Pi(t)、无功功率Qi(t)以及电压幅值Vi(t)组成，且本文假设各个节点相关状态信息皆可被智能体观测到。
所述动作空间包括，在t时刻的动作at表示PV的无功输出和BSS的有功出力：
at＝{QPV,i(t),Pi bss(t)},i∈Ωn,t∈Ωt
所述奖励函数包括，配电网VVC的目标是最小化网络损耗，而强化学习的学习目标是最大化累积奖励函数，取反网络损耗作为奖励函数，具体表示为：
rt＝-CpPloss(t)
约束函数即节点电压越限，当节点电压在安全范围内表明约束条件满足，超出则表明违反约束条件，具体如下所示：
至此，配电网VVC问题的CMDP模型可描述为：
s.t.JC(π)≤d
且最优决策π*定义为：
S3：构建约束策略优化算法的神经网络架构和CPO智能体的训练规则，求解CMDP模型；
应说明的是，约束策略优化为Constrained Policy Optimization,CPO。
更进一步的，所述求解CMDP模型包括，使用本地策略搜索寻找最优策略或使用标准策略梯度；
所述本地策略搜索包括，局部策略搜索算法通过最近一次迭代的πk附近迭代寻找改进的策略来优化策略，使J(π)最大化，
πk+1＝arg maxπ∈ΠJ(π)
s.t.D(π,πk)≤δ
其中，D是距离度量值，δ定义了邻域的大小，一个典型的局部策略搜索算法是信任域策略优化，使用平均KL散度来度量搜索区域。
更进一步的，所述标准策略梯度包括，使用l-2测度D(π,πk)＝||θ-θk||2，在πk的邻域最大化线性化目标J(π)；
通过计算约束函数JC(π)确定策略是否可行，CPO使用代理函数，从收集的样本对πk近似约束和目标，代理函数表示为，
其中 表示优势函数，/>是约束条件下的优势函数，代理函数满足下述条件，
当将目标和约束替换为代理函数并根据更新策略得到，
我们可以提高最坏情况下的性能，并限制最坏情况下的约束违反。这意味着策略更新可以保证目标绩效和约束满意度的单调提高。应用策略更新的一个困难是系数αk和βk的计算，因为它涉及求解最优最大值。为了解决这一问题，CPO对KL散度采用信赖域约束，而不是用αk和βk惩罚它。因此，策略更新式可以转换为策略更新上述公式转换为，
由于策略π(s|a)是s和a的函数，我们通过设计一个神经网络来逼近策略，并优化神经网络的权值来改进策略。下面介绍利用神经网络参数逼近策略分布参数的过程，本发明用向量θ表示所有可训练参数，本发明将用θ表示参数化策略π(at|st；θ)，用θ的函数来代替原来与π有关的符号，如J(θ):＝J(π),JC(θ):＝JC(π),ρπ:＝ρθ以及然后通过求解优化问题(22)来更新参数θ，因此可以被近似为：
θk+1＝arg maxθ∈ΘgT(θ-θk)
s.t.c+bT(θ-θk)≤0
其中，g为梯度b为梯度/>H为hessian矩阵，/>c＝JC(θk)-d；
其中，λ*和ν*是最优对偶解，对于优势函数和/>如下式所示，
其中，γ为折扣因子，r为奖励值，λ是GAE参数，值函数/>和/>用φ参数化的神经网络逼近，通过最小化平方误差损失来训练:
其中，
S4：采集配电网的历史运行数据对CPO智能体进行训练，将训练好的智能体在线部署，完成配电网的实时VVC过程。
更进一步的，所述采集配电网的历史运行数据包括，配电网的真实的负荷、PV、BSSs历史运行数据。
实施例2
参照图3-4，为本发明的一个实施例，提供了基于安全强化学习算法的配电网电压无功控制方法，为了验证本发明的有益效果，通过实验进行科学论证。
下表是CPO算法在进行VVC过程中的算法流程：
使用某地区配电网的真实的负荷、PV、BSSs历史运行数据对步骤3的CPO智能体进行训练，然后将训练好的智能体在线部署，以此来完成配电网的实时VVC过程；
本发明仿真实验使用标准IEEE-34节点配电***作为CPO智能体交互的仿真环境，图2展示了IEEE-34节点配电***的结构图，在该***中的主馈线的不同节点上存在9个PV和4个BSSs。表1展示了仿真环境的具体参数，表2展示了PV和BSSs的装机容量。
表1仿真环境具体参数
| 参数名称 | 参数值 |
| PVs | 9个 |
| BSSs | 4个 |
| PV渗透率 | 40％，50％，60％ |
| BESs渗透率 | PV容量的38％ |
| 负荷峰值 | 1700KW |
表2分布式资源的装机容量
| 分布式资源 | 最大有功(KW) |
| PV1 | 270 |
| PV2 | 245 |
| PV3 | 40 |
| PV4 | 40 |
| PV5 | 16 |
| PV6 | 85 |
| PV7 | 18 |
| PV8 | 26 |
| PV9 | 66 |
| BSS1 | 140 |
| BSS2 | 14 |
| BSS3 | 125 |
| BSS4 | 24 |
仿真环境所使用的历史运行数据来自云南某地区的配变负荷和PV真实的发电曲线，每一个决策步的时间间隔是30分钟，BSSs的充放电取决于负载需求和光伏发电，以及CPO智能体的决策。
在仿真实验中，CPO智能体被训练了1000次，以最佳方式学习适当的神经网络参数来调节电压以及最小化网损。表3展示了CPO算法的超参数设置。
表3算法的超参数设置
| 参数名称 | 参数值 |
| 约束容忍度(d) | 1e-3 |
| GAE参数(λ) | 0.95 |
| KL散度限制(δ) | 0.02 |
| 隐藏层激活函数 | relu |
| 网络的学习率 | 3e-4 |
| 折扣因子 | 0.97 |
| 经验池大小 | 480 |
| 训练回合数 | 1000 |
图3显示了训练过程中所提出的方法的回合平均奖励值和累计电压超出极限节点数的收敛情况。由于DRL算法的随机性，本例使用三个随机种子来训练CPO代理，如图3所示。实线代表三个训练环节的奖励值和约束值的平均值，阴影代表三个训练环节的奖励值和约束值的方差。从图中可以看出，在训练阶段的初期，由于代理人处于探索阶段，没有学到好的策略，奖励值相对较低，每轮的累计过电压节点数也较大。通过不断的互动训练，DRL代理在奖励值的引导下，在对数障碍函数的约束下，逐渐从样本经验中学习到符合配电***安全约束的策略，具体表现为每轮电压穿越次数接近于0。此外，在图3中，策略的奖励值呈现出一个波动的收敛过程。这是因为代理人在训练的早期阶段容易探索不符合安全约束的策略，需要立即放弃策略，调整策略，在满足安全约束的同时优化累计奖励值。经过450轮后，策略收敛并趋于稳定，表明代理人在满足***节点电压约束的同时，逐渐减少网络有功功率损失。这些结果表明，所提出的CPO方法有效地满足了制定的CMDP约束问题，成功地实现了网络损失最小化。
为验证本发明所提基于CPO算法的配电网无功优化策略，本算例将其与启发式的改进粒子群算法(Particle Swarm Optimization,PSO)以及基于模型的二阶锥优化(Second-Order Cone Programming,SOCP)算法进行比较。图4中展示了三种算法在同一测试日下的***网络损耗对比。由图4可以看出，SOCP算法准确预测了各项数据，在配电网无功优化中表现出非常优异的性能，其有功损耗稍优于本文所提方法。但是由于实际场景中存在随机性，在运行调度中无法复现出理论最优结果。对于所提的CPO算法在满足电压约束的条件下，表现出与SOCP相似的性能，可以有效的降低配电网有功损耗，并且时测试日中的平均有功损耗相比PSO算法下降了18.4kW。
应说明的是，以上实施例仅用于说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
实施例3
本发明第三个实施例，其不同于前两个实施例的是：
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)、便携式计算机盘盒(磁装置)、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编辑只读存储器(EPROM或闪速存储器)、光纤装置以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
实施例4
参照图5，为本发明的第四个实施例，该实施例提供了基于安全强化学习算法的配电网电压无功控制方法的***，其特征在于：包括，模型构建模块，CMDP模型描述模块，强化学习模块，数据采集模块；
包括，电压无功控制模型构建模块，CMDP模型转换模块，强化学习智能体训练模块，强化学习智能体测试模块；
所述模型构建模块，负责根据配电网的拓扑结构、设备参数、负载信息，构建适合于特定配电网的电压无功控制模型；
所述CMDP模型描述模块，将电压无功控制模型转化为约束性马尔科夫决策过程模型，定义状态空间、动作空间和奖励函数；
所述强化学习智能体训练模块，包括神经网络架构设计和CPO算法智能体训练规则两个方面，其中训练规则描述了智能体的训练步骤；
所述强化学习智能体测试，就是将训练好的智能体进行现场部署，通过输入配电网的观测状态，包括电压、功率、电流信息，得到配电网电压无功控制的决策指令。
应说明的是，以上实施例仅用于说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (10)
1.基于安全强化学习算法的配电网电压无功控制方法，其特征在于：包括，
构建配电网的电压无功控制模型；
将电压无功控制模型描述成约束性马尔科夫决策过程，并定义CMDP模型的状态空间、动作空间及奖励函数；
构建约束策略优化算法的神经网络架构和CPO智能体的训练规则，求解CMDP模型；
采集配电网的历史运行数据对CPO智能体进行训练，将训练好的智能体在线部署，完成配电网的实时VVC过程。
2.如权利要求1所述的基于安全强化学习算法的配电网电压无功控制方法，其特征在于：所述电压无功控制模型包括，潮流计算约束模型，PV逆变器和BSSs的控制模型；
当配电网的运行范围划分为T个时隙时，t∈Ωt对时间间隔进行索引，i∈Ωn对配电网的节点进行索引，jk∈Ωb对配电网的支路进行索引，其中Ωt表示时间间隔集合,Ωn表示节点集合,Ωb表示支路集合；
可调度的资源包括PV逆变器和BSSs的控制模型，可决策的变量包括PV逆变器输出的无功功率QPV及BSSs的有功功率PBSSs，QPV决策量的上下限为，
QPV,min<QPV，t<QPV,max
其中，QPV,t表示i节点PV的无功输出量，QPV,min及QPV,max为t时刻PV的无功裕度；
的取值限制为，
其中，为节点i的BSSs控制变量，/>和/>分别表示最大充电功率和最大放电功率；
储能的容量限制，在时间间隔t时，BSSs中存储的能量约束为，
其中，为BSSs的能量容量，/>表示BSSs中允许存储的最小能量；
以配电网无功优化控制最小化网络有功功率损耗为目的构建t时刻目标函数，
其中，F表示T时段内配电网的总有功损耗成本，Cp为有功网络损耗的成本系数，Ploss(t)为时刻t的有功网络损耗，具体表达式为，
其中，Gij为支路Eij导纳矩阵的实部，Ve,i(t)与Vf,i(t)分别表示节点i出t时刻电压的实部和虚部，N表示配电网供N个节点，Ve,j(t)为j节点电压的实部，Vf,j(t)为j节点电压的虚部；
配电网无功优化控制过程中，约束条件分为配电网有功潮流平衡约束及无功潮流平衡约束，有功潮流平衡表示为，
其中，Bij表示支路Eij导纳矩阵的虚部，Pi(t)表示节点i处t时刻的有功功率注入量，其计算方式为：
Pi(t)＝PL,i(t)+Pi BSSs(t),i∈Ωn,t∈Ωt
其中，PL,i(t)表示节点i处t时刻的基础负荷有功功率，PBSSs表示BSSs的有功功率，无功潮流平衡表达式为，
其中，Qi(t)表示节点i处t时刻的无功功率注入量，计算方式为，
Qi(t)＝QL,i(t)-QPV,i(t),i∈Ωn,t∈Ωt
其中，QL,i(t)表示节点i处t时刻的基础负荷无功功率，QPV,i(t)表示i节点PV的无功功率输出，节点电压约束如下式，
Vmin＜Vi(t)＜Vmax
其中，Vmax表示节点电压上限Vmin表示节点电压下限。
3.如权利要求2所述的基于安全强化学习算法的配电网电压无功控制方法，其特征在于：所述定义CMDP的状态空间、动作空间及奖励函数包括，
所述状态空间包括，t时刻环境状态定义为，
St＝(x1(t),x2(t),x3(t),...,xn(t))
其中，xi(t)表示节点i处的状态信息，各节点xi(t)的具体表达式为：
xi(t)＝(Pi(t),Qi(t),Vi(t))
其中，矩阵特征xi(t)由节点i处的有功功率Pi(t)、无功功率Qi(t)以及电压幅值Vi(t)组成；
所述动作空间包括，在t时刻的动作at表示PV的无功输出和BSSs的有功出力：
at＝{QPV,i(t),Pi BSSs(t)},i∈Ωn,t∈Ωt
所述奖励函数包括，配电网VVC的目标是最小化网络损耗，而强化学习的学习目标是最大化累积奖励函数，取反网络损耗作为奖励函数，具体表示为：
rt＝-CpPloss(t)
其中，rt为t时刻强化学习智能体所获得的奖励；
当节点电压在安全范围内表明约束条件满足，超出则表明违反约束条件，具体如下所示：
其中，Ct为t时刻强化学习智能体的累积约束；
至此，配电网VVC问题的CMDP模型可描述为：
s.t.JC(π)≤d
其中，JC(π)为强化学习智能体的目标惩罚函数，d为惩罚阈值，JR(π)为强化学习智能体的目标奖励函数，τ为智能体当前的策略；
最优决策π*定义为，
其中，J(π)为强化学习智能体的总体的目标函数，c为惩罚项。
4.如权利要求3所述的基于安全强化学习算法的配电网电压无功控制方法，其特征在于：所述求解CMDP模型包括，使用本地策略搜索寻找最优策略或使用标准策略梯度；
所述本地策略搜索包括，局部策略搜索算法通过最近一次迭代的πk附近迭代寻找改进的策略来优化策略，使J(π)最大化，
πk+1＝arg maxπ∈ΠJ(π)
s.t.D(π,πk)≤δ
其中，D是距离度量值，δ定义了邻域的大小，一个典型的局部策略搜索算法是信任域策略优化，使用平均KL散度，
其中，πk表示策略k。
5.如权利要求4所述的基于安全强化学习算法的配电网电压无功控制方法，其特征在于：所述标准策略梯度包括，使用l-2测度D(π,πk)＝||θ-θk||2，在πk的邻域最大化线性化目标J(π)；
通过计算约束函数JC(π)确定策略是否可行，CPO使用代理函数，从收集的样本对πk近似约束和目标，代理函数表示为，
其中， 表示优势函数，/>是约束条件下的优势函数，代理函数满足下述条件，
当将目标和约束替换为代理函数并根据更新策略得到，
策略更新上述公式转换为，
由于策略π(s|a)是s和a的函数，利用神经网络参数逼近策略分布参数，并优化神经网络的权值来改进策略。
6.如权利要求5所述的基于安全强化学习算法的配电网电压无功控制方法，其特征在于：所述利用神经网络参数逼近策略分布参数包括，通过求解优化问题更新参数θ，将上述公式近似为，
θk+1＝arg maxθ∈ΘgT(θ-θk)
s.t.c+bT(θ-θk)≤0
其中，g为梯度b为梯度/>H为hessian矩阵，/>c＝JC(θk)-d；
其中，λ*和ν*是最优对偶解，对于优势函数和/>如下式所示，
其中，γ为折扣因子，r为奖励值，λ是GAE参数，值函数/>和/>用φ参数化的神经网络逼近，通过最小化平方误差损失来训练，
其中,Vπk为采取策略k时的价值，C为约束值，l为当前时间步骤，为约束值函数，为奖励值函数，t为第t个时间步骤，φ为值函数的参数，T为总的时间步骤。
7.如权利要求6所述的基于安全强化学习算法的配电网电压无功控制方法，其特征在于：所述采集配电网的历史运行数据包括，配电网的真实的负荷、PV、BSSs历史运行数据。
8.一种采用如权利要求1～7任一所述基于安全强化学习算法的配电网电压无功控制方法的***，其特征在于：包括，电压无功控制模型构建模块，CMDP模型转换模块，强化学习智能体训练模块，强化学习智能体测试模块；
所述模型构建模块，负责根据配电网的拓扑结构、设备参数、负载信息，构建适合于特定配电网的电压无功控制模型；
所述CMDP模型描述模块，将电压无功控制模型转化为约束性马尔科夫决策过程模型，定义状态空间、动作空间和奖励函数；
所述强化学习智能体训练模块，包括神经网络架构设计和CPO算法智能体训练规则两个方面，其中训练规则描述了智能体的训练步骤；
所述强化学习智能体测试，就是将训练好的智能体进行现场部署，通过输入配电网的观测状态，包括电压、功率、电流信息，得到配电网电压无功控制的决策指令。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310674784.5A CN116760047A (zh) | 2023-06-08 | 2023-06-08 | 基于安全强化学习算法的配电网电压无功控制方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310674784.5A CN116760047A (zh) | 2023-06-08 | 2023-06-08 | 基于安全强化学习算法的配电网电压无功控制方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116760047A true CN116760047A (zh) | 2023-09-15 |
Family
ID=87950700
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310674784.5A Pending CN116760047A (zh) | 2023-06-08 | 2023-06-08 | 基于安全强化学习算法的配电网电压无功控制方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116760047A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117221020A (zh) * | 2023-11-09 | 2023-12-12 | 南京财经大学 | 一种用于电动汽车充电网的网络安全策略优化方法 |
| CN117726133A (zh) * | 2023-12-29 | 2024-03-19 | 国网江苏省电力有限公司信息通信分公司 | 一种基于强化学习的分布式能源实时调度方法及*** |
| CN117955113A (zh) * | 2024-03-26 | 2024-04-30 | 国网天津市电力公司城西供电分公司 | 一种含分布式光伏配电网的自适应电压控制方法及装置 |
-
2023
- 2023-06-08 CN CN202310674784.5A patent/CN116760047A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117221020A (zh) * | 2023-11-09 | 2023-12-12 | 南京财经大学 | 一种用于电动汽车充电网的网络安全策略优化方法 |
| CN117221020B (zh) * | 2023-11-09 | 2024-02-02 | 南京财经大学 | 一种用于电动汽车充电网的网络安全策略优化方法 |
| CN117726133A (zh) * | 2023-12-29 | 2024-03-19 | 国网江苏省电力有限公司信息通信分公司 | 一种基于强化学习的分布式能源实时调度方法及*** |
| CN117955113A (zh) * | 2024-03-26 | 2024-04-30 | 国网天津市电力公司城西供电分公司 | 一种含分布式光伏配电网的自适应电压控制方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Gorostiza et al. | Deep reinforcement learning-based controller for SOC management of multi-electrical energy storage system | |
| US11326579B2 (en) | Adaptive dynamic planning control method and system for energy storage station, and storage medium | |
| CN116760047A (zh) | 基于安全强化学习算法的配电网电压无功控制方法及*** | |
| CN107437813B (zh) | 基于布谷鸟-粒子群的配电网无功功率优化方法 | |
| CN114725936A (zh) | 基于多智能体深度强化学习的配电网优化方法 | |
| CN113363998A (zh) | 一种基于多智能体深度强化学习的配电网电压控制方法 | |
| CN114784823A (zh) | 基于深度确定性策略梯度的微电网频率控制方法及*** | |
| CN113469332A (zh) | 基于模糊神经的虚拟同步发电机惯量阻尼自适应控制方法 | |
| CN114696351A (zh) | 一种电池储能***动态优化方法、装置、电子设备和存储介质 | |
| CN116468159A (zh) | 一种基于双延迟深度确定性策略梯度的无功优化方法 | |
| CN115293052A (zh) | 电力***有功潮流在线优化控制方法、存储介质和装置 | |
| US20230344242A1 (en) | Method for automatic adjustment of power grid operation mode base on reinforcement learning | |
| CN116169698A (zh) | 一种新能源平稳消纳的分布式储能优化配置方法及*** | |
| Yin et al. | Mode-decomposition memory reinforcement network strategy for smart generation control in multi-area power systems containing renewable energy | |
| Dehnavi et al. | Retracted: New Deep Learning-Based Approach for Wind Turbine Output Power Modeling and Forecasting | |
| Han et al. | An autonomous control technology based on deep reinforcement learning for optimal active power dispatch | |
| CN115169957A (zh) | 一种基于深度强化学习的配电网调度方法、装置及介质 | |
| CN113872213B (zh) | 一种配电网电压自主优化控制方法及装置 | |
| CN117833263A (zh) | 一种基于ddpg的新能源电网电压控制方法及*** | |
| CN114566971A (zh) | 一种基于近端策略优化算法的实时最优潮流计算方法 | |
| CN116436003B (zh) | 主动配电网风险约束备用优化方法、***、介质及设备 | |
| CN116093995B (zh) | 一种配电***多目标网络重构方法及*** | |
| CN114048576B (zh) | 一种稳定电网输电断面潮流的储能***智能化控制方法 | |
| Eghbal et al. | Application of metaheuristic methods to reactive power planning: a comparative study for GA, PSO and EPSO | |
| CN113270867A (zh) | 一种薄弱电网潮流无解自动调整方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |