CN115133540A - 一种配电网无模型的实时电压控制方法 - Google Patents

一种配电网无模型的实时电压控制方法 Download PDF

Info

Publication number
CN115133540A
CN115133540A CN202210889497.1A CN202210889497A CN115133540A CN 115133540 A CN115133540 A CN 115133540A CN 202210889497 A CN202210889497 A CN 202210889497A CN 115133540 A CN115133540 A CN 115133540A
Authority
CN
China
Prior art keywords
node
time
power
distribution network
phase
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210889497.1A
Other languages
English (en)
Other versions
CN115133540B (zh
Inventor
曹迪
胡维昊
席先鹏
张真源
井实
李思辰
黄琦
李坚
杜月芳
张蔓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202210889497.1A priority Critical patent/CN115133540B/zh
Publication of CN115133540A publication Critical patent/CN115133540A/zh
Application granted granted Critical
Publication of CN115133540B publication Critical patent/CN115133540B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/12—Circuit arrangements for ac mains or ac distribution networks for adjusting voltage in ac networks by changing a characteristic of the network load
    • H02J3/16—Circuit arrangements for ac mains or ac distribution networks for adjusting voltage in ac networks by changing a characteristic of the network load by adjustment of reactive power
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/38—Arrangements for parallely feeding a single network by two or more generators, converters or transformers
    • H02J3/46—Controlling of the sharing of output between the generators, converters, or transformers
    • H02J3/48—Controlling the sharing of the in-phase component
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/38—Arrangements for parallely feeding a single network by two or more generators, converters or transformers
    • H02J3/46—Controlling of the sharing of output between the generators, converters, or transformers
    • H02J3/50—Controlling the sharing of the out-of-phase component
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2300/00—Systems for supplying or distributing electric power characterised by decentralized, dispersed, or local generation
    • H02J2300/20—The dispersed energy generation being of renewable origin
    • H02J2300/22—The renewable source being solar energy
    • H02J2300/24—The renewable source being solar energy of photovoltaic origin

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Power Engineering (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Control Of Electrical Variables (AREA)
  • Supply And Distribution Of Alternating Current (AREA)

Abstract

本发明公开了一种配电网无模型的实时电压控制方法，首先以有监督的方式训练代理模型，以构建节点的有功、无功注入与电压之间的非线性映射关联。然后建立深度强化学习智能体—代理模型交互机制，通过代理模型提供的电压值计算即时奖励，从历史数据中学习电压调节策略，从而根据最新观测的信息进行实时电压控制策略。该方法可以在不了解***参数和拓扑的情况下实时提供电压控制。

Description

一种配电网无模型的实时电压控制方法
技术领域
本发明属于配电网络电压控制技术领域，更为具体地讲，涉及一种配电网无模型的实时电压控制方法。
背景技术
新能源发电主要以两种方式并入电网，一种是采用大规模集中并网的方式，即将新能源发电集中安装在发电侧，由发电站统一调度管控，这种方式的优点是便于维护和管理，然而集中并网控制灵活性较低，且集中安装具有较高的投资成本，需要占用大量土地资源；另一种是采用分布式接入的方式，即将新能源发电就近地安装在用户侧附近，以起到就地消纳的效果，分布式并网具有较高的控制灵活性，且投资成本较低，占地面积较小，因此近年来受到了政策的支持。
配电网是新能源发电分布式接入电网的重要途径。然而，新能源发电具有随机性、波动性和间歇性，大量分布式新能源发电的接入给配电网的运行带来巨大的挑战，会引起谐波、电压越限、网损增加等一系列问题，从而降低了配电网运行的安全性和经济性。其中，由于新能源接入造成的电压问题较为突出：第一，新能源发电的有功注入会引起潮流的逆向流动，导致配电网母线电压升高，如果电压与额定电压偏离较大，则会影响电力设备的安全运行，造成设备的损坏，同时，新能源发电出力波动引起的过电压问题会触发保护装置动作，从而将新能源发电装置从电网切除，限制了清洁能源的消纳水平；第二，新能源设备的非全相并网会造成配电网三相电压的不平衡，从而造成电机绕组温度升高，危害电机等设备的正常运行。
现有的电压控制策略都是基于模型的控制方法，调度策略的制定依赖于配电网精确的线路参数和拓扑结构，然而，配电网的物理模型在现实中通常是不精确、不可靠的。精确的参数估计需要完整的同步相量测量装置的测量数据或者是大量带有时标的智能电表数据，而前者在现有配电网的硬件条件下很难满足，后者则需要较长的时间。不仅如此，配电网重构等操作还会导致其局部参数发生变化。这都导致配电网实际的物理模型和假定的“理想”模型间存在差别，进而导致控制算法的表现不够理想。
近年来，随着人工智能的发展，深度强化学习算法在各种应用中越来越受欢迎。在深度强化学习算法中，控制单元被建模为具有控制策略的智能代理。通过与环境的交互，代理可以制定出最优的控制策略，并在离线训练中通过建模其他代理的策略来学习协作，训练完成后，代理可以实时提供对未知动态具有较强适应性的决策。
发明内容
本发明的目的在于克服现有技术的不足，提供一种配电网无模型的实时电压控制方法，从历史数据中学习协调控制策略，进而实现在线调节电压。
为实现上述发明目的，本发明一种配电网无模型的实时电压控制方法，其特征在于，包括以下步骤：
(1)、将光伏逆变器和静态无功补偿器随机接入配电网；
获取配电网的拓扑结构，在拓扑结构的不同节点上随机分散接入光伏逆变器和静态无功补偿器，其中，接入光伏逆变器的个数为m1，接入静态无功补偿器的个数为m2；
(2)、获取拓扑结构中各个节点注入的有功功率及无功功率；
(2.1)、获取节点接入光伏逆变器后注入的有功功率和无功功率；
遍历拓扑结构的各个节点，若节点i接入了光伏逆变器k，k＝1,2…,m1，那么节点i在相位
Figure BDA0003767026060000021
和时刻l时实际注入的有功功率
Figure BDA0003767026060000022
和无功功率
Figure BDA0003767026060000023
分别为：
Figure BDA0003767026060000031
Figure BDA0003767026060000032
若节点i未接入了光伏逆变器k，那么节点i在相位
Figure BDA0003767026060000033
和时刻l时实际注入的有功功率
Figure BDA0003767026060000034
和无功功率
Figure BDA0003767026060000035
分别为：
Figure BDA0003767026060000036
Figure BDA0003767026060000037
其中，
Figure BDA0003767026060000038
表示三相，i＝1,2,…,N，N表示配电网拓扑结构中节点数量， l＝1,2,…,T，T为采样时刻总数，
Figure BDA0003767026060000039
表示节点i在相位
Figure BDA00037670260600000310
和时刻l时的负荷有功功率，
Figure BDA00037670260600000311
表示光伏逆变器k连接节点i后在相位
Figure BDA00037670260600000312
和时刻l时丢弃的功率，其中，
Figure BDA00037670260600000313
β为丢弃率，
Figure BDA00037670260600000314
表示光伏逆变器k连接节点 i后在相位
Figure BDA00037670260600000315
和时刻l时注入的总有功功率；
Figure BDA00037670260600000316
表示节点i在相位
Figure BDA00037670260600000317
和时刻l 时的负荷无功功率，
Figure BDA00037670260600000318
表示光伏逆变器k在连接节点i后在相位
Figure BDA00037670260600000319
和时刻l 时注入的总有功功率；
(2.2)、获取节点接入静态无功补偿器后注入的有功功率和无功功率；
遍历拓扑结构的各个节点，若节点i接入了静态无功补偿器j，j＝1,2…,m2静态无功补偿器j不产生有功功率，节点i在相位
Figure BDA00037670260600000320
和时刻l时实际注入的有功功率
Figure BDA00037670260600000321
和无功功率
Figure BDA00037670260600000322
为：
Figure BDA00037670260600000323
Figure BDA00037670260600000324
若节点i未接入了静态无功补偿器j，那么节点i在相位
Figure BDA00037670260600000325
和时刻l时实际注入的有功功率
Figure BDA00037670260600000326
和无功功率
Figure BDA00037670260600000327
为：
Figure BDA00037670260600000328
Figure BDA00037670260600000329
其中，
Figure BDA00037670260600000330
表示静态无功补偿器j连接节点i后在相位
Figure BDA00037670260600000331
和时刻l时注入的无功功率；
(3)、获取拓扑结构中各个节点在不同相位、不同时刻下的电压，其中，记节点i在相位
Figure BDA00037670260600000332
和时刻l时的电压为
Figure BDA00037670260600000333
(4)、构建代理模型的输入输出数据集，其中，节点i在相位
Figure BDA00037670260600000334
和时刻l时的输入输出数据集记为
Figure BDA0003767026060000041
Figure BDA0003767026060000042
将各节点在不同时刻的输入输出数据集
Figure BDA0003767026060000043
进一步处理成训练集 {X,Y}：
Figure BDA0003767026060000044
(5)、构建代理预测模型DNN
Figure BDA0003767026060000045
其中，
Figure BDA0003767026060000046
为训练集中输入X对应的预测输出值，w和b均为待训练的矩阵；
(6)、训练代理预测模型；
(6.1)、设置DNN的更新参数θ，θ＝[w,b]，为θ随机初始化赋初值；
(6.2)、将训练集{X,Y}中所有节点在每个时刻的输入输出数据集
Figure BDA0003767026060000047
输入至DNN中，得到输出预测值
Figure BDA0003767026060000048
(6.3)、将输入值
Figure BDA0003767026060000049
和预测值
Figure BDA00037670260600000410
代入如下公式，计算损失函数值L(l)；
Figure BDA00037670260600000411
(6.4)、判断第l个时刻训练完成后的损失函数值L(l)与上一个时刻训练完成后的损失函数值L(l-1)的差值是否收敛，如果收敛，则训练完成，跳转至步骤(7)；否则，利用梯度下降法更新参数θ，然后进入步骤(6.5)；
Figure BDA00037670260600000412
其中，λ表示代理模型参数更新的学习率，
Figure BDA00037670260600000413
表示下降趋势，l表示迭代次数，l>1，θ′l表示第l次更新以后的参数值，即θ′l＝[w′,b′]；
(6.5)、参数θ′l＝[w′,b′]替换DNN的参数θ＝[w,b]，然后判断当前时刻l是否达到最大值T，如果未达到，则令l＝l+1，再返回至步骤(6.2)；
(7)、训练深度确定性梯度策略模型DDPG；
(7.1)、建立每个时刻t的状态st，
Figure BDA0003767026060000051
其中， S＝{s1,s2,…,st}，t＝1,2,…,ite，ite为DDPG的采样时刻总数；
(7.2)、依据步骤(7.1)的状态获取每个时刻t的动作at＝π(st)，π(·)表示动作选择的函数，即
Figure BDA0003767026060000052
A＝{a1,a2,…at}；
(7.3)、将步骤(7.2)获得的动作at值带入步骤(2)获得t时刻配电网节点i在不同相位注入的有功功率
Figure BDA0003767026060000053
和无功功率
Figure BDA0003767026060000054
将时刻t配电网所有节点的有功功率与无功功率输入到步骤(6)训练好的代理模型中，获得t时刻配电网所有节点不同相位电压值
Figure BDA0003767026060000055
(7.4)、依据步骤(7.2)获得的功率
Figure BDA0003767026060000056
和步骤(7.3)获得的配电网节点不同相位电压值
Figure BDA0003767026060000057
计算当前时刻t的实时奖励值：
Figure BDA0003767026060000058
其中，rt表示时刻t时的实时奖励，δ表示光伏削减有功功率的惩罚系数，η为电压越过阈值的惩罚值；
(7.5)、判断当前时刻奖励值rt是否收敛或当前时刻t是否达到最大采样时刻ite，若收敛或达到最大采样时刻ite，训练结束，输出由代理模型预测出的配电网所有节点不同相位电压
Figure BDA0003767026060000059
并跳转至步骤(8)；否则，将状态st、动作at、奖励值rt和下一时刻t+1的状态st+1作为一个集合{st,at,rt,st+1}，再通过集合 {st,at,rt,st+1}对DDPG的动作选择函数π(·)的参数进行更新，然后令t＝t+1，跳转至步骤(7.2)；
(8)、电压实时控制；
实时采集配电网在当前时刻的状态
Figure BDA00037670260600000510
然后输入至训练好的代理模型-深度确定性梯度策略模型，按照步骤(7.2)-(7.3)所述方法获取配电网所有节点在当前时刻下不同相位的电压值。
本发明的发明目的是这样实现的：
本发明一种配电网无模型的实时电压控制方法，首先以有监督的方式训练代理模型，以构建节点的有功、无功注入与电压之间的非线性映射关联。然后建立深度强化学习智能体—代理模型交互机制，通过代理模型提供的电压值计算即时奖励，从历史数据中学习电压调节策略，从而根据最新观测的信息进行实时电压控制策略。该方法可以在不了解***参数和拓扑的情况下实时提供电压控制。
同时，本发明一种基于代理模型—深度强化学习智能体的配电网无模型实时电压控制方法还具有以下有益效果：
(1)、本发明将基于深度神经网络(DNN)的代理模型与深度强化学习算法协同集成，实现无物理模型控制，不需要详细的配电网网络参数；
(2)、本发明可以实时根据最新观测信息进行决策，以应对光伏功率快速变化引起的快速电压波动。
附图说明
图1是本发明一种配电网无模型的实时电压控制方法流程图；
图2是IEEE 123节点***的拓扑结构图
图3是本发明对电压控制结果与其他方法控制电压结果的对比图。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
实施例
图1是本发明一种配电网无模型的实时电压控制方法流程图。
在本实施例中，在本实施例中，如图2所示以IEEE 123节点***进行实验，光伏逆变器总共9个，分别接在节点9、27、43、62、75、83、91、101、112，无功补偿器总共3个，分别接在节点11、50、79，光伏的数据来源于真实的数据。首先从真实负载数据中选取4000组负载数据，从光伏逆变器数据随机选择 4000组数据与负载数据组合，形成4000组代理模型训练集输入数据，通过三相交流潮流模型计算出每组数据的三相电压值为代理模型训练集输出真实数据。
如图1所示，本发明一种配电网无模型的实时电压控制方法，包括以下步骤：
S1、将光伏逆变器和静态无功补偿器随机接入配电网；
获取配电网的拓扑结构，在拓扑结构的不同节点上随机分散接入光伏逆变器和静态无功补偿器，其中，接入光伏逆变器的个数为9个，接入静态无功补偿器的个数为3个；
S2、获取拓扑结构中各个节点注入的有功功率及无功功率；
S2.1、获取节点接入光伏逆变器后注入的有功功率和无功功率；
遍历拓扑结构的各个节点，若节点i接入了光伏逆变器k，k＝1,2…,9，那么节点i在相位
Figure BDA0003767026060000071
和时刻l时实际注入的有功功率
Figure BDA0003767026060000072
和无功功率
Figure BDA0003767026060000073
分别为：
Figure BDA0003767026060000074
Figure BDA0003767026060000075
若节点i未接入了光伏逆变器k，那么节点i在相位
Figure BDA0003767026060000076
和时刻l时实际注入的有功功率
Figure BDA0003767026060000077
和无功功率
Figure BDA0003767026060000078
分别为：
Figure BDA0003767026060000079
Figure BDA00037670260600000710
其中，
Figure BDA00037670260600000711
表示三相，i＝1,2,…,123，l＝1,2,…,4000，
Figure BDA00037670260600000712
表示节点 i在相位
Figure BDA00037670260600000713
和时刻l时的负荷有功功率，
Figure BDA00037670260600000714
表示光伏逆变器k连接节点i后在相位
Figure BDA00037670260600000715
和时刻l时丢弃的功率，其中，
Figure BDA00037670260600000716
β最大值为0.2，
Figure BDA00037670260600000717
表示光伏逆变器k连接节点i后在相位
Figure BDA00037670260600000718
和时刻l时注入的总有功功率；
Figure BDA00037670260600000719
表示节点i在相位
Figure BDA00037670260600000720
和时刻l时的负荷无功功率，
Figure BDA00037670260600000721
表示光伏逆变器k在连接节点i后在相位
Figure BDA00037670260600000722
和时刻l时注入的总有功功率；
S2.2、获取节点接入静态无功补偿器后注入的有功功率和无功功率；
遍历拓扑结构的各个节点，若节点i接入了静态无功补偿器j，j＝1,2，3，静态无功补偿器j不产生有功功率，节点i在相位
Figure BDA00037670260600000723
和时刻l时实际注入的有功功率
Figure BDA00037670260600000724
和无功功率
Figure BDA00037670260600000725
为：
Figure BDA0003767026060000081
Figure BDA0003767026060000082
若节点i未接入了静态无功补偿器j，那么节点i在相位
Figure BDA0003767026060000083
和时刻l时实际注入的有功功率
Figure BDA0003767026060000084
和无功功率
Figure BDA0003767026060000085
为：
Figure BDA0003767026060000086
Figure BDA0003767026060000087
其中，
Figure BDA0003767026060000088
表示静态无功补偿器j连接节点i后在相位
Figure BDA0003767026060000089
和时刻l时注入的无功功率；
S3、获取拓扑结构中各个节点在不同相位、不同时刻下的电压，其中，记节点i在相位
Figure BDA00037670260600000810
和时刻l时的电压为
Figure BDA00037670260600000811
S4、构建代理模型的输入输出数据集，其中，节点i在相位
Figure BDA00037670260600000812
和时刻l时的输入输出数据集记为
Figure BDA00037670260600000813
Figure BDA00037670260600000814
将各节点在不同时刻的输入输出数据集
Figure BDA00037670260600000815
进一步处理成训练集 {X,Y}：
Figure BDA00037670260600000816
S5、构建代理预测模型DNN
Figure BDA00037670260600000817
其中，
Figure BDA00037670260600000818
为训练集中输入X对应的预测输出值，w和b均为待训练的矩阵；
S6、训练代理预测模型；
S6.1、设置DNN的更新参数θ，θ＝[w,b]，为θ随机初始化赋初值；
S6.2、将训练集{X,Y}中所有节点在每个时刻的输入输出数据集
Figure BDA00037670260600000819
输入至DNN中，得到输出预测值
Figure BDA00037670260600000820
S6.3、将输入值
Figure BDA0003767026060000091
和预测值
Figure BDA0003767026060000092
代入如下公式，计算损失函数值L(l)；
Figure BDA0003767026060000093
S6.4、判断第l个时刻训练完成后的损失函数值L(l)与上一个时刻训练完成后的损失函数值L(l-1)的差值是否收敛，如果收敛，则训练完成，跳转至S7；否则，利用梯度下降法更新参数θ，然后进入S6.5；
Figure BDA0003767026060000094
其中，λ＝0.0001，
Figure BDA0003767026060000095
表示下降趋势，l表示迭代次数，l>1，θ′l表示第 l次更新以后的参数值，即θ′l＝[w′,b′]；
S6.5、参数θ′l＝[w′,b′]替换DNN的参数θ＝[w,b]，然后判断当前时刻l是否达到最大值T，如果未达到，则令l＝l+1，再返回至S6.2；
S7、训练深度确定性梯度策略模型DDPG；
S7.1、建立每个时刻t的状态st，
Figure BDA0003767026060000096
其中， S＝{s1,s2,…,st}，t＝1,2,…,7200；
S7.2、依据步骤(7.1)的状态获取每个时刻t的动作at＝π(st)，π(·)表示动作选择的函数，即
Figure BDA0003767026060000097
动作选择函数中光伏逆变器 k无功功率
Figure BDA0003767026060000098
选择范围为0～0.66MVA，静态无功补偿器j的无功功率
Figure BDA0003767026060000099
范围为0～0.3MVar，光伏逆变器k削减有功功率选择范围为光伏逆变器 k有功功率的0～20％，A＝{a1,a2,…at}；
S7.3、将S7.2获得的动作at值带入S2获得t时刻配电网节点i在不同相位注入的有功功率
Figure BDA00037670260600000910
和无功功率
Figure BDA00037670260600000911
将时刻t配电网所有节点的有功功率与无功功率输入到S6训练好的代理模型中，获得t时刻配电网所有节点不同相位电压值
Figure BDA00037670260600000912
S7.4、依据S7.2获得的功率
Figure BDA00037670260600000913
和S7.3获得的配电网节点不同相位电压值
Figure BDA00037670260600000914
计算当前时刻t的实时奖励值：
Figure BDA0003767026060000101
其中，rt表示时刻t时的实时奖励，δ＝0.2，η＝20；
S7.5、判断当前时刻奖励值rt是否收敛或当前时刻t是否达到最大采样时刻 7200次，若收敛或达到最大采样时刻，训练结束，输出由代理模型预测出的配电网所有节点不同相位电压
Figure BDA0003767026060000102
否则，将状态st、动作at、奖励值rt和下一时刻t+1的状态st+1作为一个集合{st,at,rt,st+1}，再通过集合{st,at,rt,st+1}对DDPG 的动作选择函数π(·)的参数进行更新，然后令t＝t+1，跳转至S7.2；
S8、电压实时控制；
实时采集配电网在当前时刻的状态
Figure BDA0003767026060000103
然后输入至训练好的代理模型-深度确定性梯度策略模型，按照S7.2-S7.3所述方法获取配电网所有节点在当前时刻下不同相位的电压值，选取a相电压如图3所示，三种方法的状态输入均保持一致，输出节点电压值越接近1控制效果越好，无电压控制是随机选择动作值，并未进行优化，因此其结果有许多节点电压都会越限，传统算法采用了随机规划法，优化动作值得选择，其能有效地控制电压在设定的范围内，但其效果显然不如本发明一种配电网无模型的实时电压控制方法好。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (1)

1.一种配电网无模型的实时电压控制方法，其特征在于，包括以下步骤：
(1)、将光伏逆变器和静态无功补偿器随机接入配电网；
获取配电网的拓扑结构，在拓扑结构的不同节点上随机分散接入光伏逆变器和静态无功补偿器，其中，接入光伏逆变器的个数为m1，接入静态无功补偿器的个数为m2；
(2)、获取拓扑结构中各个节点注入的有功功率及无功功率；
(2.1)、获取节点接入光伏逆变器后注入的有功功率和无功功率；
遍历拓扑结构的各个节点，若节点i接入了光伏逆变器k，k＝1,2…,m1，那么节点i在相位
Figure FDA0003767026050000011
和时刻l时实际注入的有功功率
Figure FDA0003767026050000012
和无功功率
Figure FDA0003767026050000013
分别为：
Figure FDA0003767026050000014
Figure FDA0003767026050000015
若节点i未接入了光伏逆变器k，那么节点i在相位
Figure FDA0003767026050000016
和时刻l时实际注入的有功功率
Figure FDA0003767026050000017
和无功功率
Figure FDA0003767026050000018
分别为：
Figure FDA0003767026050000019
Figure FDA00037670260500000110
其中，
Figure FDA00037670260500000111
表示三相，i＝1,2,…,N，N表示配电网拓扑结构中节点数量，l＝1,2,…,T，T为采样时刻总数，
Figure FDA00037670260500000112
表示节点i在相位
Figure FDA00037670260500000113
和时刻l时的负荷有功功率，
Figure FDA00037670260500000114
表示光伏逆变器k连接节点i后在相位
Figure FDA00037670260500000115
和时刻l时丢弃的功率，其中，
Figure FDA00037670260500000116
β为丢弃率，
Figure FDA00037670260500000117
表示光伏逆变器k连接节点i后在相位
Figure FDA00037670260500000118
和时刻l时注入的总有功功率；
Figure FDA00037670260500000119
表示节点i在相位
Figure FDA00037670260500000120
和时刻l时的负荷无功功率，
Figure FDA00037670260500000121
表示光伏逆变器k在连接节点i后在相位
Figure FDA00037670260500000122
和时刻l时注入的总有功功率；
(2.2)、获取节点接入静态无功补偿器后注入的有功功率和无功功率；
遍历拓扑结构的各个节点，若节点i接入了静态无功补偿器j，j＝1,2…,m2静态无功补偿器j不产生有功功率，节点i在相位
Figure FDA00037670260500000123
和时刻l时实际注入的有功功率
Figure FDA00037670260500000124
和无功功率
Figure FDA00037670260500000125
为：
Figure FDA00037670260500000126
Figure FDA0003767026050000021
若节点i未接入了静态无功补偿器j，那么节点i在相位
Figure FDA0003767026050000022
和时刻l时实际注入的有功功率
Figure FDA0003767026050000023
和无功功率
Figure FDA0003767026050000024
为：
Figure FDA0003767026050000025
Figure FDA0003767026050000026
其中，
Figure FDA0003767026050000027
表示静态无功补偿器j连接节点i后在相位
Figure FDA0003767026050000028
和时刻l时注入的无功功率；
(3)、获取拓扑结构中各个节点在不同相位、不同时刻下的电压，其中，记节点i在相位
Figure FDA0003767026050000029
和时刻l时的电压为
Figure FDA00037670260500000210
(4)、构建代理模型的输入输出数据集，其中，节点i在相位
Figure FDA00037670260500000211
和时刻l时的输入输出数据集记为
Figure FDA00037670260500000212
Figure FDA00037670260500000213
将各节点在不同时刻的输入输出数据集
Figure FDA00037670260500000214
进一步处理成训练集{X,Y}：
Figure FDA00037670260500000215
(5)、构建代理预测模型DNN
Figure FDA00037670260500000216
其中，
Figure FDA00037670260500000217
为训练集中输入X对应的预测输出值，w和b均为待训练的矩阵；
(6)、训练代理预测模型；
(6.1)、设置DNN的更新参数θ，θ＝[w,b]，为θ随机初始化赋初值；
(6.2)、将训练集{X,Y}中所有节点在每个时刻的输入输出数据集
Figure FDA00037670260500000218
输入至DNN中，得到输出预测值
Figure FDA00037670260500000219
(6.3)、将输入值
Figure FDA00037670260500000220
和预测值
Figure FDA00037670260500000221
代入如下公式，计算损失函数值L(l)；
Figure FDA00037670260500000222
(6.4)、判断第l个时刻训练完成后的损失函数值L(l)与上一个时刻训练完成后的损失函数值L(l-1)的差值是否收敛，如果收敛，则训练完成，跳转至步骤(7)；否则，利用梯度下降法更新参数θ，然后进入步骤(6.5)；
Figure FDA0003767026050000031
其中，λ表示代理模型参数更新的学习率，
Figure FDA0003767026050000032
表示下降趋势，l表示迭代次数，l>1，θ′l表示第l次更新以后的参数值，即θ′l＝[w′,b′]；
(6.5)、参数θ′l＝[w′,b′]替换DNN的参数θ＝[w,b]，然后判断当前时刻l是否达到最大值T，如果未达到，则令l＝l+1，再返回至步骤(6.2)；
(7)、训练深度确定性梯度策略模型DDPG；
(7.1)、建立每个时刻t的状态st，
Figure FDA0003767026050000033
其中，S＝{s1,s2,…,st}，t＝1,2,…,ite，ite为DDPG的采样时刻总数；
(7.2)、依据步骤(7.1)的状态获取每个时刻t的动作at＝π(st)，π(·)表示动作选择的函数，即
Figure FDA0003767026050000034
A＝{a1,a2,…at}，max<ite；
(7.3)、将步骤(7.2)获得的动作at值带入步骤(2)获得t时刻配电网节点i在不同相位注入的有功功率
Figure FDA0003767026050000035
和无功功率
Figure FDA0003767026050000036
将时刻t配电网所有节点的有功功率与无功功率输入到步骤(6)训练好的代理模型中，获得t时刻配电网所有节点不同相位电压值
Figure FDA0003767026050000037
(7.4)、依据步骤(7.2)获得的功率
Figure FDA0003767026050000038
和步骤(7.3)获得的配电网节点不同相位电压值
Figure FDA0003767026050000039
计算当前时刻t的实时奖励值：
Figure FDA00037670260500000310
其中，rt表示时刻t时的实时奖励，δ表示光伏削减有功功率的惩罚系数，η为电压越过阈值的惩罚值；
(7.5)、判断当前时刻奖励值rt是否收敛或当前时刻t是否达到最大采样时刻ite，若收敛或达到最大采样时刻ite，训练结束，输出由代理模型预测出的配电网所有节点不同相位电压
Figure FDA0003767026050000041
并跳转至步骤(8)；否则，将状态st、动作at、奖励值rt和下一时刻t+1的状态st+1作为一个集合{st,at,rt,st+1}，再通过集合{st,at,rt,st+1}对DDPG的动作选择函数π(·)的参数进行更新，然后令t＝t+1，跳转至步骤(7.2)；
(8)、电压实时控制；
实时采集配电网在当前时刻的状态
Figure FDA0003767026050000042
然后输入至训练好的代理模型-深度确定性梯度策略模型，按照步骤(7.2)-(7.3)所述方法获取配电网所有节点在当前时刻下不同相位的电压值。
CN202210889497.1A 2022-07-27 2022-07-27 一种配电网无模型的实时电压控制方法 Active CN115133540B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210889497.1A CN115133540B (zh) 2022-07-27 2022-07-27 一种配电网无模型的实时电压控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210889497.1A CN115133540B (zh) 2022-07-27 2022-07-27 一种配电网无模型的实时电压控制方法

Publications (2)

Publication Number Publication Date
CN115133540A true CN115133540A (zh) 2022-09-30
CN115133540B CN115133540B (zh) 2023-05-30

Family

ID=83386221

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210889497.1A Active CN115133540B (zh) 2022-07-27 2022-07-27 一种配电网无模型的实时电压控制方法

Country Status (1)

Country Link
CN (1) CN115133540B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117526443A (zh) * 2023-11-07 2024-02-06 北京清电科技有限公司 一种基于新型电力***的配电网优化调控方法及***

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111884213A (zh) * 2020-07-27 2020-11-03 国网北京市电力公司 一种基于深度强化学习算法的配电网电压调节方法
CN114725936A (zh) * 2022-04-21 2022-07-08 电子科技大学 基于多智能体深度强化学习的配电网优化方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111884213A (zh) * 2020-07-27 2020-11-03 国网北京市电力公司 一种基于深度强化学习算法的配电网电压调节方法
CN114725936A (zh) * 2022-04-21 2022-07-08 电子科技大学 基于多智能体深度强化学习的配电网优化方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DI CAO等: "A Multi-Agent Deep Reinforcement Learning Based Voltage Regulation Using Coordinated PV Inverters" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117526443A (zh) * 2023-11-07 2024-02-06 北京清电科技有限公司 一种基于新型电力***的配电网优化调控方法及***
CN117526443B (zh) * 2023-11-07 2024-04-26 北京清电科技有限公司 一种基于电力***的配电网优化调控方法及***

Also Published As

Publication number Publication date
CN115133540B (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
Zhang et al. A data-driven approach for designing STATCOM additional damping controller for wind farms
CN109361242B (zh) 一种光伏发电自动电压控制方法
CN111209710B (zh) 一种潮流计算收敛的自动调整方法及装置
El Helou et al. Fully decentralized reinforcement learning-based control of photovoltaics in distribution grids for joint provision of real and reactive power
CN114726009B (zh) 考虑功率预测的风电场群无功分层优化控制方法及其***
Zhang et al. Deep reinforcement learning for load shedding against short-term voltage instability in large power systems
JP2023538611A (ja) コントローラのための決定ロジックを生成するための方法およびコンピュータシステム
CN112467748A (zh) 三相不平衡主动配电网双时标分布式电压控制方法及***
Hu et al. Deep reinforcement learning based coordinated voltage control in smart distribution network
CN115345380A (zh) 一种基于人工智能的新能源消纳电力调度方法
CN115133540B (zh) 一种配电网无模型的实时电压控制方法
CN113872213B (zh) 一种配电网电压自主优化控制方法及装置
CN115333152A (zh) 一种配电网电压分布式实时控制方法
CN110751328A (zh) 基于联合加权熵的高比例可再生能源电网适应性规划方法
CN107425519B (zh) 含分布式电源的三相配电网最大供电能力计算方法
CN112510685B (zh) 一种城市电网风险规避预测控制方法及装置
CN109787217A (zh) 基于风电多状态模型及机会成本修正的备用出清方法
CN111682552B (zh) 数据驱动的无功电压控制方法、装置、设备及存储介质
CN111769570B (zh) 计及暂态电压约束的日前两阶段动态无功储备优化方法、***、存储介质
CN114298429A (zh) 一种配电网动案辅助决策方法、***、装置和存储介质
CN114638074A (zh) 一种基于量子衍生算法的惯量评估方法
Aldahmashi et al. Advanced machine learning approach of power flow optimization in community microgrid
CN113537646A (zh) 电网设备停电检修方案制定方法、***、设备及存储介质
CN115276067B (zh) 一种适应配电网拓扑动态变化的分布式储能电压调节方法
Li et al. Improved self‐adaptive differential evolution algorithm for reactive power optimization of smart distribution network with wind energy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant