CN110518580B - 一种考虑微网主动优化的主动配电网运行优化方法 - Google Patents

Abstract

本发明涉及一种考虑微网主动优化的主动配电网运行优化方法，包括以下步骤：S1、建立微网独立优化模型；S2、结合微网独立优化模型，建立主动配电网运行优化模型；S3、采用DDPG方法对主动配电网运行优化模型进行求解，得到主动配电网运行最优解；S4、将主动配电网运行最优解对应输出给主动配电网的潮流控制中心及微网控制中心，以优化主动配电网的运行状态。与现有技术相比，本发明建立了考虑多微网主动优化的主动配电网优化模型，并采用DDPG方法进行求解，解决了多控制中心优化问题，能对主动配电网进行实时优化。

Description

一种考虑微网主动优化的主动配电网运行优化方法

技术领域

本发明涉及配电网运行优化技术领域，尤其是涉及一种考虑微网主动优化的主动配电网运行优化方法。

背景技术

在主动配电网(active distribution network，ADN)中，分布式电源(distributed generation，DG)通常以多个微网(microgrid，MG)的形式接入配电网，通过对分布式电源进行分层式控制与管理，以实现配电网的潮流管理和电压控制，使得多个微网接入主动配电网后，在一定程度上可以缓解高比例随机波动分布式电源引起的配电网节点电压越限、网损增大以及配电网联络线上功率波动等问题。

目前配电网中分布式电源所有权归电网所有，其输出功率本质上由电网统一调度，通常为集中式优化模型，该模型没有考虑分布式电源拥有者自身的优化目标和其作为主动负荷的主动发用电特性，缺乏考虑微网在内部优化的基础上参与主动配电网的优化调度的相关研究，而在智能电网发展的背景下，分布式电源拥有者发用电的主动优化特点值得关注。

由于主动配电网中含有多个独立优化的微网，因此主动配电网的运行优化实际是一个多控制中心优化的问题，一方面，由于考虑微网主动性的优化模型是未知的，因此其求解方法不能采用确定性建模方法的解析式方法；另一方面，从数据处理的角度，微网、负荷和微源都是变化且不能准确获得的，即微网的运行相当于一个黑箱。近年来，深度强化学习(Deep Reinforcement Learning，DRL)凭借其强大的数据处理能力、表征能力和泛化性能，受到众多研究人员的关注，相关技术在学术界和工业界都得到了广泛的研究与应用，DRL方法也已在电网中尝试应用：如基于Q-Learning建立的分层多智能体AGC调节***、基于逐层编码网络的深度学习方法判别风电机组主轴承的故障状态进行以及基于深度强化学习的电网切机控制策略等。这些方法均基于深度学习，可在不同电网运行环境下得到有限个方案中的最优方案，其学习过程和优化策略是离散的。但现有的研究还未将连续空间的深度学习方法应用于主动配电网的运行优化，也就无法有效地对主动配电网进行实时优化。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种考虑微网主动优化的主动配电网运行优化方法，通过建立考虑微网独立优化的模型，从数据处理的角度，结合确定性策略和深度学习确定性策略梯度(Deep Deterministic Policy Gradient，DDPG)算法自学习求解模型，基于DDPG的非线性模拟函数的准确性和高性能、可收敛性，通过分析电网运行数据，在连续动作环境中深度学习最优行为策略，满足主动配电网实时优化要求。

本发明的目的可以通过以下技术方案来实现：一种考虑微网主动优化的主动配电网运行优化方法，包括以下步骤：

S1、建立微网独立优化模型；

S2、结合微网独立优化模型，建立主动配电网运行优化模型；

S3、采用DDPG方法对主动配电网运行优化模型进行求解，得到主动配电网运行最优解；

S4、将主动配电网运行最优解对应输出给主动配电网的潮流控制中心及微网控制中心，以优化主动配电网的运行状态。

优选地，所述步骤S1中微网独立优化模型为：

其中，f_n,m(·)表示微网n的第m个优化目标，m表示微网n的优化目标个数，G_n(·)表示微网n的等式约束，H_n(·)表示微网n的不等式约束，X_n表示微网n的控制中心的独立优化变量，其取值与其他微网控制中心的优化变量无关，X_n,min和X_n,max分别为X_n的最小值和最大值，X_g,n为微网n的控制中心的状态变量。

优选地，所述步骤S2中主动配电网运行优化模型为：

其中，F_t表示主动配电网的优化目标，t为时刻，G_d(·)表示主动配电网的等式约束，H_d(·)表示主动配电网的不等式约束，X_d表示主动配电网的优化变量，X_d,min和X_d,max分别为X_d的最小值和最大值，W为主动配电网的总节点数量，M为主动配电网中包含微网的数量，ω₁，ω₂，ω₃，ω₄均为比例系数，u_t,j为主动配电网中节点j的实际电压，

为主动配电网中节点j的额定电压，P_t,loss为整个主动配电网的网损，P_t,tie为微网与上级电网的实际交换功率，

为微网与上级电网的额定交换功率，P_t,k为微网k输出的有功功率，

为微网k独立优化输出的有功功率。

优选地，所述步骤S3具体包括以下步骤：

S31、从主动配电网的运行数据中采集历史特征值，其中，特征值包括状态信息s、动作信息a和回报值r；

S32、根据历史特征值，形成样本单元存入数据池；

S33、基于经验样本回放，从数据池中重采样Y组样本单元，并存入经验池；

S34、将重采样的样本单元输入深度神经网络，通过训练深度神经网络，得到主动配电网运行最优解。

优选地，所述步骤S31中状态信息包括主动配电网中独立源荷预测出力、微网输出到主动配电网的优化购电及售电、微网出力上下限、微网发电成本参数，以及主动配电网的负荷需求、线路的功率约束、联络线功率及其约束、各节点电压值及其约束；

动作信息为主动配电网中各微网的输出功率和联络线功率；

回报值的计算公式为：

其中，x_t,i表示主动配电网运行优化模型中的不等式约束，c_t,max,i和c_t,min,i分别表示不等式约束x_t,i的上限和下限，I表示主动配电网运行优化模型中不等式约束的个数。

优选地，所述样本单元的数据由下一时刻状态信息s_t+1、当前时刻状态信息s_t、当前时刻动作信息a_t和当前时刻回报值r_t组成。

优选地，所述步骤S34具体包括以下步骤：

S341、将重采样的样本单元输入目标网络，得到下一时刻的动作信息预估值a′_t+1和目标Q值Q′_t+1；

S342、将下一时刻的动作信息预估值a′_t+1和目标Q值Q′_t+1输入主网络，进行主网络参数更新，得到回报值期望r_t'；

S343、将回报值期望r_t'输入目标网络，进行目标网络参数更新，得到下一时刻动作信息a_t+1，即为主动配电网运行最优解。

优选地，所述主网络包括主动作网络

和主评价网络

所述目标网络包括目标动作网络

和目标评价网络

其中，

和

均是主网络参数，

和

均是目标网络参数，具体的，

和

分别是主动作网络、主评价网络、目标动作网络和目标评价网络的参数。

优选地，所述主网络参数更新和目标网络参数更新的具体过程为：

设置动作网络的目标函数如下：

其中，J_t(θ)是带衰减的目标函数的累加期望，θ为神经网络的参数，π(θ)为θ确定的深度学习网络，U_t(s,a)是在状态s下动作值为a时的t时刻的长期回报，γ为折扣因子；

评价网络的Q值如下：

0＜λ≤1

其中，

为状态s_t+1的目标Q值，r_t'为采用动作a后状态由s_t到s_t+1的回报值期望，λ为比例系数；

目标Q值Q_Target与原Q值是监督学习神经网络中结果值与输出值的对应关系，因此构造评价网络训练的损失函数如下：

利用目标函数关于

的梯度等价于Q值函数关于

的期望梯度，结合Q值更新动作网络的梯度如下：

为了解决网络参数变化可能引起策略发散的问题，采用下式更新目标网络参数：

0＜η＜1

其中，η为发散因子。

与现有技术相比，本发明具有以下优点：

一、本发明通过建立考虑微网主动优化的主动配电网运行优化模型，充分结合微网的主动优化特性，使得主动配电网的运行能够达到节点电压总偏差和线损最小，同时减小了微网功率调节量，从而维持联络线功率平衡以减小对主动配电网的影响，既实现了主动配电网的整体优化，同时又可体现多微网控制中心优化运行的公平性。

二、本发明基于数据驱动方法，采用具有自学习能力的DDPG方法进行提取特征估计，可在优化变量连续变化环境下实时处理主动配电网运行信息，直接给出高回报的优化方案，能够对主动配电网进行实时优化，避免基于模型方法的建模不完全性以及模型参数不准确性等差异导致实际优化效果远差于理论计算的问题，从而提高优化方法的有效性。

附图说明

图1为本发明的方法流程示意图；

图2为实施例的算例节点***图；

图3为实施例的微网负荷预测曲线；

图4为实施例的主动配电网总负荷曲线；

图5为本发明采用DDPG方法求解的流程示意图；

图6为实施例中四种优化结果的主动配电网成本对比示意图；

图7为实施例中四种优化结果的主动配电网联络线功率对比示意图；

图8为实施例中四种优化结果的节点1电压对比示意图；

图9为实施例中四种优化结果的节点5电压对比示意图；

图10为实施例中四种优化结果的主动配电网网损对比示意图；

图11为实施例中四种优化结果的主动配电网等效负荷对比示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

如图1所示，一种考虑微网主动优化的主动配电网运行优化方法，包括以下步骤：

S1、建立微网独立优化模型；

S2、结合微网独立优化模型，建立主动配电网运行优化模型；

S3、采用DDPG方法对主动配电网运行优化模型进行求解，得到主动配电网运行最优解；

S4、将主动配电网运行最优解对应输出给主动配电网的潮流控制中心及微网控制中心，以优化主动配电网的运行状态。

本实施例采用IEEE14节点***，主动配电网***的拓扑结构如图2所示，IEEE14节点***的节点参数、线路参数和负荷参数数据均以采用标准数据。通过仿真数据制作样本数据，建立样本数据库。在MATLAB Simulink中搭建如图2所示的仿真算例模型，在节点2、3、6、8处分别接入四个不同的微网，微源的容量配置如表1所示：

表1

调度时间尺度为日内15min，一天共有96个优化任务，四个微网中风电、光伏及储能等设备配置以及各个微网的最大最小可调节容量情况如表1所示，四个微网的负荷预测曲线如图3所示，主动配电网的总负荷如图4所示。

本发明方法在本实施例的具体应用过程为：

(一)构建微网优化模型，包括目标函数和约束条件，具体如下：

1.目标函数

微网内风、光、柴、储、荷等发电单元与负荷由微网EMS(energy managementsystem，能量管理***)负责调度和控制，优化目标为最小化f_t,k：

式(1)中第一项为微网从主动配电网购电的净成本，第二项为微网中各个微源的发电成本，根据预测值得到日前输出P_t,k,out，第三、四、五项为再调整的费用，分别表示可中断负荷的实时调节成本、弃风成本和弃光成本，其中，t为时刻，q为市场电价，P_t,k,out为微网k与主动配电网的交换总功率，当微网向主动配电网购电时P_t,k,out＞0，当微网向主动配电网售电时P_t,k,out＜0，I为微网的DG种类集合；

i(i＝1,2,3,4,5)表示第i种DG：1代表微型燃气轮机(micro turbine，MT)，2代表燃料电池(fuel cell，FC)，3代表蓄电池(storage battery，SB)，4代表风机(windturbine，WT)，5代表光伏(photovoltaic，PV)；

λ_W、λ_PV分别为弃风、弃光成本，P_t,w,n为风机t时刻可输出最大功率，P_t,pv,n为光伏t时刻可输出最大功率，P_t,w为风机t时刻实际输出功率，P_t,pv为光伏t时刻实际输出功率。

2.约束条件

(1)DG单元

各微电源的出力约束为：

其中，

其中，P_t,i为t时刻第i个DG出力，P_i,min、P_i,max分别为第i个DG的有功出力上限和下限，S_i,min、S_i,max分别为第i个DG的最小视在功率和最大视在功率，

分别为第i个DG爬坡率的上限和下限。

(2)储能单元

储能单元的能量平衡约束和充放电功率约束：

其中，P_t,B为储能出力，E_t为储能的能量，E_min、E_max分别为储能的最小保留容量和最大容量，P_B,min、P_B,max为储能在t时刻的最大充电和放电功率，P_B,min可取负值，α为储能的充放电系数，P_t,B≥0时，α＝1/α_di，P_t,B＜0时，α＝α_ci，α_ci和α_di分别为充电和放电效率，P_t,L为t时刻微网的负荷，P_t,IL为t时刻微网的DG单元出力。

(3)微网

微网输出功率的最小和最大值分别如下：

其中，P_t,k,min、P_t,k,max为微网k输出的最大最小有功功率，

为微网k输出联络线上可传送容量的最大值。

(二)构建主动配电网优化模型

t时刻主动配电网的优化目标为最小化F_t：

其中，W为主动配电网节点数目，M为主动配电网中微网的数目，ω₁，ω₂，ω₃，ω₄为比例系数，u_t,j为节点j的电压，

为节点j的额定电压，P_t，loss为整个主动配电网的网损，P_t，tie为微网与上级电网的交换功率，

为给定的微网与上级电网交换功率，P_t,k为微网k输出的有功功率，

为微网k独立优化输出的有功功率。

功率平衡约束：

其中，P_t,l,i和Q_t,l,i为t时刻第i个DG的负荷有功和无功功率，P_t,k和Q_t,k为微网k输出的有功功率和无功功率。

节点电压约束：

u_j,min＜u_t,j＜u_j,max (8)

其中，u_j,min和u_j,max分别为节点j电压的下限和上限。

线路传输功率约束：

l_z,min＜l_t,z＜l_z,max (9)

其中，l_t,z为线路z的传输功率，l_z,min和l_z,max分别为线路z传输容量的下限和上限。

微网的容量约束：

其中，P_t,k,min和P_t,k,max分别为第k个微网的最小可输出有功功率和最大可输出有功功率，S_k,max为第k个微网的最大可输出视在容量。

(三)DDPG方法求解具体步骤如下：

(I)样本预处理：在

范围内对各个微源赋值，在电网负荷随机取值情况下，设定风机以及光伏均以最大功率跟踪模式运行，对风电、光伏和微燃气轮机等采用不同的函数随机取值，分别调整负载率0.9～1.1随机变化，进行实时仿真取值，各个微网按照式(1)～式(5)各自优化其输出功率，以获得微网独立优化输出数据。

(II)后台数据处理

样本数据包括：

状态信息s_t：主动配电网中独立源荷(风、光、储、荷)预测出力、微网输出到主动配电网的优化购(售)电、出力上下限、发电成本参数，以及主动配电网的负荷需求、线路的功率约束、联络线功率及其约束、各节点电压值及其约束；

动作信息a_t：各个微网的输出功率和联络线功率；

将节点电压偏差、主动配电网联络线上的功率偏差和网损作为评价动作前后主动配电网运行状态的重要指标，在获得动作信息和状态信息后，可计算回报值r_t，将主动配电网的约束条件统一表示为：c_t,min,i≤x_t,i≤c_t,max,i(包括不等式和等式)，其中，c_t,min和c_t,max分别表示不等式约束的下限和上限，在式(6)的基础上考虑约束的影响，计算回报值如下：

其中，I为不等式约束的个数，之后根据式(12)计算长期回报：

微网将运行数据样本存储过程中进行归一化处理，提取训练样本数据时，本实施例采用适用于高维度小失效率问题的修正Metropolis–Hastings(MMH)进行重采样，根据动作出现的概率从样本库中取得样本，形成经验回放样本。深度学习卷积神经网络对数据前期处理，使得高价值密度的信息作为强化学习的输入数据。每次同时训练多条数据，包括不同运行方式下主动配电网和各个微源和负荷的数据，以提高训练模型泛化能力和深度学习卷积神经网络模型的训练效率。经过训练后，所有历史优化任务可为深度信度网络提供训练样本数据，从而可直接利用历史样本作为初始数据库对新任务进行在线寻优。

(III)DDPG寻优流程

如图5所示，DDPG方法求解的寻优流程包括：后台数据处理收集下一时刻优化的状态信息s_t+1，以及当前时刻的a_t、r_t和s_t，形成样本单元(s_t,a_t,r_t,s_t+1)存入数据池，从样本存储数据池中重采样Y个数据存入经验池用于训练(经验样本回放)。

优化过程中，首先根据当前未更新的目标网络参数，计算得到动作预估值

以及相应的目标Q值

之后计算评价网络训练的损失函数L，以更新主评价网络的参数；

然后更新主策略网络的参数、目标网络的策略网络和评价网络的参数，通过训练深度神经网络，更新主网络参数和目标网络参数；

最后根据更新后的目标网络动作网络

得到当前动作信息，并输出到主动配电网中潮流控制中心和各个微网控制中心。

通过采集下一个优化时刻的主动配电网的状态信息s_t+1作为新的样本，并进行下一个时刻的学习和计算，DDPG优化过程运用深度卷积神经网络处理电网运行数据，具有强大的自主寻优能力。

(IV)优化结果分析

为验证本发明方法在改善主动配电网优化运行方面的优势，将以总成本最小为目标的求解方法与本发明的优化方法进行对比，此外，为证明本发明采用DDPG求解多微网主动配电网模型的有效性，以粒子群算法(particle swarm optimization，PSO)作为对比算法，以此分为以下四种模式：

模式1(S1):本发明的优化方法，采用DDPG方法优化计算；

模式2(S2):本发明的优化方法，采用粒子群算法优化计算；

模式3(S3):以总成本最小为目标，采用DDPG方法优化计算；

模式4(S4):以总成本最小为目标，采用粒子群算法优化计算。

模式S1-S4的仿真结果如图6-图11所示，从图6～图11可以看出，DDPG算法与粒子群算法结果相近，证明DDPG求解能够有效得到优化结果，并且多次仿真仍具有稳定性。

下面根据仿真结果从成本、能源利用率、电压质量以及主动配电网联络线功率波动等几个方面分析优化效果。

(1)成本分析。从图6可以看出以综合优化目标的S1和S2的运行成本始终要稍高于以成本最小为目标的S3和S4。总体来说，场景1比场景3多产生3.6％的运行费用，场景2比场景4多产生3.7％的运行费用。然而相比于综合优化调度对主动配电网中微网及用户的运行环境改善效果，这部分费用是可以被接受的。

(2)能源利用率提高。通过主动配电网层优化模型，综合分配储能容量和可调度负荷，使储能的充放电特性和光伏风电之间形成时间和空间上的互补，提高能源利用率，同时也提高了主动配电网的调峰能力。

(3)各联络线总功率波动。从图7可以看出分析主动配电网与主网间联络线的传输功率波动，S1和S2始终要小于S3和S4。可见，考虑综合优化的条件下电压质量有较大改善。

(4)电压质量分析。从图8和图9可见，考虑综合优化的S1和S2情景下电压质量有较大改善，其节点电压波动要始终大于S3和S4。

(5)主动配电网网损分析。相应的，从图10可以看出，S1和S2的网损大多时候要稍低于S3和S4的网损。

(6)调峰调压能力。从图11可以看出，由于各个微网间储能的综合利用和分配，优化后的主动配电网等效负荷附带地比未优化的***负荷波动要小很多。其中，S1和S2的负荷波动要小于S3和S4，说明本发明优化方法的优化效果优于总成本最小为目标的模型。

从图6-图11可以看出，相比较以总成本最小为目标，采用本发明考虑微网主动优化的主动配电网优化模型所产生的调度决策，提高了主动配电网的整体运行水平，包括调峰调压能力、电压质量水平、和能源利用率的提高，在此基础上减少了多微网、高渗透率DG接入对上级电网功率潮流的影响，体现了主动配电网优化运行的优势。

Claims (5)

1.一种考虑微网主动优化的主动配电网运行优化方法，其特征在于，包括以下步骤：

S1、建立微网独立优化模型；

S2、结合微网独立优化模型，建立主动配电网运行优化模型；

S3、采用DDPG方法对主动配电网运行优化模型进行求解，得到主动配电网运行最优解；

S4、将主动配电网运行最优解对应输出给主动配电网的潮流控制中心及微网控制中心，以优化主动配电网的运行状态；

所述步骤S1中微网独立优化模型为：

min f_n,1(X_n,X_g,n),...,f_n,m(X_n,X_g,n)

其中，f_n,m(·)表示微网n的第m个优化目标，m表示微网n的优化目标个数，G_n(·)表示微网n的等式约束，H_n(·)表示微网n的不等式约束，X_n表示微网n的控制中心的独立优化变量，其取值与其他微网控制中心的优化变量无关，X_n,min和X_n,max分别为X_n的最小值和最大值，X_g,n为微网n的控制中心的状态变量；

所述步骤S2中主动配电网运行优化模型为：

min F_t

其中，F_t表示主动配电网的优化目标，t为时刻，G_d(·)表示主动配电网的等式约束，H_d(·)表示主动配电网的不等式约束，X_d表示主动配电网的优化变量，X_d,min和X_d,max分别为X_d的最小值和最大值，W为主动配电网的总节点数量，M为主动配电网中包含微网的数量，ω₁，ω₂，ω₃，ω₄均为比例系数，u_t,j为主动配电网中节点j的实际电压，

为主动配电网中节点j的额定电压，P_t,loss为整个主动配电网的网损，P_t,tie为微网与上级电网的实际交换功率，

为微网与上级电网的额定交换功率，P_t,k为微网k输出的有功功率，

为微网k独立优化输出的有功功率；

所述步骤S3具体包括以下步骤：

S31、从主动配电网的运行数据中采集历史特征值，其中，特征值包括状态信息s、动作信息a和回报值r；

S32、根据历史特征值，形成样本单元存入数据池；

S33、基于经验样本回放，从数据池中重采样Y组样本单元，并存入经验池；

S34、将重采样的样本单元输入深度神经网络，通过训练深度神经网络，得到主动配电网运行最优解；

所述步骤S31中状态信息包括主动配电网中独立源荷预测出力、微网输出到主动配电网的优化购电及售电、微网出力上下限、微网发电成本参数，以及主动配电网的负荷需求、线路的功率约束、联络线功率及其约束、各节点电压值及其约束；

动作信息为主动配电网中各微网的输出功率和联络线功率；

所述步骤S31中回报值的计算公式为：

其中，x_t,i表示主动配电网运行优化模型中的不等式约束，c_t,max,i和c_t,min,i分别表示不等式约束x_t,i的上限和下限，I表示主动配电网运行优化模型中不等式约束的个数。

2.根据权利要求1所述的一种考虑微网主动优化的主动配电网运行优化方法，其特征在于，所述样本单元的数据由下一时刻状态信息s_t+1、当前时刻状态信息s_t、当前时刻动作信息a_t和当前时刻回报值r_t组成。

3.根据权利要求2所述的一种考虑微网主动优化的主动配电网运行优化方法，其特征在于，所述步骤S34具体包括以下步骤：

S341、将重采样的样本单元输入目标网络，得到下一时刻的动作信息预估值a_t'₊₁和目标Q值Q_t'₊₁；

S342、将下一时刻的动作信息预估值a_t'₊₁和目标Q值Q_t'₊₁输入主网络，进行主网络参数更新，得到回报值期望r_t'；

S343、将回报值期望r_t'输入目标网络，进行目标网络参数更新，得到下一时刻动作信息a_t+1，即为主动配电网运行最优解。

4.根据权利要求3所述的一种考虑微网主动优化的主动配电网运行优化方法，其特征在于，所述主网络包括主动作网络

和主评价网络

所述目标网络包括目标动作网络

和目标评价网络

其中，

和

均是主网络参数，

和

均是目标网络参数，具体的，

和

分别是主动作网络、主评价网络、目标动作网络和目标评价网络的参数。

5.根据权利要求4所述的一种考虑微网主动优化的主动配电网运行优化方法，其特征在于，所述主网络参数更新和目标网络参数更新的具体过程为：

设置动作网络的目标函数如下：

J_t(θ)＝E(U_t(s,a)|π(θ))

0＜γ＜1

其中，J_t(θ)是带衰减的目标函数的累加期望，θ为神经网络的参数，π(θ)为θ确定的深度学习网络，U_t(s,a)是在状态s下动作值为a时的t时刻的长期回报，γ为折扣因子；

评价网络的Q值如下：

0＜λ≤1

其中，

为状态s_t+1的目标Q值，r_t'为采用动作a后状态由s_t到s_t+1的回报值期望，λ为比例系数；

目标Q值

与原Q值是监督学习神经网络中结果值与输出值的对应关系，因此构造评价网络训练的损失函数如下：

利用目标函数关于

的梯度等价于Q值函数关于

的期望梯度，结合Q值更新动作网络的梯度如下：

为了解决网络参数变化可能引起策略发散的问题，采用下式更新目标网络参数：

0＜η＜1其中，η为发散因子。

Images