CN113972645A - 基于多智能体深度确定策略梯度算法的配电网优化方法 - Google Patents

Abstract

本发明公开了一种基于多智能体深度确定策略梯度算法的配电网优化方法，其特征在于：包括：综合考虑售电收益、出力偏差惩罚以及储能越限惩罚因素构建确定风储联合***的收益最大化调度模型；采用Ward***聚类法和改进FCM法构成的二次聚类法进行二次聚类，实现风储联合***的储能电池根据荷电状态和充放电切换次数进行分组；基于多智能体深度强化学习算法将风电储能建模为多智能体***并且基于风储联合***的收益最大化调度模型训练并执行多智能体以实现对风储联合***的配置。

Description

基于多智能体深度确定策略梯度算法的配电网优化方法

技术领域

本发明涉及新能源技术领域，具体涉及一种基于多智能体深度确定策略梯度算法的配电网优化方法。

背景技术

风电作为新能源的代表，一方面因其清洁性等优点得到了广泛关注，但另一方面风电出力固有的间断和波动特征，也给电力***运行和发电计划安排造成了很大困难。储能设备运行具有很大的灵活性，可实现在长时间尺度上的出力平移，因此，目前有很多研究将储能与风电组合成联合***，以实现对风电出力波动的平抑，大大提高了风电的利用率。

目前，有利用抽水蓄能电站建立优化模型，缓解风电场功率的波动；有采用风电功率分解的思想，将功率分解为2个不同频率成分并使用混合储能进行出力补偿；有在考虑风电不确定性引起失负荷概率的基础上，以风储联合***收益最大化建立调度模型，有效地降低失负荷风险；有以储能收益最大化为目标建立优化模型，采用混合整数规划进行求解，但没有考虑风电的不确定性。但传统的优化模型都属于数学优化方法。除此之外，通过引入强化学习理论的调度决策方法也已经取得了初步进展。强化学习具有强大的自我学习能力，能在与环境的不断反馈中优化动作策略，使得智能体选择的策略能够获得环境的奖励最大，进而使得外部环境对学习***在某方面的评价为最优。将深度强化学习理论应用于综合能源的调度，可对环境中的不确定性因素做出动态响应，提高了***运行的经济性。已有方法利用Rainbow算法建立控制器对储能***的充放电进行优化控制，有效地减轻了风电场出力的间歇性、不稳定性等问题，并实现风电场收益的最大化。

另外，目前多数方法缺乏对储能充放电调度策略的合理性和有序性安排，且没有考虑由于储能状态越限而带来的惩罚，故在实现风储联合***的长期收益最大化上稍显不足。储能电池的寿命受循环次数、充放电深度等因素的影响，无序运行会降低储能电池寿命，引起不必要的损耗，并且无序运行还会降低储能电池的可调控容量，若独立调节每一个储能电池组又过于复杂。

发明内容

1.所要解决的技术问题：

针对上述技术问题，本发明提供一种基于多智能体深度确定策略梯度算法的配电网优化配置，实现实现风储联合***的收益的最大化，降低损耗以及调控的简单化。

2.技术方案：

一种基于多智能体深度确定策略梯度算法的配电网优化方法，其特征在于：包括：

综合考虑售电收益、出力偏差惩罚以及储能越限惩罚因素构建确定风储联合***的收益最大化调度模型；采用Ward***聚类法和改进FCM法构成的二次聚类法进行二次聚类，实现风储联合***的储能电池根据荷电状态和充放电切换次数进行分组；基于多智能体深度强化学习算法将风电储能建模为多智能体***并且基于风储联合***的收益最大化调度模型训练并执行多智能体以实现对风储联合***的配置。

进一步地，确定风储联合***的收益最大化调度模型具体包括以下步骤：

S11：建立目标函数；以收益最大化为目标建立日前调度目标函数，综合考虑售电收益、出力偏差惩罚以及储能越限惩罚因素的使风储联合***收益最大化，则目标函数表示为：

(1)式中：T为调度周期内时段个数，取24小时；λ_t为t时段的电价；P_sys，t为联合***t时段出力；C_1，t为t时段出力偏差惩罚；C_2，t为t时段储能越限惩罚；

其中：

(2)式中：

为风电实际出力；

为储能实际放电功率；

为储能实际充电功率；

(3)式中：

为储能为风电提供的下调备用容量；

为储能为风电提供的上调备用容量；P_ch，t为t时段储能计划充电功率；P_dis，t为t时段储能计划放电功率；

S12：确定约束；其中风电出力约束为：

(5)式中：P_w，max为风电场最大发电功率；

上报容量约束为：

0≤P_sys，t≤P_w，max+P_dis，max (6)

(6)式中：P_dis，max为储能最大放电功率。

储能荷电状态约束为：

SOC_min≤SOC_t≤SOC_max (7)

(7)式中：SOC_min、SOC_max为储能荷电状态最小值、最大值；

储能充放电约束：

I_dis，t+I_ch，t≤1 (12)

(8)至(12)式中：I_ch，t、I_dis，t分别为储能处于充放电状态的电流变量；P_ch，max为储能最大充电功率；

S13：为了考虑了惩罚费用，能够提高风电场风电功率预测结果的准确性和备用容量的充裕性，当上调备用不足，出力偏差的惩罚费用为：

(13)式中，

分别表示储能在t时刻需要提供的上调、下调备用容量；ρ_dev，t为联合***出力偏差惩罚价格；

当下调备用不足，出力偏差的惩罚费用为：

若t-1时段结束时储能荷电状态为SOC_t-1，假设t时段需要储能下调功率，为满足t时段结束时荷电状态不越上限，则储能充电功率最大值为：

(15)式中，E_B为储能电池额定容量；η_ch为储能电池充电效率。

此时储能状态越限的惩罚费用为：

(16)式中，ρ_lim为储能状态越限的惩罚价格；

若t时段需要储能上调功率，为满足储能调节完成后其荷电状态高于下限值，则放电功率最大值为：

(17)式中，η_dis为储能电池放电效率；

此时储能状态越限的惩罚费用为：

进一步地，所述采用Ward***聚类法和改进FCM法构成的二次聚类法进行二次聚类，实现风储联合***的储能电池根据荷电状态和充放电切换次数进行分组，具体包括以下步骤：

S21：收集储能SOC数据，选定表示储能的荷电状态、充放电次数作为聚类特征向量，基于原始数据构造样本特征向量集X；

S22：计算各样本的邻近相关度f(x_i)及权重W_i，并将权重赋予各样本；

S23：算法初始化，给变量赋值；变量包括模糊聚类的模糊指数m、截止误差ε、最大迭代次数T_max、聚类数上限c′(2≤c′≤n)，聚类有效性F_c；给定初始聚类有效性F_c0＝0，初始聚类数c＝2；

S24：选取聚类数为c，进行Ward***聚类；

S25：将Ward***聚类结果作为FCM聚类初始状态，进行FCM聚类分析；

S26：计算聚类有效性F_c值，比较F_c与F_c0，若F_c0≤F_c，则F_c0＝F_c，反之F_c0不变；

S27：当c′≤c时结束，否则令c＝c+1，返回第四步，最终对应的聚类结果为最优结果。

进一步地，将所有储能电池组依据荷电状态、充放电切换次数分为三组：优先下调组ESS1、优先上调组ESS2、中间组ESS3；中间组ESS3既可上调也可下调；优先下调组ESS1是优先充电组，组内储能电池的特点是SOC低，不宜执行放电操作，且放电次数多，而充电次数少；优先上调组ESS2是优先放电组，组内储能电池的特点是SOC高，不宜执行充电操作，且充电次数多，而放电次数少；中间组是组内储能电池组SOC值相对居中，充电次数与放电次数相近，既可使其充电，也可使其放电。

进一步地，基于多智能体深度强化学习算法将风电储能建模的多智能体***包括：风电、储能优先下调组ESS1、储能优先上调组ESS2及储能中间组ESS3为4个智能体，4个智能体根据次日各时段的负荷曲线、电价、惩罚费用、风电预测情况及储能的状态的环境因素进行决策，以使联合***的收益最大化；决策内容包括各时段风电最优上报出力、各个储能小组充放电情况；

所述基于多智能体深度强化学习算法将风电储能建模为多智能体***并且基于风储联合***的收益最大化调度模型训练具体为：

S31：基于多智能体深度强化学习算法，采用Actor-Critic架构；设有N个智能体，观测状态集合为S＝{s₁，s₂，…s_N}；动作集合为A＝{a₁，a₂，…，a_N}；策略集合为π＝{π₁，π₂，…π_N}。

Critic当前网络通过最小化每个智能体的损失函数来优化更新参数，损失函数计算公式如下：

y_i＝r_i+γQ′(S′，a′₁，…a′_N，θ^Q′) (20)

(19)(20)式中：

为网络参数；a₁，a₂，…，a_N为N个智能体的动作；r_i为奖励值；y_i为目标Q值；γ为奖励折扣系数；S′为下一状态的观测状态集合；a′₁，…a′_N为最优下一动作；θ^Q′为更新的网络参数；

S32：Actor当前网络通过神经网络的梯度反向传播来更新网络参数，梯度计算公式为：

Critic目标网络与Actor目标网络参数均采用软更新：

式中：τ为软更新系数；

定义状态空间为：

S_t＝{S_1，t，S_2，t，S_3，t，S_4，t} (24)

S_1，t＝{P_w，t，σ_w，t，α，β} (25)

S_i，t＝{SOC_i，t，C_i，t，D_i，t} (26)

式中：C_i，t、D_i，t分别为t时段储能组i中储能电池充放电次数的平均值。式(24)为t时段4个Agent的状态集合；式(25)为t时段风电状态值；式(26)为t时段储能组的状态值。

定义动作空间为：

A_t＝{a_1，t，a_2，t，a_3，t，a_4，t} (27)

式中：a_1，t为t时段风电实际功率

a_2，t、a_3，t、a_4，t分别为t时段为去除风电备用后3组储能组的实际功率

将奖励函数设计为联合***日前调度模型中的收益最大化函数，表示为：

r_i，t(s_i，t，a_i，t)＝λ_tP_sys，t(s_i，t，a_i，t)-C_1，t(s_i，t，a_i，t)-C_2，t(S_i，t，a_i，t) (28)。

3.有益效果：

本方法针对风储联合***，为了实现其收益最大化，提高储能设备可调控容量，本专利首先根据荷电状态和充放电切换次数对储能电池进行聚类分组，以小组为单位参与调控；然后引入多智能体深度强化学习理论，将各个储能小组及风电场建模为多智能体***，建立基于二次聚类法和多智能体深度确定性策略梯度(MADDPG)算法的风储联合***日前优化调度模型。能够有效解决传统的强化学习算法求解复杂问题时受到信息和条件的制约以及改善储能的可调控容量。

附图说明

图1为基于多智能体深度强化学习算法将风电储能建模的多智能体***模型。

具体实施方式

下面结合附图对本发明进行具体的说明。

一种基于多智能体深度确定策略梯度算法的配电网优化方法，其特征在于：包括：综合考虑售电收益、出力偏差惩罚以及储能越限惩罚因素构建确定风储联合***的收益最大化调度模型；采用Ward***聚类法和改进FCM法构成的二次聚类法进行二次聚类，实现风储联合***的储能电池根据荷电状态和充放电切换次数进行分组；基于多智能体深度强化学习算法将风电储能建模为多智能体***并且基于风储联合***的收益最大化调度模型训练并执行多智能体以实现对风储联合***的配置。

进一步地，确定风储联合***的收益最大化调度模型具体包括以下步骤：

S11：建立目标函数；以收益最大化为目标建立日前调度目标函数，综合考虑售电收益、出力偏差惩罚以及储能越限惩罚因素的使风储联合***收益最大化，则目标函数表示为：

(1)式中：T为调度周期内时段个数，取24小时；λ_t为t时段的电价；P_sys，t为联合***t时段出力；c_1，t为t时段出力偏差惩罚；c_2，t为t时段储能越限惩罚；

其中：

(2)式中：

为风电实际出力；

为储能实际放电功率；

为储能实际充电功率；

(3)式中：

为储能为风电提供的下调备用容量；

为储能为风电提供的上调备用容量；P_ch，t为t时段储能计划充电功率；P_dis，t为t时段储能计划放电功率；

S12：确定约束；其中风电出力约束为：

(5)式中：P_w，max为风电场最大发电功率；

上报容量约束为：0≤P_sys，t≤P_w，max+P_dis，max (6)

(6)式中：P_dis，max为储能最大放电功率。

储能荷电状态约束为：

SOC_min≤SOC_t≤SOC_max (7)

(7)式中：SOC_min、SOC_max为储能荷电状态最小值、最大值；

储能充放电约束：

I_dis，t+I_ch，t≤1 (12)

(8)至(12)式中：I_ch，t、I_dis，t分别为储能处于充放电状态的电流变量；P_ch，max为储能最大充电功率；

S13：为了考虑了惩罚费用，能够提高风电场风电功率预测结果的准确性和备用容量的充裕性，当上调备用不足，出力偏差的惩罚费用为：

(13)式中，

分别表示储能在t时刻需要提供的上调、下调备用容量；ρ_dev，t为联合***出力偏差惩罚价格；

当下调备用不足，出力偏差的惩罚费用为：

若t-1时段结束时储能荷电状态为SOC_t-1，假设t时段需要储能下调功率，为满足t时段结束时荷电状态不越上限，则储能充电功率最大值为：

(15)式中，E_B为储能电池额定容量；η_ch为储能电池充电效率。

此时储能状态越限的惩罚费用为：

(16)式中，ρ_lim为储能状态越限的惩罚价格；

若t时段需要储能上调功率，为满足储能调节完成后其荷电状态高于下限值，则放电功率最大值为：

(17)式中，η_dis为储能电池放电效率；

此时储能状态越限的惩罚费用为：

进一步地，所述采用Ward***聚类法和改进FCM法构成的二次聚类法进行二次聚类，实现风储联合***的储能电池根据荷电状态和充放电切换次数进行分组，具体包括以下步骤：

S21：收集储能SOC数据，选定表示储能的荷电状态、充放电次数作为聚类特征向量，基于原始数据构造样本特征向量集X；

S22：计算各样本的邻近相关度f(x_i)及权重W_i，并将权重赋予各样本；

S23：算法初始化，给变量赋值；变量包括模糊聚类的模糊指数m、截止误差ε、最大迭代次数T_max、聚类数上限c′(2≤c′≤n)，聚类有效性F_c；给定初始聚类有效性F_c0＝0，初始聚类数c＝2；

S24：选取聚类数为c，进行Ward***聚类；

S25：将Ward***聚类结果作为FCM聚类初始状态，进行FCM聚类分析；

S26：计算聚类有效性F_c值，比较F_c与F_c0，若F_c0≤F_c，则F_c0＝F_c，反之F_c0不变；

S27：当c′≤c时结束，否则令c＝c+1，返回第四步，最终对应的聚类结果为最优结果。

进一步地，将所有储能电池组依据荷电状态、充放电切换次数分为三组：优先下调组ESS1、优先上调组ESS2、中间组ESS3；中间组ESS3既可上调也可下调；优先下调组ESS1是优先充电组，组内储能电池的特点是SOC低，不宜执行放电操作，且放电次数多，而充电次数少；优先上调组ESS2是优先放电组，组内储能电池的特点是SOC高，不宜执行充电操作，且充电次数多，而放电次数少；中间组是组内储能电池组SOC值相对居中，充电次数与放电次数相近，既可使其充电，也可使其放电。

进一步地，如附图1所示，基于多智能体深度强化学习算法将风电储能建模的多智能体***包括：风电、储能优先下调组ESS1、储能优先上调组ESS2及储能中间组ESS3为4个智能体，4个智能体根据次日各时段的负荷曲线、电价、惩罚费用、风电预测情况及储能的状态的环境因素进行决策，以使联合***的收益最大化；决策内容包括各时段风电最优上报出力、各个储能小组充放电情况；

所述基于多智能体深度强化学习算法将风电储能建模为多智能体***并且基于风储联合***的收益最大化调度模型训练具体为：

S31：基于多智能体深度强化学习算法，采用Actor-Critic架构；设有N个智能体，观测状态集合为S＝{s₁，s₂，…s_N}；动作集合为A＝{a₁，a₂，…，a_N}；策略集合为π＝{π₁，π₂，…π_N}。

Critic当前网络通过最小化每个智能体的损失函数来优化更新参数，损失函数计算公式如下：

y_i＝r_i+γQ′(S′，a′₁，…a′_N，θ^Q′) (20)

(19)(20)式中：

为网络参数；a₁，a₂，…，a_N为N个智能体的动作；r_i为奖励值；y_i为目标Q值；γ为奖励折扣系数；S′为下一状态的观测状态集合；a′_i，…a′_N为最优下一动作；θ^Q′为更新的网络参数；

S32：Actor当前网络通过神经网络的梯度反向传播来更新网络参数，梯度计算公式为：

Critic目标网络与Actor目标网络参数均采用软更新：

式中：τ为软更新系数；

定义状态空间为：

S_t＝{S_1，t，S_2，t，S_3，t，s_4，t} (24)

S_1，t＝{P_w，t，σ_w，t，α，β} (25)

S_i，t＝{SOC_i，t，C_i，t，D_i，t} (26)

式中：C_i，t、D_i，t分别为t时段储能组i中储能电池充放电次数的平均值。式(24)为t时段4个Agent的状态集合；式(25)为t时段风电状态值；式(26)为t时段储能组的状态值。

定义动作空间为：

A_t＝{a_1，t，a_2，t，a_3，t，a_4，t} (27)

式中：a_1，t为t时段风电实际功率

a_2，t、a_3，t、a_4，t分别为t时段为去除风电备用后3组储能组的实际功率

将奖励函数设计为联合***日前调度模型中的收益最大化函数，表示为：

r_i，t(s_i，t，a_i，t)＝λ_tP_sys，t(s_i，t，a_i，t)-C_1，t(s_i，t，a_i，t)-C_2，t(s_i，t，a_i，t) (28)。

虽然本发明已以较佳实施例公开如上，但它们并不是用来限定本发明的，任何熟习此技艺者，在不脱离本发明之精神和范围内，自当可作各种变化或润饰，因此本发明的保护范围应当以本申请的权利要求保护范围所界定的为准。

Claims (5)

1.基于多智能体深度确定策略梯度算法的配电网优化方法，其特征在于：

综合考虑售电收益、出力偏差惩罚以及储能越限惩罚因素构建确定风储联合***的收益最大化调度模型；采用Ward***聚类法和改进FCM法构成的二次聚类法进行二次聚类，实现风储联合***的储能电池根据荷电状态和充放电切换次数进行分组；基于多智能体深度强化学习算法将风电储能建模为多智能体***并且基于风储联合***的收益最大化调度模型训练并执行多智能体以实现对风储联合***的配置。

2.根据权利要求1所述的基于多智能体深度确定策略梯度算法的配电网优化方法，其特征在于：确定风储联合***的收益最大化调度模型具体包括以下步骤：

S11：建立目标函数；以收益最大化为目标建立日前调度目标函数，综合考虑售电收益、出力偏差惩罚以及储能越限惩罚因素的使风储联合***收益最大化，则目标函数表示为：

(1)式中：T为调度周期内时段个数，取24小时；λ_t为t时段的电价；P_sys，t为联合***t时段出力；c_1，t为t时段出力偏差惩罚；c_2，t为t时段储能越限惩罚；

其中：

(2)式中：

为风电实际出力；

为储能实际放电功率；

为储能实际充电功率；

(3)式中：

为储能为风电提供的下调备用容量；

为储能为风电提供的上调备用容量；P_ch，t为t时段储能计划充电功率；P_dis，t为t时段储能计划放电功率；

S12：确定约束；其中风电出力约束为：

(5)式中：P_w，max为风电场最大发电功率；

上报容量约束为：

0≤P_sys，t≤P_w，max+P_dis，max (6)

(6)式中：P_dis，max为储能最大放电功率；

储能荷电状态约束为：

SOC_min≤SOC_t≤SOC_max (7)

(7)式中：SOC_min、SOC_max为储能荷电状态最小值、最大值；

储能充放电约束：

I_dis，t+I_ch，t≤1 (12)

(8)至(12)式中：I_ch，t、I_dis，t分别为储能处于充放电状态的电流变量；P_ch，max为储能最大充电功率；

S13：为了考虑了惩罚费用，能够提高风电场风电功率预测结果的准确性和备用容量的充裕性，当上调备用不足，出力偏差的惩罚费用为：

(13)式中，

分别表示储能在t时刻需要提供的上调、下调备用容量；ρ_dev，t为联合***出力偏差惩罚价格；

当下调备用不足，出力偏差的惩罚费用为：

若t-1时段结束时储能荷电状态为SOC_t-1，假设t时段需要储能下调功率，为满足t时段结束时荷电状态不越上限，则储能充电功率最大值为：

(15)式中，E_B为储能电池额定容量；η_ch为储能电池充电效率；

此时储能状态越限的惩罚费用为：

(16)式中，ρ_lim为储能状态越限的惩罚价格；

若t时段需要储能上调功率，为满足储能调节完成后其荷电状态高于下限值，则放电功率最大值为：

(17)式中，η_dis为储能电池放电效率；

此时储能状态越限的惩罚费用为：

3.根据权利要求1所述的基于多智能体深度确定策略梯度算法的配电网优化方法，其特征在于：所述采用Ward***聚类法和改进FCM法构成的二次聚类法进行二次聚类，实现风储联合***的储能电池根据荷电状态和充放电切换次数进行分组，具体包括以下步骤：

S21：收集储能SOC数据，选定表示储能的荷电状态、充放电次数作为聚类特征向量，基于原始数据构造样本特征向量集X；

S22：计算各样本的邻近相关度f(x_i)及权重W_i，并将权重赋予各样本；

S23：算法初始化，给变量赋值；变量包括模糊聚类的模糊指数m、截止误差ε、最大迭代次数T_max、聚类数上限c′(2≤c′≤n)，聚类有效性F_c；给定初始聚类有效性F_c0＝0，初始聚类数c＝2；

S24：选取聚类数为c，进行Ward***聚类；

S25：将Ward***聚类结果作为FCM聚类初始状态，进行FCM聚类分析；

S26：计算聚类有效性F_c值，比较F_c与F_c0，若F_c0≤F_c，则F_c0＝F_c，反之F_c0不变；

S27：当c′≤c时结束，否则令c＝c+1，返回第四步，最终对应的聚类结果为最优结果。

4.根据权利要求1所述的基于多智能体深度确定策略梯度算法的配电网优化方法，其特征在于：将所有储能电池组依据荷电状态、充放电切换次数分为三组：优先下调组ESS1、优先上调组ESS2、中间组ESS3；中间组ESS3既可上调也可下调；优先下调组ESS1是优先充电组，组内储能电池的特点是SOC低，不宜执行放电操作，且放电次数多，而充电次数少；优先上调组ESS2是优先放电组，组内储能电池的特点是SOC高，不宜执行充电操作，且充电次数多，而放电次数少；中间组是组内储能电池组SOC值相对居中，充电次数与放电次数相近，既可使其充电，也可使其放电。

5.根据权利要求1所述的基于多智能体深度确定策略梯度算法的配电网优化方法，其特征在于：基于多智能体深度强化学习算法将风电储能建模的多智能体***包括：风电、储能优先下调组ESS1、储能优先上调组ESS2及储能中间组ESS3为4个智能体，4个智能体根据次日各时段的负荷曲线、电价、惩罚费用、风电预测情况及储能的状态的环境因素进行决策，以使联合***的收益最大化；决策内容包括各时段风电最优上报出力、各个储能小组充放电情况；

所述基于多智能体深度强化学习算法将风电储能建模为多智能体***并且基于风储联合***的收益最大化调度模型训练具体为：

S31：基于多智能体深度强化学习算法，采用Actor-Critic架构；设有N个智能体，观测状态集合为S＝{s₁，s₂，…s_N}；动作集合为A＝{a₁，a₂，…，a_N}；策略集合为π＝{π₁，π₂，…π_N}；

Critic当前网络通过最小化每个智能体的损失函数来优化更新参数，损失函数计算公式如下：

y_i＝r_i+γQ′(S′，a′₁，…a′_N，θ^Q′) (20)

(19)(20)式中：

为网络参数；a₁，a₂，…，a_N为N个智能体的动作；r_i为奖励值；y_i为目标Q值；γ为奖励折扣系数；S′为下一状态的观测状态集合；a′₁，…a′_N为最优下一动作；θ^Q′为更新的网络参数；

S32：Actor当前网络通过神经网络的梯度反向传播来更新网络参数，梯度计算公式为：

Critic目标网络与Actor目标网络参数均采用软更新：

式中：τ为软更新系数；

定义状态空间为：

S_t＝{s_1，t，s_2，t，s_3，t，s_4，t} (24)

s_1，t＝{P_w，t，σ_w，t，α，β} (25)

s_i，t＝{SOC_i，t，C_i，t，D_i，t} (26)

式中：C_i，t、D_i，t分别为t时段储能组i中储能电池充放电次数的平均值；式(24)为t时段4个Agent的状态集合；式(25)为t时段风电状态值；式(26)为t时段储能组的状态值；

定义动作空间为：

A_t＝{a_1，t，a_2，t，a_3，t，a_4，t} (27)

式中：a_1，t为t时段风电实际功率

a_2，t、a_3，t、a_4，t分别为t时段为去除风电备用后3组储能组的实际功率

将奖励函数设计为联合***日前调度模型中的收益最大化函数，表示为：

r_i，t(s_i，t，a_i，t)＝λ_tP_sys，t(s_i，t，a_i，t)-C_1，t(s_i，t，a_i，t)-C_2，t(s_i，t，a_i，t) (28)。

Images