CN103679292A - 一种智能微电网双电池电能协同优化方法 - Google Patents

Abstract

本发明公开了一种智能微电网双电池电能协同优化方法，其包括：对双电池电能协同优化方法进行相关参数初始化；开启全局循环，初始化评判网络权值；开启外循环，初始化电池控制策略，并根据实际用电情况对所述电池控制策略进行调整；开启内循环，利用采集到的***状态与调整后的电池控制策略循环修正评判神经网络权值，并利用该评判网络权值评测当前电池控制策略的性能；判断当前内循环是否完成，如果尚未完成，则返回内循环，否则判断当前外循环是否完成，如果尚未完成，则返回外循环，否则判断当前全局循环是否完成，如果尚未完成，则返回全局循环；搜索程序完全运行之后，根据所评判得到的性能保存最优的电池控制策略并计算用电成本。

Description

一种智能微电网双电池电能协同优化方法

技术领域

本发明属于智能电网电能优化技术领域，具体涉及一种智能微电网双电池电能协同优化控制方法。

背景技术

蓄电池，亦称可充电电池，是智能微电网用户住宅终端的常用储能设备，贮存化学能量，必要时将化学能直接转化成电能的一种电器化学设备。蓄电池是按可再充电为标准设计的，通过可逆的化学反应实现再充电，综合成本等各方面考虑，储能用蓄电池主要采用铅酸蓄电池。其工作过程：充电时利用外部的电能使内部活性物质再生，把电能储存为化学能，需要放电时再次把化学能转换成电能输出，实现电能的存储过程。

蓄电池储能是智能电网中住宅用电储能部分的重要一环，且具有使用温度范围广、充电接受能力强、寿命长、易维护等特点，其中储能蓄电池是确保智能电网安全稳定运行的重要设备，能够为住宅用户提供应急电源、削减用电高峰时段的用电量、降低用电网的峰谷负荷差值，是智能电网极其重要的组成部分。在实际应用过程中，一方面通过储能蓄电池的工作机理分析双储能电池充(放)电特性，另一方面要根据智能微电网住宅用户端双负载的实际运行情况对双储能电池的充(放)电顺序、时间等参数进行最优控制，优化智能微电网住宅用户端的双电池电能，降低电网的峰谷负荷差值，提高电网运行的效率并降低用户的实际用电成本。然而在实际双电池协同优化运行过程中，住宅用户端负载变化涉及到人为主观因素，难以精确预测，同时时间跨度长，短时间内控制效果不十分明显以及非线性严重等特点使得双电池电能协同优化难以建立精确的机理模型，给智能电网的电池电能协同优化控制带来了很大的困难。因此，基于电网运行相关历史数据，设计一套有效的双电池电能协同优化控制方案，以实现降低电网最大载荷、促进电网负载平衡、提高电网的灵活性与兼容性、降低用户的用电成本是智能电网发展亟需解决的问题。

发明内容

(一)要解决的技术问题

本发明所要解决的技术问题是利用智能电网双用户负载历史运行数据、实时电价信息与神经网络，构建智能微电网双电池电能协同优化控制网络方法，采用基于自适应动态规划的自学习方法，实现双电池电能的协同优化控制。

(二)技术方案

本发明提出了一种智能微电网双电池电能协同优化方法，其包括：

S1、对双电池电能协同优化方法进行相关参数初始化，包括实时电价、一个时间段内的两个终端用户负载数据及评判模块神经网络参数；

S2、开启全局循环，初始化评判网络权值，在一定范围内采用随机方法实现；

S3、开启外循环，初始化电池控制策略，并根据实际用电情况对所述电池控制策略进行调整；

S4、开启内循环，采用执行依赖启发式动态规划方法，利用采集到的***状态与调整后的电池控制策略循环修正评判神经网络权值，并利用该评判网络权值评测当前电池控制策略的性能；判断当前内循环是否完成，如果尚未完成，则返回步骤S4继续内循环，否则判断当前外循环是否完成，如果尚未完成，则返回步骤S3继续外循环，否则判断当前全局循环是否完成，如果尚未完成，则返回步骤S2继续全局循环，否则继续下一步骤；

S5、搜索程序完全运行之后，根据所评判得到的性能保存最优的电池控制策略并计算用电成本。

(三)有益效果

本发明根据负载端的两个用户历史载荷运行数据以及实时电价信息，构建双电池电能协同优化控制网络方法，采用自适应动态规划方法预测相应时间段内的优化控制策略，降低电网的峰谷载荷差值，提高电网的灵活性与兼容性，同时降低用户的用电成本。

附图说明

图1是本发明中智能微电网双电池结构示意图；

图2是本发明中智能微电网双电池电能协同优化控制方法的流程图；

图3是本发明中ADHDP方法的实现框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。

图1是本发明中智能微电网双电池结构示意图。如图1所示，智能微电网由外接公共电网1提供外接公共电网电源，计价方式为实时电价，只能为住宅端提供电能，不能反向输送电能；外接公用电网1提供的电能可以给储能电池2和储能电池4充电，同时也可以为住宅3和住宅5提供电能；储能电池2和储能电池4也可以分别为住宅3和住宅5用电终端提供电能，但智能住宅3或住宅5在同一时刻只能由外接公共电网1、储能电池2和储能电池4中一个为其供电，储能电池2和储能电池4不可同时对同一住宅终端进行放电，同时两储能电池之间不能互相充电。控制器可以根据实际运算结果，决定在某一时刻由外接公共电网1、储能电池2和储能电池4中一个或者两个为住宅3和住宅5的用电终端供电，也可以通过外接公共电网1为储能电池进行充电。需要说明的是，该图1只是示意性的简图，实际的智能微电网以及用户住宅终端还包括其他各个工作部件，例如直交流电转换器、变压器、控制器以及洗衣机等住宅用电终端，但其皆为本领域的技术人员熟知，并且不影响本发明的控制方法，因此在此不加赘述。

图2示出了本发明提出的智能微电网双电池电能协同优化控制方法的流程图。如图2所示，该方法包括依次执行的如下步骤：

S1、对双电池电能协同优化方法进行相关参数初始化，包括实时电价、一个时间段内的两个终端用户负载数据及评判模块神经网络参数；

S2、开启全局循环，初始化评判网络权值，在一定范围内采用随机方法实现；

S3、开启外循环，初始化电池控制参数，根据其初始化数据对双电池存储的电能进行优化调整；

S4、开启内循环，采用执行依赖启发式动态规划方法(ADHDP)，利用采集到的***状态与电池控制策略作为评判选择模块的输入数据，修正评判网络权值，评测当前电池控制策略性能，判断当前内循环是否完成，如果尚未完成，则返回步骤S4继续内循环，否则判断当前外循环是否完成，如果尚未完成，则返回步骤S3继续外循环，否则判断当前全局循环是否完成，如果尚未完成，则返回步骤S2继续全局循环，否则继续下一步骤；

S5、搜寻程序完全运行之后出现的最好的电池控制策略并计算用电成本。

下面分别介绍上述各个步骤。

S1、对双电池电能协同优化方法进行相关参数初始化，包括实时电价、一个时间段内的两个终端用户负载数据及评判模块神经网络参数；

本发明的双电池电能协同优化方法是基于数据的自适应动态规划理论方法进行构建的，无需具体的数学模型，即利用自适应动态规划算法在处理和分析问题过程中根据处理数据的数据特征自动调整处理方法、处理顺序与处理参数使其与问题特征相匹配的特点，调整优化住宅用户端存在双电池时的充(放)电顺序以及额度的方法。根据智能微电网中电网以及住宅用户部分相关历史数据，自适应动态规划会自动进行学习，不断改进当前优化控制算法的结构，实现双电池的电能协同优化调整。

根据执行依赖启发式动态规划算法以及智能微电网的需求，在智能微电网双电池电能协同优化算法的初始阶段需要进行参数的初始化工作，为算法运行做好基础数据储备工作。

算法的相关参数初始化工作包括实时电价、两个终端住宅用户负载功率以及自适应动态规划算法中评判模块神经网络的参数。

实时电价：此处采用最简单的峰谷定价策略，即用电高峰时段用电价格高，用电低谷时段用电价格低，以鼓励用户避开高峰用电时段。实时电价信息数据参考我国部分地区的实时电价数据获得，每小时改变一次用电电价，并对电价数据进行归一化处理。

两个住宅用户负载：参照供电部门采集积累的住宅用户历史用电数据，进行分析处理获得小区楼房确定时间段内两个普通住宅的用户负载数据，并对这两个负载数据进行归一化处理，便于自适应动态规划方法使用。

算法参数初始化：在算法开始阶段需要对智能微电网的自适应动态规划方法进行双电池储电量与初始电量初始化，全局迭代与内循环、外循环次数初始化，折扣因子以及神经网络结构初始化工作，其中折扣因子是指在ADHDP算法中用到的一个变量，该变量体现了前一时刻***的性能对当前时刻***的影响的大小，其取值范围是(0，1]。

其中，设置评判网络的结构为7-20-1，其中7为评判网络输入层节点数量，20为评判网络隐层节点数量，1为评判网络输出层节点数量，且其隐层节点数量可根据经验进行调整以获得最佳的逼近效果。

在实际应用过程中，实时电价信息可以通过电力部门发布的实时数据获得，用户负载的历史数据积累可以用来对每个时间段的智能微电网电能协同优化算法进行重新运算规划调整，使之更加贴近当前实际情况，算法会自动进行学习调整优化。因此，此处的实时电价以及两个住宅用户负载数据接近实际情况即可。

S2、开启全局循环，初始化评判网络权值，在一定范围内采用随机方法实现；

根据智能微电网双电池电能协同优化算法(即执行依赖启发式动态规划方法ADHDP)，需要对此评判网络进行网络权值初始化工作，在综合考虑了权值收敛速度与稳定性的情况下，在全局迭代之内，确定权值W₁、W₂在(-0.01，0.01)范围内随机初始化得到。其中W₁为评判网络输入层节点与隐层节点之间的权值，W₂为评判网络隐层节点与输出层节点之间的权值。评判网络的输入值包括归一化的实时电价C_norm(t)，归一化的用户负载P_{load1_norm}(t)和P_{load2_norm}(t)，归一化的双电池的实时电能E_{b1_norm}(t)和E_{b2_norm}(t)，电池1和电池2的充(放)电控制策略u₁(t)和u₂(t)，输出值是性能指标函数。

评判网络权值初始化在全局迭代之内，可以在每次全局循环开始时重新进行评判网络权值的初始化，从而在保证网络稳定性与收敛速度的基础上更好地保证神经网络的收敛，以便尽快找到双电池最优控制策略。

S3、开启外循环，初始化电池控制参数u(t)，根据其初始化数据对双电池存储的电能进行优化调整；

智能微电网单个电池控制策略为{1：电池充电；0：电池挂起；-1：电池向本侧负载供电(例如对于电池1，负载1即为本侧负载)；-2：电池向异侧负载供电(例如对于电池1，负载2即为异侧负载；)；-3：电池同时向本异侧负载供电(即电池同时向负载1和负载2供电)}。综合考虑电池1和电池2及两个负载的实际情况，智能住宅双电池充(放)电的所有控制策略如表1所示，但在初始化过程中，有7项{(u₁(t)，u₂(t))}={(-1，-2)，(-1，-3)，(-2，-1)，(-2，-3)，(-3，-1)，(-3，-2)，(-3，-3)}由于两块蓄电池充(放)电策略互斥不能成立，需要重新调整。

表1 双电池可行控制策略表

用户住宅端双电池的控制策略的初始化工作方法为，在外循环之内，控制策略在其控制策略{1，0，-1，-2，-3}中随机初始化得到。外循环能够保证每次循环开始时，智能微电网的双电池的控制策略重新进行随机初始化，使得双电池的控制策略尽可能多地涉及到所有的控制策略。表2和表3以u₁(t)={1，0，-1，-2，-3}为例详细阐述了储能电池的充(放)电控制策略调整，当u₂(t)与u₁(t)发生冲突时，默认优先考虑u₁(t)。

表2 u₁(t)={1，0，-1，-2}时控制策略调整表

表3 u₁(t)={-3}时控制策略调整表

电池控制策略初始化之后，根据用户用电的实际情况对固定时间段内的电池控制策略进行相应地调整，其中所述用户用电的实际情况包括固定时间段内住宅用户的用电数据以及双电池的电能存储状况等，同时双电池的充(放)电方式与充(放)电电量也可计算得到。电池控制策略初始化后的调整方式以储能电池1为例进行说明，具体调整方式见表2和表3。

在此过程中，负载与电池、电网之间要保证功率守恒

P_load1(t)+P_load2(t)=P_battery1(t)+P_battery2(t)+P_grid(t)。

其中，P_load1(t)表示负载1(负载1即为住宅1中所有用电器)的实时功率，P_load2(t)表示负载2(负载2即为住宅2中所有用电器)的实时功率，P_battery1(t)表示电池1的实时充(放)电功率，P_battery2(t)表示电池2的实时充(放)电功率，P_grid(t)表示从电网获取的实时功率。

S4、开启内循环，采集***状态(包括：归一化的实时电价C_norm(t)，归一化的用户负载P_{load1_norm}(t)和P_{load2_norm}(t)，归一化的双电池的实时电能E_{b1_norm}(t)和E_{b2_norm}(t))，并采用执行依赖启发式动态规划方法(ADHDP)，利用采集到的***状态与电池控制策略作为评判网络的输入数据，修正评判网络的权值，评测当前电池控制策略性能，判断当前内循环是否完成，如果尚未完成，则返回步骤S4继续内循环，否则判断当前外循环是否完成，如果尚未完成，则返回步骤S3继续外循环，否则判断当前全局循环是否完成，如果尚未完成，则返回步骤S2继续全局循环，否则继续下一步骤；

在外循环开始S3阶段已经计算得到调整后的双电池控制策略和蓄电池充(放)电方式与额度数据以及效用函数和***状态与电池控制策略矩阵，其中，效用函数根据电池控制策略获得。

图3示出了本发明中执行依赖启发式动态规划方法(ADHDP)的实现框图。如图3所示，本阶段利用执行依赖启发式动态规划方法根据前面得到的网络输入数据，即***状态与电池控制策略矩阵，训练相应的评判网络模块，修正其网络权值，并利用评判网络评测当前的电池控制策略性能。

根据Bellman最优性原理，动态规划方法用来为复杂非线性优化问题寻找最优控制策略的行为。对于智能微电网双电池电能协同优化问题，当前***可表示为：

x(t+1)=F[x(t)，u(t)]。

x(t)表示t时刻***的状态向量(包括归一化的实时电价C_norm(t)，归一化的用户负载P_{load1_norm}(t)和P_{load2_norm}(t)，归一化的双电池的实时电能E_{b1_norm}(t)和E_{b2_norm}(t))，u(t)表示t时刻两个蓄电池的控制策略，F为在t时刻电池控制策略u(t)时，当前***状态x(t)到下一***状态x(t+1)的转换函数。

用于评价***好坏的***的性能指标函数为：

$J\left[x\left(t\right)\right]=\underset{k=t}{\overset{\∞}{\mathrm{\Σ}}}{\mathrm{\γ}}^{k-t}U[x\left(k\right),u\left(k\right)],$

其中U表示***的效用函数，其用于表示***在某一时刻的用电量所产生的费用，γ为折扣因子，取值范围(0，1]。动态规划的目标就是寻找一个最优的电池控制策略使得性能指标函数最小化。根据Bellman原理，最优性能指标函数为：

$J*\left[x\left(t\right)\right]=\underset{u\left(t\right)}{\min }\left(U\right[x\left(t\right),u\left(t\right)]+\mathrm{\γJ}*[x(t+1)\left]\right).$

因此t时刻的最优控制策略为

$u*\left(t\right)=\arg \underset{u\left(t\right)}{\min }\left(U\right[x\left(t\right),u\left(t\right)]+\mathrm{\γJ}*[x(t+1)\left]\right).$

针对具体的智能微电网双电池电能协同优化方法中，具体的参数表示如下：

***状态向量为

x(t)=[C_norm(t)，P_{load1_norm}(t)，P_{load2_norm}(t)，E_{b1_norm}(t)，E_{b2_norm}(t)]，

其中C_norm(t)为归一化后的实时电价，P_{load1_norm}(t)和P_{load2_norm}(t)分别为归一化的用户负载1和用户负载2，E_{b1_norm}(t)和E_{b2_norm}(t)分别为归一化后电池1和电池2的实时储能电量。

储能电池的控制策略为

u(t)=(u₁(t)，u₂(t))，

其中u₁(t)和u₂(t)分别为电池1和电池2的充(放)电控制策略。

效用函数计算公式为

U(t)=c(t)(P_load1(t)+P_load2(t)+E_{battery1_change}(t)+E_{battery2_change}(t))/U_max，

其中c(t)表示当前时刻实时电价，P_load1(t)和P_load2(t)分别为用户负载1和用户负载2，E_{battery1_change}(t)和E_{battery2_change}(t)分别为储能电池1和电池2的当前时间段内充(放)电电能，放电时为负值，充电时为正值。U_max为预先设定的效用函数的最大值。

根据***的性能指标函数公式可推知

J[x(t)]=U[x(t)，u(t)]+γJ[x(t+1)]。

因此，智能微电网双电池电能协同优化方法中执行依赖启发式动态规划评判网络的目标是通过训练来最小化评判网络输出误差。由于J[x(t+1)]是下一时刻的性能指标函数，因此很难获得。为了便于求解，我们定义新的性能指标函数Q(t)=J[x(t+1)]，令效用函数U[x(t)，u(t)]简写为U(t)，那么我们既可以获得：

Q(t-1)=U(t)+γQ(t)

可以看到上式中的性能指标函数Q(t)只与t时刻的效用函数和上一时刻的性能指标函数相关，而与t+1时刻的性能指标函数无关。下面我们采用评判网络近似求解Q(t)。

定义评判网络预测误差为

e_c(t)=γQ(t)+U(t)-Q(t-1)。

Q(t)为评判网络的t时刻输出函数，Q(t-1)为评判网络的t-1时刻输出函数，γ为折扣因子。

评判网络最小化误差函数为

$E_c\left(t\right)=\frac{1}{2}{e_c}^2\left(t\right),$

则评判网络的权值更新规则基于梯度下降法获得

w_c(t+1)=w_c(t)+Δw_c(t)，

$\mathrm{\Δ}{w}_c\left(t\right)=l_c\left(t\right)[-\frac{\∂E_c\left(t\right)}{\∂w_c\left(t\right)}],$

$\frac{\∂E_c\left(t\right)}{\∂w_c\left(t\right)}=[-\frac{\∂E_c\left(t\right)}{\∂Q\left(t\right)}\frac{\∂Q\left(t\right)}{\∂w_c\left(t\right)}],$

其中w_c(t)表示t时刻的评判网络权值，Δw_c(t)表示其权值变化量，l_c(t)表示t时刻评判网络的学习率，l_c(t)>0。

评判网络随着训练次数的增加，其预测误差e_c(t)逐渐趋近于零。因此，性能指标函数Q(t-1)与Q(t)之间的关系可近似为：

Q(t-1)≈U(t)+γQ(t)。

评判网络的结构包括输入层、隐层和输出层三层结构，输入层与隐层之间的激活函数为双极S型函数，隐层与输出层之间的激活函数的线性函数。令隐含层神经元个数为L，输出层神经元个数为M。已知一段固定时间段内的***状态与电池控制策略矩阵statecontrol和效用函数矩阵U，即可根据初次网络计算获得输出

Q=purline(W₂*σ(W₁*statecontrol))，

其中

σ(W₁*statecontrol)∈R^L， $\mathrm{\σ}\left(z_i\right)=\frac{e^{z_i}-e^{{-z}_i}}{e^{z_i}+e^{{-z}_i}},i=1,...L,$

purline(W₂*σ(W₁*statecontrol))∈R^M，purline(z)=z。

且Q为这段固定时间段内的所有时刻Q(t)的性能指标函数矩阵，statecontrol＝[x，u]，x表示这段固定时间段内的所有时刻x(t)状态向量，u表示这段固定时间段内的所有时刻u(t)的控制策略，U为所有时刻U(t)的效用函数矩阵。

由前可知，前一时刻t-1的性能指标函数可由下式计算得到

Q(t-1)=U(t)+γQ(t)。

此时评判网络的目标输出值为Q(t-1)，输入函数矩阵为statecontrol，即可在有确定的输入输出数据情况下对此评判网络进行一次权值训练，得到训练好的权值W₁和W₂，其中W₁为评判网络输入层节点与隐层节点之间的权值，W₂为评判网络隐层节点与输出层节点之间的权值。

随后这两个权值W₁和W₂被传递给选择模块，选择模块根据此权值与***状态矩阵x(t)(包括归一化的实时电价，归一化的用户负载1的实时功率和负载2的实时功率，归一化的双电池的实时电能)对所有可能的电池控制策略组合u进行计算，获得相应的选择模块函数输出值，根据该输出值的大小判断当前哪一种控制策略的性能最优；例如，如果利用当前的***状态和评判网络的权值对所有电池控制策略进行计算，得到的选择模块输出结果最小的控制策略即为当前最优电池控制策略。此时选择模块的隐含层神经元个数也为L，输出层神经元个数也为M。

F_S=purline(W₂*σ(W₁*statecontrol))，

其中

σ(W₁*statecontrol)∈R^L， $\mathrm{\σ}\left(z_i\right)=\frac{e^{z_i}-e^{{-z}_i}}{e^{z_i}+e^{{-z}_i}},i=1,...L,$

purline(W₂*σ(W₁*statecontrol))∈R^M，，purline(z)=z，且F_S为选择模块函数。

根据得到的所有选择模块函数输出结果，寻找函数值最小的选择模块函数输出结果并寻找其对应的控制策略u。根据控制策略u与实际的两个用户负载数据，对智能微电网的两块电池充(放)电顺序与额度进行规划调整，根据公式

Cost=(P_load1+P_load2+E_{battery1_change}+E_{battery2_change})*C

计算用户的成本。其中C为对这段固定时间段内所有实时电价矩阵，E_{battery1_change}和E_{battery2_change}分别为储能电池1和电池2的充(放)电电能，放电时为负值，充电时为正值。

根据内循环的设定循环次数，若此时内循环尚未结束，继续返回S4步骤起始处继续评判网络权值训练，若内循环已经结束，此时本发明方法会继续判断当前的外循环是否结束。若外循环尚未结束，则返回到S3处重新对智能微电网的双电池控制策略进行初始化赋值，随后根据初始化结果对两块电池存储的电能进行优化调整；若外循环也已结束，则本发明方法会继续判断当前的全局循环是否结束，若全局循环尚未结束，会返回到S2处对评判模块神经网络的两个权值W₁、W₂进行随机初始化，开始下一次计算；若全局循环此时已经结束，则该方法会继续进行下一步骤S5。

S5、搜寻程序完全运行之后出现的最好的电池控制策略并计算用电成本。

在内循环评判网络每次训练结束后，根据此神经网络的权值重新计算智能微电网双电池的控制策略，然后根据实际用户负载和电池储能数据进行相应的调整，并且根据相应的结果计算双电池用户的成本。在网络不断循环训练过程中，不断计算每次训练结果的用户成本值Cost，然后与当前***记录的最小值Cost_min进行比较，判断是否优于当前已知的最小用户成本，若比记录值更小，则将记录最小值用当前值更新，否则不更新。本发明方法在程序中不断搜寻最好的电池控制策略及最优用户成本时的神经网络数据，直到网络训练结束。

基于数据的控制算法最大的优点是无模型控制。实际***存在严重的非线性、不确定性、时变性等因素，在无法获得精确的数学模型的情形下，无模型自适应优化控制便能发挥自身的优势，克服理论模型与实际应用之间的矛盾，降低了对模型的要求并且有较好的综合控制效果。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种智能微电网双电池电能协同优化方法，其包括：

S1、对双电池电能协同优化方法进行相关参数初始化，包括实时电价、一个时间段内的两个终端用户负载数据及评判模块神经网络参数；

S2、开启全局循环，初始化评判网络权值，在一定范围内采用随机方法实现；

S3、开启外循环，初始化电池控制策略，并根据实际用电情况对所述电池控制策略进行调整；

S4、开启内循环，采用执行依赖启发式动态规划方法，利用采集到的***状态与调整后的电池控制策略循环修正评判神经网络权值，并利用该评判网络权值评测当前电池控制策略的性能；判断当前内循环是否完成，如果尚未完成，则返回步骤S4继续内循环，否则判断当前外循环是否完成，如果尚未完成，则返回步骤S3继续外循环，否则判断当前全局循环是否完成，如果尚未完成，则返回步骤S2继续全局循环，否则继续下一步骤；

S5、搜索程序完全运行之后，根据所评判得到的性能保存最优的电池控制策略并计算用电成本。

2.如权利要求1所述的双电池电能协同优化方法，其特征在于，在步骤S1中，实时电价数据参照我国部分地区的实时电价信息而获得的实时电价，两个用户负载数据信息根据居民住宅用电历史数据获得。

3.如权利要求1所述的双电池电能协同优化方法，其特征在于，在步骤S1中，设置评判网络的结构为7-20-1，其中7为评判网络输入层节点数量，20为评判网络隐层节点数量，1为评判网络输出层节点数量，且其隐层节点数量可根据经验进行调整以获得最佳的逼近效果。

4.如权利要求1所述的双电池电能协同优化方法，其特征在于，在步骤S2中，在(-0.01，0.01)范围内用随机初始化方法获得评判网络权值。

5.如权利要求1所述的双电池电能协同优化方法，其特征在于，在步骤S4中，所述评判网络的输入数据和输出数据包括：

输入数据：归一化的实时电价C_norm(t)，归一化的用户负载P_{load1_norm}(t)和P_{load2_norm}(t)，归一化的双电池的实时电能E_{b1_norm}(t)和E_{b2_norm}(t)，双电池的电池控制策略u₁(t)和u₂(t)；

输出数据：根据Bellman方程，利用评判网络上一时刻的输出Q(t)与效用函数U(t)及折扣因子γ计算得到当前时刻的数据Q(t-1)，计算公式如下：

Q(t-1)=U(t)+γQ(t)；

其中，效用函数U(t)表示当前时刻t所用电量产生的成本费用。

6.如权利要求1所述的双电池电能协同优化方法，其特征在于，步骤S4中，效用函数计算公式为：

U(t)=c(t)(P_load1(t)+P_load2(t)+E_{battery1_change}(t)+E_{battery2_change}(t))/U_max；

其中，c(t)表示当前时刻实时电价，P_load1(t)和P_load2(t)分别为用户1负载功率和用户2负载功率，E_{battery1_change}(t)和E_{battery2_change}(t)分别为双电池当前时间段内充(放)电电能，放电时为负值，充电时为正值；U_max为预先设定的效用函数的最大值。

7.如权利要求1所述的双电池电能协同优化方法，其特征在于，步骤S4中，评判网络的权值更新规则如下：

w_c(t+1)=w_c(t)+Δw_c(t)

$\mathrm{\Δ}{w}_c\left(t\right)=l_c\left(t\right)[-\frac{\∂E_c\left(t\right)}{\∂w_c\left(t\right)}]$

$\frac{\∂E_c\left(t\right)}{\∂w_c\left(t\right)}=[-\frac{\∂E_c\left(t\right)}{\∂Q\left(t\right)}\frac{\∂Q\left(t\right)}{\∂w_c\left(t\right)}]$

$E_c\left(t\right)=\frac{1}{2}{e_c}^2\left(t\right)$

其中，w_c(t)表示t时刻的评判网络权值，Δw_c(t)表示其权值变化量，l_c(t)表示t时刻评判网络的学习率，l_c(t)>0；Q(t)表示评判网络的输出，e_c(t)表示评判网络的预测误差。

8.如权利要求1所述的双电池电能协同优化方法，其特征在于，步骤S4中评判当前电池控制策略性能具体为：根据所述评判网络，利用所获得的神经网络权值对所有的电池控制策略进行评价，获得当前神经网络权值下的最优电池控制策略及其对应的评价值。

9.如权利要求1所述的双电池电能协同优化方法，其特征在于，步骤S4还包括，比较当前内循环获得的最优电池控制策略所对应的评价值与当前最优值，若当前内循环获得的最优电池控制策略对应的评价值优于最优值，则更新所述最优值。

Images