CN104022503B - 一种带有储能设备的智能微电网电能优化控制方法 - Google Patents

Abstract

本发明公开了一种带有储能设备的智能微电网电能优化控制方法，包括：相关参数初始化；开启全局迭代，初始化评判网络和执行网络权值；开启局部迭代，利用白适应动态规划方法训练评判网络和执行网络，修正神经网络权值，其中评判网络用来近似最优性能指标函数，并利用该评判网络权值评测当前电池控制策略的性能，执行网络用来近似最优控制策略，最小化一次全局迭代内的总成本；判断当前局部迭代是否完成，如果尚未完成，则返回局部迭代，否则更新迭代性能指标函数和迭代控制律，以获得最优解；判断当前全局迭代是否满足收敛精度，如果尚未完成，则返回全局迭代；如果满足收敛精度，根据最优性能指标函数获得最优的电池控制策略，并计算用电成本。

Description

一种带有储能设备的智能微电网电能优化控制方法

技术领域

本发明属于智能电网电能优化技术领域，具体涉及一种带有储能设备的智能微电网电能优化控制方法。

背景技术

蓄电池，亦称可充电电池，是智能微电网用户住宅终端的常用储能设备，贮存化学能量，必要时将化学能直接转化成电能的一种电器化学设备。蓄电池以可再充电为标准尽心设计，通过可逆的化学反应实现再充电，综合成本等各方面考虑，储能用蓄电池主要采用铅酸蓄电池。工作过程为：充电时利用外部的电能使内部活性物质再生，把电能储存为化学能，放电时再次把化学能转换成电能输出，从而实现电能存储。

蓄电池储能是智能电网中住宅储能的重要环节，且具有使用温度范围广、充电接受能力强、寿命长、易维护等特点，其中储能蓄电池是确保智能电网安全稳定运行的重要设备，能够为住宅用户提供应急电源、减少用电高峰时段的用电量、降低用电网的峰谷负荷差值，是智能电网极其重要的组成部分。实际应用中，一方面通过储能蓄电池的工作机理分析储能电池充(放)电特性，另一方面根据智能微电网住宅用户端负载的实际运行情况对储能电池的充(放)电、时间等参数进行最优控制，优化智能微电网住宅用户端的电池电能，降低电网的峰谷负荷差值，提高电网运行的效率，并降低用户的实际用电成本。

然而在实际储能蓄电池运行过程中，住宅用户端负载变化涉及人为主观因素，难以精确预测，同时时间跨度长，短时间内控制效果不明显以及非线性严重等特点使得电池电能难以建立精确的机理模型，为智能电网的电池电能优化控制带来了很大的困难。因此，基于电网运行中实时电价以及用户负载的日常周期性变化数据，亟需设计一套有效的智能微电网储能电池优化控制方案，以降低电网最大载荷，促进电网负载平衡，提高电网的灵活性与兼容性，并降低用户的用电成本，从而推动智能电网的发展。

发明内容

(一)要解决的技术问题

本发明所要解决的技术问题是基于智能电网日常周期性用户负载数据与实时电价信息，利用神经网络，构建带有储能设备的智能微电网电能优化控制方法，采用基于自适应动态规划的自学习方法，实现电池电能的优化控制。

(二)技术方案

本发明提出了一种带有储能设备的智能微电网电能优化控制方法，其包括：

S1、参数初始化；

S2、开启全局迭代，初始化评判网络和执行网络权值；

S3、开启局部迭代，利用自适应动态规划方法训练评判网络和执行网络，修正神经网络权值，其中评判网络用来近似最优性能指标函数，并利用该评判网络权值评测当前电池控制策略的性能，执行网络用来近似最优的电池控制策略，最小化一次全局迭代内的总成本；

S4、判断当前局部迭代是否完成，如果尚未完成，则返回局部迭代，否则更新迭代性能指标函数和迭代控制律，以获得最优解；判断当前全局迭代是否满足收敛精度，如果尚未完成，则返回全局迭代；

S5、如果满足收敛精度，根据最优性能指标获得最优的电池控制策略并计算用电成本。

(三)有益效果

本发明基于智能电网日常周期性用户负载数据与实时电价信息，构建智能微电网电池电能优化控制方法，采用自适应动态规划方法获得相应时间段内的优化控制策略，降低电网的峰谷载荷差值，提高电网的灵活性与兼容性，同时降低用户的用电成本。

附图说明

图1是本发明中智能住宅***结构示意图；

图2是本发明中带有储能设备的智能微电网电能优化控制方法的流程图；

图3是本发明中带有储能设备的智能微电网电能优化控制方法的实现框图。

具体实施方式

为了更清楚地说明本发明的目的、技术方案和优点，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。

图1是本发明中智能住宅***结构示意图。如图1所示，智能住宅***由电网、用户负载、电池***(包括电池以及直交流电转换器)以及电能管理单元(控制器)组成。电池通过直交流电转换器与功率管理单元相连。

在该智能住宅***中，电池采取不同的控制策略以满足用户负载以及实时电价的需求。智能住宅***中的电池具有三种运行模式。1、充电模式：当用户负载较低且电价较低时，电网直接满足用户负载需求，并同时对电池进行充电。2、挂起模式：电网在某些时刻直接满足用户负载需求，而电池能量保持恒定。3、放电模式：当用户负载较高且电价较高时，电池满足用户负载需求。

需要说明的是，该图1只是示意性的简图，实际的智能微电网以及用户住宅终端还包括其他工作部件，但其皆为本领域的技术人员熟知，并且不影响本发明的控制方法，因此在此不加赘述。

图2表示本发明提出的带有储能设备的智能微电网电能优化控制方法的流程图。如图2所示，该方法包括依次执行的如下步骤：

S1、相关参数初始化，包括实时电价、周期性用户负载数据、神经网络权值等参数以及收敛精度等；

S2、开启全局迭代，在一定范围内采用随机方法实现；

S3、开启局部迭代，利用自适应动态规划(adaptive dynamic programming，ADP)方法训练评判网络和执行网络，修正评判网络和执行网络的权值，其中评判网络用来近似最优性能指标函数，并利用该评判网络权值评测当前电池控制策略的性能，执行网络用来近似最优的电池控制策略，最小化一次全局迭代内的总代价；

S4、判断当前局部迭代是否完成，如果尚未完成，则返回局部迭代，否则更新迭代性能指标函数和迭代控制律，以获得最优解；判断当前全局迭代是否满足收敛精度，如果尚未完成，则返回全局迭代；

S5、如果满足收敛精度，根据最优性能指标获得最优的电池控制策略并计算用电成本。

下面分别介绍上述各个步骤。

S1、相关参数初始化，包括实时电价、周期性用户负载数据、神经网络权值等参数以及收敛精度等。

本发明的智能微电网电能优化控制方法基于数据的自适应动态规划理论方法进行构建，无需具体的数学模型，即利用自适应动态规划算法在处理和分析问题过程中根据处理数据的数据特征自动调整处理方法、处理顺序与处理参数使其与问题特征相匹配的特点，调整优化住宅用户端存在电池时的充(放)电策略方法。智能微电网电能优化控制方法以电网供电作为电能来源，以电池作为储能设备，根据输入的分时电价，电池的初始容量以及负载的变化信息，利用基于自适应动态规划算法确定电池的优化控制策略，促进电网负载均衡，降低用户的经济成本。

根据执行依赖启发式动态规划算法以及智能微电网的需求，带有储能设备的智能微电网电能优化控制方法的初始阶段需要进行参数的初始化工作，为算法运行做好基础数据储备工作。

算法的相关参数初始化工作包括实时电价、周期性终端住宅用户负载数据、自适应动态规划算法中神经网络参数以及收敛精度等。

实时电价：采用峰谷定价策略，即用电高峰时段用电价格高，用电低谷时段用电价格低，以鼓励用户避开高峰用电时段。实时电价信息数据参考我国部分地区的实时电价数据获得，电价每小时改变一次，并对电价数据进行归一化处理。

住宅用户负载：参照供电部门采集积累的住宅用户历史用电数据，进行分析处理获得小区楼房某一时间段内普通住宅的用户负载数据，并对该负载数据进行归一化处理，便于自适应动态规划方法使用。

算法参数初始化：在算法开始阶段需要对智能微电网的自适应动态规划方法进行电池初始电量初始化，全局迭代与局部迭代次数初始化，以及神经网络结构初始化工作。

其中，设置评判网络的结构为3-15-1，其中3为评判网络输入层节点数量，15为评判网络隐层节点数量，1为评判网络输出层节点数。设置执行网络的结构为2-9-1，其中2为执行网络输入层节点数量，9为执行网络隐层节点数量，1为执行网络输出层节点数量。两个网络中的隐层节点数量可根据经验进行调整以获得最佳的逼近效果。

在实际应用过程中，实时电价信息可以通过电力部门发布的实时数据获得，用户负载的历史数据积累可以用来对每个时间段的智能微电网电能优化控制方法进行重新运算规划调整，使之更加贴近当前实际情况，算法会自动进行学习调整优化。因此，本方法中实时电价以及住宅用户负载数据接近实际情况即可。

S2、开启全局迭代，在一定范围内采用随机方法实现。

根据带有储能设备的智能微电网电能优化控制方法，需要对评判网络和执行网络进行权值初始化工作，在综合考虑了权值收敛速度与稳定性的情况下，在全局迭代之内，确定两个网络的权值W₁、W₂在(-0.1，0.1)范围内随机初始化得到。其中W₁为各网络的输入层节点与隐层节点之间的权值，W₂为各网络的隐层节点与输出层节点之间的权值。

评判网络的输入值包括电网供电功率P_g(t)、归一化的电池电量E_b(t)以及电池的电池控制策略u(t)，输出值是性能指标函数Q(t)，性能指标函数简称为Q函数，根据该函数可以得到最优的电池控制策略u(t)。执行网络的输入值包括电网供电功率P_g(t)以及归一化的电池电量E_b(t)，输出值为根据评判网络所得最优的电池控制策略u(t)。根据Bellman方程，利用评判网络下一时刻的输出Q(t+1)与效用函数U(t)计算得到当前时刻的数据Q(t)，计算公式如下：

评判网络和执行网络的权值初始化在全局迭代之内，可以在每次全局迭代开始时重新进行权值的初始化，从而在保证网络稳定性与收敛速度的基础上更好地保证神经网络的收敛，以便尽快找到电池的最优控制策略。

全局迭代的目标是根据迭代控制序列更新迭代Q函数，以获得最优解，其算法如下：

对任意时间t，记C(t)为归一化的实时电价，x₁(t)为电网供电功率P_g(t)，x₂(t)为归一化的电池电量E_b(t)-0.5，P_L(t)为归一化的用户负载，u(t)为最优的电池控制策略，即实际物理含义为电池充放电功率，η(u(t))为电池充放电的效率，η(u(t))＝0.898-0.173|u(t)|/P_rate，P_rate为电池的额定功率。

则智能住宅***函数可以写成

x(t+1)＝F(x(t)，u(t)，t)

其中，x(t)＝[x₁(t)，x₂(t)]^T

则可以定义效用函数其中，m₁、m₂和γ为常数；

令

则效用函数可以写成U[x(t)，u(t)，t]＝x^T(t)M(t)x(t)+γu²(t)，其物理意义为t时刻用电花费、电池电量变化功率以及充放电功率的消耗总和。

由于用户负载P_L(t)以及电网电价C(t)在24小时内均周期性变化，因此对必然存在天数k＝0，1，...以及小时j＝0，1，...，23，使得P_L(t)和C(t)满足

令π＝24为P_L(t)和C(t)的周期，则t可以表示为t＝kπ+j。对定义新的效用函数∏(x(t)，u(t))为

其中u(t)＝(u(t)，u(t+1)，...，u(t+23))。那么我们可以定义全局最优的Q函数表示如下：

同时全局最优的控制策略可以表示为

为了使得算法描述清楚，对任意t，将x(t)简写为x；将x(t+1)简写为x⁺；对将x(t+λ)简写为x^λ+。将u(t+λ)简写为u^λ+以此类推。令i＝0，1，2，...为全局迭代变量。

令Ψ(x，u)为任意半正定函数，定义初始全局迭代Q函数Q₀(x，u)为

全局迭代控制律序列可以按下式计算

进而更新全局迭代Q函数为

其中，x^π+，u^π+表示π＝24小时之后的状态和控制；

对i＝0，1，2，...，全局迭代算法将依据

和

进行迭代。

可以证明，当i→∞时，Q_i(x，u)会收敛于最优值。

S3、开启局部迭代，利用自适应动态规划方法训练评判网络和执行网络，修正神经网络权值，其中评判网络用来近似局部迭代Q函数，并利用该评判网络权值评测当前电池控制策略的性能，执行网络用来近似全局迭代控制策略，最小化一次全局迭代内的总成本。

可以看到在S2步骤中需要利用全局迭代控制序列u_i(x)来更新全局迭代Q函数。那么局部迭代的目标就是获得最优的u_i(x)。对于天数i＝0，1，2，...，引入小时数j＝0，1，...，23为局部迭代变量。

当i＝0且j＝0时，初始局部迭代性能指标为

对于i＝0且j＝0，1，...，23，局部迭代Q函数可以表示为

其中U(x，u，j)＝x^TM(j)x+γu²，

对i＝0，1，2，...，令

则局部迭代Q函数可以表示为

对以及j＝0，1，...，23，定义局部迭代控制律为

因此，局部迭代将依据

和

进行迭代。

对于j＝0，1，...，23，将局部迭代控制律进行组合，我们可以获得全局迭代控制律序列为

可以证明，当i→∞时，u_i(x)会收敛于最优值。

在所提出的算法中，采用评判网络近似求解局部迭代Q函数

对i＝0，1，2，...，j＝0，1，...，23，定义评判网络预测误差为

其中，为评判网络的期望输出，为评判网络的实际输出，l表示网络训练的迭代变量，表示网络内部训练调整权值时的每一步迭代。

评判网络最小化误差函数为

则评判网络的权值更新规则基于梯度下降法获得

其中表示评判网络的权值，表示其权值变化量，表示评判网络的学习率，

评判网络随着训练次数的增加，其预测误差e_c(t)逐渐趋近于零。因此，Q函数与之间的关系可近似为：

执行网络基于三种最优控制策略，即充电、挂起、放电，根据评判模块训练得到的神经网络，计算使局部迭代Q函数最小的控制策略，从而获得完整的优化控制策略，实现简洁、快速而有效的电能分配。

执行网络的目标是获得能够使得局部迭代Q函数达到最小的控制策略因此，定义执行网络误差为

其中，为执行网络的期望输出，为执行网络的实际输出。

执行网络最小化误差函数为

相应的权值更新规则为

其中表示执行网络的权值，表示其权值变化量，表示执行网络的学习率，

S4、判断当前局部迭代是否完成，如果尚未完成，则返回局部迭代，否则更新局部迭代Q函数和迭代控制律，以获得最优解；判断当前全局迭代是否满足收敛精度，如果尚未完成，则返回全局迭代。

根据局部迭代的设定迭代次数，若此时局部迭代尚未结束，继续返回S3步骤起始处继续评判网络和执行网络训练，若局部迭代已经结束，此时本发明方法会继续判断当前的全局迭代是否结束。若全局迭代尚未结束，则返回到S2处重新对带有储能设备的智能微电网电能优化控制方法进行初始化赋值，随后根据初始化结果对电池存储的电能进行优化调整；若全局迭代已经结束，则该方法会继续进行下一步骤S5。

S5、如果满足收敛精度，根据最优性能指标获得最优的电池控制策略并计算用电成本。

全局迭代收敛精度满足后，得到最优的电池控制策略，利用下面的公式计算：计算各时刻电网供电功率以及电池电量变化：

然后根据相应的结果以及实时电价计算用户的成本。本发明方法在程序中不断寻找最优的电池控制策略并保存相应的用户成本最小时的神经网络数据，直到网络训练结束。

图3表示带有储能设备的智能微电网电能优化控制方法的实现框图。如图3所示，本发明中首先将给定的状态x和控制u以及负载函数P_L(j)代入智能住宅***：

即可获得状态x⁺，训练执行网络求解出局部迭代控制律将u⁺以及x⁺代入评判网络求解出局部迭代Q函数将x和u代入评判网络中又可以获得训练上面的评判网络使得等式成立，然后将上面的评判网络权值拷贝给下面的评判网络。令j＝j+1继续循环运行算法。可见图中的两个评判网络在训练之前与训练之后的权值都是相等的。因此，这两个评判网络可以认为是一个评判网络。

基于数据的控制算法最大的优点是无模型控制。实际***存在严重的非线性、不确定性、时变性等因素，在无法获得精确的数学模型的情形下，无模型自适应优化控制便能发挥自身的优势，克服理论模型与实际应用之间的矛盾，降低了对模型的要求并且有较好的综合控制效果。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种带有储能设备的智能微电网电能优化控制方法，其包括：

S1、参数初始化；

S2、开启全局迭代，初始化评判网络和执行网络权值；

S3、开启局部迭代，利用自适应动态规划方法训练评判网络和执行网络，修正评判网络和执行网络权值，其中评判网络用来近似最优性能指标函数，并利用该评判网络权值评测当前电池控制策略的性能，执行网络用来近似最优控制策略，最小化一次全局迭代内的总成本；

S4、判断当前局部迭代是否完成，如果尚未完成，则返回局部迭代，否则更新迭代性能指标函数和迭代控制律，以获得最优解；判断当前全局迭代是否满足收敛精度，如果尚未完成，则返回全局迭代；

S5、如果满足收敛精度，根据最优性能指标函数获得最优的电池控制策略并计算用电成本；

其中，在步骤S3中，所述评判网络的输入数据和输出数据包括：

输入数据：电网供电功率P_g(t)，归一化的电池电量E_b(t)，最优的电池控制策略u(t)；

输出数据：性能指标函数Q(t)；

根据Bellman方程，利用评判网络下一时刻的输出Q(t＋1)与效用函数U(t)计算得到当前时刻的输出数据Q(t)，计算公式如下：

$Q\left(x\right(t),u(t),t)=U\left(x\right(t),u(t),t)+\underset{u(t+1)}{\min }Q\left(x\right(t+1),u(t+1),t+1)$

x(t)＝[x₁(t)，x₂(t)]^T

其中，x₁(t)为电网供电功率P_g(t)，x₂(t)为归一化的电池电量E_b(t)-0.5，则所述效用函数U(t)表示t时刻用电花费、电池电量变化功率以及充放电功率的消耗总和。

2.如权利要求1所述的方法，其特征在于，在步骤S1中，初始化参数包括：实时电价、周期性用户负载数据、评判网络和执行网络参数以及收敛精度；其中，所述实时电价为参照我国部分地区的电价信息而获得的实时电价，周期性用户负载数据根据居民住宅用电历史数据获得。

3.如权利要求1所述的方法，其特征在于，在步骤S1中，设置评判网络的结构为3-15-1，其中评判网络输入层节点数量为3，评判网络隐层节点数量为15，评判网络输出层节点数量为1，隐层节点数量根据经验进行调整以获得最佳的逼近效果，并且定义收敛精度为1.0×10^-5。

4.如权利要求1所述的方法，其特征在于，在步骤S2中，在(-0.1，0.1)范围内采用随机方式进行评判网络和执行网络的权值初始化。

5.如权利要求1所述的方法，其特征在于，步骤S3中，所述效用函数U(t)计算公式为：

$U\left(t\right)=m_1{\[C\left(t\right)\·x_1\left(t\right)\]}^2+m_2{x}_2^2\left(t\right)+{\mathrm{\γu}}^2\left(t\right)$

其中，m₁、m₂和γ为常数，C(t)为归一化的实时电价。

6.如权利要求1所述的方法，其特征在于，在步骤S3中，所述执行网络的输入数据和输出数据包括：

输入数据：电网供电功率P_g(t)，以及归一化的电池电量E_b(t)；

输出数据：最优的电池控制策略u(t)，所述最优的电池控制策略是根据评判网络得到的性能指标函数近似得到的。

7.如权利要求1所述的方法，其特征在于，步骤S3中，评判网络的权值更新规则如下：

$w_{ci}^j(l+1)=w_{ci}^j\left(l\right)+{\mathrm{\Δw}}_{ci}^j\left(l\right)$

${\mathrm{\Δw}}_{ci}^j\left(l\right)={\mathrm{\θ}}_c\[-\frac{\∂E_{ci}^j\left(l\right)}{\∂w_{ci}^j\left(l\right)}\]$

$\frac{\∂E_{ci}^j\left(l\right)}{\∂w_{ci}^j\left(l\right)}=\[-\frac{\∂E_{ci}^j\left(l\right)}{\∂Q_i^{j+1,l}(x,u)}\frac{\∂Q_i^{j+1,l}(x,u)}{\∂w_{ci}^j\left(l\right)}\]$

$E_{ci}^j\left(l\right)=\frac{1}{2}{\left(e_{ci}^j\right(l\left)\right)}^2$

$e_{ci}^j\left(l\right)={\hat{Q}}_i^{j+1,l}(x,u)-Q_i^{j+1,l}(x,u)$

其中，为评判网络的期望输出，为评判网络的实际输出，表示评判网络的最小化误差，表示评判网络的权值，表示评判网络的权值变化量，表示评判网络的学习率，x为评判网络的输入数据电网供电功率和归一化的电池电量E_b(t)-0.5组成的向量，u为最优的电池控制策略，l为更新评判网络权值的迭代变量，i为全局迭代变量，j为局部迭代变量，为计算的中间值。

8.如权利要求1所述的方法，其特征在于，步骤S3中，执行网络的权值更新规则如下：

$w_{ai}^j(l+1)=w_{ai}^j\left(l\right)+{\mathrm{\Δw}}_{ai}^j\left(l\right)$

${\mathrm{\Δw}}_{ai}^j\left(l\right)={\mathrm{\θ}}_a\[-\frac{\∂E_{ai}^j\left(l\right)}{\∂w_{ai}^j\left(l\right)}\]$

$\frac{\∂E_{ai}^j\left(l\right)}{\∂w_{ai}^j\left(l\right)}=\[-\frac{\∂E_{ai}^j\left(l\right)}{\∂u_i^{j,l}\left(x\right)}\frac{\∂u_i^{j,l}\left(x\right)}{\∂w_{ai}^j\left(l\right)}\]$

$E_{ai}^j\left(l\right)=\frac{1}{2}{\left(e_{ai}^j\right(l\left)\right)}^2$

$e_{ai}^j\left(l\right)={\hat{u}}_i^{j,l}\left(x\right)-u_i^{j,l}\left(x\right)$

其中，为执行网络的期望输出，为执行网络的实际输出，表示执行网络的最小化误差，表示执行网络的权值，表示执行网络的权值变化量，表示执行网络的学习率，x为评判网络的输入数据电网供电功率和归一化的电池电量E_b(t)-0.5组成的向量，l为更新评判网络权值的迭代变量，i为全局迭代变量，j为局部迭代变量，为执行网络误差。