CN111262275B - 一种模拟空间太阳能电站的全局协同控制方法 - Google Patents

Abstract

本发明公开了一种模拟空间太阳能电站的全局协同控制方法，利用不依赖具体***模型的人工智能控制***，通过自身迭代与优化，研究基于深度学习网络的全局协同控制方法，协调各智能体的出力大小和方向，最终实现空间太阳能电站的最优控制。本发明深度学习主要分析空间太阳能电站运行的数据信息，进而从中提取相应的特征信息；深度学习将基于深度学习所得到的特征信息进一步分析并得到空间太阳能电站的运行特征，根据协同控制方法规则和所训练的人工智能***，得到对应协同控制动作，协调各智能体的出力大小和方向，最终实现空间太阳能电站整体的最优控制。

Description

一种模拟空间太阳能电站的全局协同控制方法

【技术领域】

本发明属于太阳能电站技术领域，涉及一种模拟空间太阳能电站的全局协同控制方法。

【背景技术】

随着社会的发展和人类的进步，传统的化石燃料已经无法满足人类对于能源的需求。不论是石油，煤炭还是天然气都将在近百年内使用殆尽更为糟糕的是化石燃料的过度使用直接导致了世界范围内环境的恶化，臭氧层破坏、淡水资源危机、全球变暖、能源短缺、森林资源锐减、土地荒漠化等众多环境问题都在严重威胁着人类的健康安全，所以现在全球都在呼吁环保的问题。

为了解决这两大问题，人们发现了太阳能的妙用，太阳作为太阳系的中心，它为太阳系的一切提供了源源不断的能量，而且太阳能就像空气一样，清洁无副作用。但是，地面太阳能电站有许多限制其发展的因素。在地面上经常会有雨雪天气，太阳光会被云层遮挡，影响能量的收集；最为严重的影响是昼夜的交替，在地球自转和公转的过程中，电站所在地会有一半的时间处于黑夜中，无法进行太阳光的收集。所以，地面太阳能电站的能量收集密度小且不稳定，无法满足大功率的发电需求，极大地限制了太阳能的推广使用。而在地球同步轨道，地面太阳能电站的以上问题都被很好的解决了，因为在地球同步轨道，所以是在大气层之外进行太阳能的收集，而且不会有云层的遮挡，最重要的是它对于太阳能的收集不受昼夜交替的影响，阴影期非常短。所以，空间太阳能电站为理想的太阳能电站形态，如果进行合理地开发研究，必将成为未来能源的主力军，为人类提供理想的清洁能源。

然而，空间太阳能电站存在光伏模板过于庞大，电能转换模块繁多，控制***复杂，参数不确定性强，最为致命的问题是维修十分困难。因此，如何针对建模困难的复杂***，研究空间太阳能电站***全局协同控制方法，协调各智能体的动态和稳态性能，抑制太阳能电站功率的波动，实现电压和频率的稳定，是需要研究的关键问题。

目前空间太阳能电站的能源管理***存在一些问题，首先现有的能量管理***主要是利用空间太阳能电站的统一精确模型来协调优化各智能体的运行状态，其优化结果不仅受限于数值计算能力的约束，同时也受到模型简化和不确定性带来的影响；其次，现有的能量管理***的时间尺度一般为五分钟及以上的电网调度层级，不能做到空间太阳能电站的实时动态控制，也不能有效地优化和提高空间太阳能电站频率、电压稳定能力；最后，目前能量管理***采样数据以空间太阳能电站的稳态潮流数据为主，还未涉及到空间太阳能电站的动态数据。

【发明内容】

本发明的目的在于解决现有技术中空间太阳能电站存在参数不确定，故障率较高，维修困难等，进而影响空间太阳能电站输出功率的稳定性，降低能源利用率等问题，提供一种模拟空间太阳能电站的全局协同控制方法，该方法利用不依赖具体***模型的人工智能控制***，通过自身迭代与优化，研究基于深度学习网络的全局协同控制方法，协调各智能体的出力大小和方向，最终实现空间太阳能电站的最优控制。

为达到上述目的，本发明采用以下技术方案予以实现：

一种模拟空间太阳能电站的全局协同控制方法，包括以下步骤：

步骤1，提供相应的参考输入、先验的训练样本数据及可再生能源/负荷的预测信息，所述参考输入包括底层设备的电压、电流以及功率；

步骤2，将各底层设备运行状态信息，作为深度学习和控制网络的输入；

步骤3，利用数据分析和智能学习的功能，在大量样本训练的基础上，获得深度学习网络协同控制器；

步骤4，经控制器处理，给出空间太阳能电站各智能体参考校正变量Δr₁,Δr₂,…,Δr_n，从而在空间太阳能电站安全运行的约束条件下，实现全局协同控制目标。

本发明进一步的改进在于：

所述步骤2中，深度学习包括空间太阳能电站约束的奖励函数、控制策略评估与训练权重更新率以及基于深度学习的全局功率控制策略。

所述的空间太阳能电站约束的奖励函数，具体如下：

深度学习的动态协同规则的目标是确保功率控制在允许的波动最小，其函数表达式为：

其中，J_P表示有功功率最小误差，P_EM(t)表示有功功率，t表示时间，J_Q表示无功功率最小误差，J_f表示频率最小误差，f(t)表示频率，J_V表示电压最小误差，V(t)表示电压；

同时，动态协同规则需要满足网络功率潮流平衡，网络状态约束，不同设备功率及爬坡约束，则有如下约束条件：

其中，i表示节点i，j表示节点j，P_i表示i点有功功率，V_i表示i点电压，V_j表示j点电压，G_ij表示电导，δ_i表示i点相角，δ_j表示j点相角，B_ij表示电纳，Q_i表示i点无功，V_{i_min}表示i点最小电压，V_{i_max}表示i点最大电压，ω_{i_min}表示i点最小角速度，ω_i表示i点角速度，ω_{i_max}表示i点最大角速度，P_{i_min} i点最小有功功率P_{i_max}表示i点最大有功功率，Q_{i_min}表示i点最小无功功率，Q_{i_max}表示i点最大无功功率，P_{i.r_min}表示最小无功功率差，P(t)表示有功功率，P_{i.r_max}表示最大无功功率差；

结合动态协同规则的目标和空间太阳能电站的约束条件，得到深度学习在t＝k时刻的奖励函数为：

r(k)＝(ΔP_EM(t))²+(ΔQ_EM(t))²+αq_s.t.(P_i,Q_i,V_i,ω_i,ΔP_i) (4)

其中，k表示时间，P_EM表示有功功率，Q_EM表示无功功率，αq_s.t.(P_i,Q_i,V_i,ω_i,ΔP_i)为惩罚项，系数α＞＞(ΔP_EM(t))²+(ΔQ_EM(t))²；

当q_s.t.(P_i,Q_i,V_i,ω_i,ΔP_i)＝1时，空间太阳能电站状态不满足约束条件；当q_s.t.(P_i,Q_i,V_i,ω_i,ΔP_i)＝0时，空间太阳能电站状态满足约束条件。

所述的控制策略评估与训练权重更新率包括生成样本、估计回报与更新策略；生成样本的方法如下：

在t＝k时刻，采集底层设备运行状态信息y(k)并记为s₀；以θ(k-1)作为RNN的权重系数，输入为s₀代入RNN，得到各底层设备控制器提供相应的参考输入Δu₁,Δu₂,…,Δu_n，记为a₀；在底层设备控制器的作用下，在k+1时刻，底层设备运行状态信息为s₁，此时令RNN权重系数为θ(k-1)，代入RNN得到各底层设备控制器提供相应的参考输入a₁，以此类推，得到t＝k时刻为原点，策略RNN作用下的一条轨迹τ＝s₀,a₀,s₁,a₁,…,s_T-1,a_T-1,s_T，该轨迹就是深度学习t＝k时刻的样本；

根据所得到的深度学习t＝k时刻的样本，计算协同控制的奖励，从而得到协同控制策略的估计回报

最后，根据控制策略的估计回报，结合随机梯度上升算法，得到每个时刻的权重更新值。

所述的基于深度学习的全局功率控制策略，采用循环神经网络，循环神经网络的输入为各智能体运行状态信息，经过RNN的隐层由输出层为各智能体控制器提供相应的参考输入Δr₁,Δr₂,…,Δr_n。

与现有技术相比，本发明具有以下有益效果：

本发明深度学习主要分析空间太阳能电站运行的数据信息，进而从中提取相应的特征信息；深度学习将基于深度学习所得到的特征信息进一步分析并得到空间太阳能电站的运行特征，根据协同控制方法规则和所训练的人工智能***，得到对应协同控制动作，协调各智能体的出力大小和方向，最终实现空间太阳能电站整体的最优控制。

本发明利用人工智能的强大数据分析和学习能力，构建人工智能的深度学习网络，学习出能够兼顾新能源利用率和电网稳定性的协同控制策略，并需要对各智能体控制器的输入进行调整，以实现空间太阳能电站的最优控制，即在安全运行的约束条件下(如电网潮流、各智能体的有效工作范围和动态响应时间尺度等)，实现全局协同控制目标。

【附图说明】

图1为本发明控制方法和工作原理图；

图2为本发明的深度学习控制方法与工作原理图；

图3为本发明的循环神经网络结构图；

图4为本发明实施例的输出功率仿真图。

【具体实施方式】

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，不是全部的实施例，而并非要限制本发明公开的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要的混淆本发明公开的概念。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

在附图中示出了根据本发明公开实施例的各种结构示意图。这些图并非是按比例绘制的，其中为了清楚表达的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。

本发明公开的上下文中，当将一层/元件称作位于另一层/元件“上”时，该层/元件可以直接位于该另一层/元件上，或者它们之间可以存在居中层/元件。另外，如果在一种朝向中一层/元件位于另一层/元件“上”，那么当调转朝向时，该层/元件可以位于该另一层/元件“下”。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面结合附图对本发明做进一步详细描述：

如图1所示，空间太阳能电站的控制分为两层，即各智能体控制层和协同控制层。协同控制层的主要作用是为各智能体控制层提供相应的参考输入Δr₁,Δr₂,…,Δr_n(控制变量Δr_i可以是各智能体的电压、频率、功率等)。本发明模拟空间太阳能电站的全局协同控制方法，包括以下步骤：

步骤1，提供相应的参考输入、先验的训练样本数据及可再生能源/负荷的预测信息，所述参考输入包括底层设备的电压、电流以及功率；

步骤2，将各底层设备运行状态信息，作为深度学习和控制网络的输入；

所述深度学习包括空间太阳能电站约束的奖励函数(大数据与学习准则)、控制策略评估与训练权重更新率(样本生成与训练)以及基于深度学习的全局功率控制策略三部分；

a.奖励函数：

深度学习的动态协同规则的目标是确保功率控制在允许的波动最小，其函数表达式为：

其中，J_P表示有功功率最小误差，P_EM(t)表示有功功率，t表示时间，J_Q表示无功功率最小误差，J_f表示频率最小误差，f(t)表示频率，J_V表示电压最小误差，V(t)表示电压；

同时，动态协同规则需要满足网络功率潮流平衡，网络状态约束，不同设备功率及爬坡约束，则有如下约束条件：

其中，i表示节点i，j表示节点j，P_i表示i点有功功率，V_i表示i点电压，V_j表示j点电压，G_ij表示电导，δ_i表示i点相角，δ_j表示j点相角，B_ij表示电纳，Q_i表示i点无功，V_{i_min}表示i点最小电压，V_{i_max}表示i点最大电压，ω_{i_min}表示i点最小角速度，ω_i表示i点角速度，ω_{i_max}表示i点最大角速度，P_{i_min} i点最小有功功率P_{i_max}表示i点最大有功功率，Q_{i_min}表示i点最小无功功率，Q_{i_max}表示i点最大无功功率，P_{i.r_min}表示最小无功功率差，P(t)表示有功功率，P_{i.r_max}表示最大无功功率差；

结合动态协同规则的目标和空间太阳能电站的约束条件，可得深度学习在t＝k时刻的奖励函数为：

r(k)＝(ΔP_EM(t))²+(ΔQ_EM(t))²+αq_s.t.(P_i,Q_i,V_i,ω_i,ΔP_i) (4)

其中，k表示时间，P_EM表示有功功率，Q_EM表示无功功率，αq_s.t.(P_i,Q_i,V_i,ω_i,ΔP_i)为惩罚项，系数α＞＞(ΔP_EM(t))²+(ΔQ_EM(t))²；

当q_s.t.(P_i,Q_i,V_i,ω_i,ΔP_i)＝1时，空间太阳能电站状态不满足约束条件；当q_s.t.(P_i,Q_i,V_i,ω_i,ΔP_i)＝0时，空间太阳能电站状态满足约束条件。

b.控制策略评估与训练权重更新率：

控制策略评估与训练权重更新率分为生成样本、估计回报与更新策略三部分。与监督学习不同，深度学习无需人工收集和标注样本，而是通过算法与环境进行交互产生样本。具体样本生成过程为：在t＝k时刻，采集底层设备运行状态信息y(k)并记为s₀；以θ(k-1)作为RNN的权重系数，输入为s₀代入RNN，得到各底层设备控制器提供相应的参考输入Δu₁，Δu₂，…，Δu_n，记为a₀；在底层设备控制器的作用下，在k+1时刻，底层设备运行状态信息为s₁，此时令RNN权重系数不变(仍为θ(k-1))，代入RNN得到各底层设备控制器提供相应的参考输入a₁，以此类推，得到t＝k时刻为原点，策略RNN(θ(k-1))作用下的一条轨迹τ＝s₀,a₀,s₁,a₁,…,s_T-1,a_T-1,s_T，该轨迹就是深度学习t＝k时刻的样本；根据所得到的样本，计算协同控制的奖励，从而得到协同控制策略的估计回报

最后，根据控制策略的估计回报，结合随机梯度上升算法，得到每个时刻的权重更新值。

c.基于深度学习的全局功率控制策略：

采用循环神经网络(Recurrent Neural Network，RNN)，其结构如图3所示。其中，各智能体的反馈信号，如P_WT、Q_WT、P_PV、Q_PV和P_EV等。经过控制器，各智能体输出的给定信号，包括

和

等。循环神经网络的输入为各智能体运行状态信息，经过隐层由输出层为各智能体控制器提供相应的参考输入Δr₁,Δr₂,…,Δr_n。由于RNN的隐层具有内部循环，便于更好的处理动态信息，以提高协同控制器的动态性能。

步骤3，利用数据分析和智能学习的功能，在大量样本训练的基础上，获得深度学习网络协同控制器；

步骤4，经控制器处理，给出空间太阳能电站各智能体参考校正变量Δr₁,Δr₂,…,Δr_n，从而在空间太阳能电站安全运行的约束条件下(如电网潮流、各智能体自身的有效工作范围和动态响应时间尺度等)，实现全局协同控制目标，即空间太阳能电站功率波动最小，电压与频率稳定。

本发明的工作原理：

在图2中，深度学习协同控制网络的主要作用是为各底层设备控制器提供相应的参考输入Δr₁,Δr₂,…,Δr_n(控制变量Δr_i可以是底层设备的电压、频率、功率等)。在t＝k时刻，深度学习神经网络输入为底层设备运行状态信息y(k)，权重参数为θ(k-1)，神经网络输出为各智能体参考输入；同时，控制策略评估器根据所采集k时刻空间太阳能电站的奖励函数D(k)生成样本和估计回报函数，权重更新率基于所得到的回报函数，得到相应的深度学习网络权重θ(k)。经过所提出的深度学习协同控制方法不断学习与迭代，从而实现空间太阳能电站全局协同控制目标。

实施例：

在MATLAB平台上搭建光伏发电***，采用本发明所提的基于深度强化学习的控制方法，对太阳能电站全局协同控制策略进行仿真验证。光伏电池板的参数如下所示：开路电压U_oc＝680V，功率P＝15kW。以三峰值为例，光照强度分别为1 000W/m²,800W/m²,600W/m²。相应电压分别为310V,424V,597V。

如图4所示，图4为全局协同控制方法所对应的功率时间曲线。从图中看出，本发明所提出的全局协同控制方法能使输出功率迅速达到稳定。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (1)

1.一种模拟空间太阳能电站的全局协同控制方法，其特征在于，包括以下步骤：

步骤1，提供相应的参考输入、先验的训练样本数据及可再生能源/负荷的预测信息，所述参考输入包括底层设备的电压、电流以及功率；

步骤2，将各底层设备运行状态信息，作为深度学习和控制网络的输入；

所述步骤2中，深度学习包括空间太阳能电站约束的奖励函数、控制策略评估与训练权重更新率以及基于深度学习的全局功率控制策略；

步骤3，利用数据分析和智能学习的功能，在大量样本训练的基础上，获得深度学习网络协同控制器；

步骤4，经控制器处理，给出空间太阳能电站各智能体参考校正变量Δr₁,Δr₂,...,Δr_n，从而在空间太阳能电站安全运行的约束条件下，实现全局协同控制目标；

所述的空间太阳能电站约束的奖励函数，具体如下：

深度学习的动态协同规则的目标是确保功率控制在允许的波动最小，其函数表达式为：

其中，J_P表示有功功率最小误差，P_EM(t)表示有功功率，t表示时间，J_Q表示无功功率最小误差，J_f表示频率最小误差，f(t)表示频率，J_V表示电压最小误差，V(t)表示电压；

同时，动态协同规则需要满足网络功率潮流平衡，网络状态约束，不同设备功率及爬坡约束，则有如下约束条件：

其中，i表示节点i，j表示节点j，P_i表示i点有功功率，V_i表示i点电压，V_j表示j点电压，G_ij表示电导，δ_i表示i点相角，δ_j表示j点相角，B_ij表示电纳，Q_i表示i点无功，V_{i_min}表示i点最小电压，V_{i_max}表示i点最大电压，ω_{i_min}表示i点最小角速度，ω_i表示i点角速度，ω_{i_max}表示i点最大角速度，P_{i_min} i点最小有功功率P_{i_max}表示i点最大有功功率，Q_{i_min}表示i点最小无功功率，Q_{i_max}表示i点最大无功功率，P_{i.r_min}表示最小无功功率差，P(t)表示有功功率，P_{i.r_max}表示最大无功功率差；

结合动态协同规则的目标和空间太阳能电站的约束条件，得到深度学习在t＝k时刻的奖励函数为：

r(k)＝(ΔP_EM(t))²+(ΔQ_EM(t))²+αq_s.t.(P_i,Q_i,V_i,ω_i,ΔP_i) (4)

其中，k表示时间，P_EM表示有功功率，Q_EM表示无功功率，αq_s.t.(P_i,Q_i,V_i,ω_i,ΔP_i)为惩罚项，系数α＞＞(ΔP_EM(t))²+(ΔQ_EM(t))²；

当q_s.t.(P_i,Q_i,V_i,ω_i,ΔP_i)＝1时，空间太阳能电站状态不满足约束条件；当q_s.t.(P_i,Q_i,V_i,ω_i,ΔP_i)＝0时，空间太阳能电站状态满足约束条件；

所述的控制策略评估与训练权重更新率包括生成样本、估计回报与更新策略；生成样本的方法如下：

在t＝k时刻，采集底层设备运行状态信息y(k)并记为s₀；以θ(k-1)作为RNN的权重系数，输入为s₀代入RNN，得到各底层设备控制器提供相应的参考输入Δu₁,Δu₂,...,Δu_n，记为a₀；在底层设备控制器的作用下，在k+1时刻，底层设备运行状态信息为s₁，此时令RNN权重系数为θ(k-1)，代入RNN得到各底层设备控制器提供相应的参考输入a₁，以此类推，得到t＝k时刻为原点，策略RNN作用下的一条轨迹τ＝s₀,a₀,s₁,a₁,…,s_T-1,a_T-1,s_T，该轨迹就是深度学习t＝k时刻的样本；

根据所得到的深度学习t＝k时刻的样本，计算协同控制的奖励，从而得到协同控制策略的估计回报

最后，根据控制策略的估计回报，结合随机梯度上升算法，得到每个时刻的权重更新值；

所述的基于深度学习的全局功率控制策略，采用循环神经网络，循环神经网络的输入为各智能体运行状态信息，经过RNN的隐层由输出层为各智能体控制器提供相应的参考输入Δr₁,Δr₂,...,Δr_n。

Images