CN105896575B - 基于自适应动态规划的百兆瓦储能功率控制方法及*** - Google Patents

基于自适应动态规划的百兆瓦储能功率控制方法及*** Download PDF

Info

Publication number
CN105896575B
CN105896575B CN201610278696.3A CN201610278696A CN105896575B CN 105896575 B CN105896575 B CN 105896575B CN 201610278696 A CN201610278696 A CN 201610278696A CN 105896575 B CN105896575 B CN 105896575B
Authority
CN
China
Prior art keywords
module
energy storage
power
storage system
evaluation module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610278696.3A
Other languages
English (en)
Other versions
CN105896575A (zh
Inventor
李相俊
张晶琼
何宇婷
惠东
贾学翠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Jibei Zhangjiakou Fengguang Storage And Transmission New Energy Co ltd
State Grid Corp of China SGCC
China Electric Power Research Institute Co Ltd CEPRI
State Grid Jiangsu Electric Power Co Ltd
Electric Power Research Institute of State Grid Jiangsu Electric Power Co Ltd
Original Assignee
State Grid Xinyuan Zhangjiakou Scenery Storage Demonstration Power Plant Co ltd
State Grid Corp of China SGCC
China Electric Power Research Institute Co Ltd CEPRI
State Grid Jiangsu Electric Power Co Ltd
Electric Power Research Institute of State Grid Jiangsu Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Xinyuan Zhangjiakou Scenery Storage Demonstration Power Plant Co ltd, State Grid Corp of China SGCC, China Electric Power Research Institute Co Ltd CEPRI, State Grid Jiangsu Electric Power Co Ltd, Electric Power Research Institute of State Grid Jiangsu Electric Power Co Ltd filed Critical State Grid Xinyuan Zhangjiakou Scenery Storage Demonstration Power Plant Co ltd
Priority to CN201610278696.3A priority Critical patent/CN105896575B/zh
Publication of CN105896575A publication Critical patent/CN105896575A/zh
Application granted granted Critical
Publication of CN105896575B publication Critical patent/CN105896575B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/28—Arrangements for balancing of the load in a network by storage of energy
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/24—Arrangements for preventing or reducing oscillations of power in networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E40/00—Technologies for an efficient electrical power generation, transmission or distribution
    • Y02E40/10—Flexible AC transmission systems [FACTS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Supply And Distribution Of Alternating Current (AREA)

Abstract

本发明提供基于自适应动态规划的百兆瓦储能功率控制方法及***，所述方法包括如下步骤：设置自适应动态规划控制***的结构并设置其参数；对参数初始化并导入被控对象的初始状态；初始训练执行模块和评价模块；计算百兆瓦储能***充放电功率；依次训练所述评价模块和所述执行模块，并更新评价模块神经网络和执行模块神经网络的权值；保存当前时刻的控制策略，并计算下一时刻被控对象的状态；循环上述步骤，直至控制过程结束，并输出各时刻的控制策略。所述***包括参数初始化模块、数据采集和计算模块、评价模块、执行模块、输出模块等。本发明实现大规模储能电站与新能源联合发电***的功率优化控制，提升电池储能***运行经济性及协调控制能力。

Description

基于自适应动态规划的百兆瓦储能功率控制方法及***
技术领域
本发明涉及智能电网、新能源发电、能源互联网、电力储能、自动控制领域，具体涉及一种基于自适应动态规划的百兆瓦级电池储能***功率控制方法及***。
背景技术
随着风力发电并网规模的不断增加，风电大规模接入电网后的波动性和随机性会对电网运行的安全性、稳定性以及电能质量等造成不利影响。因此，控制风电输出的波动率对电网运行的经济性以及安全性有着重要意义
按照存储形式的不同，储能可分为物理储能、电化学储能和电磁储能。目前电化学储能技术备受关注。可以通过配备一定容量的电池储能***，根据风电和光伏发电等新能源发电出力的情况，采用电池储能***的充放电作用来平滑风电和光伏发电的出力波动，并结合风电和光伏发电出力波动率和储能***的荷电状态等指标进行整体优化，以满足电网对风电和光伏发电的并网要求。
目前，我国已建成多个千万千瓦级新能源发电基地，在新能源发电富集区域电网中，对电池储能的容量要求通常达数十MW以上，甚至达百兆瓦以上。百兆瓦级电池储能参与新能源发电集群控制及***调度运行，对破解新能源发电的送出和消纳瓶颈有重要意义。大规模储能技术是我国可再生能源发电利用的关键支撑技术。针对大规模可再生能源发电的接入，一方面通过储能技术与可再生能源发电的联合，减少其随机性并提高其可调性；另一方面通过电网级的储能应用增强电网对可再生能源发电的适应性。目前，储能作为电网的可调度资源，具有很大的应用价值和应用空间。
在电网级应用中，需要储能进行秒至小时级的多时间尺度功率支撑。在储能与新能源发电联合并网应用时，百兆瓦电池储能电站整体需满足新能源发电从秒到分钟级不同时间尺度的响应需求。因此，如何基于大规模新能源发电的出力波动以及储能在电网级应用等实际需求，实现百兆瓦级电池储能电站整体出力多目标协调优化控制是亟待破解的技术难题。
在大规模电池储能电站平滑大规模新能源发电出力波动时，采用传统的一阶低通滤波或变时间常数(T)的出力滤波方法，由于方法本身自带的时滞而导致有时控制灵敏度不佳。一般的移动平均滤波算法输出的储能出力目标值也在很大程度上受限于风电、光伏发电等新能源发电功率的输入，这些传统方法遇到新能源发电出力出现骤变的情况，滤波性能下降，且影响后续滤波效果。
另一方面，在提高新能源发电友好性的储能电站出力控制时，传统控制方法在储能电站整体出力的自适应控制方面，其基于自学习的智能优化控制能力有待进一步提高。
发明内容
为了克服上述现有技术的不足，本发明提供一种基于自适应动态规划的百兆瓦电池储能***功率控制方法，本发明所提出的控制方法通过有效融合智能优化控制理论，合理有效地控制百兆瓦储能***的充放电功率，降低新能源发电功率并网给电网带来的冲击，同时对储能***的工作能力和寿命进行优化保护，提升储能***整体的技术经济性。
为了实现上述发明目的，本发明采取如下技术方案：
一种基于自适应动态规划的百兆瓦储能功率控制方法，所述方法包括如下步骤：
(1)设置自适应动态规划控制***的结构并设置其参数；
(2)对参数初始化并导入被控对象的初始状态；
(3)初始训练执行模块和评价模块；
(4)计算百兆瓦储能***充放电功率；
(5)依次训练所述评价模块和所述执行模块，并更新评价模块神经网络和执行模块神经网络的权值；
(6)保存当前时刻的控制策略，并计算下一时刻被控对象的状态，t＝t+1，重复步骤(1)到(5)；
(7)循环上述步骤，直至控制过程结束，并输出各时刻的控制策略。
优选的，所述步骤(1)中，所述自适应动态规划控制***包括评价模块和执行模块两层结构，每个模块均用三层神经网络结构构建；设置所述参数包括设置评价模块和执行模块神经网络的参数，依据每个模块具体的输入量和输出量来设置。
优选的，所述步骤(2)中，所述参数包括设定平滑时间常数的初始值、平滑时间的最大值和最小值、储能***荷电状态SOC的初始值、当前时刻新能源发电出力功率以及计算当前平滑时间常数下的储能功率和风电波功率。
优选的，所述步骤(3)中，所述初始训练执行模块和评价模块包括：设置评价模块的权值Wc和学习率lc，执行模块的权值Wa和学习率la，折扣因子r，评价模块训练的期望误差Tc、执行模块训练的期望误差Ta以及迭代最大次数，所述评价模块和所述执行模块权值的初始值设置为(-1,+1)间的随机值，依据控制效果要求选取和调整学习率和折扣因子。
优选的，所述步骤(4)中，包括如下步骤：
步骤4-1、以当前时刻t的新能源发电波动率x(t)作为所述执行模块的输入，得到所述执行模块的输出为控制策略u(t)，即时间常数的变化量；
步骤4-2、依据所述u(t)调整一阶平滑过程中的平滑时间常数TWP，由一阶滤波的原理计算储能***的充放电功率，得到一阶平滑滤波后储能***充放电功率的目标值
Figure BDA0000977550450000035
步骤4-3、判断当前时刻t下经所述u(t)调整后的新能源发电出力波动率、储能***的荷电状态SOC以及平滑时间常数TWP是否在约束条件范围内，若在约束范围内，则当前时刻t的储能***充放电功率即为
Figure BDA0000977550450000036
否则依据失调的状态量再次调整储能***充放电功率和自适应控制***的效用函数，使状态量能够维持在约束范围内并实时在线调节所述时间常数的变化量ΔPBESS，得到经修正后当前时刻t的储能***的充放电功率
Figure BDA0000977550450000037
所述修正后储能***的充放电功率
Figure BDA0000977550450000038
按下式计算：
Figure BDA0000977550450000031
Figure BDA0000977550450000032
Figure BDA0000977550450000033
Figure BDA0000977550450000034
式中，
Figure BDA0000977550450000039
为储能***经修正后的充放电功率；TWP为平滑滤波时间常数，依据执行模块输出的控制策略u(t)进行调整；s为拉普拉斯算子；PWP为当前时刻风电的实际出力；
Figure BDA00009775504500000310
为一阶平滑滤波后储能***功率的目标值；ΔPBESS是判断出SOC不在约束范围内时对储能***功率进行的修正值，其中h是与控制***相关的修正系数，与储能***的能量转换单元的启停状态有关，γ是与SOC相关的修正系数，SOCref是储能***SOC参考值，SOCmax与SOCmin分别是预先设定的储能***SOC的上限值和下限值。
优选的，所述步骤(5)中，训练所述评价模块，评价模块神经网络的权值的更新包括如下步骤：
步骤5-1-1、新能源发电波动率x(t)和控制策略u(t)都经归一化处理为[-1,+1]后，将所述新能源发电波动率x(t)和所述控制策略u(t)作为所述评价模块的输入，所述评价模块的输出为代价函数J(t)；
步骤5-1-2、构造目标函数Ec(t)训练所述评价模块，并根据所述评价模块的权值更新式，按下式计算更新所述评价模块神经网络的权值：
U(t)＝[x(t),u(t),t]
J(t)＝J[x(t),u(t),t,Wc]
Figure BDA0000977550450000041
式中，代价函数J(t)为评价模块的输出；效用函数u(t)是关于x(t),u(t),t的函数，根据控制目标进行定义；r是折扣因子，Ec(t)是目标函数；
步骤5-1-3、所述评价模块的训练采用梯度下降法或粒子群优化算法以使目标函数Ec(t)最小化为目标来更新评价模块神经网络的权值，当目标函数Ec(t)减小到设定评价模块训练的期望误差值Tc或迭代次数达到最大时，训练完成。
优选的，所述步骤(5)中，训练所述执行模块，执行模块神经网络的权值的更新包括如下步骤：
步骤5-2-1、所述执行模块的训练包括计算评价模块的输出J(t)，构造目标函数Ea(t)，以使目标函数Ea(t)最小化为目标，更新执行模块神经网络的权值Wa并调整控制策略u(t)，公式如下：
u(t)＝u[x(t)，t，Wa]
J(t)＝J[x(t),u(t),t,Wc]
Figure BDA0000977550450000042
式中，Wc为评价模块的权值，Wa为执行模块的权值；控制策略u(t)是执行模块的 输出，用来调整平滑时间常数；
步骤5-2-2、所述执行模块的训练采用梯度下降法或粒子群优化算法以最小化目标函数Ea(t)为目标来更新执行模块神经网络的权值Wa；
步骤5-2-3、当目标函数Ea(t)减小到设定的执行模块训练的期望误差Ta或迭代次数达到最大时，训练完成。
优选的，一种基于自适应动态规划的百兆瓦储能功率控制***，该***包括参数初始化模块、数据采集和计算模块、评价模块、执行模块和输出模块；所述参数初始化模块与所述数据采集和计算模块相连，所述数据采集和计算模块与所述执行模块和评价模块相连，所述执行模块与所述输出模块相连；
所述参数初始化模块，用于设置自适应动态规划控制***的结构，初始化参数并导入被控对象的初始状态；
所述数据采集和计算模块，用于采集新能源发电的实际出力功率，并计算百兆瓦储能***充放电功率，实时计算新能源发电的波动率和储能***荷电状态，并实时判断状态量是否在约束范围内，当状态量不在约束范围内时，调整储能***充放电功率和自适应控制***的效用函数；
所述评价模块，用于训练评价模块并更新评价模块神经网络的权值；
所述执行模块，用于训练执行模块并更新执行模块神经网络的权值；
所述输出模块，用于保存并实时输出各时刻的控制策略，实时在线调整调整平滑过程，控制储能***充放电功率。
与现有技术相比，本发明的有益效果在于：
本发明基于自适应动态规划的百兆瓦储能功率控制方法，综合考虑百兆瓦储能***荷电状态、新能源发电波动率反馈值以及基于神经网络的评价模块和执行模块等，有效实现了百兆瓦储能***整体充放电功率的自适应优化控制。本发明适用于对***无先验知识的情况下，仅利用受控***(即百兆瓦级储能***)的在线和离线数据采集及数据处理后得到的相关信息设计百兆瓦储能电站功率控制***，并且能够通过学习获得最优控制策略，实现了百兆瓦储能***充放电功率的自适应优化控制。
该方法不仅可用于百兆瓦级电池储能***功率优化控制以及百兆瓦级储能电站平抑大型新能源发电***出力波动，也适用于兆瓦级、十兆瓦级等不同规模等级的电池储能***(电站)充放电功率的优化控制。
附图说明
图1是本发明提供的一种基于自适应动态规划的百兆瓦储能功率控制方法流程图
图2是本发明提供的一种基于自适应动态规划的百兆瓦储能功率控制***中的各模块间连接结构示意图
具体实施方式
下面结合附图对本发明作进一步详细说明。
如图1所示，为本发明提供的一种基于自适应动态规划的百兆瓦储能功率控制方法，该方法包括如下步骤：
1、设置自适应动态规划控制***的结构，执行模块和评价模块的参数；
所述的自适应动态规划控制***包括评价模块和执行模块的两层结构，(或者模型模块、评价模块和执行模块的三层结构)，每个模块均用三层神经网络结构来构建。
2、初始化参数并导入被控对象的初始状态；
所述的初始化参数并导入被控对象的初始状态包括设定平滑时间常数的初始值，平滑时间的最大值和最小值，储能***荷电状态SOC的初始值，当前时刻风电实际出力功率，并计算在当前平滑时间常数下的储能功率和新能源发电波动率。
3、初始训练执行模块和评价模块；
所述的初始训练执行模块和评价模块包括设置评价模块的权值Wc和学习率lc，执行模块的权值Wa和学习率la，折扣因子r，以及迭代最大次数。其中评价模块和执行模块权值的初始值设置为(-1,+1)间的随机值，学习率和折扣因子依据控制效果要求进行选取和调整。综合考虑被控对象的具体情况和神经网络的收敛速度、计算结果的精确度，协同优化后选取合适的神经网络模型(包括网络的类型、结构、网络参数和训练模式)，然后进行执行模块和评价模块的初始化训练。
4、计算当前时刻t对应的初始平滑时间常数下的新能源发电波动率x(t)，并将其作为执行模块的输入，得到执行模块的输出u(t)为时间常数的变化量，即为控制策略。
5、依据控制策略u(t)调整平滑时间常数TWP，并由一阶平滑滤波的原理计算风储联合***的充放电功率，从而得到一阶平滑滤波后储能***充放电功率的目标值
Figure BDA0000977550450000061
并计算在经u(t)调整后的平滑时间常数下的新能源发电波动率和储能***的荷电状态SOC；
6、判断上述得到的当前时刻t下经u(t)调整后的新能源发电波动率、储能***的荷电状态SOC以及平滑时间常数TWP是否在约束条件范围内，若在约束范围内，则当前时刻t的储能***充放电功率即为
Figure BDA0000977550450000076
可直接进行下一步；若不在约束范围内，则依据失调的状态量再次调整储能***充放电功率和自适应控制***的效用函数，使状态量能够维持在约束范围内，并得到经修正后储能***的充放电功率
Figure BDA0000977550450000077
储能***充放电功率修正的计算公式表示如下：
Figure BDA0000977550450000071
Figure BDA0000977550450000072
Figure BDA0000977550450000073
Figure BDA0000977550450000074
Figure BDA0000977550450000075
式中，
Figure BDA0000977550450000078
为经修正后的储能***充放电功率；TWP为平滑滤波时间常数，应依据执行模块输出的控制策略u(t)进行调整；s为拉普拉斯算子；PWP为当前时刻风电的实际出力；风电
Figure BDA0000977550450000079
为一阶平滑滤波后储能***功率的目标值；ΔPBESS是判断出SOC不在约束范围内时对储能***功率进行的修正值，其中h是与控制***相关的修正系数，γ是与SOC相关的修正系数，SOCref是储能***SOC参考值，SOCmax与SOCmin分别是预先设定的储能***SOC的上限值和下限值，一般可以取SOCmax＝0.9，SOCmin＝0.1。
所述的再次调整储能***充放电功率方法包括当状态量(新能源发电波动率，平滑时间常数，SOC)超出约束范围时，调整自适应动态规划控制***中的效用函数U(t)；特别是当判断出SOC不在约束范围内时，为避免储能***处于过充电或过放电状态，应及时直接对储能***的充放电功率进行修正。
7、训练评价模块，更新评价模块神经网络的权值；
所述的评价模块的训练包括具体步骤为：将新能源发电波动率x(t)和控制策略u(t)送入评价模块作为输入，计算评价模块的输出J(t)为代价函数。构造目标函数Ec(t)，以使目标函数Ec(t)最小化为目标，更新评价模块神经网络的权值Wc，从而训练评价模块的神经网络；其中，新能源发电波动率x(t)和控制策略u(t)都应经归一化处理为[-1，+1]后，再送入网络进行计算。
U(t)＝[x(t),u(t),t]
J(t)＝J[x(t),u(t),t,Wc]
Figure BDA0000977550450000081
式中，Wc为评价模块的权值；代价函数J(t)为评价模块的输出；效用函数U(t)是关于x(t),u(t),t的函数，根据控制目标进行定义；r是折扣因子；评价模块的训练可以采用梯度下降法或粒子群优化算法以使目标函数Ec(t)最小化为目标来更新评价模块神经网络的权值Wc，当目标函数Ec(t)减小到设定的误差值或迭代次数达到最大时，训练完成。
8、训练执行模块，更新执行模块神经网络的权值；
所述的执行模块的训练包括计算评价模块的输出J(t)，构造目标函数Ea(t)，以使目标函数Ea(t)最小化为目标，更新执行模块神经网络的权值Wa并调整控制策略u(t)，从而训练执行模块的神经网络。
u(t)＝u[x(t)，t，Wa]
J(t)＝J[x(t),u(t),t,Wc]
Figure BDA0000977550450000082
式中，Wc为评价模块的权值，Wa为执行模块的权值；控制策略u(t)是执行模块的输出，用来调整平滑时间常数；执行模块的训练可以采用梯度下降法或粒子群优化算法以最小化目标函数Ea(t)为目标来更新执行模块神经网络的权值Wa，当目标函数Ea(t)减小到设定的误差值或迭代次数达到最大时，训练完成。
9、保存此时刻的控制策略，并计算下一时刻被控对象的状态，t＝t+1，重复步骤4到9；
10、循环上述步骤，直至控制过程结束，并输出各时刻的控制策略。
一种基于自适应动态规划的储能***控制***，如图2所示，该***包括：
A、参数初始化模块。用于设置自适应动态规划控制***的结构，初始化参数并导入被控对象的初始状态，该模块的设置包括：评价模块和执行模块的神经网络模型(包括网络的类型、结构、网络参数和训练模式)，评价模块的权值Wc和学***滑时间常数的初始值，储能***荷电状态SOC的初始值，训练期望误差，输入层\隐层\输出层的数目。
B、数据采集和计算模块。采集风电实际出力功率，储能***充放电功率，实时计算新能源发电波动率，储能***荷电状态，风电场装机容量，储能***容量，风储联合发电的输出功率和波动率控制目标，并实时判断状态量是否在约束范围内。当状态量不在约束范围内时，调整储能***充放电功率和自适应控制***的效用函数，计算出功率波动率。
C、评价模块。训练评价模块的具体步骤为：将新能源发电波动率x(t)和控制策略u(t)送入评价模块作为输入，计算评价模块的输出J(t)为代价函数。构造目标函数Ec(t)，以使目标函数Ec(t)最小化为目标，更新评价模块神经网络的权值Wc，从而训练评价模块的神经网络；其中，新能源发电波动率x(t)和控制策略u(t)都应经归一化处理为[-1，+1]后，再送入网络进行计算。
U(t)＝[x(t),u(t),t]
J(t)＝J[x(t),u(t),t,Wc]
Figure BDA0000977550450000091
式中，Wc为评价模块的权值；代价函数J(t)为评价模块的输出；效用函数U(t)是关于x(t),u(t),t的函数，根据控制目标进行定义；r是折扣因子；评价模块的训练可以采用梯度下降法或粒子群优化算法以使目标函数Ec(t)最小化为目标来更新评价模块神经网络的权值Wc，当目标函数Ec(t)减小到设定的误差值或迭代次数达到最大时，训练完成。
D、执行模块。将储能功率的修正值发送到评价模块和输出模块。训练执行模块的具体步骤为：计算评价模块的输出J(t)，构造目标函数Ea(t)，以使目标函数Ea(t)最小化为目标，更新执行模块神经网络的权值Wa并调整控制策略u(t)，从而训练执行模块的神经网络。
u(t)＝u[x(t)，t，Wa]
J(t)＝J[x(t),u(t),t,Wc]
Figure BDA0000977550450000101
式中，Wc为评价模块的权值，Wa为执行模块的权值；控制策略u(t)是执行模块的输出，用来调整平滑时间常数；执行模块的训练可以采用梯度下降法或粒子群优化算法以最小化目标函数Ea(t)为目标来更新执行模块神经网络的权值Wa，当目标函数Ea(t)减小到设定的误差值或迭代次数达到最大时，训练完成。
E、输出模块。保存并实时输出各时刻的控制策略，实时在线调整调整平滑过程，控制储能***充放电功率。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求范围当中。

Claims (7)

1.一种基于自适应动态规划的百兆瓦储能功率控制方法，其特征在于，所述方法包括如下步骤：
(1)设置自适应动态规划控制***的结构并设置其参数；
(2)对参数初始化并导入被控对象的初始状态；
(3)初始训练执行模块和评价模块；
(4)计算百兆瓦储能***充放电功率；
(5)依次训练所述评价模块和所述执行模块，并更新评价模块神经网络和执行模块神经网络的权值；
(6)保存当前时刻的控制策略，并计算下一时刻被控对象的状态，t＝t+1，重复步骤(1)到(5)；
(7)循环上述步骤，直至控制过程结束，并输出各时刻的控制策略；
所述步骤(3)中，所述初始训练执行模块和评价模块包括：设置评价模块的权值Wc和学习率lc，执行模块的权值Wa和学习率la，折扣因子r，评价模块训练的期望误差Tc、执行模块训练的期望误差Ta以及迭代最大次数，所述评价模块和所述执行模块权值的初始值设置为(-1,+1)间的随机值，依据控制效果要求选取和调整学习率和折扣因子。
2.根据权利要求1所述控制方法，其特征在于，所述步骤(1)中，所述自适应动态规划控制***包括评价模块和执行模块两层结构，每个模块均用三层神经网络结构构建；设置所述参数包括设置评价模块和执行模块神经网络的参数，依据每个模块具体的输入量和输出量来设置。
3.根据权利要求1所述控制方法，其特征在于，所述步骤(2)中，所述参数包括设定平滑时间常数的初始值、平滑时间的最大值和最小值、储能***荷电状态SOC的初始值、当前时刻新能源发电出力功率以及计算当前平滑时间常数下的储能功率和风电波功率。
4.根据权利要求1所述控制方法，其特征在于，所述步骤(4)中，包括如下步骤：
步骤4-1、以当前时刻t的新能源发电波动率x(t)作为所述执行模块的输入，得到所述执行模块的输出为控制策略u(t)，即时间常数的变化量；
步骤4-2、依据所述u(t)调整一阶平滑过程中的平滑时间常数TWP，由一阶滤波的原理计算储能***的充放电功率，得到一阶平滑滤波后储能***充放电功率的目标值
Figure FDA0003201013870000021
步骤4-3 、判断当前时刻t下经所述u(t)调整后的新能源发电出力波动率、储能***的荷电状态SOC以及平滑时间常数TWP是否在约束条件范围内，若在约束范围内，则当前时刻t的储能***充放电功率即为
Figure FDA0003201013870000022
否则依据失调的状态量再次调整储能***充放电功率和自适应控制***的效用函数，使状态量能够维持在约束范围内并实时在线调节所述时间常数的变化量ΔPBESS，得到经修正后当前时刻t的储能***的充放电功率
Figure FDA0003201013870000023
所述修正后储能***的充放电功率
Figure FDA0003201013870000024
按下式计算：
Figure FDA0003201013870000025
Figure FDA0003201013870000026
Figure FDA0003201013870000027
Figure FDA0003201013870000028
Figure FDA0003201013870000029
式中，
Figure FDA00032010138700000210
为储能***经修正后的充放电功率；TWP为平滑滤波时间常数，依据执行模块输出的控制策略u(t)进行调整；s为拉普拉斯算子；PWP为当前时刻风电的实际出力；
Figure FDA00032010138700000211
为一阶平滑滤波后储能***功率的目标值；ΔPBESS是判断出SOC不在约束范围内时对储能***功率进行的修正值，其中h是与控制***相关的修正系数，与储能***的能量转换单元的启停状态有关，γ是与SOC相关的修正系数，SOCref是储能***SOC参考值，SOCmax与SOCmin分别是预先设定的储能***SOC的上限值和下限值。
5.根据权利要求1所述控制方法，其特征在于，所述步骤(5)中，训练所述评价模块，评价模块神经网络的权值的更新包括如下步骤：
步骤5-1-1、新能源发电波动率x(t)和控制策略u(t)都经归一化处理为[-1,+1]后，将所述新能源发电波动率x(t)和所述控制策略u(t)作为所述评价模块的输入，所述评价模块的输出为代价函数J(t)；
步骤5-1-2、构造目标函数Ec(t)训练所述评价模块，并根据所述评价模块的权值更新式，按下式计算更新所述评价模块神经网络的权值：
U(t)＝[x(t),u(t),t]
J(t)＝J[x(t),u(t),t,Wc]
Figure FDA0003201013870000031
式中，代价函数J(t)为评价模块的输出；效用函数U(t)是关于x(t),u(t),t的函数，根据控制目标进行定义；r是折扣因子，Ec(t)是目标函数；
步骤5-1-3、所述评价模块的训练采用梯度下降法或粒子群优化算法以使目标函数Ec(t)最小化为目标来更新评价模块神经网络的权值，当目标函数Ec(t)减小到设定评价模块训练的期望误差值Tc或迭代次数达到最大时，训练完成。
6.根据权利要求1所述控制方法，其特征在于，所述步骤(5)中，训练所述执行模块，执行模块神经网络的权值的更新包括如下步骤：
步骤5-2-1、所述执行模块的训练包括计算评价模块的输出J(t)，构造目标函数Ea(t)，以使目标函数Ea(t)最小化为目标，更新执行模块神经网络的权值Wa并调整控制策略u(t)，公式如下：
u(t)＝u[x(t)，t，Wa]
J(t)＝J[x(t),u(t),t,Wc]
Figure FDA0003201013870000032
式中，Wc为评价模块的权值，Wa为执行模块的权值；控制策略u(t)是执行模块的输出，用来调整平滑时间常数；
步骤5-2-2、所述执行模块的训练采用梯度下降法或粒子群优化算法以最小化目标函数Ea(t)为目标来更新执行模块神经网络的权值Wa；
步骤5-2-3、当目标函数Ea(t)减小到设定的执行模块训练的期望误差Ta或迭代次数达到最大时，训练完成。
7.一种用于如权利要求1-6任一项所述基于自适应动态规划的百兆瓦储能功率控制方法的控制***，其特征在于，该***包括参数初始化模块、数据采集和计算模块、评价模块、执行模块和输出模块；所述参数初始化模块与所述数据采集和计算模块相连，所述数据采集和计算模块与所述执行模块和评价模块相连，所述执行模块与所述输出模块相连；
所述参数初始化模块，用于设置自适应动态规划控制***的结构，初始化参数并导入被控对象的初始状态；
所述数据采集和计算模块，用于采集新能源发电的实际出力功率，并计算百兆瓦储能***充放电功率，实时计算新能源发电的波动率和储能***荷电状态，并实时判断状态量是否在约束范围内，当状态量不在约束范围内时，调整储能***充放电功率和自适应控制***的效用函数；
所述评价模块，用于训练评价模块并更新评价模块神经网络的权值；
所述执行模块，用于训练执行模块并更新执行模块神经网络的权值；
所述输出模块，用于保存并实时输出各时刻的控制策略，实时在线调整平滑过程，控制储能***充放电功率。
CN201610278696.3A 2016-04-28 2016-04-28 基于自适应动态规划的百兆瓦储能功率控制方法及*** Active CN105896575B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610278696.3A CN105896575B (zh) 2016-04-28 2016-04-28 基于自适应动态规划的百兆瓦储能功率控制方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610278696.3A CN105896575B (zh) 2016-04-28 2016-04-28 基于自适应动态规划的百兆瓦储能功率控制方法及***

Publications (2)

Publication Number Publication Date
CN105896575A CN105896575A (zh) 2016-08-24
CN105896575B true CN105896575B (zh) 2021-12-03

Family

ID=56701987

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610278696.3A Active CN105896575B (zh) 2016-04-28 2016-04-28 基于自适应动态规划的百兆瓦储能功率控制方法及***

Country Status (1)

Country Link
CN (1) CN105896575B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107147115B (zh) * 2017-06-16 2020-09-11 北京邮电大学 一种基于双时间尺度的用户侧能源管理方法
CN109213104B (zh) * 2018-09-19 2020-09-18 四川大学 基于启发式动态规划的储能***的调度方法及调度***
CN109591659B (zh) * 2019-01-14 2020-04-07 吉林大学 一种智能学习的纯电动汽车能量管理控制方法
CN113561829A (zh) * 2021-06-30 2021-10-29 福建时代星云科技有限公司 一种基于机器学习的储充站控制方法及终端
CN114421501B (zh) * 2022-01-07 2022-12-06 国网湖北省电力有限公司黄冈供电公司 用于分布式储能供电的自适应控制***参数确定方法
CN115000994B (zh) * 2022-04-08 2023-04-28 贵州大学 一种多储能单元分组一致性功率分配方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102163849A (zh) * 2011-03-11 2011-08-24 中国电力科学研究院 基于储能电池荷电状态反馈的风电出力自适应平滑方法
CN104022503A (zh) * 2014-06-18 2014-09-03 中国科学院自动化研究所 一种带有储能设备的智能微电网电能优化控制方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103187807B (zh) * 2011-12-31 2015-02-18 中国电力科学研究院 锂-液流电池联合储能电站的实时功率分配方法及***

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102163849A (zh) * 2011-03-11 2011-08-24 中国电力科学研究院 基于储能电池荷电状态反馈的风电出力自适应平滑方法
CN104022503A (zh) * 2014-06-18 2014-09-03 中国科学院自动化研究所 一种带有储能设备的智能微电网电能优化控制方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于变权值自适应滤波的风光储协调优化控制;李德鑫等;《电力建设》;20150327;第36卷(第04期);全文 *
抑制风电功率波动的电池储能***自适应控制策略设计;李军徽等;《储能科学与技术》;20150501;第4卷(第03期);全文 *

Also Published As

Publication number Publication date
CN105896575A (zh) 2016-08-24

Similar Documents

Publication Publication Date Title
CN105846461B (zh) 一种大规模储能电站自适应动态规划的控制方法和***
CN105896575B (zh) 基于自适应动态规划的百兆瓦储能功率控制方法及***
CN107994595A (zh) 一种削峰填谷控制方法和***以及应用该控制方法的***
CN112583017B (zh) 考虑储能运行约束的混合微电网能量分配方法及***
CN114725936A (zh) 基于多智能体深度强化学习的配电网优化方法
CN105207253B (zh) 考虑风电及频率不确定性的agc随机动态优化调度方法
CN106887858B (zh) 一种接入新能源发电的储能***跟踪计划出力方法及装置
CN105680478B (zh) 基于超短期预测的储能***平滑新能源发电控制方法
CN109995076B (zh) 一种基于储能的光伏汇集***功率稳定输出协同控制方法
CN112418496B (zh) 一种基于深度学习的配电台区储能配置方法
CN103904664B (zh) 一种基于有效静态安全域的agc机组实时调度方法
García-Triviño et al. Optimal online battery power control of grid-connected energy-stored quasi-impedance source inverter with PV system
CN113378100A (zh) 考虑碳排放的配电网源网荷储协同优化调度模型和方法
CN109787221A (zh) 一种微电网电能安全经济调度方法和***
CN113872213B (zh) 一种配电网电压自主优化控制方法及装置
CN103679284A (zh) 一种消纳风电接入的定区间滚动调度方法
CN114154790A (zh) 基于需量管理和柔性负荷的工业园区光储容量配置方法
Yang et al. Tracking-dispatch of a combined wind-storage system based on model predictive control and two-layer fuzzy control strategy
CN113410900A (zh) 基于自适应差分鲸鱼优化的微电网hess优化配置方法及***
El Bourakadi et al. Multi-agent system based on the fuzzy control and extreme learning machine for intelligent management in hybrid energy system
CN116488223A (zh) 家庭光-蓄-柔双层多时间尺度控制方法、装置及介质
CN107104429B (zh) 一种计及分布式储能***的电力***负荷调度方法
CN116054270A (zh) 电网调度优化方法、装置和非易失性存储介质
CN110556868B (zh) 一种考虑电压稳定性的风电接入***储能充放电控制方法
CN115021336A (zh) 一种面向高比例新能源电力***惯量不足场景的优化方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20171026

Address after: 100192 Beijing city Haidian District Qinghe small Camp Road No. 15

Applicant after: China Electric Power Research Institute

Applicant after: State Grid Xinyuan Zhangjiakou Scenery Storage Demonstration Power Plant Co., Ltd.

Applicant after: ELECTRIC POWER RESEARCH INSTITUTE, STATE GRID JIANGSU ELECTRIC POWER COMPANY

Applicant after: STATE GRID JIANGSU ELECTRIC POWER COMPANY

Applicant after: State Grid Corporation of China

Address before: 100192 Beijing city Haidian District Qinghe small Camp Road No. 15

Applicant before: China Electric Power Research Institute

Applicant before: State Grid Xinyuan Zhangjiakou Scenery Storage Demonstration Power Plant Co., Ltd.

Applicant before: STATE GRID JIANGSU ELECTRIC POWER COMPANY

Applicant before: State Grid Corporation of China

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 100192 Beijing city Haidian District Qinghe small Camp Road No. 15

Patentee after: CHINA ELECTRIC POWER RESEARCH INSTITUTE Co.,Ltd.

Patentee after: State Grid Jibei Zhangjiakou Fengguang storage and transmission new energy Co.,Ltd.

Patentee after: STATE GRID JIANGSU ELECTRIC POWER COMPANY Research Institute

Patentee after: STATE GRID JIANGSU ELECTRIC POWER Co.

Patentee after: STATE GRID CORPORATION OF CHINA

Address before: 100192 Beijing city Haidian District Qinghe small Camp Road No. 15

Patentee before: China Electric Power Research Institute

Patentee before: STATE GRID XINYUAN ZHANGJIAKOU SCENERY STORAGE DEMONSTRATION POWER PLANT Co.,Ltd.

Patentee before: STATE GRID JIANGSU ELECTRIC POWER COMPANY Research Institute

Patentee before: STATE GRID JIANGSU ELECTRIC POWER Co.

Patentee before: State Grid Corporation of China