CN113435129B - 减温水阀控制策略的优化方法、装置以及减温水阀 - Google Patents

减温水阀控制策略的优化方法、装置以及减温水阀 Download PDF

Info

Publication number
CN113435129B
CN113435129B CN202110978308.3A CN202110978308A CN113435129B CN 113435129 B CN113435129 B CN 113435129B CN 202110978308 A CN202110978308 A CN 202110978308A CN 113435129 B CN113435129 B CN 113435129B
Authority
CN
China
Prior art keywords
water valve
temperature
state
model
optimization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110978308.3A
Other languages
English (en)
Other versions
CN113435129A (zh
Inventor
张超
张海恩
刘昌鑫
高耸屹
刘泽琳
徐亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanqi Xiance Nanjing Technology Co ltd
Original Assignee
Nanqi Xiance Nanjing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanqi Xiance Nanjing Technology Co ltd filed Critical Nanqi Xiance Nanjing Technology Co ltd
Priority to CN202110978308.3A priority Critical patent/CN113435129B/zh
Publication of CN113435129A publication Critical patent/CN113435129A/zh
Application granted granted Critical
Publication of CN113435129B publication Critical patent/CN113435129B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16K—VALVES; TAPS; COCKS; ACTUATING-FLOATS; DEVICES FOR VENTING OR AERATING
    • F16K31/00—Actuating devices; Operating means; Releasing devices
    • F16K31/002—Actuating devices; Operating means; Releasing devices actuated by temperature variation

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Feedback Control In General (AREA)
  • Control Of Temperature (AREA)

Abstract

本发明实施例公开了一种减温水阀控制策略的优化方法、装置以及减温水阀，包括获取减温水阀的原始动作数据；基于原始动作数据构建减温水阀的状态‑动作序列数据集；基于状态‑动作序列数据集通过强化学习算法构建火力发电机组的模拟环境模型；对减温水阀控制策略模型与机组状态转移策略模型进行预设优化迭代次数的寻优交互，得到优化后的减温水阀控制策略模型。本发明实施例解决了现有技术中采用PID控制策略对减温水阀进行控制时，由于***具有延迟性导致的容易过度调节以及***不稳定的技术问题，实现了在考虑***延迟性的基础上对减温水阀进行自动化、智能化控制的技术效果，避免了过度调节带来的危害。

Description

减温水阀控制策略的优化方法、装置以及减温水阀
技术领域
本发明实施例涉及减温水阀控制技术领域，尤其涉及一种减温水阀控制策略的优化方法、装置以及减温水阀。
背景技术
为了推进燃煤电厂超低排放和节能改造，实施燃煤锅炉节能环保综合改造，以提升火力发电综合经济指标至关重要。这其中，如何使锅炉中过热蒸汽温度快速降温，使过热器出口温度维持在约束范围内，且使管壁温度不超过允许的工作温度，是火电机组中智能优化面临的关键问题。
过热器温度过高或者过低都会显著影响火力发电厂的安全性和经济性。过热蒸汽温度过高会造成过热器、蒸汽管道和汽轮机的高压部分金属损坏，过热蒸汽温度过低会降低整个电厂的热效率并且会影响汽轮机的安全性以及经济性。
过热蒸汽温度通过减温水阀进行控制，目前流行的火力发电中减温水阀控制策略采用PID控制策略，其工作原理为：当蒸汽温度超过目标温度值越多，则控制减温水阀的阀门开度越大，喷射减温水越多，以使蒸汽温度迅速降温。但是，该种工作方式只能观测极少数火力发电机组中的参数，从而给出减温水阀控制策略，不仅容易过度调节，而且由于减温水阀的开度控制具有***延迟性，过度调节后对未来一段时间内的***稳定性都具有不良的影响，使得蒸汽温度震荡。
发明内容
本发明实施例提供一种减温水阀控制策略的优化方法、装置以及减温水阀，解决了现有技术中采用PID控制策略对减温水阀进行控制，由于***具有延迟性导致的容易过度调节以及***不稳定的技术问题。
本发明实施例提供了一种减温水阀控制策略的优化方法，包括：
获取减温水阀的原始动作数据，其中，所述原始动作数据包括火力发电机组运行过程中的仪表数据以及减温水阀的控制参数；
基于所述原始动作数据构建所述减温水阀的状态-动作序列数据集；
基于所述状态-动作序列数据集通过强化学习算法构建火力发电机组的模拟环境模型，其中，所述模拟环境模型包括减温水阀控制策略模型以及机组状态转移策略模型；
对所述减温水阀控制策略模型与所述机组状态转移策略模型进行预设优化迭代次数的寻优交互，得到优化后的所述减温水阀控制策略模型，其中，所述寻优交互的优化目标为所述减温水阀调节过热蒸汽的当前温度处于预设目标温度范围内。
进一步地，在所述预设优化迭代次数的所述寻优交互过程中，使用给定初始化状态作为第1次所述寻优交互的输入值，使用第n次所述寻优交互的输出值作为第n+1次所述寻优交互的输入值，n≥1。
进一步地，所述对所述减温水阀控制策略模型与所述机组状态转移策略模型进行寻优交互包括：
将第m次所述寻优交互的输出值s m 作为输入值输入所述减温水阀控制策略模型，得到输出值a m ，其中，s m 表示m时刻所述火力发电机组的机组状态，a m 表示所述火力发电机组的状态为s m 时的所述减温水阀的阀门开度，m小于或等于所述预设优化迭代次数；
将输入值s m 以及所述输出值a m 构建成状态向量[s m ，a m ]；
将所述状态向量[s m ，a m ]输入所述机组状态转移策略模型，得到第m+1次所述寻优交互的输出值s m+1，其中，s m+1表示m+1时刻所述火力发电机组的机组状态；
在完成所述预设优化迭代次数的寻优交互之后，得到优化后的所述减温水阀控制策略模型。
进一步地，在构建所述模拟环境模型的过程中，所述基于所述状态-动作序列数据集通过强化学习算法构建火力发电机组的模拟环境模型包括：
基于所述状态-动作序列数据集通过强化学习算法构建所述火力发电机组的所述模拟环境模型，以及通过神经网络构建判别器模型，其中，所述模拟环境模型包括所述减温水阀控制策略模型以及所述机组状态转移策略模型；
将预设给定机组状态输入所述模拟环境模型，生成模拟环境下的模拟状态动作序列数据集；
将所述模拟状态动作序列数据集与所述火力发电机组在真实环境运行下的所述状态-动作序列数据集输入所述判别器模型中，生成所述模拟环境模型的置信度；
利用生成的所述置信度作为优化目标，更新所述减温水阀控制策略模型的网络参数；
重复预设最大采样迭代次数上述更新所述减温水阀控制策略模型的网络参数的动作，得到优化后的所述模拟环境模型。
进一步地，所述基于所述原始动作数据构建所述减温水阀的状态-动作序列数据集包括：
基于所述原始动作数据以及公式D=[s 0，a 0，s 1，a 1，……s T-1，a T-1，s T]构建所述减温水阀的状态-动作序列数据集，其中，D表示所述状态-动作序列数据集，s T表示T时刻所述火力发电机组的机组状态，a T表示所述火力发电机组的状态为s T时的所述减温水阀的阀门开度，T为大于或等于0等正整数。
进一步地，在得到优化后的所述减温水阀控制策略模型之后，还包括：
基于优化后的所述减温水阀控制策略模型控制所述减温水阀工作。
本发明实施例还提供了一种减温水阀控制策略的优化装置，包括：
数据获取单元，用于获取减温水阀的原始动作数据；
数据构建单元，用于基于所述原始动作数据构建所述减温水阀的状态-动作序列数据集；
模型构建单元，用于基于所述状态-动作序列数据集通过强化学习算法构建火力发电机组的模拟环境模型，其中，所述模拟环境模型包括减温水阀控制策略模型以及机组状态转移策略模型；
模型优化单元，用于对所述减温水阀控制策略模型与所述机组状态转移策略模型进行寻优交互，得到优化后的所述减温水阀控制策略模型，其中，寻优交互次数为预设优化迭代次数，寻优交互的优化目标为所述减温水阀调节过热蒸汽的当前温度处于预设目标温度范围内。
本发明实施例还提供了一种减温水阀，所述减温水阀包括上述任一实施例所述的减温水阀控制策略的优化装置。
本发明实施例还提供了一种减温水阀控制策略的优化设备，所述减温水阀控制策略的优化设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述任一实施例所述的减温水阀控制策略的优化方法。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如上述任一实施例所述的减温水阀控制策略的优化方法。
本发明实施例公开了一种减温水阀控制策略的优化方法、装置以及减温水阀，包括获取减温水阀的原始动作数据；基于原始动作数据构建减温水阀的状态-动作序列数据集；基于状态-动作序列数据集通过强化学习算法构建火力发电机组的模拟环境模型；对减温水阀控制策略模型与机组状态转移策略模型进行预设优化迭代次数的寻优交互，得到优化后的减温水阀控制策略模型。本发明实施例解决了现有技术中采用PID控制策略对减温水阀进行控制时，由于***具有延迟性导致的容易过度调节以及***不稳定的技术问题，实现了在考虑***延迟性的基础上对减温水阀进行自动化、智能化控制的技术效果，避免了过度调节带来的危害。
附图说明
图1是本发明实施例提供的一种减温水阀控制策略的优化方法的流程图；
图2是本公开实施例提供的另一种减温水阀控制策略的优化方法的流程图；
图3是本公开实施例提供的又一种减温水阀控制策略的优化方法的流程图；
图4是本公开实施例提供的又一种减温水阀控制策略的优化方法的流程图；
图5是本公开实施例提供的又一种减温水阀控制策略的优化方法的流程图；
图6是本发明实施例提供的一种减温水阀控制策略的优化装置的结构图；
图7是本发明实施例提供的一种减温水阀控制策略的优化设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
需要说明的是，本发明的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于限定特定顺序。本发明下述各个实施例可以单独执行，各个实施例之间也可以相互结合执行，本发明实施例对此不作具体限制。
图1是本发明实施例提供的一种减温水阀控制策略的优化方法的流程图。
如图1所示，该减温水阀控制策略的优化方法具体包括如下步骤：
S101，获取减温水阀的原始动作数据，其中，原始动作数据包括火力发电机组运行过程中的仪表数据以及减温水阀的控制参数。
S102，基于原始动作数据构建减温水阀的状态-动作序列数据集。
具体地，从真实火力发电机组获取机组运行过程中的各项仪表所记录的仪表数据及减温水阀的控制参数，并将仪表数据和控制参数构建成状态-动作序列数据集D=[s 0，a 0，s 1，a 1，……s T-1，a T-1，s T]，其中s T表示由T时刻火力发电机组各仪表所记录的仪表数据所得到的机组状态，a T表示T时刻减温水阀的阀门开度，T为大于等于0的正整数，当T=0时，s 0表示火力发电机组初始时刻各仪表所记录的仪表数据所得到的机组状态，则s T+1表示经动作a T后机组各仪表到达的下一时刻状态。
S103，基于状态-动作序列数据集通过强化学习算法构建火力发电机组的模拟环境模型，其中，模拟环境模型包括减温水阀控制策略模型以及机组状态转移策略模型。
具体地，在得到火力发电机组的状态-动作序列数据集之后，通过使用强化学习算法构建出火力发电机组的模拟环境模型，其中，模拟环境模型包括减温水阀控制策略模型以及机组状态转移策略模型，减温水阀控制策略模型用于模拟减温水阀控制器，其输出为减温水阀的阀门开度；机组状态转移策略模型用于根据火力发电机组的当前时刻的机组运行状态和减温水阀的阀门开度预测得到下一时刻的机组运行状态，其中，机组运行状态中包含过热蒸汽温度值。
S104，对减温水阀控制策略模型与机组状态转移策略模型进行预设优化迭代次数的寻优交互，得到优化后的减温水阀控制策略模型，其中，寻优交互的优化目标为减温水阀调节过热蒸汽的当前温度处于预设目标温度范围内。
具体地，为了得到优化后的减温水阀控制策略模型，在进行寻优过程前先设定奖励函数，然后以最大化奖励作为优化目标，通常情况下设定优化目标为减温水阀调节过热蒸汽的当前温度处于预设目标温度范围内，示例性地，可以设定优化目标为过热蒸汽的当前温度始终保持在工况预设目标温度范围的正负5℃以内。
可选地，在预设优化迭代次数的寻优交互过程中，使用给定初始化状态作为第1次寻优交互的输入值，使用第n次寻优交互的输出值作为第n+1次寻优交互的输入值，n≥1。
示例性地，基于设定好的优化目标，给定随机的火力发电机组的初始化状态s，则将初始化状态s作为第1次寻优交互的输入值输入减温水阀控制策略模型，减温水阀控制策略模型输出控制行为，即输出机组状态为s情况下的减温水阀的阀门开度，机组状态转移策略模型根据当前机组状态和减温水阀控制策略模型的控制行为输出下一时刻的机组状态，然后从第2次寻优交互开始，将每一次机组状态转移策略模型的输出值作为下一次寻优交互时机组减温水阀控制策略模型的输入值，即再将机组状态转移策略模型输出的下一时刻的机组状态输入减温水阀控制策略模型，通过减温水阀控制策略模型和机组状态转移策略模型的预设优化迭代次数的寻优交互，得到优化后的减温水阀控制策略模型，并根据优化后的减温水阀控制策略模型控制减温水阀工作。
本发明实施例解决了现有技术中采用PID控制策略对减温水阀进行控制时，由于***具有延迟性导致的容易过度调节以及***不稳定的技术问题，实现了在考虑***延迟性的基础上对减温水阀进行自动化、智能化控制的技术效果，避免了过度调节带来的危害。
在本发明上述各技术方案的基础上，图2为本公开实施例提供的另一种减温水阀控制策略的优化方法的流程图，如图2所示，上述S104步骤具体包括：
S1041，将第m次寻优交互的输出值s m 作为输入值输入减温水阀控制策略模型，得到输出值a m ，其中，s m 表示m时刻火力发电机组的机组状态，a m 表示火力发电机组的状态为s m 时的减温水阀的阀门开度，m小于或等于预设优化迭代次数。
具体地，以其中一次寻优交互为例进行说明，假设第m次寻优交互之后，机组状态转移策略模型的输出值为s m ，将s m 作为输入值输入减温水阀控制策略模型，开始第m+1次寻优交互，则输入减温水阀控制策略模型输出机组状态为s m 时的减温水阀的阀门开度a m 。
S1042，将输入值s m 以及输出值a m 构建成状态向量[s m ，a m ]。
具体地，将第m+1次寻优交互时，减温水阀控制策略模型的输入值s m 和输出值a m 构建成状态向量[s m ，a m ]，并将其作为第m+1次寻优交互中组状态转移策略模型的输入。
S1043，将状态向量[s m ，a m ]输入机组状态转移策略模型，得到第m+1次寻优交互的输出值s m+1，其中，s m+1表示m+1时刻火力发电机组的机组状态。
具体地，将构建好的状态向量[s m ，a m ]输入机组状态转移策略模型中，得到第m+1次寻优交互的输出值s m+1，则输出值s m+1可以作为第m+2次寻优交互时减温水阀控制策略模型的输入值。
需要说明的是，输出值s m+1中包含有过热蒸汽温度值，从输出值s m+1中获取过热蒸汽温度值T过，并将获取到的过热蒸汽温度值T过与设定目标温度值T预设做差，得到的差值取绝对值再取相反数，最终得到-|T过-T预设|作为寻优交互的奖励，则寻优交互的优化目标为最大化奖励。
S1044，在完成预设优化迭代次数的寻优交互之后，得到优化后的减温水阀控制策略模型。
具体地，通过减温水阀控制策略模型和机组状态转移策略模型的预设优化迭代次数的寻优交互，得到优化后的减温水阀控制策略模型，然后可以根据优化后的减温水阀控制策略模型控制减温水阀工作。
在本发明上述各技术方案的基础上，图3为本公开实施例提供的又一种减温水阀控制策略的优化方法的流程图，如图3所示，在构建模拟环境模型的过程中，上述S103步骤具体包括：
S1031，基于状态-动作序列数据集通过强化学习算法构建火力发电机组的模拟环境模型，以及通过神经网络构建判别器模型，其中，模拟环境模型包括减温水阀控制策略模型以及机组状态转移策略模型。
具体地，在构建模拟环境模型的过程中，为了使得构建出的模拟环境模型更加贴合真实的火力发电机组的运行环境，还会通过神经网络构建一个判别器模型，使用判别器模型来辅助优化模拟环境模型。
S1032，将预设给定机组状态输入模拟环境模型，生成模拟环境下的模拟状态动作序列数据集。
示例性地，预设给定机组状态为s t，将预设给定机组状态s t输入模拟环境模型中，通过减温水阀控制策略模型以及机组状态转移策略模型得到模拟环境模型中生成的模拟状态动作序列数据集D'sub，其中，D'sub=[s t，a't，s't+1，a't+1，s't+2，……s't+N-1，a't+N-1，s't+N]。
S1033，将模拟状态动作序列数据集D'sub与火力发电机组在真实环境运行下的状态-动作序列数据集Dsub输入判别器模型中，生成模拟环境模型的置信度。
具体地，获取机组状态为s t时火力发电机组在真实环境运行下的状态-动作序列数据集Dsub，其中，Dsub=[s t，a t，s t+1，a t+1，s t+2，……s t+N-1，a t+N-1，s t+N]，将模拟状态动作序列数据集D'sub与火力发电机组在真实环境运行下的状态-动作序列数据集Dsub输入判别器模型中，验证模拟环境模型与真实环境是否相似，生成模拟环境模型的置信度。
S1034，利用生成的所述置信度作为优化目标，更新所述减温水阀控制策略模型的网络参数；
具体地，判别器模型基于生成的置信度，通过最大化置信度为优化目标，利用监督学习算法更新减温水阀控制策略模型的网络参数。
S1035，重复预设最大采样迭代次数上述更新所述减温水阀控制策略模型的网络参数的动作，得到优化后的所述模拟环境模型。
具体地，通过重复预设最大采样迭代次数的S1032步骤、S1033步骤和S1034步骤，持续不断的验证模拟环境模型与真实环境是否相似，并根据验证结果（即置信度）更新减温水阀控制策略模型的网络参数，最终得到更加贴合真实环境的减温水阀控制策略模型，即得到优化后的模拟环境模型。
在本发明上述各技术方案的基础上，图4为本公开实施例提供的又一种减温水阀控制策略的优化方法的流程图，如图4所示，上述S102步骤具体包括：
S1021，基于原始动作数据以及公式D=[s 0，a 0，s 1，a 1，……s T-1，a T-1，s T]构建减温水阀的状态-动作序列数据集，其中，D表示状态-动作序列数据集，s T表示T时刻火力发电机组的机组状态，a T表示火力发电机组的状态为s T时的减温水阀的阀门开度，T为大于或等于0等正整数。
具体地，原始动作数据包括火力发电机组获取机组运行过程中的各项仪表所记录的仪表数据及减温水阀的控制参数，由火力发电机组的仪表数据可以得到机组状态s T，减温水阀的控制参数包括减温水阀的阀门开度a T，将仪表数据和控制参数构建成状态-动作序列数据集D=[s 0，a 0，s 1，a 1，……s T-1，a T-1，s T]，当T=0时，s 0表示火力发电机组初始时刻各仪表所记录的仪表数据所得到的机组状态。
在本发明上述各技术方案的基础上，图5为本公开实施例提供的又一种减温水阀控制策略的优化方法的流程图，如图5所示，在S104之后，还包括：
S105，基于优化后的减温水阀控制策略模型控制减温水阀工作。
具体地，在得到优化后的减温水阀控制策略模型之后，根据优化后的减温水阀控制策略模型控制减温水阀工作，避免减温水阀的过度调节，使过热蒸汽稳定在预设目标温度范围之内。
在本发明实施例中，通过设定优化目标，利用强化学习算法在模拟环境模型中进行减温水阀控制策略模型和机组状态转移策略模型的交互，从而实现在模拟环境模型中得到最优的减温水阀控制策略模型。本发明实施例考虑到了减温水阀控制的***时延，避免了减温水阀的过度调节，使过热蒸汽稳定在预设目标温度范围之内，同时，无需人为调节控制器参数，可实现完全智能化的自动学习和迭代优化。
图6是本发明实施例提供的一种减温水阀控制策略的优化装置的结构图，如图6所示，该减温水阀控制策略的优化装置包括：
数据获取单元61，用于获取减温水阀的原始动作数据；
数据构建单元62，用于基于原始动作数据构建减温水阀的状态-动作序列数据集；
模型构建单元63，用于基于状态-动作序列数据集通过强化学习算法构建火力发电机组的模拟环境模型，其中，模拟环境模型包括减温水阀控制策略模型以及机组状态转移策略模型；
模型优化单元64，用于对减温水阀控制策略模型与机组状态转移策略模型进行寻优交互，得到优化后的减温水阀控制策略模型，其中，寻优交互次数为预设优化迭代次数，寻优交互的优化目标为减温水阀调节过热蒸汽的当前温度处于预设目标温度范围内。
可选地，在模型优化单元64执行预设优化迭代次数的寻优交互过程中，使用给定初始化状态作为第1次寻优交互的输入值，使用第n次寻优交互的输出值作为第n+1次寻优交互的输入值，n≥1。
可选地，模型优化单元64具体用于：
将第m次寻优交互的输出值s m 作为输入值输入减温水阀控制策略模型，得到输出值a m ，其中，s m 表示m时刻火力发电机组的机组状态，a m 表示火力发电机组的状态为s m 时的减温水阀的阀门开度；
将输入值s m 以及输出值a m 构建成状态向量[s m ，a m ]；
将状态向量[s m ，a m ]输入机组状态转移策略模型，得到第m+1次寻优交互的输出值s m+1，其中，s m+1表示m+1时刻火力发电机组的机组状态。
可选地，模型构建单元63包括：
模型构建子单元，用于基于状态-动作序列数据集通过强化学习算法构建火力发电机组的模拟环境模型，以及通过神经网络构建判别器模型，其中，模拟环境模型包括减温水阀控制策略模型以及机组状态转移策略模型；
数据集生成子单元，用于将预设给定机组状态输入模拟环境模型，生成模拟环境下的模拟状态动作序列数据集；
置信度生成子单元，用于将模拟状态动作序列数据集与火力发电机组在真实环境运行下的状态-动作序列数据集输入判别器模型中，生成模拟环境模型的置信度；
参数更新子单元，用于利用生成的置信度作为优化目标，更新减温水阀控制策略模型的网络参数；
迭代执行子单元，用于重复预设最大采样迭代次数上述更新减温水阀控制策略模型的网络参数的动作，得到优化后的模拟环境模型。
可选地，数据构建单元62具体用于：
基于原始动作数据以及公式D=[s 0，a 0，s 1，a 1，……s T-1，a T-1，s T]构建减温水阀的状态-动作序列数据集，其中，D表示状态-动作序列数据集，s T表示T时刻火力发电机组的机组状态，a T表示火力发电机组的状态为s T时的减温水阀的阀门开度，T为大于或等于0等正整数。
可选地，在模型优化单元64得到优化后的减温水阀控制策略模型之后，还包括：
减温水阀控制单元，用于基于优化后的减温水阀控制策略模型控制减温水阀工作。
本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
本发明实施例提供的减温水阀控制策略的优化方法，与上述实施例提供的减温水阀控制策略的优化装置具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
本发明实施例还提供了一种减温水阀，减温水阀包括上述任一实施例所述的减温水阀控制策略的优化装置。
本发明实施例提供的减温水阀包括上述实施例中的减温水阀控制策略的优化装置，因此本发明实施例提供的减温水阀也具备上述实施例中所描述的有益效果，此处不再赘述。
图7为本发明实施例提供的一种减温水阀控制策略的优化设备的结构示意图，如图7所示，该减温水阀控制策略的优化设备包括处理器71、存储器72、输入装置73和输出装置74；减温水阀控制策略的优化设备中处理器71的数量可以是一个或多个，图7中以一个处理器71为例；理财产品推荐设备中的处理器71、存储器72、输入装置73和输出装置74可以通过总线或其他方式连接，图7中以通过总线连接为例。
存储器72作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的理财产品推荐方法对应的程序指令/模块（例如，减温水阀控制策略的优化装置中的数据获取单元61，数据构建单元62、模型构建单元63以及模型优化单元64）。处理器71通过运行存储在存储器72中的软件程序、指令以及模块，从而执行减温水阀控制策略的优化设备的各种功能应用以及数据处理，即实现上述的减温水阀控制策略的优化方法。
存储器72可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器72可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器72可进一步包括相对于处理器71远程设置的存储器，这些远程存储器可以通过网络连接至理财产品推荐设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置73可用于接收输入的数字或字符信息，以及产生与减温水阀控制策略的优化设备的用户设置以及功能控制有关的键信号输入。输出装置74可包括显示屏等显示设备。
本发明实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种减温水阀控制策略的优化方法。
具体地，该减温水阀控制策略的优化方法包括：
获取减温水阀的原始动作数据，其中，原始动作数据包括火力发电机组运行过程中的仪表数据以及减温水阀的控制参数；
基于原始动作数据构建减温水阀的状态-动作序列数据集；
基于状态-动作序列数据集通过强化学习算法构建火力发电机组的模拟环境模型，其中，模拟环境模型包括减温水阀控制策略模型以及机组状态转移策略模型；
对减温水阀控制策略模型与机组状态转移策略模型进行预设优化迭代次数的寻优交互，得到优化后的减温水阀控制策略模型，其中，寻优交互的优化目标为减温水阀调节过热蒸汽的当前温度处于预设目标温度范围内。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的减温水阀控制策略的优化方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器（Read-Only Memory，ROM）、随机存取存储器（RandomAccess Memory，RAM）、闪存（FLASH）、硬盘或光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。
值得注意的是，上述搜索装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
最后应说明的是，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (9)

1.一种减温水阀控制策略的优化方法，其特征在于，包括：
获取减温水阀的原始动作数据，其中，所述原始动作数据包括火力发电机组运行过程中的仪表数据以及减温水阀的控制参数；
基于所述原始动作数据构建所述减温水阀的状态-动作序列数据集；
所述基于所述原始动作数据构建所述减温水阀的状态-动作序列数据集包括：
基于所述原始动作数据以及公式D=[s 0，a 0，s 1，a 1，……s T-1，a T-1，s T]构建所述减温水阀的状态-动作序列数据集，其中，D表示所述状态-动作序列数据集，s T表示T时刻所述火力发电机组的机组状态，a T表示所述火力发电机组的状态为s T时的所述减温水阀的阀门开度，T为大于或等于0的整数；
基于所述状态-动作序列数据集通过强化学习算法构建火力发电机组的模拟环境模型，其中，所述模拟环境模型包括减温水阀控制策略模型以及机组状态转移策略模型，所述机组状态转移策略模型用于根据火力发电机组的当前时刻的机组运行状态和减温水阀的阀门开度预测得到下一时刻的机组运行状态；
对所述减温水阀控制策略模型与所述机组状态转移策略模型进行预设优化迭代次数的寻优交互，得到优化后的所述减温水阀控制策略模型，其中，所述寻优交互的优化目标为所述减温水阀调节过热蒸汽的当前温度处于预设目标温度范围内，所述寻优交互通过下述过程实现：将设定的初始化状态作为第1次寻优交互的输入值输入所述减温水阀控制策略模型，再将当前机组状态以及所述减温水阀控制策略模型输出的控制行为输入到所述机组状态转移策略模型，得到所述机组状态转移策略模型的输出值，即下一时刻的机组状态，从第2次寻优交互开始，将每一次所述机组状态转移策略模型的输出值作为下一次寻优交互时所述减温水阀控制策略模型的输入值。
2.根据权利要求1所述的优化方法，其特征在于，在所述预设优化迭代次数的所述寻优交互过程中，使用给定初始化状态作为第1次所述寻优交互的输入值，使用第n次所述寻优交互的输出值作为第n+1次所述寻优交互的输入值，n≥1。
3.根据权利要求2所述的优化方法，其特征在于，所述对所述减温水阀控制策略模型与所述机组状态转移策略模型进行寻优交互包括：
将第m次所述寻优交互的输出值s m 作为输入值输入所述减温水阀控制策略模型，得到输出值a m ，其中，s m 表示m时刻所述火力发电机组的机组状态，a m 表示所述火力发电机组的状态为s m 时的所述减温水阀的阀门开度，m小于或等于所述预设优化迭代次数；
将输入值s m 以及所述输出值a m 构建成状态向量[s m ，a m ]；
将所述状态向量[s m ，a m ]输入所述机组状态转移策略模型，得到第m+1次所述寻优交互的输出值s m+1，其中，s m+1表示m+1时刻所述火力发电机组的机组状态；
在完成所述预设优化迭代次数的寻优交互之后，得到优化后的所述减温水阀控制策略模型。
4.根据权利要求1所述的优化方法，其特征在于，在构建所述模拟环境模型的过程中，所述基于所述状态-动作序列数据集通过强化学习算法构建火力发电机组的模拟环境模型包括：
基于所述状态-动作序列数据集通过强化学习算法构建所述火力发电机组的所述模拟环境模型，以及通过神经网络构建判别器模型，其中，所述模拟环境模型包括所述减温水阀控制策略模型以及所述机组状态转移策略模型；
将预设给定机组状态输入所述模拟环境模型，生成模拟环境下的模拟状态动作序列数据集；
将所述模拟状态动作序列数据集与所述火力发电机组在真实环境运行下的所述状态-动作序列数据集输入所述判别器模型中，生成所述模拟环境模型的置信度；
利用生成的所述置信度作为优化目标，更新所述减温水阀控制策略模型的网络参数；
重复预设最大采样迭代次数上述更新所述减温水阀控制策略模型的网络参数的动作，得到优化后的所述模拟环境模型。
5.根据权利要求1所述的优化方法，其特征在于，在得到优化后的所述减温水阀控制策略模型之后，还包括：
基于优化后的所述减温水阀控制策略模型控制所述减温水阀工作。
6.一种减温水阀控制策略的优化装置，其特征在于，包括：
数据获取单元，用于获取减温水阀的原始动作数据，其中，所述原始动作数据包括火力发电机组运行过程中的仪表数据以及减温水阀的控制参数；
数据构建单元，用于基于所述原始动作数据构建所述减温水阀的状态-动作序列数据集；
所述基于所述原始动作数据构建所述减温水阀的状态-动作序列数据集包括：
基于所述原始动作数据以及公式D=[s 0，a 0，s 1，a 1，……s T-1，a T-1，s T]构建所述减温水阀的状态-动作序列数据集，其中，D表示所述状态-动作序列数据集，s T表示T时刻所述火力发电机组的机组状态，a T表示所述火力发电机组的状态为s T时的所述减温水阀的阀门开度，T为大于或等于0的整数；
模型构建单元，用于基于所述状态-动作序列数据集通过强化学习算法构建火力发电机组的模拟环境模型，其中，所述模拟环境模型包括减温水阀控制策略模型以及机组状态转移策略模型，所述机组状态转移策略模型用于根据火力发电机组的当前时刻的机组运行状态和减温水阀的阀门开度预测得到下一时刻的机组运行状态；
模型优化单元，用于对所述减温水阀控制策略模型与所述机组状态转移策略模型进行寻优交互，得到优化后的所述减温水阀控制策略模型，其中，寻优交互次数为预设优化迭代次数，寻优交互的优化目标为所述减温水阀调节过热蒸汽的当前温度处于预设目标温度范围内，所述寻优交互通过下述过程实现：将设定的初始化状态作为第1次寻优交互的输入值输入所述减温水阀控制策略模型，再将当前机组状态以及所述减温水阀控制策略模型输出的控制行为输入到所述机组状态转移策略模型，得到所述机组状态转移策略模型的输出值，即下一时刻的机组状态，从第2次寻优交互开始，将每一次所述机组状态转移策略模型的输出值作为下一次寻优交互时所述减温水阀控制策略模型的输入值。
7.一种减温水阀，其特征在于，所述减温水阀包括如权利要求6所述的减温水阀控制策略的优化装置。
8.一种减温水阀控制策略的优化设备，其特征在于，所述减温水阀控制策略的优化设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的减温水阀控制策略的优化方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的减温水阀控制策略的优化方法。
CN202110978308.3A 2021-08-25 2021-08-25 减温水阀控制策略的优化方法、装置以及减温水阀 Active CN113435129B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110978308.3A CN113435129B (zh) 2021-08-25 2021-08-25 减温水阀控制策略的优化方法、装置以及减温水阀

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110978308.3A CN113435129B (zh) 2021-08-25 2021-08-25 减温水阀控制策略的优化方法、装置以及减温水阀

Publications (2)

Publication Number Publication Date
CN113435129A CN113435129A (zh) 2021-09-24
CN113435129B true CN113435129B (zh) 2021-11-23

Family

ID=77797809

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110978308.3A Active CN113435129B (zh) 2021-08-25 2021-08-25 减温水阀控制策略的优化方法、装置以及减温水阀

Country Status (1)

Country Link
CN (1) CN113435129B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116040713B (zh) * 2023-02-27 2023-11-21 南栖仙策(南京)高新技术有限公司 一种污水处理中的曝气方法、装置、设备、存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113033815A (zh) * 2021-02-07 2021-06-25 广州杰赛科技股份有限公司 一种阀门智能协作控制方法、装置、设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105893714B (zh) * 2016-05-19 2019-02-26 国网四川省电力公司电力科学研究院 基于大电网仿真***下的自动电压控制***闭环检测及评估方法
CN110187727B (zh) * 2019-06-17 2021-08-03 武汉理工大学 一种基于深度学习和强化学习的玻璃熔炉温度控制方法
CN111444587B (zh) * 2020-02-27 2022-08-12 国网信通亿力科技有限责任公司 一种基于自动绘图技术的电力图形绘制方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113033815A (zh) * 2021-02-07 2021-06-25 广州杰赛科技股份有限公司 一种阀门智能协作控制方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN113435129A (zh) 2021-09-24

Similar Documents

Publication Publication Date Title
Li et al. Coordinated load frequency control of multi-area integrated energy system using multi-agent deep reinforcement learning
WO2022160705A1 (zh) 综合能源***调度模型构建方法、装置、介质及电子设备
Wang et al. Self-learning optimal regulation for discrete-time nonlinear systems under event-driven formulation
Dhillon et al. Multi objective load frequency control using hybrid bacterial foraging and particle swarm optimized PI controller
JP3556956B2 (ja) システム識別装置および方法
CN107609667B (zh) 基于Box_cox变换和UFCNN的供热负荷预测方法及***
CN111932015A (zh) 一种区域供冷供热冷热量负荷的预测方法及***
CN110673478B (zh) 磨煤机的控制方法、装置、***及存储介质
CN113435129B (zh) 减温水阀控制策略的优化方法、装置以及减温水阀
CN106292277B (zh) 基于全局滑模控制的亚临界火电机组协调控制方法
Zhang et al. Parameter optimization of PID controllers based on genetic algorithm
Wang et al. Stochastic configuration network based cascade generalized predictive control of main steam temperature in power plants
Wang et al. Sampled-data synchronization for complex networks based on discontinuous LKF and mixed convex combination
Zhou et al. Robust resilient L2− L∞ control for uncertain stochastic systems with multiple time delays via dynamic output feedback
Ataei et al. A coordinated MIMO control design for a power plant using improved sliding mode controller
Begovich et al. Predictive control with constraints of a multi-pool irrigation canal prototype
Yan et al. Distributed fixed-time and prescribed-time average consensus for multi-agent systems with energy constraints
Wang et al. Survey of transient performance control
Edlund et al. A primal-dual interior-point linear programming algorithm for MPC
Chang et al. Radial basis functions neural network of vary learning rate based stochastic U-model
Cantoni et al. Scalable iterations for solving constrained LQ control problems with cascade dynamics
Li et al. Deep reinforcement learning-based fast prediction of strategies for security control
CN117311171B (zh) 用于多设备控制的图神经网络模型的训练方法和装置
Abdullah et al. Improved constraint handling approach for predictive functional control using an implied closed-loop prediction
Rong et al. Fault detection reduced-order filter design for discrete-time Markov jump system with deficient transition information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant