CN112684778A - 基于多源信息强化学习蒸汽发生器给水***诊断方法 - Google Patents

Abstract

本发明提供一种基于多源信息强化学习蒸汽发生器给水***故障诊断方法，包括对蒸汽发生器给水***中蒸汽发生器、给水泵和给水阀进行状态监测，获取多个状态信息；基于信息源类型将关联的状态信息聚类形成特征信息簇；基于特征信息簇集成建立特征矩阵，对特征矩阵提取状态特征向量；将状态特征向量输入至数据分析模型体系进行故障类型的诊断，并对相应构件的状态参数进行评价和调控。本发明针对蒸汽发生器给水***多源信息故障诊断，采用信号处理、互信息关联、非线性降维、深度强化学习等技术，解决了多源信息的特征提取、特征融合、特征集成、特征学习等问题，为蒸汽发生器给水***多源信息的自主学习与状态识别诊断提供了新的技术方案。

Description

基于多源信息强化学习蒸汽发生器给水***诊断方法

技术领域

本发明涉及数据特征处理与机器学习领域，具体涉及一种基于多源信息强化学习蒸汽发生器给水***诊断方法及***。

背景技术

蒸汽发生器是电厂一、二回路的枢纽，其主要功能是把一回路反应堆产生的热量传递给二回路给水，使二回路给水变为一定温度和压力的蒸汽，从而起到热量交换、能量传递的作用；蒸汽发生器给水***是由汽轮机、冷凝器、给水泵、调节阀等部件组成的***。蒸汽发生器给水控制是压水堆核电厂极其重要的控制功能，用于调节核电厂蒸汽发生器二次侧水位在需求定值上，以保证机组的稳定运行。蒸汽发生器给水控制功能要求集成度高，操作要求复杂，涉及电厂的多个***，因此其故障诊断需要快速、准确。

目前，随着新技术的大量应用，蒸汽发生器给水***复杂性显著提高，所涉及的不确定因素也日益增多，蒸汽发生器给水***在运行维护期间所面临的风险以及风险所导致的损失规模也越来越大。蒸汽发生器给水***中普遍含有机械、液压、电器、管道等多种设备，从每个设备获取的数据存在着信息类别、变化特征、采样特性等差异，使得单一数据特征无法准确反映设备的运行状态；蒸汽发生器给水***的多源异构数据存在局部信息不完整、信息冗余度高、信息集中度低等特点，***运行工况多，子***之间信息交互复杂，不同设备中的数据特征存在非线性关联，未经多源信息分离与关联信息融合处理的设备特征无法有效描述***的总体状态。然而，传统的故障诊断方法仅能从部分数据层面反映设备的局部运行状态，而无法从***层面提供大型装备的健康信息。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于多源信息强化学习蒸汽发生器给水***诊断方法，该方法可对蒸汽发生器给水***的多源状态信息进行关联性融合，并在此基础上将深度学习的感知能力和强化学习的决策能力相结合，建立深度强化学习***以实现蒸汽发生器给水***的状态识别与故障诊断。

为实现上述目的，本发明第一方面提供一种基于多源信息强化学习蒸汽发生器给水***故障诊断方法，所述方法包括：

对所述蒸汽发生器给水***中蒸汽发生器、给水泵和给水阀进行状态监测，获取多个状态信息；基于信息源类型分别对多个所述状态信息进行第一特征向量的提取；

根据第一特征向量将关联的状态信息聚类形成多个特征信息簇；再将多个所述特征信息簇进行非线性融合，降维获得多个第二特征向量；

将多个所述第二特征向量集成建立二维特征矩阵，使用卷积神经网络对所述特征矩阵进行深度学习，提取状态特征向量；

建立数据分析模型体系，所述数据分析模型体系包括强化学习网络模型、价值评价网络模型以及策略优化网络模型；

将状态特征向量输入至所述数据分析模型体系进行故障类型的诊断，并对相应蒸汽发生器、给水泵或给水阀的状态参数进行评价和调控。

进一步地，其中；

所述状态信息包括蒸汽发生器进水口温度、蒸汽发生器进水口流量、蒸汽发生器进水口压力、给水泵速度、给水泵加速度和给水阀开度；

所述信息源类型为瞬变状态信息、渐变状态信息和缓变状态信息。

进一步地，所述将状态特征向量输入至所述数据分析模型体系进行故障类型的诊断，并对相应蒸汽发生器、给水泵或给水阀的状态参数进行评价和调控包括：

所述强化学习网络模型根据所述状态特征向量进行故障类型的诊断，并根据诊断结果触发控制信号，所述蒸汽发生器、给水泵或给水阀根据相应控制信号进行状态参数的调控；

所述价值评价网络模型通过对当前所述状态信息和基于该状态信息触发的控制信号进行价值评价，获得价值评价信号；

所述策略优化网络模型通过所述控制信号和价值评价信号触发奖赏信号，根据所述奖赏惩信号调整所述强化学习网络模型中的学习策略和参数。

进一步地，所述强化学习网络模型基于所述状态特征向量进行故障类型的诊断包括：

将状态特征向量输入训练好的强化学习网络模型获得所述蒸汽发生器、给水泵和给水阀的状态诊断结果；以及，

通过所述状态特征向量对所述强化学习网络模型进行反复训练和迭代。

进一步地，所述信息源类型分别对多个所述状态信息进行第一特征向量的提取包括：

根据小波变换方法提取瞬变状态信息的第一特征向量，所述瞬变状态信息包括给水泵速度和给水泵加速度；

根据模态分解方法提取渐变状态信息的第一特征向量，所述渐变状态信息包括蒸汽发生器进水口流量、蒸汽发生器进水口压力和给水阀开度；

根据去趋势波动分析方法提取缓变状态信息的第一特征向量，所述缓变状态信息包括蒸汽发生器进水口温度。

进一步地，所述根据第一特征向量将关联的状态信息聚类形成多个特征信息簇包括：

根据所述第一特征向量，采用最大信息系数、最大不对称性、最大边值指标作为评估指标，获取不同信息源类型之间关联系数；

根据所述关联系数判定多个所述状态信息间关联性，并将具有关联的状态信息聚类形成多个特征信息簇。

进一步地，所述再将多个所述特征信息簇进行非线性融合，降维获得多个第二特征向量包括：

根据流形学习理论对信息簇内的多组状态信息所构成的数据矩阵进行非线性融合，从而降维获得多个第二特征向量。

进一步地，所述使用卷积神经网络对所述特征矩阵进行深度学习，提取状态特征向量包括：

采用卷积核对第i-1层数据进行卷积，再对第i层数据进行下采样；其中，所述i为大于1的整数

基于卷积神经网络，将多次卷积输出结果进行全连接，构成所述特征矩阵的状态特征向量。

本发明第二方面提供一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的方法。

本发明第三方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法。

通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：

1.本发明创造性地将多源状态信息进行关联聚类，将分布在***各处的状态信息依据相关性分为不同类别信息簇，再将各个信息簇的所有信息进行簇内融合，达到装备状态信息表达的完备性与精简性。

2.本发明创造性地采用相空间重构与关联系数排列的方式将各簇融合特征进行集成，将多维状态特征转换为便于卷积神经网络进行特征提取的单个独立样本。

3.本发明创造性地将状态特征学习与依据环境反馈调整学习策略应用于大型装备的状态识别与故障诊断，通过强化学习方法使诊断***具备依据环境与装备状态调整学习策略的自主学习能力，有效提高了大型装备故障诊断的智能化程度。

总体而言，本发明提出的一种多源信息强化学习故障诊断方法为蒸汽发生器给水***多源信息的故障诊断提供了一种新颖的思路。其中，针对蒸汽发生器给水***多源信息故障诊断，采用信号处理、互信息关联、非线性降维、深度强化学习等技术，解决了多源信息的特征提取、特征融合、特征集成、特征学习等问题，为蒸汽发生器给水***多源信息的自主学习与状态识别诊断提供了新的技术方案。

附图说明

图1为按照本发明提供的一种基于多源信息强化学习蒸汽发生器给水***诊断方法的流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

需要说明的是，本发明涉及的术语“第一\第二”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二”区分的对象在适当情况下可以互换，以使这里描述的本发明的实施例能够以除了在这里描述或图示的那些以外的顺序实施。

本发明提供了一种基于多源信息强化学习蒸汽发生器给水***故障诊断方法，该方法针对蒸汽发生器给水***多源信息故障诊断，采用信号处理、互信息关联、非线性降维、深度强化学习等技术，解决了多源信息的特征提取、特征融合、特征集成、特征学习等问题；该方法包括：对蒸汽发生器给水***中蒸汽发生器、给水泵和给水阀进行状态监测，获取多个状态信息；基于信息源类型分别对多个状态信息进行第一特征向量的提取；根据第一特征向量将关联的状态信息聚类形成多个特征信息簇；再将多个特征信息簇进行非线性融合，降维获得多个第二特征向量；将多个第二特征向量集成建立二维特征矩阵，使用卷积神经网络对特征矩阵进行深度学习，提取状态特征向量；建立数据分析模型体系，数据分析模型体系包括强化学习网络模型、价值评价网络模型以及策略优化网络模型；将状态特征向量输入至数据分析模型体系进行故障类型的诊断，并对相应蒸汽发生器、给水泵或给水阀的状态参数进行调控。

其中，状态信息包括蒸汽发生器进水口温度、蒸汽发生器进水口流量、蒸汽发生器进水口压力、给水泵速度、给水泵加速度和给水阀开度。

根据本发明一种具体地实施方式，如图1所示，提供一种基于多源信息强化学习蒸汽发生器给水***故障诊断方法，该方法具体包括以下步骤：

步骤1：多源状态信息特征提取

针对三种典型信息源类型采用不同方法提取第一特征向量，信息源类型为瞬变状态信息、渐变状态信息和缓变状态信息。

S11：根据小波变换方法提取瞬变状态信息的第一特征向量，瞬变状态信息包括给水泵速度和给水泵加速度；具体地，针对速度和振动一类的瞬变动态信息，以小波变换方法为基础，设计具有波形自适应功能的母小波函数，实现***在不同工况下信号瞬态特征的提取。对于状态信息信号x(t)的小波变换函数可以表示为：

上式中，a为尺度参数，u为时间参数，ψ(t)为Morlet小波,f_b和f_c为信号的波形参数。

S12：根据模态分解方法提取渐变状态信息的第一特征向量，渐变状态信息包括蒸汽发生器进水口流量、蒸汽发生器进水口压力和给水阀开度；具体地，针对流量和压力一类的渐变动态信息，以经验模态分解方法为基础，设计具有特征自适应功能的固有模态函数分量滤除方法，以实现***在不同稳定程度下的信号渐变特征提取。对于状态信息信号x(t)的经验模态分解函数可以表示为：

上式中，c_i(t)为信号分解所得若干固有模态函数，r_N(t)为信号的残余分量。

渐变动态信息的目标特征分布在部分固有模态函数中，依据固有模态函数与原信号的相似性滤除伪特征成分。

S13：根据去趋势波动分析方法提取缓变状态信息的第一特征向量，缓变状态信息包括蒸汽发生器进水口温度；具体地，针对温度一类的缓变近似稳态信息，以去趋势波动分析方法为基础，设计具有波动周期适应性的时间序列分割方法，以实现***在不同扰动周期下的信号渐变稳态特征提取。对于状态信息信号x(t)在不同扰动周期下的波动方差函数可表示为：

上式中，s为信号分割长度，v为信号段序号，Y(i)为s长度信号段的累积序列，y_v(i)为第v段信号段内的趋势项，N_s为信号段总数，H为Hurst指数，表征信号的波动特性。

步骤2：多源异构信息的关联信息融合与信息集成

根据第一特征向量将关联的状态信息聚类形成多个特征信息簇，再将多个特征信息簇进行非线性融合，降维获得多个第二特征向量；具体地，从蒸汽发生器给水***运行中所获得的状态信息以及从信号中提取的第一特征向量仅能在数据层面表示蒸汽发生器给水***的局部运行状态，然而***状态识别所关注的多种***综合特征信息却离散地分布在不同来源的数据中，为实现深度网络对于多源异构信息特征的学习，需要对特征进行关联信息聚类融合。

S21：关联信息特征聚类

根据关联系数判定多个状态信息间关联性，并将具有关联的状态信息聚类形成多个特征信息簇；具体地，根据第一特征向量，采用最大信息系数、最大不对称性、最大边值指标作为评估指标，获取不同信息源类型之间关联系数；根据所述关联系数判定多个所述状态信息间关联性，并将具有关联的状态信息聚类形成多个特征信息簇。

更具体地，在获得的多源异构信息特征的基础上，可采用最大信息系数(MIC)、最大不对称性(MAS)、最大边值指标(MEV)等评估指标，计算多源异构信息两两之间的关联性：计算所有两两信息对之间的关联性系数，获得多源异构信息特征的关联性系数邻接矩阵，并据此对多源异构信息进行聚类，将无序的多源异构信息特征划分为若干个具有较强关联性的信息簇。例如：针对两种不同状态信息x，y的最大信息系数(MIC)的函数可表示为：

上式中。I[X；Y]为状态信息x，y中随机变量X与Y的互信息量。

S22：信息特征融合

根据流形学习理论对信息簇内的多组状态信息所构成的数据矩阵进行非线性融合，从而降维获得多个第二特征向量。具体地，考虑到特征信息簇内的多种信息特征同样具有多源、异构以及非线性特性，可依据流形学习理论对信息簇内的多组信息特征所构成的临近样本矩阵F＝[f₁,f₂,…,f_i]，(单组特征f_i∈R^D)进行非线性融合，具体处理步骤如下：

S221：选取信息簇内的多组临近状态信息样本f_i ^k＝[f_i1,f_i2,…,f_ik]；

S222：建立局部坐标正交基V_i＝[v₁,v₂,…,v_d]；

S223：构造特征选择矩阵S_i＝F^-1f_i ^k；

S224：计算正交基相关矩阵

S225：计算局部坐标排列矩阵

S226：提取排列矩阵的特征LF＝[x₂,x₃,…,x_d+1]^T。

上式中，i为第一特征矩阵中状态信息样本数据集的组数，k为信息簇内的多组临近信息样本数量，f_ik为第i个状态信息样本数据集中第k个临近信息样本信号的波形参数，F为所有临近样本矩阵，I为单位矩阵(该矩阵对角线元素为1，其他元素全为0)，T为将函数矩阵转置符号。

依据上述处理步骤，对信息簇内多组信息特征进行降维，提取信息簇多组非线性数据中所隐含的关联信息作为信息簇的融合特征，即第二特征向量。

步骤3：多源融合特征信息集成

将多个第二特征向量集成建立二维特征矩阵；具体地，进一步将多源异构信息特征构造成为能够反映***综合状态特征且符合深度学习网络输入要求的单一数据样本形式。经过聚类与融合后的***特征仍具有分散性与局部相关性。可采用相空间重构方法建立每组信息簇融合特征的相空间矩阵，凸显每个第二特征向量内部所蕴含的固有动态特征。

更具体地，重新设定第二特征向量为x(t)＝[x₁,x₂,…,x_N]，则其第i个相点向量可表示为

据此可获得第二特征向量x(t)的重构相空间

为保障特征的重构精度，时间延迟τ设置为1，嵌入维度m的选择依据临近维度评估方法确定获得最小嵌入维度。

依据最大信息系数方法计算每个融合特征之间的关联性，依据关联系数的大小将每个融合特征的相空间矩阵依次排列，将所有相空间矩阵拼接为同时包含小尺度局部特征与大尺度关联特征的集成信息，建立信息集成数据模型作为深度学习网络输入信息的统一形式。

步骤4，集成特征深度学习

使用卷积神经网络对特征矩阵进行深度学习，提取状态特征向量；包括：采用卷积核对第i-1层数据进行卷积，再对第i层数据进行下采样；其中，i为大于1的整数；基于卷积神经网络，将多次卷积输出结果进行全连接，构成特征矩阵的状态特征向量。具体地，针对信息集成矩阵中融合特征在小尺度内的固有动态特性以及相邻融合特征之间的关联性，将信息集成矩阵视作图像，可采用与特征尺度相适应的卷积核尺寸，通过卷积神经网络(CNN)对信息集成矩阵进行逐层抽象深度学习。卷积神经网络提取图像特征的过程可以描述为以下步骤：

S41：采用卷积核对前一层图像数据进行卷积：

S42：对卷积层进行下采样：H_i+1＝subsampling(H_i)；

S43：依据设计网络深度，重复上述步骤S41和S42，获得更为抽象的图像特征；

S44：将获得的特征进行全连接，构造成特征向量，作为分类器的输入。

上式中，H_i-1为第i层图像数据，H_i为根据是根据步骤S41算出来的第i层图像数据，b为神经网络中的偏置参数。

步骤5：强化学习故障诊断

建立数据分析模型体系，所述数据分析模型体系包括强化学习网络模型、价值评价网络模型以及策略优化网络模型；将所述状态特征向量输入至所述数据分析模型体系进行故障类型的诊断，并对相应所述蒸汽发生器、给水泵或给水阀的状态参数进行调控。该步骤集合迭代、控制反馈、逐步优化收敛等过程。

S51：强化学习网络模型

强化学习网络模型包括了学习和对蒸汽发生器给水***发出状态变化的控制信号，在改变蒸汽发生器给水***相应状态参数后对该***的新状态信息的状态特征向量进行提取，再基于该状态特征向量进行学习；具体地，所述强化学习网络模型根据所述状态特征向量进行故障类型的诊断，并根据诊断结果触发控制信号，所述蒸汽发生器、给水泵或给水阀根据相应控制信号进行状态参数的调控；更具体地，将状态特征向量输入训练好的强化学习网络模型获得所述蒸汽发生器、给水泵和给水阀的状态诊断结果；同时通过所述状态特征向量对所述强化学习网络模型进行反复训练和迭代。

S52：价值评价网络模型

策略优化网络模型为对蒸汽发生器给水***的状态进行评估，同时评估引起状态信息改变的控制信号对于提高诊断效果的价值；具体地，所述价值评价网络模型通过对当前所述状态信息和基于该状态信息触发的控制信号进行价值评价，获得价值评价信号；所述策略优化网络模型通过所述控制信号和价值评价信号触发奖赏信号，根据所述奖赏惩信号调整所述强化学习网络模型的参数。

更具体地，强化学习网络模型针对蒸汽发生器给水***的状态数据与运行特性，设计稳定性指数与健康性指数作为价值评价网络模型的输出，采用多种宏观统计指标对蒸汽发生器给水***的部分核心指标数据进行统计量化，并将量化的反馈结果作为价值评价网络模型的输入。指标数据包括蒸汽发生器进水口温度、蒸汽发生器进水口流量、蒸汽发生器进水口压力、给水泵速度、给水泵加速度和给水阀开度。依据上述统计指标对蒸汽发生器给水***的典型离散工况采用稳定性指数与健康性指数进行初步量化，将初步量化获得的输入输出作为价值评价网络模型的先验知识样本，据此采用深度神经网络模型建立蒸汽发生器给水***的价值评价网络模型。

S53：策略优化网络模型

策略优化网络模型依据对蒸汽发生器给水***发出的控制信号，以及价值评价信号，综合起来优化强化学习网络模型中的学习策略与参数。具体地，所述策略优化网络模型通过所述控制信号和价值评价信号触发奖赏信号，根据所述奖赏惩信号调整所述强化学习网络模型中的学习策略和参数。

更具体地，数据分析模型体系的目标是学习一个行为策略π:S→A，使由感知单元、学习单元以及执行单元所构成的Agent选择的动作能够获得环境最大的奖赏。为评估Agent动作选择是否为最优的长期影响效果，可定义三种目标函数通过环境奖励反馈对动作的价值进行评估，以实现学习策略的自适应调整：

S531：考虑未来无限步奖赏，以某种形式的折扣街垒在函数值中的无限折扣模型，该模型可通过以下函数进行表示：

S532：考虑未来h步有限奖赏，计算未来h步奖赏之和的有限模型，该模型可通过以下函数进行表示：

S533：考虑长期平均奖赏，计算长期平均奖赏的平均模型，该模型可通过以下函数进行表示：

上述式中，r_t为从状态信息s_t到s_t+1转移后所接受到的奖赏值，其值可以为正、负或零，γⁱ为第i步r的折扣因子，t为时间变量，h为未来有限奖赏数量。

其中，当策略优化网络模型无法选择最优策略时，可依据以下函数进行判定：

本发明基于上述实施方式还提供一种基于多源信息强化学习蒸汽发生器给水***故障诊断***，该***包括：

数据采集模块，用于对所述蒸汽发生器给水***中蒸汽发生器、给水泵和给水阀进行状态监测，获取多个状态信息；

第一数据处理模块，用于基于信息源类型分别对多个所述状态信息进行第一特征向量的提取；

第二数据处理模块，用于根据第一特征向量将关联的状态信息聚类形成多个特征信息簇；再将多个所述特征信息簇进行非线性融合，降维获得多个第二特征向量；

第三数据处理模块，用于将多个所述第二特征向量集成建立二维特征矩阵，使用卷积神经网络对所述特征矩阵进行深度学习，提取状态特征向量；

故障诊断评价模块，包括强化学习网络模块、价值评价网络模块以及策略优化网络模块；其中，用于根据状态特征向量进行故障类型的诊断，并对相应蒸汽发生器、给水泵或给水阀的状态参数进行评价和调控。

具体地，所述状态信息包括蒸汽发生器进水口温度、蒸汽发生器进水口流量、蒸汽发生器进水口压力、给水泵速度、给水泵加速度和给水阀开度；所述信息源类型为瞬变状态信息、渐变状态信息和缓变状态信息。

本实施例，故障诊断评价模块中：

强化学习网络模块，用于根据所述状态特征向量进行故障类型的诊断，并根据诊断结果触发控制信号，所述蒸汽发生器、给水泵或给水阀根据相应控制信号进行状态参数的调控；

价值评价网络模块，用于通过对当前所述状态信息和基于该状态信息触发的控制信号进行价值评价，获得价值评价信号；

策略优化网络模块，用于通过所述控制信号和价值评价信号触发奖赏信号，根据所述奖赏惩信号调整所述强化学习网络模型中的学习策略和参数。

本发明基于上述实施方式还一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上所述方法。

应当理解，本发明的方法、结构图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。本发明的范围由所附权利要求及其等同限定。

Claims (10)

1.一种基于多源信息强化学习蒸汽发生器给水***故障诊断方法，其特征在于，所述方法包括：

对所述蒸汽发生器给水***中蒸汽发生器、给水泵和给水阀进行状态监测，获取多个状态信息；基于信息源类型分别对多个所述状态信息进行第一特征向量的提取；

根据第一特征向量将关联的状态信息聚类形成多个特征信息簇；再将多个所述特征信息簇进行非线性融合，降维获得多个第二特征向量；

将多个所述第二特征向量集成建立二维特征矩阵，使用卷积神经网络对所述特征矩阵进行深度学习，提取状态特征向量；

建立数据分析模型体系，所述数据分析模型体系包括强化学习网络模型、价值评价网络模型以及策略优化网络模型；

将状态特征向量输入至所述数据分析模型体系进行故障类型的诊断，并对相应蒸汽发生器、给水泵或给水阀的状态参数进行评价和调控。

2.根据权利要求1所述的基于多源信息强化学习蒸汽发生器给水***故障诊断方法，其特征在于，其中；

所述状态信息包括蒸汽发生器进水口温度、蒸汽发生器进水口流量、蒸汽发生器进水口压力、给水泵速度、给水泵加速度和给水阀开度；

所述信息源类型为瞬变状态信息、渐变状态信息和缓变状态信息。

3.根据权利要求1或2所述的基于多源信息强化学习蒸汽发生器给水***故障诊断方法，其特征在于，所述将状态特征向量输入至所述数据分析模型体系进行故障类型的诊断，并对相应蒸汽发生器、给水泵或给水阀的状态参数进行评价和调控包括：

所述强化学习网络模型根据所述状态特征向量进行故障类型的诊断，并根据诊断结果触发控制信号，所述蒸汽发生器、给水泵或给水阀根据相应控制信号进行状态参数的调控；

所述价值评价网络模型通过对当前所述状态信息和基于该状态信息触发的控制信号进行价值评价，获得价值评价信号；

所述策略优化网络模型通过所述控制信号和价值评价信号触发奖赏信号，根据所述奖赏惩信号调整所述强化学习网络模型中的学习策略和参数。

4.根据权利要求1或2所述的基于多源信息强化学习蒸汽发生器给水***故障诊断方法，其特征在于，所述强化学习网络模型基于所述状态特征向量进行故障类型的诊断包括：

将状态特征向量输入训练好的强化学习网络模型获得所述蒸汽发生器、给水泵和给水阀的状态诊断结果；以及，

通过所述状态特征向量对所述强化学习网络模型进行反复训练和迭代。

5.根据权利要求1或2所述的基于多源信息强化学习蒸汽发生器给水***故障诊断方法，其特征在于，所述信息源类型分别对多个所述状态信息进行第一特征向量的提取包括：

根据小波变换方法提取瞬变状态信息的第一特征向量，所述瞬变状态信息包括给水泵速度和给水泵加速度；

根据模态分解方法提取渐变状态信息的第一特征向量，所述渐变状态信息包括蒸汽发生器进水口流量、蒸汽发生器进水口压力和给水阀开度；

根据去趋势波动分析方法提取缓变状态信息的第一特征向量，所述缓变状态信息包括蒸汽发生器进水口温度。

6.根据权利要求1或2所述的基于多源信息强化学习蒸汽发生器给水***故障诊断方法，其特征在于，所述根据第一特征向量将关联的状态信息聚类形成多个特征信息簇包括：

根据所述第一特征向量，采用最大信息系数、最大不对称性、最大边值指标作为评估指标，获取不同信息源类型之间关联系数；

根据所述关联系数判定多个所述状态信息间关联性，并将具有关联的状态信息聚类形成多个特征信息簇。

7.根据权利要求1或2所述的基于多源信息强化学习蒸汽发生器给水***故障诊断方法，其特征在于，所述再将多个所述特征信息簇进行非线性融合，降维获得多个第二特征向量包括：

根据流形学习理论对信息簇内的多组状态信息所构成的数据矩阵进行非线性融合，从而降维获得多个第二特征向量。

8.根据权利要求1或2所述的基于多源信息强化学习蒸汽发生器给水***故障诊断方法，其特征在于，所述使用卷积神经网络对所述特征矩阵进行深度学习，提取状态特征向量包括：

采用卷积核对第i-1层数据进行卷积，再对第i层数据进行下采样；其中，所述i为大于1的整数

基于卷积神经网络，将多次卷积输出结果进行全连接，构成所述特征矩阵的状态特征向量。

9.一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-8任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-8任一项所述的方法。

Images