CN107688825B - 一种改进型的集成加权极限学习机污水处理故障诊断方法 - Google Patents

一种改进型的集成加权极限学习机污水处理故障诊断方法 Download PDF

Info

Publication number
CN107688825B
CN107688825B CN201710654311.3A CN201710654311A CN107688825B CN 107688825 B CN107688825 B CN 107688825B CN 201710654311 A CN201710654311 A CN 201710654311A CN 107688825 B CN107688825 B CN 107688825B
Authority
CN
China
Prior art keywords
output
weight
matrix
sewage treatment
learning machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710654311.3A
Other languages
English (en)
Other versions
CN107688825A (zh
Inventor
许玉格
赖春伶
孙称立
陈立定
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201710654311.3A priority Critical patent/CN107688825B/zh
Publication of CN107688825A publication Critical patent/CN107688825A/zh
Application granted granted Critical
Publication of CN107688825B publication Critical patent/CN107688825B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Other Investigation Or Analysis Of Materials By Electrical Means (AREA)
  • Feedback Control In General (AREA)

Abstract

本发明公开了一种改进型的集成加权极限学***衡数据分类，提高了不平衡数据的分类性能特别是少数类的分类正确率，有效提高了污水处理过程中故障诊断的准确性。

Description

一种改进型的集成加权极限学习机污水处理故障诊断方法
技术领域
本发明涉及污水处理故障诊断的技术领域，尤其是指一种改进型的集成加权极限学习机污水处理故障诊断方法。
背景技术
污水处理是一个复杂的、影响因素非常多的生化过程，污水处理厂难以保持长期稳定的运行，发生故障容易引起出水水质不达标、运行费用增高和环境二次污染等严重问题，所以需要对污水处理厂运行状态进行监控，诊断出运行故障并及时处理。
污水处理过程的故障诊断实际是一个模式识别的问题，分类过程中常常还会遇到污水数据集的分布不均衡问题。传统的机器学习方法容易使分类准确率偏向于多数类，而实际分类中更加看重的是少数类的分类准确率，即故障类的分类准确率。及时准确的发现故障可以很大程度上减少污水处理厂的损失，另一方面提高污水处理厂的工作效率。
发明内容
本发明针对污水处理厂的故障诊断问题，提供了一种改进型的集成加权极限学***衡分类评价指标G-mean引入以加权极限学***衡数据分类，提高了不平衡数据的分类性能特别是少数类的分类正确率，有效提高了污水处理过程中故障诊断的准确性。
为实现上述目的，本发明所提供的技术方案为：一种改进型的集成加权极限学习机污水处理故障诊断方法，包括以下步骤：
S1、针对基分类器，采用倾向于少数类样本的赋值公式，对加权极限学习机的初始权值进行赋值；
S2、训练基分类器：计算前一个基分类器的召回率recall和性能评价指标G-mean值，采用基于G-mean的初始权值矩阵更新公式，对下一个加权极限学习机基分类器的权值矩阵进行调整并建立基分类器模型，其步骤过程如下：
S2.1、给定污水样本集{(x1,y1),(x2,y2),…,(xi,yi),…,(xN,yN)}，其中xi∈X表示第i个样本的属性值，yi表示第i个样本对应的类别标签，N是样本总个数，yi∈Y＝{1,2,…,k,…,K}，k表示第k个类别，K表示总共有K个类别；设置集成算法的基分类器个数并记为T；
S2.2、使用加权核极限学习机作为基分类器对训练样本进行训练，得到训练模型ht，对于第t个基分类器ht，先求每一类的召回率R1,R2,…Rk,…,RK，k为第k类，M为类别的总数量，再计算每一类的个数计为nk，以及每一个样本的分类结果A(xi)，若为分对的情况下，A(xi)＝+1；若为分错的情况下，A(xi)＝-1；最后求G_mean＝(R1·R2…RK)1/K；
S2.3、若G_mean≤0.5，则退出迭代；
S2.4、根据计算基分类器ht的权重计算公式
Figure GDA0002237216500000022
计算第t个基分类器的权重λt，G_mean越小，λt越小，表示训练误差越大则第t个基分类器在整个集成算法中占的比重越小，反之亦然；
S2.5、调整样本下一轮迭代的权值分布Dt+1，Dt+1的调整规则如下所示：
Figure GDA0002237216500000023
S2.6、令t＝t+1,若t＜T则返回S2.2，否则结束；
S3、提出新型的集成算法基分类器权值更新公式，以加权极限学习机为基分类器，以Adaboost迭代方法对多个基分类器进行集成，建立改进型的污水故障诊断模型，其步骤过程如下：
S3.1、设置集成算法的基分类器个数并记为T；
S3.2、根据权值初始化方法，确定样本xi的初始权值分布D1(i)：i＝1,2,…,N；
S3.3、按照S2的方法训练T个基分类器，根据基分类器权重更新公式
Figure GDA0002237216500000031
计算基分类器的权重；
S3.4、将T个基分类器进行集成，得到污水故障诊断模型：
Figure GDA0002237216500000032
S4、输入污水处理过程中产生的样本数据，设置集成算法的基分类器个数为T，设置基分类器的最优核宽度γ，以及相对应的最优正则化系数C，建立污水处理***的故障诊断模型并进行性能测试。
在步骤S1中，选用的权值初始化方案有两种，一种是自动加权方案：
Figure GDA0002237216500000033
其中W1表示第一种加权方案，nk为训练样本中类别为k对应的样本数量；
另一种权值初始化方案的思想是将少数类和多数类的比例向着0.618:1的方向推进，实质上，这种方法是在通过牺牲多数类的分类精度来换取对少数类的识别准确率：
Figure GDA0002237216500000034
其中W2表示第二种加权方案。
在步骤S2.2中，加权核极限学习机的建模具体过程如下：
极限学习机采用单隐层前馈神经网络SLFN的框架，给定N个污水处理故障诊断训练样本{(x1,y1),(x2,y2),…,(xN,yN)}，含有L个隐藏节点的标准SLFN输出模型表示如下：
Figure GDA0002237216500000041
其中，βi表示第i个隐藏神经元与所连接输出神经元的输出权值，G为隐藏层神经元激活函数，wi表示输入层与第i个隐藏神经元的输入权值，bi表示第i个隐藏神经元的偏置，oj为第j个输出神经元的实际输出值；
对于数量为N的污水处理故障诊断样本，存在一个(wi,bi)和βi使得进而得出该SLFN模型以零误差逼近样本集，即隐藏层前馈神经网络能够无误差的对其进行拟合，即：
Figure GDA0002237216500000043
将其表示为：Hβ＝T，其中：
Figure GDA0002237216500000044
Figure GDA0002237216500000045
其中，H为隐藏层输出矩阵，β为输出权值矩阵，T为输出层输出矩阵；
当激活函数G为可微分函数时，SLFN参数不需要全部进行调整，输入链接权重wi和隐藏层偏置bi在网络参数初始化的过程中随机选定，并且在训练过程中保持不变，那么训练SLFN就等价于求解线性***Hβ＝T的最小二乘解，也就能够转化为下面的优化问题：
Minimize：||Hβ-T||2和||β||
该优化问题以数学的形式表示为：
Minimize：
Subject to：
Figure GDA0002237216500000051
其中，ξi＝[ξi,1,…ξi,K]T是污水处理故障诊断训练样本xi在其对应输出节点的输出值与真实值之间的误差向量，由隐藏层神经元输出的Moore-Penrose广义逆矩阵H+可解得：
Figure GDA0002237216500000052
采用正交投影法KKT能够有效地对H+求解，当HTH或HHT为非奇异矩阵的情况时H+＝(HTH)-1HT或H+＝HT(HTH)-1，为了使所得到的模型获得更好的稳定性和泛化性能，在求解时需要对HTH或HHT对角线元素加上一个正值得到：
Figure GDA0002237216500000055
I表示单位矩阵，相应的输出函数为：
Figure GDA0002237216500000056
或者当：
Figure GDA0002237216500000057
相应的ELM的输出函数为：
Figure GDA0002237216500000058
为了更好的处理不平衡数据，对每个样本进行加权，使得属于不同类的样本获得不同的权值，所以上述的优化问题的数学形式改写成：
Minimize：
Figure GDA0002237216500000059
Subject to：
其中，W是定义的一个N×N的对角矩阵，每一个主对角元素Wii都对应着一个样本xi，不同类别的样本将会自动分配不同的权值，C是正规化系数；
根据KKT最优化条件，定义Lagrange函数求解该二次规划问题，则等效为求解下面的公式：
Minimize：
Figure GDA0002237216500000061
其中，αi为Lagrange乘数，且都是非负数；
相应的KKT优化限制条件为：
Figure GDA0002237216500000062
Figure GDA0002237216500000063
算法求解隐藏层输出权重表示为：
Figure GDA0002237216500000065
加权方案采用步骤S2.5中的样本权值分布Dt；
当隐藏层特征映射h(x)为未知的情况下，将核矩阵定义如下：
ΩELM＝HHT:ΩELMi,j＝h(xi)·h(xj)＝K(xi,xj)i＝1,2,…,N；j＝1,2,…,N
这里核函数K(·)需要满足Mercer条件，此时将输出表达式写成：
所以ELM的隐藏层特征映射能够对其保持未知，同时隐藏层神经元数量L也无需进行设置；
基于核函数的加权极限学习机最终的输出方程为：
Figure GDA0002237216500000072
其中，I为单位矩阵，C为正规化系数，W为加权矩阵，T为输出层矩阵，ΩELM为核矩阵；
综上可知，基于核函数的加权极限学习机训练算法的流程为：
S2.2.1、根据加权方案赋予每个样本权值，计算加权矩阵W；
S2.2.2、根据核函数计算核矩阵ΩELM；
S2.2.3、计算网络的输出结果f(x)。
在步骤S4中，设置集成分类器的基分类器个数T＝20，并采用网格参数寻优的方式寻找满足算法最优性能的基分类器的核宽度γ和正规化系数C，其中，γ的寻优范围为{2-18,2(-18+step),…,220}，step＝0.5；C的寻优范围为{2-18,2(-18+step),…,250}，step＝0.5。
本发明与现有技术相比，具有如下优点与有益效果：
1、本发明方法首次将不平衡分类评价指标G-mean引入以加权极限学习机为基分类器的Adaboost集成分类算法，提出新颖的集成算法基分类器权值更新公式。
2、本发明方法首次提出基于G-mean的初始权值矩阵更新公式，用于加权极限学习机的建模。
3、本发明采用加权极限学习机的分类器作为集成学习算法的基分类器，可提高分类器学习速度，从而实现对污水处理厂运行状态实时准确地监测。
4、本发明方法可提高污水处理古故障诊断***的整体分类正确率，尤其可以提高故障类别的识别正确率，对于污水处理***的故障预警和及时处理具有重要意义。
5、本发明方法可有效保证污水处理厂的稳定运行和污水处理质量，减少二次污染。
附图说明
图1为本发明方法的流程图。
具体实施方式
下面结合具体实施例对本发明作进一步说明。
参见图1所示，本实施例所提供的集成加权极限学习机污水处理故障诊断方法，包括以下步骤：
步骤S1、基分类器加权极限学习机初始权值赋值。有两种权值初始化方案，一种是自动加权方案：
Figure GDA0002237216500000081
其中W1表示第一种加权方案，nk为训练样本中类别为k对应的样本数量；
另一种权值初始化方案的思想是将少数类和多数类的比例向着0.618:1的方向推进，实质上，这种方法是在通过牺牲多数类的分类精度来换取对少数类的识别准确率：
Figure GDA0002237216500000082
其中W2表示第二种加权方案。
步骤S2、训练基分类器：
S2.1、给定污水样本集{(x1,y1),(x2,y2),…,(xi,yi),…,(xN,yN)}，其中xi∈X表示第i个样本的属性值，yi表示第i个样本对应的类别标签，N是样本总个数，yi∈Y＝{1,2,…,k,…,K}，k表示第k个类别，K表示总共有K个类别；设置集成算法的基分类器个数并记为T；
S2.2、使用加权核极限学习机作为基分类器对训练样本进行训练，得到训练模型ht，
Figure GDA0002237216500000093
对于第t个基分类器ht，先求每一类的召回率R1,R2,…Rk,…,RK，k为第k类，M为类别的总数量，再计算每一类的个数计为nk，以及每一个样本的分类结果A(xi)，若为分对的情况下，A(xi)＝+1；若为分错的情况下，A(xi)＝-1；最后求G_mean＝(R1·R2…RK)1/K；
S2.3、若G_mean≤0.5，则退出迭代；
S2.4、根据计算基分类器ht的权重计算公式
Figure GDA0002237216500000091
计算第t个基分类器的权重λt，G_mean越小，λt越小，表示训练误差越大则第t个基分类器在整个集成算法中占的比重越小，反之亦然；
S2.5、调整样本下一轮迭代的权值分布Dt+1，Dt+1的调整规则如下所示：
Figure GDA0002237216500000092
S2.6、令t＝t+1,若t＜T则返回S2.2，否则结束；
基分类器训练完毕。
其中，在上述步骤S2.2中，加权核极限学习机的建模具体过程如下：
极限学习机采用单隐层前馈神经网络SLFN的框架，给定N个污水处理故障诊断训练样本{(x1,y1),(x2,y2),…,(xN,yN)}，含有L个隐藏节点的标准SLFN输出模型表示如下：
Figure GDA0002237216500000101
其中，βi表示第i个隐藏神经元与所连接输出神经元的输出权值，G为隐藏层神经元激活函数，wi表示输入层与第i个隐藏神经元的输入权值，bi表示第i个隐藏神经元的偏置，oj为第j个输出神经元的实际输出值；
对于数量为N的污水处理故障诊断样本，存在一个(wi,bi)和βi使得
Figure GDA0002237216500000102
进而得出该SLFN模型以零误差逼近样本集，即隐藏层前馈神经网络能够无误差的对其进行拟合，即：将其表示为：Hβ＝T，其中：
Figure GDA0002237216500000104
Figure GDA0002237216500000105
其中，H为隐藏层输出矩阵，β为输出权值矩阵，T为输出层输出矩阵；
当激活函数G为可微分函数时，SLFN参数不需要全部进行调整，输入链接权重wi和隐藏层偏置bi在网络参数初始化的过程中随机选定，并且在训练过程中保持不变，那么训练SLFN就等价于求解线性***Hβ＝T的最小二乘解，也就能够转化为下面的优化问题：
Minimize：||Hβ-T||2和||β||
该优化问题以数学的形式表示为：
Minimize：
Figure GDA0002237216500000111
Subject to：
Figure GDA0002237216500000112
其中，ξi＝[ξi,1,…ξi,K]T是污水处理故障诊断训练样本xi在其对应输出节点的输出值与真实值之间的误差向量，由隐藏层神经元输出的Moore-Penrose广义逆矩阵H+可解得：
Figure GDA0002237216500000113
采用正交投影法KKT能够有效地对H+求解，当HTH或HHT为非奇异矩阵的情况时H+＝(HTH)-1HT或H+＝HT(HTH)-1，为了使所得到的模型获得更好的稳定性和泛化性能，在求解
Figure GDA0002237216500000114
时需要对HTH或HHT对角线元素加上一个正值
Figure GDA0002237216500000115
得到：
Figure GDA0002237216500000116
I表示单位矩阵，相应的输出函数为：
Figure GDA0002237216500000117
或者当：
Figure GDA0002237216500000118
相应的ELM的输出函数为：
为了更好的处理不平衡数据，对每个样本进行加权，使得属于不同类的样本获得不同的权值，所以上述的优化问题的数学形式改写成：
Minimize：
Figure GDA0002237216500000121
Subject to：
Figure GDA0002237216500000122
其中，W是定义的一个N×N的对角矩阵，每一个主对角元素Wii都对应着一个样本xi，不同类别的样本将会自动分配不同的权值，C是正规化系数；
根据KKT最优化条件，定义Lagrange函数求解该二次规划问题，则等效为求解下面的公式：
Minimize：
其中，αi为Lagrange乘数，且都是非负数；
相应的KKT优化限制条件为：
Figure GDA0002237216500000124
Figure GDA0002237216500000125
算法求解隐藏层输出权重表示为：
Figure GDA0002237216500000127
加权方案采用步骤S2.5中的样本权值分布Dt；
当隐藏层特征映射h(x)为未知的情况下，将核矩阵定义如下：
ΩELM＝HHT:ΩELMi,j＝h(xi)·h(xj)＝K(xi,xj)i＝1,2,…,N；j＝1,2,…,N
这里核函数K(·)需要满足Mercer条件，此时将输出表达式写成：
Figure GDA0002237216500000131
所以ELM的隐藏层特征映射能够对其保持未知，同时隐藏层神经元数量L也无需进行设置；
基于核函数的加权极限学习机最终的输出方程为：
Figure GDA0002237216500000132
其中，I为单位矩阵，C为正规化系数，W为加权矩阵，T为输出层矩阵，ΩELM为核矩阵；
综上可知，基于核函数的加权极限学习机训练算法的流程为：
S2.2.1、根据加权方案赋予每个样本权值，计算加权矩阵W；
S2.2.2、根据核函数计算核矩阵ΩELM；
S2.2.3、计算网络的输出结果f(x)。
步骤S3、提出新型的集成算法基分类器权值更新公式，以加权极限学习机为基分类器，以Adaboost迭代方法对多个基分类器进行集成，建立改进型的污水故障诊断模型，其步骤过程如下：
S3.1、设置集成算法的基分类器个数并记为T；
S3.2、根据权值初始化方法，确定样本xi的初始权值分布D1(i)：i＝1,2,…,N；
S3.3、按照S2的方法训练T个基分类器，根据基分类器权重更新公式
Figure GDA0002237216500000133
计算基分类器的权重；
S3.4、将T个基分类器进行集成，得到污水故障诊断模型：
Figure GDA0002237216500000141
污水故障诊断模型建模完毕。
步骤S4、设置集成分类器的基分类器个数T＝20，并采用网格参数寻优的方式寻找满足算法最优性能的基分类器的核宽度γ和正规化系数C。γ的寻优范围为{2-18,2(-18+step),…,220}，step＝0.5；C的寻优范围为{2-18,2(-18+step),…,250}，step＝0.5。
实验仿真的数据来来自加州大学数据库(UCI)，是一个污水处理厂的日常监控数据，整个数据集每个样本维数为38，全部属性值都完整的记录有380个，被监测的水体一共有13种状态，各个状态用数字代替。为了简化分类的复杂度，我们根据样本类别的性质，将样本分为4大类，如下表1所示。表1中，类别1为正常情况，类别2为性能超过平均值的正常情况，类别3为进水流量低的正常情况，类别4为二沉池故障、暴雨引起的非正常状态和固体溶度过负荷等原因引起的故障情况。正常情况的类别1样本的个数比较多，属于多数类；而类别3和类别4由于样本个数比较少，故属于少数类，经过数据类别的化简，四类样本的分布比例为39.6:14.6:8:1。经参数寻优可知，本软件实例采用的两种权值初始化方案所需的最优参数分别为：W1:(C＝226.5,γ＝213),W2:(C＝227.5,γ＝213.5)。
根据以上步骤，仿真实验先用污水样本集的3/4，即总共285组样本作为训练样本集，采用不同的权值初始化方案经过集成迭代产生最终的分类模型之后，将剩下的样本集作为测试样本代入分类模型得出最终的分类结果，即污水处理故障诊断结果。其中AdaG1WELM表示采用W1初始权值方案的算法，AdaG2WELM表示采用W2初始权值方案的算法。
表1样本类别数量分布
Figure GDA0002237216500000142
Figure GDA0002237216500000151
表2与传统分类算法比较的结果
表3与当前类似算法的对比结果
Figure GDA0002237216500000153
表2和表3分别给出了本发明所用算法(AdaG1WKELM和AdaG2WKELM)与传统分类算法、当前类似研究算法的对比实验结果。其中传统分类算法包括反向传播神经网络(BPNN)、支持向量机(SVM)、相关向量机(RVM)、快速相关向量机(Fast RVM)、极限学***衡数据集的进行分类。综上所述，本软件使用的基于G-mean的集成极限学习机的故障诊断方法对于污水处理过程中可能出现的故障能够做出较为准确的判断，增强污水处理厂对于故障的处理能力。
以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (3)

1.一种改进型的集成加权极限学习机污水处理故障诊断方法，其特征在于，包括以下步骤：
S1、针对基分类器，采用倾向于少数类样本的赋值公式，对加权极限学习机的初始权值进行赋值；
选用的权值初始化方案有两种，一种是自动加权方案：
Figure FDA0002282416790000011
其中W1表示第一种加权方案，nk为训练样本中类别为k对应的样本数量；
另一种权值初始化方案的思想是将少数类和多数类的比例向着0.618:1的方向推进，实质上，这种方法是在通过牺牲多数类的分类精度来换取对少数类的识别准确率：
Figure FDA0002282416790000012
其中W2表示第二种加权方案；
S2、训练基分类器：计算前一个基分类器的召回率recall和性能评价指标G-mean值，采用基于G-mean的初始权值矩阵更新公式，对下一个加权极限学习机基分类器的权值矩阵进行调整并建立基分类器模型，其步骤过程如下：
S2.1、给定污水样本集{(x1,y1),(x2,y2),…,(xi,yi),…,(xN,yN)}，其中xi∈X表示第i个样本的属性值，yi表示第i个样本对应的类别标签，N是样本总个数，yi∈Y＝{1,2,…,k,…,K}，k表示第k个类别，K表示总共有K个类别；设置集成算法的基分类器个数并记为T；
S2.2、使用加权核极限学习机作为基分类器对训练样本进行训练，得到训练模型ht(x)，
Figure FDA0002282416790000013
对于第t个基分类器ht(x)，先求每一类的召回率R1,R2,…Rk,…,RK，k为第k类，K为类别的总数量，再计算每一类的个数计为nk，以及每一个样本的分类结果A(xi)，若为分对的情况下，A(xi)＝+1；若为分错的情况下，A(xi)＝-1；最后求G_mean＝(R1·R2…RK)1/K；
S2.3、若G_mean≤0.5，则退出迭代；
S2.4、根据计算基分类器ht(x)的权重计算公式
Figure FDA0002282416790000021
计算第t个基分类器的权重λt，G_mean越小，λt越小，表示训练误差越大则第t个基分类器在整个集成算法中占的比重越小，反之亦然；
S2.5、调整样本下一轮迭代的权值分布Dt+1，Dt+1的调整规则如下所示：
Figure FDA0002282416790000022
S2.6、令t＝t+1,若t＜T则返回S2.2，否则结束；
S3、提出集成算法基分类器权值更新公式，以加权极限学习机为基分类器，以Adaboost迭代方法对多个基分类器进行集成，建立改进型的污水故障诊断模型，其步骤过程如下：
S3.1、设置集成算法的基分类器个数并记为T；
S3.2、根据权值初始化方法，确定样本xi的初始权值分布D1(i)：i＝1,2,…,N；
S3.3、按照S2的方法训练T个基分类器，根据基分类器权重更新公式
Figure FDA0002282416790000023
计算基分类器的权重；
S3.4、将T个基分类器进行集成，得到污水故障诊断模型：
Figure FDA0002282416790000024
S4、输入污水处理过程中产生的样本数据，设置集成算法的基分类器个数为T，设置基分类器的最优核宽度γ，以及相对应的最优正则化系数C，建立污水处理***的故障诊断模型并进行性能测试。
2.根据权利要求1所述的一种改进型的集成加权极限学习机污水处理故障诊断方法，其特征在于，在步骤S2.2中，加权核极限学习机的建模具体过程如下：
极限学习机采用单隐层前馈神经网络SLFN的框架，给定N个污水处理故障诊断训练样本{(x1,y1),(x2,y2),…,(xN,yN)}，含有L个隐藏节点的标准SLFN输出模型表示如下：
Figure FDA0002282416790000031
其中，βi表示第i个隐藏神经元与所连接输出神经元的输出权值，G为隐藏层神经元激活函数，wi表示输入层与第i个隐藏神经元的输入权值，bi表示第i个隐藏神经元的偏置，oj为第j个输出神经元的实际输出值；
对于数量为N的污水处理故障诊断样本，存在一个(wi,bi)和βi使得
Figure FDA0002282416790000032
进而得出该SLFN模型以零误差逼近样本集，即隐藏层前馈神经网络能够无误差的对其进行拟合，即：
Figure FDA0002282416790000033
将其表示为：Hβ＝T，其中：
Figure FDA0002282416790000034
Figure FDA0002282416790000035
其中，H为隐藏层输出矩阵，β为输出权值矩阵，T为输出层输出矩阵；
当激活函数G为可微分函数时，SLFN参数不需要全部进行调整，输入链接权重wi和隐藏层偏置bi在网络参数初始化的过程中随机选定，并且在训练过程中保持不变，那么训练SLFN就等价于求解线性***Hβ＝T的最小二乘解，也就能够转化为下面的优化问题：
Minimize：||Hβ-T||2和||β||
该优化问题以数学的形式表示为：
Minimize：
Figure FDA0002282416790000041
Subject to：
其中，ξi＝[ξi,1,…ξi,K]T是污水处理故障诊断训练样本xi在其对应输出节点的输出值与真实值之间的误差向量，由隐藏层神经元输出的Moore-Penrose广义逆矩阵H+可解得：
Figure FDA0002282416790000043
采用正交投影法KKT能够有效地对H+求解，当HTH或HHT为非奇异矩阵的情况时H+＝(HTH)-1HT或H+＝HT(HTH)-1，为了使所得到的模型获得更好的稳定性和泛化性能，在求解时需要对HTH或HHT对角线元素加上一个正值
Figure FDA0002282416790000045
得到：
Figure FDA0002282416790000046
I表示单位矩阵，相应的输出函数为：
Figure FDA0002282416790000047
或者当：
Figure FDA0002282416790000048
相应的ELM的输出函数为：
Figure FDA0002282416790000051
为了更好的处理不平衡数据，对每个样本进行加权，使得属于不同类的样本获得不同的权值，所以上述的优化问题的数学形式改写成：
Minimize：
Figure FDA0002282416790000052
Subject to：
其中，W是定义的一个N×N的对角矩阵，每一个主对角元素Wii都对应着一个样本xi，不同类别的样本将会自动分配不同的权值，C是正规化系数；
根据KKT最优化条件，定义Lagrange函数求解二次规划问题，则等效为求解下面的公式：
Minimize：
Figure FDA0002282416790000054
其中，αi为Lagrange乘数，且都是非负数；
相应的KKT优化限制条件为：
Figure FDA0002282416790000055
Figure FDA0002282416790000056
Figure FDA0002282416790000057
算法求解隐藏层输出权重表示为：
Figure FDA0002282416790000058
加权方案采用步骤S2.5中的样本权值分布Dt；
当隐藏层特征映射h(x)为未知的情况下，将核矩阵定义如下：
ΩELM＝HHT:ΩELMi,j＝h(xi)·h(xj)＝K(xi,xj)i＝1,2,…,N；j＝1,2,…,N
这里核函数K(·)需要满足Mercer条件，此时将输出表达式写成：
Figure FDA0002282416790000061
所以ELM的隐藏层特征映射能够对其保持未知，同时隐藏层神经元数量L也无需进行设置；
基于核函数的加权极限学习机最终的输出方程为：
Figure FDA0002282416790000062
其中，I为单位矩阵，C为正规化系数，W为加权矩阵，T为输出层矩阵，ΩELM为核矩阵；
综上可知，基于核函数的加权极限学习机训练算法的流程为：
S2.2.1、根据加权方案赋予每个样本权值，计算加权矩阵W；
S2.2.2、根据核函数计算核矩阵ΩELM；
S2.2.3、计算网络的输出结果f(x)。
3.根据权利要求1所述的一种改进型的集成加权极限学习机污水处理故障诊断方法，其特征在于：在步骤S4中，设置集成分类器的基分类器个数T＝20，并采用网格参数寻优的方式寻找满足算法最优性能的基分类器的核宽度γ和正规化系数C，其中，γ的寻优范围为{2-18,2(-18+step),…,220}，step＝0.5；C的寻优范围为{2-18,2(-18+step),…,250}，step＝0.5。
CN201710654311.3A 2017-08-03 2017-08-03 一种改进型的集成加权极限学习机污水处理故障诊断方法 Expired - Fee Related CN107688825B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710654311.3A CN107688825B (zh) 2017-08-03 2017-08-03 一种改进型的集成加权极限学习机污水处理故障诊断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710654311.3A CN107688825B (zh) 2017-08-03 2017-08-03 一种改进型的集成加权极限学习机污水处理故障诊断方法

Publications (2)

Publication Number Publication Date
CN107688825A CN107688825A (zh) 2018-02-13
CN107688825B true CN107688825B (zh) 2020-02-18

Family

ID=61153142

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710654311.3A Expired - Fee Related CN107688825B (zh) 2017-08-03 2017-08-03 一种改进型的集成加权极限学习机污水处理故障诊断方法

Country Status (1)

Country Link
CN (1) CN107688825B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109190280A (zh) * 2018-09-18 2019-01-11 东北农业大学 一种基于核极限学习机替代模型的地下水污染源反演识别方法
CN109558893B (zh) * 2018-10-31 2022-12-16 华南理工大学 基于重采样池的快速集成污水处理故障诊断方法
CN109492710B (zh) * 2018-12-07 2021-07-13 天津智行瑞祥汽车科技有限公司 一种新能源汽车故障检测辅助方法
CN109739209A (zh) * 2018-12-11 2019-05-10 深圳供电局有限公司 一种基于分类数据挖掘的电网故障诊断方法
CN109858564B (zh) * 2019-02-21 2023-05-05 上海电力学院 适用于风电变流器故障诊断的改进型Adaboost-SVM模型生成方法
CN110084291B (zh) * 2019-04-12 2021-10-22 湖北工业大学 一种基于大数据极限学习的学生行为分析方法及装置
CN110363230B (zh) * 2019-06-27 2021-07-20 华南理工大学 基于加权基分类器的stacking集成污水处理故障诊断方法
CN111160457B (zh) * 2019-12-27 2023-07-11 南京航空航天大学 基于软一类极限学习机的涡轴发动机故障检测方法
CN112257942B (zh) * 2020-10-29 2023-11-14 中国特种设备检测研究院 一种应力腐蚀开裂预测方法及***
CN112183676A (zh) * 2020-11-10 2021-01-05 浙江大学 一种基于混合降维与核函数极限学习机的水质软测量方法
CN113323823B (zh) * 2021-06-08 2022-10-25 云南大学 基于awkelm的风机叶片结冰故障检测方法及***
CN113551904B (zh) * 2021-06-29 2023-06-30 西北工业大学 基于层次机器学习的齿轮箱多类型并发故障诊断方法
CN113965449B (zh) * 2021-09-28 2023-04-18 南京航空航天大学 一种基于进化加权宽度学习***提高自组织蜂窝网络故障诊断精确率的方法
CN114492164A (zh) * 2021-12-24 2022-05-13 吉林大学 基于多核极限学习机的有机污染物迁移数值模型替代方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103473598A (zh) * 2013-09-17 2013-12-25 山东大学 基于变长度粒子群优化算法的极限学习机
KR20140127061A (ko) * 2013-04-24 2014-11-03 주식회사 지넬릭스 천연식물 성분과 미네랄 염이 함유된 구강청결 기능성 조성물 및 제조방법
CN105631477A (zh) * 2015-12-25 2016-06-01 天津大学 基于极限学习机和自适应提升的交通标志识别方法
CN105740619A (zh) * 2016-01-28 2016-07-06 华南理工大学 基于核函数的加权极限学习机污水处理在线故障诊断方法
CN106874934A (zh) * 2017-01-12 2017-06-20 华南理工大学 基于加权极限学习机集成算法的污水处理故障诊断方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140127061A (ko) * 2013-04-24 2014-11-03 주식회사 지넬릭스 천연식물 성분과 미네랄 염이 함유된 구강청결 기능성 조성물 및 제조방법
CN103473598A (zh) * 2013-09-17 2013-12-25 山东大学 基于变长度粒子群优化算法的极限学习机
CN105631477A (zh) * 2015-12-25 2016-06-01 天津大学 基于极限学习机和自适应提升的交通标志识别方法
CN105740619A (zh) * 2016-01-28 2016-07-06 华南理工大学 基于核函数的加权极限学习机污水处理在线故障诊断方法
CN106874934A (zh) * 2017-01-12 2017-06-20 华南理工大学 基于加权极限学习机集成算法的污水处理故障诊断方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《boosting weighted ELM for imbalanced learning》;LI K et al;《Neurocomputing》;20131025;全文 *
《不平衡模糊加权极限学习机及其集成方法研究》;姚乔兵;《中国优秀硕士学位论文全文数据库信息科技辑》;20170315(第2017年第03期);全文 *

Also Published As

Publication number Publication date
CN107688825A (zh) 2018-02-13

Similar Documents

Publication Publication Date Title
CN107688825B (zh) 一种改进型的集成加权极限学习机污水处理故障诊断方法
CN105740619B (zh) 基于核函数的加权极限学习机污水处理在线故障诊断方法
CN106874581B (zh) 一种基于bp神经网络模型的建筑空调能耗预测方法
CN106600059B (zh) 基于改进rbf神经网络的智能电网短期负荷预测方法
CN108228716B (zh) 基于加权极限学习机的SMOTE_Bagging集成污水处理故障诊断方法
CN101414366B (zh) 基于改进极端学习机方法的电力***短期负荷预测方法
CN104155574B (zh) 基于自适应神经模糊推理***的配电网故障分类方法
CN106874934A (zh) 基于加权极限学习机集成算法的污水处理故障诊断方法
CN108445752B (zh) 一种自适应选择深度特征的随机权神经网络集成建模方法
CN110009030B (zh) 基于stacking元学习策略的污水处理故障诊断方法
CN111427750B (zh) 一种计算机平台的gpu功耗估计方法、***及介质
CN105572572B (zh) 基于wknn-lssvm的模拟电路故障诊断方法
CN108805193B (zh) 一种基于混合策略的电力缺失数据填充方法
CN110363230B (zh) 基于加权基分类器的stacking集成污水处理故障诊断方法
CN106778838A (zh) 一种预测空气质量的方法
CN109284662B (zh) 一种基于迁移学习的水下声音信号分类方法
CN113379116A (zh) 基于聚类和卷积神经网络的台区线损预测方法
CN108805206A (zh) 一种用于模拟电路故障分类的改进型lssvm建立方法
CN108763418A (zh) 一种文本的分类方法及装置
CN107766887A (zh) 一种局部加权的不完整数据混杂聚类方法
CN107544447A (zh) 一种基于核学习的化工过程故障分类方法
CN116663745A (zh) 一种基于pca_ dwt的lstm流域水流量预测方法
CN114881429B (zh) 基于数据驱动的台区线损量化方法及***
CN113296947B (zh) 基于改进XGBoost模型的资源需求预测方法
CN114814707A (zh) 一种智能电表应力误差分析方法、设备、终端及可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200218

CF01 Termination of patent right due to non-payment of annual fee