CN115147645A - 基于多特征信息融合的膜组件膜污染检测方法 - Google Patents
基于多特征信息融合的膜组件膜污染检测方法 Download PDFInfo
- Publication number
- CN115147645A CN115147645A CN202210729844.4A CN202210729844A CN115147645A CN 115147645 A CN115147645 A CN 115147645A CN 202210729844 A CN202210729844 A CN 202210729844A CN 115147645 A CN115147645 A CN 115147645A
- Authority
- CN
- China
- Prior art keywords
- membrane
- cbam
- network model
- layer
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/16—Image acquisition using multiple overlapping images; Image stitching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开基于多特征信息融合的膜组件膜污染检测方法,包括以下步骤:采集膜污染数据;对膜污染数据进行分类编码;利用图像处理技术扩大数据集,得时域图片集,利用图像傅里叶变换得频域数据集;将时域图片集和频域数据集均按一定比例分别划分为训练集、测试集和验证集;构建CBAM‑MIL‑CNN网络模型,对CBAM‑MIL‑CNN网络模型进行调整和优化;将测试集数据信息输入优化后的CBAM‑MIL‑CNN网络模型,对膜组件膜污染状态进行识别。本发明网络模型应用于膜组件膜污染检测中,该网络模型综合性能优异,能够有效实现所有膜污染的高效分类与定位,使得膜法水处理提高出水水质的同时降低能耗,为实际生产提供理论基础。
Description
技术领域
本发明属于膜组件膜污染检测技术领域。
背景技术
膜生物反应器(MBR)是将膜分离技术与生物处理技术有机结合的新型污废水处理***,与传统活性污泥法相比,MBR具有出水水质高、运行有机负荷高、产泥量低、易实现自动化控制等优点,但也存在超滤微滤膜易堵塞、膜污染严重的问题。膜污染是构成膜组件故障的主要因素,膜污染对膜组件造成不同程度的损坏,如降低出水效率和影响水质,甚至需要更换膜组件,增大运行成本。因此,膜组件膜污染诊断技术正在逐步成为水处理领域研究重点。由于膜组件及其内部存在错综复杂、强关联耦合的相互关系,还涉及不确定性因素及不确定性信息,使得随机性、继发性、并发性、传播性等性质的故障频繁出现,传统的针对单一设备、子***、子单元的故障诊断方法难以发现组成单元之间的关联关系,造成误诊、漏诊的概率极大。不同于浅层学习算法,深度学习算法具有更好的逼近复杂函数的能力。该类算法一般包含多隐层结构,以实现数据特征的逐层转换,保证最有效地信息提取与特征表达。
鉴于膜法水处理***的动态和非线性特征,传统的诊断模型效率低下,在离线建模阶段忽略了潜在的、有价值的特征,导致错误警报和不准确的插补。基于概率主成分分析(PPCA)的方法已广泛应用于过程监控领域。然而,传统的PPCA方法仍然局限于线性降维,虽然PPCA的非线性投影模型可以通过高斯过程映射得到,但该模型仍然缺乏鲁棒性,容易受到过程噪声的影响。因此,Wang等人提出了一种基于贝叶斯-高斯潜变量模型(Bay-GPLVM)的非线性过程监测与故障诊断方法,Bay-GPLVM可以获得后验分布,而不是潜在变量的点估计,因此该模型更具鲁棒性。Baklouti等人提出了一种基于粒子滤波的最大双自适应指数加权移动平均(EWMA),用于污水处理过程故障检测,通过监测模型的状态变量,应用所开发的策略来增强废水处理过程的故障检测,开发的统计图用于检测***中的平均故障或/和漂移,其中粒子滤波方法用于估计过程的非线性未知状态。然而,粒子滤波器在估计时变非线性***的状态和参数时会对模型产生不确定性。此外,大多数实际***都是多元和不确定的,过程模型也不可用。因此,为了扩展到多变量***,还需要使用包括潜变量模型在内的数据驱动模型,以考虑数据中的不确定性。Che Mid提出了基于使用多参数规划的参数估计的故障检测方法,文中将非线性常微分方程模型使用欧拉方法转换为代数方程,然后,通过制定Karush-Kuhn-Tucker(KKT)最优性条件,得到参数非线性代数方程的平方***,然后通过符号求解表示KKT条件的方程,获得模型参数作为测量的显式函数,将估计的模型参数与故障检测的正常操作进行比较。如果模型参数的残差超过某个阈值,则检测到故障。在此基础上,Che Mid将进水中的底物浓度、抑制系数和比生长速率视为模型参数,并使用多参数规划作为测量值的显式函数获得,并对其进行监测以进行故障检测和诊断。Ba-Alawi等人提出了基于变分自动编码器(VAE)和深度残差网络结构(ResNet VAE)集成的缺失数据插补和传感器自验证的包容性框架,通过学习输入数据的潜在概率分布,自动提取复杂特征,降低梯度消失的风险,通过输入缺失数据、检测异常、识别故障源以及将故障数据重建到正常状态来提高故障传感器的可靠性。Qiao等人提出了一种数据知识驱动(DKD)的诊断方法,用于检测故障点和根本原因变量。DKD模型结合了数据驱动和基于知识的方法的优点,能够提取过程变量之间的因果关系和概率,从潜在故障变量中识别根本原因变量,从而提高诊断性能。为了保证工艺安全和出水水质,Han等人提出了一种基于自组织2型模糊神经网络(SOT2FNN)和智能识别方法的智能故障检测(IFD)方法,用于检测和识别不同类型的故障。基于数据驱动模型和智能识别算法,以及信息传输强度算法和自适应二阶算法,高精度预测污泥体积指数(SVI),利用目标相关识别算法(TRIA)提取相关信息,识别故障类型。然而,这些方法背后的相互关系侧重于变量之间的相关性,而不是因果关系,这表明一组变量是故障发生的可能原因,并且未能找到故障发生的真正根本原因变量。
近年来,深度学***均池化(global average pooling,GAP)的卷积神经网络(CNN-GAP)进行特征提取和故障分类,实验结果表明,该方法在诊断准确率和可靠性方面具有优势。Wang等人提出了一种基于小波包分解(wavelet packet decomposition,WPD)和双层卷积神经网络(bilayerconvolutional neural network,biCNN)的非平衡数据条件下的故障检测模型,WPD从采集的故障样本中获得了更丰富的各种时间和频率尺度的信息,有助于解决数据不平衡问题。改进的biCNN结合了局部和全卷积阶段,用于特征提取和故障检测。此外,由于CNN无法自主选择重要通道,基于注意力机制的模型成功改善了这个问题。从Squeeze and ExcitationNetworks(SENet)到Selective Kernel Networks(SKNet)再到convolutional blockattention module(ECA)都在不同程度上优化了CNN,张红斌等人利用SENet中具有良好互补性的异构层特征,实现异构层特征融合,提高了正确率。Fu等人在YOLOv4中添加ECA模块,并验证了改进算法的有效性。
以上文献在研究模拟电路故障这一问题时,均只从时域或者频域的角度出发,并且深度学习中故障诊断存在模型复杂和本质特征提取困难等问题。
发明内容
本发明目的在于提供基于多特征信息融合的膜组件膜污染检测方法。
基于上述目的,本发明采取以下技术方案:
基于多特征信息融合的膜组件膜污染检测方法,包括以下步骤:
1)采集膜污染数据;
2)对膜污染数据进行分类编码;
3)利用图像处理技术扩大数据集,得时域图片集,利用图像傅里叶变换得频域数据集;
4)将步骤3)时域图片集和频域数据集均按一定比例分别划分为训练集、测试集和验证集;
5)构建CBAM-MIL-CNN网络模型,将训练集数据信息输入CBAM-MIL-CNN网络模型中,验证CBAM-MIL-CNN网络模型的误差,再将验证集数据信息输入CBAM-MIL-CNN网络模型,对CBAM-MIL-CNN网络模型进行调整和优化;
6)将测试集数据信息输入优化后的CBAM-MIL-CNN网络模型,对膜组件膜污染状态进行识别。
步骤5)CBAM-MIL-CNN模型由网络模型单元1、网络模型单元2、模式识别单元3构成,网络模型单元1、网络模型单元2具有相同的网络结构,网络模型单元1、网络模型单元2的网络结构均包括输入层、分别添加有激活函数的卷积层a、卷积层b、卷积层c、卷积层d和卷积层e和CBAM模块,卷积层a、卷积层b、卷积层e分别还依次添加有批归一化层和池化层,CBAM模块连接于卷积层a、卷积层b的输出端或卷积层a、卷积层b上的批归一化层或池化层的输出端,模式识别单元3利用全连接层将网络模型单元1和网络模型单元2的特征信息进行拼接、输出,送入softmax分类器进行分类、识别。
卷积层a、卷积层b的输出端依次添加有批归一化层、CBAM模块和池化层。
步骤5)中,网络模型单元1中输入时域图片集信息,网络模型单元2中输入频域数据集信息。
步骤5)中,激活函数为Relu激活函数,CBAM-MIL-CNN网络模型优化策略为AdamW优化器,AdamW优化器由Adam优化器和权重衰减组成。
步骤5)中,卷积层a的卷积核大小为3*3,步长为4*4,通道数为64,经卷积、批归一化、CBAM模块特征提取、池化后得大小为30*30*64的输出;卷积层b的卷积核大小为5*5,步长为1*1,通道数为128,经卷积、批归一化、CBAM模块特征提取、池化后得大小为12*12*128的输出;卷积层c和卷积层d的卷积核大小为3*3,步长为1*1,通道数为256,经卷积后得大小为12*12*256的输出;卷积层e的卷积核为3*3,步长为1*1,通道数为64,经卷积、批归一化、池化后得大小为5*5*64的输出;模式识别单元3的全连接层有2个,2个全连接层的个数分别设置为2048和512。
步骤5)中,CBAM模块包括通道注意力模块和空间注意力模块。
膜组件为串联式管式膜组件或并联式中空纤维膜组件。
与现有技术相比,本发明具有以下有益效果:
本发明构建了基于多输入卷积神经网络与自注意力机制相结合的模型(CBAM-MIL-CNN),应用于膜组件膜污染的检测中,首先,CBAM-MIL-CNN网络模型有两个输入层,分别提取时域特征和频域特征,另外,在卷积层和池化层之间添加批归一化层(batchnormalization,BN层),可有效降低过拟合;其次,在批归一化层后添加convolutionalblock attention module(CBAM)模块,可有效降低模型复杂度,提高网络性能;该网络模型在串联式管式膜装置和并联式中空纤维膜组件的膜污染诊断实验中综合性能优异,能够有效实现所有膜污染的高效分类与定位,使得膜法水处理提高出水水质的同时降低能耗,为实际生产提供理论基础。
附图说明
图1,(a)为MIL-CNN模型结构;(b)为CBAM结构图;(c)为通道注意力模块CBAM典型结构;(d)为空间注意力模块SAM典型结构;
图2为本发明的CBAM-MIL-CNN模型;
图3,(a)训练集、测试集和验证集对本发明模型测试结果;(b)不同深度学习优化算法在训练参数时的损失函数;
图4,(a)为串联式管式膜组件膜污染信号特征图;(b)为串联式管式膜组件膜污染特征分布;
图5,(a)为串联式管式膜独立膜污染诊断实验图;(b)为串联式管事膜装置膜污染特征损失函数与迭代次数关系;
图6,(e)对9类故障数据采用小波变换法(wavelet transform,WTF)进行分解提取特征图;(f)为LargeVis算法降维后的特征组成的能量变化图;
图7为BP,SVM和ELM网络的输入进行诊断实验,并与深层网络模型进行诊断结果对比图;
图8,(a)为并联式中空纤维膜组件膜污染信号特征图;(b)为并联式中空纤维膜组件膜污染特征分布;
图9,(c)中空纤维膜独立膜污染诊断实验图;(d)为并联式中空纤维膜组件膜污染特征损失函数与迭代次数关系;
图10,(e)为中空纤维膜各膜污染模式下的小波转化能量谱图;(f)中空纤维膜LargeVis算法特征降维图;
图11为并联式中空纤维膜组件诊断实验准确率和平均运行时间图;
图12为消融实验性能对比结果。
具体实施方式
下面结合具体实施方式和附图对本发明作进一步说明。
传统CNN与BN层
CNN是一类包含卷积计算且具有深度结构的前馈神经网络,基本结构由卷积层、池化层、激活层、全连接层进行级联。
1)卷积层作为CNN的核心卷积其本质是一种数学运算,卷积层的计算式为:
卷积神经网络可有效提取特征。另外,CNN所采用的局部连接和共享权值的方式,降低深度网络的复杂度,另一方面降低了过拟合的风险。
深度神经网络随着网络深度加深,存在训练困难,收敛速度慢的问题。在卷积层后添加批归一化层(batch normalization,BN)可有效改善。利用规范化手段将每层神经网络任意神经元输入值转换为均值为0方差为1的标准正态分布,从而得到较大的梯度,可有效避免梯度消失,学习收敛速度加快,有效提高训练速度。
BN层的前向传导过程为:
1)计算样本均值。
其中,m为样本个数,x为样本。
2)计算样本方差。
3)样本数据标准化处理。
其中,ε为保证分母不为0的随机取值。
4)进行平移和缩放处理。
其中,γ、β为学习参数。
MIL-CNN模型
为了充分利用CNN强大特征提取的能力,本文采用了multiple-convolutionalneural networks(MIL-CNN)模型,其结构如图1(a)所示。与传统CNN相比,MIL-CNN的多输入层具有将故障数据的时域信息图与频域信息图相结合的优势,使特征提取更加全面,从而有效提高故障诊断的准确率。MIL-CNN具体步骤如下:
1)在模型单元1(Net1)和模型单元2(Net2)处分别送入图像进行卷积池化等操作运算,并用forward函数进行信息转发;
2)将Net1和Net2的信息进行聚合,并用模型单元3(Net3)全连接层进行处理;
3)基于标签和soft-max层的输出计算交叉熵损失;
4)反向传播损失并更新Net3中权重和偏差;
5)更新Net1中的参数;
6)更新Net2中的参数。
CBAM模块
精准提取故障特征是提高故障诊断准确率的前提。卷积神经网络的卷积池化中默认特征图(feature map,FM)的每个通道是同等重要的,但由于所承载的信息重要性的不同,认定通道重要性相同缺乏合理性。卷积注意力模块CBAM是以人类视觉***的处理机制为原理,忽略不重要因素,将所有的注意力放在重要区域,以此提高分类准确率。具体做法,给每个信息分配不同的权重,权重越大则信息越重要。CBAM结构如图1(b)所示,包含两个独立的子模块,通道注意力模块(channel attention module,CAM)和空间注意力模块(spatial attention module,SAM)。它与SE-Net相比,在通道注意力模块CAM中添加了并行全局最大池化(global max pooling,GMP),以及空间注意力SAM模块,这样获得的信息就会更加全面,信息重要程度的分配也会更加合理,对后续提高诊断精度有较大帮助。
图1(c)为通道注意力模块CBAM典型结构,输入特征图F(H W C)分别经过基于宽度和高度的全局最大池化(global max pooling)和全局平均池化(global averagepooling),得到11C的两个特征图,然后将它们送入双层神经网络(MLP),第一层神经元数量为C/r(r为减少率),激活函数为ReLU。第二层神经元有一个C数,两层神经元网络是共享的。然后,基于元素对MLP输出特征进行求和,再进行sigmoid激活操作,生成最终的通道注意特征,即M_c。最后,利用M_c和输入特征图F进行元素级乘法运算,生成空间注意模块所需的输入特征。
CAM:图1(d)为空间注意力模块SAM典型结构。使用通道注意力模块的输出特征图F’作为该模块的输入特征图。首先进行基于信道的全局最大池化和全局平均池化,得到两个hw1特征图,然后基于信道进行连接操作(信道拼接)。然后经过7*7卷积运算(7*7优于3*3),降维为1通道,即H W 1。sigmoid生成一个空间注意特征,这是M_s。最后,将所得结果与模块输入的特征图相乘,最终得到所需要的特征。
一幅尺寸为M×N像素的图像f(x,y),其离散傅里叶变换F(u,v)由式(6)给出:
其中,u=0,1,2,3…M-1;v=0,1,2,3…N-1。
根据F(u,v)可以通过傅里叶反变换获得f(x,y),如式(7)所示:
其中,x=0,1,2,3…M-1;y=0,1,2,3…N-1。
式(6)和式(7)构成了图像的二维离散傅里叶变换对。式中:变量u和v是变换分量或频率分量,x和y是空间分量或图像变量。根据傅里叶变换公式(6)可知,F(u,v)为频域图像谱,提取其幅值就可以得到图像信号f(x,y)在各个频率点(u,v)上的强度。傅里叶变换的振幅谱、相位谱、能量谱分别为:
E(u,v)=R2(u,v)+I2(u,v) (10)
其中,R(u,v)和I(u,v)分别是F(u,v)的实部和虚部。
实施例
基于多特征信息融合的膜组件膜污染检测方法,包括以下步骤:
1)采集膜污染数据;
2)对膜污染数据进行分类编码;
3)利用图像处理技术扩大数据集,得时域图片集,利用图像傅里叶变换得频域数据集;
4)将步骤3)时域图片集和频域数据集均按一定比例分别划分为训练集、测试集和验证集;
5)构建CBAM-MIL-CNN网络模型,将训练集数据信息输入CBAM-MIL-CNN网络模型中,验证CBAM-MIL-CNN网络模型的误差,再将验证集数据信息输入CBAM-MIL-CNN网络模型,对CBAM-MIL-CNN网络模型进行调整和优化;
6)将测试集数据信息输入优化后的CBAM-MIL-CNN网络模型,对膜组件膜污染状态进行识别。
步骤5)CBAM-MIL-CNN模型由网络模型单元1、网络模型单元2、模式识别单元3构成,如图2所示,网络模型单元1(Net1)、网络模型单元2(Net2)具有相同的网络结构,网络模型单元1(Net1)、网络模型单元2(Net2)的网络结构均包括输入层、分别添加有ReLU激活函数的卷积层a(图中,即为卷积层a+ReLU激活函数1)、卷积层b(图中,即为卷积层b+ReLU激活函数7)、卷积层c(图中,即为卷积层c+ReLU激活函数8)、卷积层d(即为卷积层d+ReLU激活函数9)和卷积层e(即为卷积层e+ReLU激活函数10),网络模型单元1中输入大小为256*256时域图片集信息,网络模型单元2中输入大小为256*256频域数据集信息,卷积层a+ReLU激活函数1、卷积层b+ReLU激活函数7分别还依次添加有BN层3、CBAM模块6和池化层2,CBAM模块6包括通道注意力模块和空间注意力模块,卷积层e+ReLU激活函数10添加有BN层3和池化层2,模式识别单元3利用全连接层4将网络模型单元1和网络模型单元2的特征信息进行拼接、输出,送入softmax分类器(soft-max层5)进行分类、识别,并采用交叉熵损失函数。
步骤5)中,CBAM-MIL-CNN网络模型优化策略为AdamW优化器,AdamW优化器由Adam优化器和权重衰减组成。
步骤5)中,利用重叠采样生成的大小为256*256故障图片集输入到卷积层中进行特征提取,参数设置如下:卷积层a的卷积核大小为3*3,步长为4*4,通道数为64,经卷积后得大小为62*62*64的输出,在卷积层a后接ReLU激活函数将卷积层a效果进行保留,并提高非线性表达能力得到大小为62*62*64的输出,添加BN层加速网络收敛得到大小为62*62*64的输出;输入CBAM模块进行特征提取、拼接后,接大小为3*3,步长为2*2的池化层可降低参数量加速网络学习,并得到大小为30*30*64的输出;卷积层b的卷积核大小为5*5,步长为1*1,通道数为128,经卷积后得大小为26*26*128的输出,并添加ReLU激活函数以及BN层,得到大小均为26*26*128的输出;输入CBAM模块进行特征提取、拼接后,接大小为3*3,步长为2*2的池化层得到12*12*128的输出;卷积层c和卷积层d的卷积核大小为3*3,步长为1*1,通道数为256,经卷积后得大小为12*12*256的输出;卷积层e的卷积核为3*3,步长为1*1,通道数为64,经卷积后得大小为12*12*64的输出,后接ReLU激活函数以及BN层(批归一化层)不改变输出大小,添加大小为3*3,步长为2*2的池化层得到输出为5*5*64;模式识别单元3的全连接层有2个,2个全连接层的个数分别设置为2048和512,最后利用softmax层进行9种故障概率判断进行输出。
其中:CBAM模块对输入的特征图F(C×H×W),分别在每个channel上进行全局最大池化和全局平均池化,分别得到C个值!然后把C个值作为全连接神经网络输入层的输入,中间隐含层神经元个数压缩设为C/r(r为压缩倍数),输出层神经元个数为C,分别得到结果(隐含层使用Relu激活函数、输出层使用Sigmoid激活函数)!全局最大池化得到1×1×C的权重,全局平均池化得到1×1×C的权重,然后对这2个1×1×C的权重图对应位置相加,最后在使用Sigmoid激活函数输出得到Channel Attention的结果M_c维数为1×1×C。
CBAM-MIL-CNN模型结构参数
在搭建模型时,多个小的卷积核叠加使用要远比一个大的卷积核单独使用效果要好的多,在连通性不变的情况下,大大降低了参数个数和计算复杂度。当然,卷积核也并非越小越好,本发明选择多个相对小的卷积核来进行卷积。深度学习模型通常由随机梯度下降算法进行训练。随机梯度下降算法有许多变形:例如Adam、RMSProp、Adadelta等。这些算法都需要事先设置学习率。学习率决定了在一个小批量(mini-batch)中权重在梯度方向移动的距离。低学习率可以确保局部极小值的保留,但训练过程时间加长并且容易造成过拟合。而高学习率降低训练时长,但容易造成梯度***,虽然BN层可以有效缓解此问题,但合适的学习率对模型的优异性依然具有不容忽视的影响。所以,训练应当从相对较大的学习率开始,这是因为在开始时,初始的随机权重远离最优值。在训练过程中,学习率应当下降,以允许细粒度的权重更新。
与传统的固定学习率不同,在本发明中,设置一个学习率衰减因子α,并设置学习周期为t,每隔一个周期,使学习率τ乘一个α,其表达式为:
τt+1=τt·α (11)
其中α=0.1。
随机选取训练集的训练集、测试集和验证集对模型进行测试,如图3(a)所示,当利用衰减学习率对模型进行训练时,损失数值在10-6左右,并逐渐趋于稳定。固定学习率损失数值与前者有很大差距,同时在相同迭代次数下无法趋于稳定,而本发明采取动态学习率对模型的稳定有着不可忽略的重要性。
在实验过程中,采用AdamW优化器不断更新网络训练参数,使用动态学***均值,使得在训练后期,反复在局部最小值附近抖动。而RMSprop优化算法依然依赖于全局学***稳目标的优点,为不同的参数计算不同的自适应学习率。本发明中,采取AdamW优化器即Adam优化器+权重衰减,效果与Adam+L2正则化相同,但是计算效率更高,因为L2正则化需要在损失函数中加入正则项之后再计算梯度,最后再反向传播,而AdamW直接将正则项的梯度加入反向传播的公式中,避免了手动在损失函数中添加正则项。
本发明CBAM-MIL-CNN模型是在卷积神经网络的模型上构建的,所涉及参数如下表1所示。
表1 CBAM-MIL-CNN模型结构参数
实验对象及膜污染数据获取处理
采用计算流体力学(CFD)软件,针对膜通量由于易受进水流量、温度等影响从而发生膜污染的问题,本文实验以串联式管式膜装置和并联式中空纤维膜组件为研究对象,将二者中引起膜污染发生的因素进行准确分类。
本发明利用重叠采样进行数据增强,获得更多的训练样本,来增强机器学习模型泛化能力。在利用重叠采样进行数据增强,即获取训练故障特征时,每一段故障特征与其后一段特征之间有部分重叠。采用计算流体力学(CFD)软件模拟仿真计算MBR***内的产水量来采集故障数据,在仿真时间内,每类故障采样168000个点,设每个故障样本长度为65536,偏移量为1024,那么重叠采样后,可以制作100个样本。故障样本在归一化后转换成大小为256×256的灰度图像集。
本发明每个实验对象选择9类膜污染,每类膜污染采样100次,每次采样256*256*100个点,并划分成大小为256*256的图像,每类100张,9类故障共900张图,并对每类故障添加标签(编码),按照7∶2∶1的比例选取训练集、验证集、测试集。
表2为膜装置膜污染模式,其中,当跨膜压差恒定时,膜污染主要受进出水COD浓度差(C)、进出水BOD浓度差(B)、混合悬浮液固体浓度(X)、水力停留时间(H)影响。
表2 膜装置膜污染模式
膜污染故障模式 | 种类 | 容差<sup>1</sup> | 容差<sup>2</sup> |
f1 | 无故障 | - | - |
f2 | C偏大 | 5% | 5% |
f3 | C偏小 | 5% | 5% |
f4 | B偏大 | 5% | 5% |
f5 | B偏小 | 5% | 5% |
fi5 | X偏大 | 7% | 5% |
f7 | X偏小 | 7% | 5% |
f8 | H偏大 | 7% | 5% |
f9 | H偏小 | 7% | 5% |
为了更好地加快网络模型训练速度,让数据便于计算和获得更加泛化的结果,对输入数据进行标准化处理,数学表达式为:
实验流程
本发明实验流程分别是采集故障数据、故障分类编码、数据预处理、数据分析与划分、CBAM-MIL-CNN模型搭建、预测编码和结果分析等。具体步骤如下:
1)采集膜污染数据;
2)对膜污染数据进行分类编码;
3)利用重采样图像处理技术扩大数据集,得时域图片集,利用图像傅里叶变换得频域数据集;
4)将步骤3)时域图片集和频域数据集均按7:2:1比例分别划分为训练集、测试集和验证集;
5)构建CBAM-MIL-CNN网络模型,将训练集数据信息输入CBAM-MIL-CNN网络模型中,验证CBAM-MIL-CNN网络模型的误差,再将验证集数据信息输入CBAM-MIL-CNN网络模型,对CBAM-MIL-CNN网络模型进行调整和优化;
6)测试集的实际编码与模型生成预测编码进行编码对比,若预测编码与真实编码结果一致则分类正确,若预测编码与真实编码结果不一致则分类错误;
7)进一步分析CBAM-MIL-CNN模型,从平均准确率、平均精确率、平均召回率、运行时间、决定系数R2角度出发,判断模型的性能。
1、串联式管式膜组件膜污染诊断结果与分析
串联式管式膜组件膜污染模式分别设置为过大、过小、正常三种情况。其中,对进出水COD浓度差和进出水BOD浓度差的容差设置为5%,混合悬浮液固体浓度、水力停留时间的容差设置为7%,如上表2中容差1所示。当串联式管式膜装置中膜污染影响因素的大小超过所设容差,则表明其过大,当低于所设容差,则其过小,当膜污染影响因素在所设容差之内,则表明正常无偏差。根据膜污染因素重要性分析,由于进出水COD浓度差、进出水BOD浓度差、混合悬浮液固体浓度、水力停留时间出现对膜污染影响比较明显,故选择上述四个影响因素作为研究对象进分析。
图4-7为串联式管式膜组件膜污染诊断实验结果。其中:图4(a)为串联式管式膜组件膜污染信号特征图,膜污染特征能够被准确提取。图4(b)为串联式管式膜组件膜污染特征分布,可以看出只有f3和f5膜污染类别存在少量重叠,其余膜污染类别数据之间分离程度很高,相同的膜污染类别数据聚合很紧密,有益于提高本发明故障诊断模型的正确诊断率。在10次独立膜污染诊断实验中,可将9种故障无误差的准确识别,如图5(a)所示。图5(b)则为串联式管式膜组件膜污染特征损失函数与迭代次数关系,损失函数值最终在10-8附近,并且较为稳定,说明模型有非常优良的鲁棒性。同时,将本发明所采取的诊断方法与一些传统故障诊断方法进行对比性实验。由于数据集是在短时间内提取大量数据,数据与数据之间差异细微,数据对比度不够强,所以BP(back propagation)神经网络,支持向量机(support vector machine,SVM)、极限学习机(extreme learning machine,ELM)三种模型无法准确提取特征,从而对膜污染数据无法进行有效分类。因此,在采用传统方法时,需要先对数据进行预处理。方法如下:对9类故障数据采用小波变换法(wavelet transform,WTF)进行分解,提取特征,如图6(e)所示。利用LargeVis算法对9类故障数据进行特征降维,如图6(f)所示为LargeVis算法降维后的特征组成的能量变化图,此时特征数据较之前差异变得更为明显。将这些特征作为BP,SVM和ELM网络的输入进行诊断实验,并与深层网络模型进行诊断结果对比,结果如图7所示。
由图7得知,数据做处理后采用浅层学***均准确率仅为57.39%,为所有诊断模型中诊断效果最差的一个。采用深层网络后,诊断准确率明显提高,基于深度学***,证明了深层网络在串联式管式膜组件膜污染诊断的优越性。MIL-CNN网络要优于传统的CNN网络,并且在MIL-CNN网络中添加SENet模块和SKNet注意力模块后,其膜污染诊断率在不同程度上得到了提高。MIL-CNN、CNN、SENet-CNN、SKNet-CNN四种方法的平均准确率分别是96.16%、95.48%、96.25%和95.76%,其中CBAM-MIL-CNN网络膜污染诊断效果最佳,无误差准确分类的次数3次,平均正确率为98.47%,10次独立实验的诊断准确率均高于其他模型,说明添加注意力机制模块会让模型对特征的提取更加合理。本发明在膜污染诊断方面能够降低模型参数量和过拟合风险,提高模型泛化能力,准确快速的提取膜污染重要特征,可以保持较高的膜污染诊断准确率。因此,本发明的诊断方法在串联式管式膜组件膜污染诊断时,较其他方法有很大的优越性。
2、并联式中空纤维膜组件膜污染诊断结果与分析
以并联式中空纤维膜组件为对象进行仿真验证。选取CFD软件ANSYS,建立并联式中空纤维膜组件得到膜污染数据,设置进出水COD浓度差、进出水BOD浓度差、混合悬浮液固体浓度、水力停留时间的容差均为5%,同样以容差作为膜污染诊断依据,当膜污染因素数值在标准值上下浮动5%以内为正常,高于或低于5%则为过大或过小,故障模式为9类(如上表2中容差2所示),在相同的实验条件下进行并联式中空纤维膜组件膜污染诊断实验。图8-11为并联式中空纤维膜组件膜污染诊断实验结果。其中图8(a)为并联式中空纤维膜组件膜污染信号特征图,图8(b)则为并联式中空纤维膜组件膜污染特征分布。同样对并联式中空纤维膜组件做10次独立膜污染诊断实验,9种故障可以准确识别,如图9(c)所示。图9(d)则为并联式中空纤维膜组件膜污染特征损失函数与迭代次数关系。采用串联式管式膜组件膜污染诊断中的数据预处理方法,各膜污染模式下的小波转化能量谱和LargeVis算法特征降维图如图10所示。在并联式中空纤维膜组件10次诊断准确率实验中,每次诊断实验准确率,以及10次诊断实验平均准确率和平均运行时间如图11所示。
由图8-11得知,经过数据处理的线层神经网络和支持向量机诊断模型虽然能够对膜污染进行诊断,但错分和误判严重,无法完成对膜污染的精确诊断,尤其WTF+LargeVis+ELM模型错分率接近50%,无法在实际生产活动中应用。WTF+LargeVis+BP模型和WTF+LargeVis+SVM模型的诊断准确率虽然较WTF+LargeVis+ELM模型有了一定的提升,但由于模型结构和性能的缺陷,对膜污染特征提取不充分,无法对膜污染进行准确诊断。利用SENet和SKNet优化过的MIL-CNN网络对膜污染的诊断性能虽然优于MIL-CNN网络,但仍低于用CBAM模块优化过的MIL-CNN网络。这是因为CBAM能够避免降低维度,自适应的选择核大小,简化模型复杂程度,提高模型诊断性能。在并联式中空纤维膜组件膜污染诊断实验中,本发明的CBAM-MIL-CNN膜污染诊断模型在10次诊断实验中,诊断准确率最高为99.08%,最低为97.21%,诊断准确率均高于其他诊断模型,平均准确率为98.19%,已经能够很准确、快速的诊断膜污染。
串联式中空纤维膜装置膜污染试验和并联式中空纤维膜组件膜污染实验,均验证了本发明网络模型的合理性与优越性,CBAM-MIL-CNN无需复杂的数据预处理,大幅度降低模型所需要的时间;将时域和频域的信息进行拼接,获取的特征更为全面,有效对不同结构膜装置膜污染进行特征提取与分类,与其他方法相比,本发明的诊断方法在膜污染诊断中有明显的优势。
3、不同噪声下不同模型膜污染诊断结果与分析
在膜生物反应器实际运行过程中,膜组件处理污水时存在环境噪声,同时由于膜组件自身特性也存在噪声,这些噪声在膜污染数据采集时产生不必要的随机性,因此在膜污染诊断实验中加入变噪声实验至关重要。本发明针对并联式中空纤维膜组件膜污染数据为训练样本,在测试样本中加入信噪比分别为-2-6dB的高斯白噪声,采用CBAM-MIL-CNN模型进行膜污染诊断,为了验证本发明的网络模型在故障诊断方面的优越性,将其与MIL-CNN、Squeeze-and-Excitation Networks-MIL-CNN(SENet-CNN)、Selective KernelNetworks-MIL-CNN(SKNet-CNN)进行比较,同时与G.Li[G.Li,J.Wu,C.Deng,Z.Chen,X.Shao,Convolutional neural network-based bayesian Gaussian mixture forintelligent fault diagnosis of rotating machinery,IEEE Trans.Instrum.Meas.70(2021)1–10.]和H.Wu[H.Wu,J.Zhao,Deep convolutional neural network model basedchemical process fault diagnosis,Comput.Chem.Eng.115(2018)185–197.]提出的改进故障诊断模型进行对比实验。其中,Wu等人提出了一种基于DCNN模型的化工过程故障诊断方法(简称DCNN),该模型由卷积层、池层、漏层和全连接层组成。Li等人提出了一种基于CNN和贝叶斯-高斯混合(BGM)的三步智能故障诊断方法(简称CNN-BGM)。将本文所方法得到的膜污染诊断结果与其他网络进行对比分析,实验结果如表3所示。
表3 不同噪声下不同方法诊断正确率
由表3的对比数据可以看到,在不同信噪比的实验结果中,基于CBAM-MIL-CNN的膜组件膜污染诊断准确率均高于其他方法。基于MIL-CNN的诊断方法虽然可以共享卷积核,自动进行特征提取,但采用梯度下降算法很容易使训练结果收敛于局部最小值而非全局最小值,同时池化层会丢失大量有价值信息,忽略局部与整体之间关联性。基于SENet-MIL-CNN和SKNet-MIL-CNN的方法从特征通道之间的关系入手,对特征通道之间的关系进行建模表示,根据重要程度增强有用的特征、抑制没有用的特征,在CNN网络的基础上提升了对膜污染诊断的准确率,同时诊断准确率维持在一个比较平稳的范围内,但无法避免降维,使得模型诊断准确率不及本发明的网络模型。Wu等人提出的故障诊断方法的卷积层和池化层通过滤波器进行局部连接,这有助于更好地提取局部模式或特征,同时可以通过使用dropoutlayers和池化层来避免过度拟合,但由于该模型仍然依赖于历史故障数据样本,因此不适用于没有历史数据或历史数据较少的故障诊断。Li等人将CNN与BGM模型相结合,提出了一种端到端的智能故障诊断方法。该方法可以直接利用原始信号进行端到端故障诊断,无需对信号进行预处理,因此无法精确描述条件特征与相应故障类型之间的因果关系。本发明以故障数据的时域信息和频域信息作为CNN的输入,经卷积层提取特征,然后,利用全连接层实现时域特征和频域特征的拼接后输入分类器进行分类。模型中的批归一化层可有效防止梯度消失,ReLU层可提高非线性模型表达能力,CBAM模块可以简化模型复杂度,提高网络的特征表达能力,池化层可提高模型的容错性,相比于其他膜污染诊断方法其诊断精度更高,泛化能力更好,抗噪性能更强。
4、模型性能对比实验
利用串联式管式膜组件膜污染仿真数据集进行消融实验,利用平均准确率、平均精确率、平均召回率、平均时间、平均决定系数R2共计5种性能作为模型判断依据,分别对CNN、MIL-CNN、CNN+BN、CNN+BN+CBAM、MIL-CNN+BN+CBAM五种模型的性能进行验证。结果如图12所示。
从图12分析可知,在CNN中分别加入BN层和CBAM模块后,模型性能均有不同程度的提升,运行时间降低的同时准确率有着不同幅度的提高。并且MIL-CNN+BN+CBAM模型的5种性能效果要优于其它四种网络模型,从而验证了本发明的CBAM-MIL-CNN模型的有效性和优越性。
Claims (8)
1.基于多特征信息融合的膜组件膜污染检测方法,其特征在于,包括以下步骤:
1) 采集膜污染数据;
2) 对膜污染数据进行分类编码;
3) 利用图像处理技术扩大数据集,得时域图片集,利用图像傅里叶变换得频域数据集;
4) 将步骤3) 时域图片集和频域数据集均按一定比例分别划分为训练集、测试集和验证集;
5) 构建CBAM-MIL-CNN网络模型,将训练集数据信息输入CBAM-MIL-CNN网络模型中,验证CBAM-MIL-CNN网络模型的误差,再将验证集数据信息输入CBAM-MIL-CNN网络模型,对CBAM-MIL-CNN网络模型进行调整和优化;
6) 将测试集数据信息输入优化后的CBAM-MIL-CNN网络模型,对膜组件膜污染状态进行识别。
2.如权利要求1所述的基于多特征信息融合的膜组件膜污染检测方法,其特征在于,步骤5)CBAM-MIL-CNN模型由网络模型单元1、网络模型单元2、模式识别单元3构成,网络模型单元1、网络模型单元2具有相同的网络结构,网络模型单元1、网络模型单元2的网络结构均包括输入层、分别添加有激活函数的卷积层a、卷积层b、卷积层c、卷积层d和卷积层e和CBAM模块,卷积层a、卷积层b、卷积层e分别还依次添加有批归一化层和池化层,CBAM模块连接于卷积层a、卷积层b的输出端或卷积层a、卷积层b上的批归一化层或池化层的输出端,模式识别单元3利用全连接层将网络模型单元1和网络模型单元2的特征信息进行拼接、输出,送入softmax分类器进行分类、识别。
3.如权利要求2所述的基于多特征信息融合的膜组件膜污染检测方法,其特征在于,卷积层a、卷积层b的输出端依次添加有批归一化层、CBAM模块和池化层。
4.如权利要求3所述的基于多特征信息融合的膜组件膜污染检测方法,其特征在于,步骤5)中,网络模型单元1中输入时域图片集信息,网络模型单元2中输入频域数据集信息。
5.如权利要求4所述的基于多特征信息融合的膜组件膜污染检测方法,其特征在于,步骤5)中,激活函数为Relu激活函数,CBAM-MIL-CNN网络模型优化策略为AdamW优化器,AdamW优化器由Adam优化器和权重衰减组成。
6.如权利要求5所述的基于多特征信息融合的膜组件膜污染检测方法,其特征在于,步骤5)中,卷积层a的卷积核大小为3*3,步长为4*4,通道数为64,经卷积、批归一化、CBAM模块特征提取、池化后得大小为30*30*64的输出;卷积层b的卷积核大小为5*5,步长为1*1,通道数为128,经卷积、批归一化、CBAM模块特征提取、池化后得大小为12*12*128的输出;卷积层c和卷积层d的卷积核大小为3*3,步长为1*1,通道数为256,经卷积后得大小为12*12*256的输出;卷积层e的卷积核为3*3,步长为1*1,通道数为64,经卷积、批归一化、池化后得大小为5*5*64的输出;模式识别单元3的全连接层有2个,2个全连接层的个数分别设置为2048和512。
7.如权利要求6所述的基于多特征信息融合的膜组件膜污染检测方法,其特征在于,步骤5)中,CBAM模块包括通道注意力模块和空间注意力模块。
8.如权利要求7所述的基于多特征信息融合的膜组件膜污染检测方法,其特征在于,膜组件为串联式管式膜组件或并联式中空纤维膜组件。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210580086 | 2022-05-25 | ||
CN2022105800864 | 2022-05-25 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115147645A true CN115147645A (zh) | 2022-10-04 |
Family
ID=83408597
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210729844.4A Pending CN115147645A (zh) | 2022-05-25 | 2022-06-24 | 基于多特征信息融合的膜组件膜污染检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115147645A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116108371A (zh) * | 2023-04-13 | 2023-05-12 | 西华大学 | 基于级联异常生成网络的云服务异常诊断方法与*** |
CN117138588A (zh) * | 2023-10-27 | 2023-12-01 | 克拉玛依曜诚石油科技有限公司 | 反渗透***的智能在线清洗方法及其*** |
-
2022
- 2022-06-24 CN CN202210729844.4A patent/CN115147645A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116108371A (zh) * | 2023-04-13 | 2023-05-12 | 西华大学 | 基于级联异常生成网络的云服务异常诊断方法与*** |
CN117138588A (zh) * | 2023-10-27 | 2023-12-01 | 克拉玛依曜诚石油科技有限公司 | 反渗透***的智能在线清洗方法及其*** |
CN117138588B (zh) * | 2023-10-27 | 2024-02-13 | 克拉玛依曜诚石油科技有限公司 | 反渗透***的智能在线清洗方法及其*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111291937A (zh) | 基于支持向量分类与gru神经网络联合的处理污水水质预测方法 | |
Liu et al. | A hybrid WA–CPSO-LSSVR model for dissolved oxygen content prediction in crab culture | |
CN115147645A (zh) | 基于多特征信息融合的膜组件膜污染检测方法 | |
CN111339712A (zh) | 质子交换膜燃料电池剩余寿命预测方法 | |
CN109828089B (zh) | 一种基于dbn-bp的水质参数亚硝酸氮的在线预测方法 | |
CN115169479A (zh) | 污水处理过程远程监控方法、***及存储介质 | |
CN109635763B (zh) | 一种人群密度估计方法 | |
CN112884056A (zh) | 基于优化的lstm神经网络的污水水质预测方法 | |
CN112016251B (zh) | 一种核动力装置故障的诊断方法及*** | |
Zhang et al. | Knowledge distilling based model compression and feature learning in fault diagnosis | |
CN111899905A (zh) | 一种基于核动力装置的故障诊断方法及*** | |
CN115862319A (zh) | 一种面向时空图自编码器的交通流量预测方法 | |
CN115204272A (zh) | 基于多采样率数据的工业***故障诊断方法与设备 | |
CN116307152A (zh) | 时空交互式动态图注意力网络的交通预测方法 | |
Cornelius et al. | Estimating and leveraging uncertainties in deep learning for remaining useful life prediction in mechanical systems | |
CN116052254A (zh) | 基于扩展卡尔曼滤波神经网络的视觉连续情感识别方法 | |
CN113743008A (zh) | 一种燃料电池健康预测方法及*** | |
CN117312939A (zh) | 基于深度学习的sofc***工况辨识方法 | |
Chang et al. | Soft measurement of effluent index in sewage treatment process based on overcomplete broad learning system | |
CN116680639A (zh) | 一种基于深度学习的深海潜水器传感器数据的异常检测方法 | |
CN112414446B (zh) | 一种数据驱动的变速器传感器故障诊断方法 | |
Kang et al. | Research on forecasting method for effluent ammonia nitrogen concentration based on GRA-TCN | |
CN115206444A (zh) | 基于fcm-anfis模型的最佳投药量预测方法 | |
Jin et al. | Wavelons-constructed autoencoder-based deep neural network for fault detection in chemical processes | |
Hu et al. | Fault Diagnosis Using Deep Learning for Wastewater Treatment Processes |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |