CN116610935A - 一种基于发动机振动信号多模态分析的机械故障检测方法 - Google Patents
一种基于发动机振动信号多模态分析的机械故障检测方法 Download PDFInfo
- Publication number
- CN116610935A CN116610935A CN202310554203.4A CN202310554203A CN116610935A CN 116610935 A CN116610935 A CN 116610935A CN 202310554203 A CN202310554203 A CN 202310554203A CN 116610935 A CN116610935 A CN 116610935A
- Authority
- CN
- China
- Prior art keywords
- feature
- dimensional
- module
- characteristic
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 60
- 238000000605 extraction Methods 0.000 claims abstract description 41
- 230000002159 abnormal effect Effects 0.000 claims abstract description 36
- 238000004364 calculation method Methods 0.000 claims abstract description 29
- 230000004927 fusion Effects 0.000 claims abstract description 29
- 239000013598 vector Substances 0.000 claims description 49
- 239000011159 matrix material Substances 0.000 claims description 21
- 238000002156 mixing Methods 0.000 claims description 21
- 238000000034 method Methods 0.000 claims description 20
- 238000010586 diagram Methods 0.000 claims description 16
- 230000002776 aggregation Effects 0.000 claims description 11
- 238000004220 aggregation Methods 0.000 claims description 11
- 238000007493 shaping process Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 5
- 230000001788 irregular Effects 0.000 claims description 5
- 102000002274 Matrix Metalloproteinases Human genes 0.000 claims description 4
- 108010000684 Matrix Metalloproteinases Proteins 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 230000000379 polymerizing effect Effects 0.000 claims description 3
- 238000006116 polymerization reaction Methods 0.000 claims description 2
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 claims 1
- 230000007246 mechanism Effects 0.000 abstract description 6
- 230000008901 benefit Effects 0.000 abstract description 2
- 238000012360 testing method Methods 0.000 description 16
- 238000002474 experimental method Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000000052 comparative effect Effects 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical group OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 2
- 238000002679 ablation Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000013210 evaluation model Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Multimedia (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
Abstract
本发明涉及一种基于发动机振动信号多模态分析的机械故障检测方法，对于提取到的柴油发动机震动信号，首先采用多模态特征提取网络从一维幅值数据及二维图像数据中提取出关于异常信号的图像特征，之后采用混通道特征融合检测网络将特征图拆分为两组，分别采用空间注意力机制与通道注意力机制对特征图进行空间域与通道域的提权计算，将计算得到的特征图再次分组，并通过合并操作得到多维度提权的特征图，最后采用多尺度检测器同时对三个特征图进行检测，判断在该时段内的信号是否存在有异常状态。与现有技术相比，本发明具有准确率高、抗噪声性能好等优点。
Description
技术领域
本发明涉及机器学习技术领域，尤其是涉及一种基于发动机振动信号多模态分析的机械故障检测方法。
背景技术
对柴油发动机进行故障检测可以延长其使用寿命，增强使用安全性，具有重要的经济价值及社会效益。
然而，现有的故障检测方法无法应对实际应用下的强噪声环境，在多工况条件下不具备普适性。同时，现有的故障诊断模型采用单一数据检测方案，例如仅将一维数据作为输入进行异常分析检测，此类检测方案多欠缺对不同形式下的相同数据源其内在相关性和分布差距的考虑，对多源数据的探索存在局限性。
发明内容
本发明的目的是克服上述现有技术存在的缺陷而提供一种基于发动机振动信号多模态分析的机械故障检测方法。
本发明的目的可以通过以下技术方案来实现：
一种基于发动机振动信号多模态分析的机械故障检测方法，包括以下步骤：
采集发电机的振动信号；
将所述振动信号输入多模态特征提取网络，得到多个特征信息；
选取p个特征信息输入混通道特征融合检测网络，进行特征二次处理及检测，输出检测结果
其中，所述多模态特征提取网络包括整形网络、卷积模块、全连接模块及多模态Transformer模块；
所述整形网络用于将输入的发动机振动信号转换为二维图片，卷积模块基于所述二维图片进行特征提取，得到二维特征图片；
所述全连接模块用于提取输入的发动机振动信号的一维特征向量；所述多模态Transformer模块用于整合所述一维特征向量及所述二维特征图片；
所述混通道特征融合检测网络包括特征聚合模块、特征混组模块及多尺度检测模块；
所述特征聚合模块用于将所述p个特征信息进行聚合，得到聚合特征图FM；
所述特征混组模块用于对所述聚合特征图FM进行特征混组，得到多个不同大小的特征图；
所述多尺度检测模块用于对混组后的特征图进行检测，通过检测特征图中是否有异常、不规则纹理区域以判断在当前这一时段内柴油机气缸是否有异常振动信号。
进一步地，所述多模态特征提取网络包括q层结构，各层结构中均包括卷积模块、全连接模块及多模态Transformer模块。
进一步地，所述多模态特征提取网络对所述振动信号进行特征提取，得到多个特征信息，包括以下步骤：
S1、所述振动信号分别输入整形网络及全连接模块，整形网络输出得到二维图片，并将所述二维图片输入卷积模块进行特征提取；
S2、所述全连接模块输出得到一维特征向量；
S3、所述卷积模块输出得到二维特征图片；
S4、将所述一维特征向量及二维特征图片输入多模态Transformer模块，得到整合特征信息；
S5、将所述整合特征信息及二维特征图片输入下一层的卷积模块，将所述一维特征向量输入下一层的全连接模块；
S6、重复步骤S2-S5，直至到达多模态特征提取网络的第q层结构，进行逐层特征提取，得到多个特征信息。
进一步地，所述多模态Transformer模块包括两个多头注意力网络，分别对应所述一维特征向量与二维特征图像的长距离关系交互。
进一步地，所述多模态Transformer模块整合所述一维特征向量及所述二维特征图片包括以下步骤：
将所述一维特征向量分为n个tokens子向量；
将所述二维特征图片等分为n个特征块，将所述特征块延展为n个tokens子向量；
在第一多头注意力网络中，将二维特征图片对应的tokens输入到矩阵中，将一维特征向量对应的tokens输入到矩阵/>与/>中，将计算得到带有图片特征信息的查询矩阵Q与一维幅值特征n信息的键矩阵K进行匹配度计算，将得到的匹配度赋值于对应的特征值矩阵V上，完成图像特征映射至幅值特征的操作；
在第二多头注意力网络中，将二维特征图片对应的tokens输入到矩阵中，将一维特征向量对应的tokens输入到矩阵/>与/>中，将计算得到带有图片特征信息的查询矩阵Q与一维幅值特征n信息的键矩阵K进行匹配度计算，将得到的匹配度赋值于对应的特征值矩阵V上，完成图像特征映射至幅值特征的操作；
其中，在两个多头注意力网络中，对应的两组Q、K、V向量分别由 和矩阵计算得到；
对两个多头注意力网络的输出一维特征向量进行合并，并采用全连接层与ReLU激活函数对合并后的特征进行激活计算，最后将得到的1×1×C向量进行整型计算，得到H×W×C维度的特征图。
进一步地，所述特征聚合模块将所述多模态特征提取网络最底层的3个卷积模块所输出的特征图FM1、FM2及FM3进行聚合，包括以下步骤：
对每个特征图的特征信息进行提升；
FM3由反卷积将特征图的大小扩大两倍、通道数压缩为原来的二分之一，采用add融合方式将FM3的特征赋值于FM2上，得到FM′2；
对FM2特征图进行上采样及通道压缩，并与FM1特征图的特征进行融合得到FM′1；
采用concat层对FM′1、FM′2及FM3三个特征图进行合并，在合并操作过程中对FM′1进行下采样，对FM3进行上采样，聚合得到特征图FM。
进一步地，所述特征混组模块对聚合后的特征图FM进行特征混组，包括以下步骤：
采用1x1卷积层将FM的特征通道数压缩合并至与FM′2相同，采用分组卷积将FM平分为FM_1与FM_2两个特征图，其大小与FM相同，通道数为FM的二分之一；
对分组后的特征图FM_1与FM_2进行特征提取操作，得到FM_1′及FM_2′；
采用相同的并行卷积模块从FM_1′及FM_2′中提取出大小、通道数不同的特征图，构成两组配对组；
采用concat层与1x1卷积层组合的融合模块将所述配对组中的特征图进行合并混组，得到FM1、FM2及FM3三个不同大小的特征图。
进一步地，对特征图FM_1采用空间注意力计算，提升异常信号对应的形态特征信息FM_1′；对FM_2采用通道注意力计算，以提升异常信号的语义特征权值FM_2′；
在FM_1′提取的配对组中包含了空间注意力提权特征值，在FM_2′中提取的配对组中包含了通道注意力提权特征值。
进一步地，采用所述多尺度检测模块对所述特征混组模块输出的特征图进行检测，采用交叉熵分类损失以调节检测器的分类模块，同时基于CIoU位置评估关系进行位置损失的计算。
与现有技术相比，本发明具有以下有益效果：
本发明考虑到发电机振动信号的多模态，通过多模态特征提取网络提取发动机振动信号中的一维幅值向量与二维特征向量，并将所提取到的特征由混通道特征融合检测网络进行特征二次处理及检测，在混通道特征融合模块中包含有空间及通道双维度注意力计算机制，对特征图进行空间域与通道域的提权计算，以实现对振动噪声的抑制，使得网络可抵抗环境噪声和操作条件变化对最终检测结果的影响，适用于实际应用下的强噪声环境，同时在多工况条件下具备普适性；
本发明的准确性和抗噪声性能明显优于现有技术，在不同工作条件下构建的四个数据集上，即使信噪比为-4dB，本发明的准确率也至少达到了99.008％，远高于其他方法。
附图说明
图1为本发明多模态特征提取网络的结构示意图。
图2为本发明实施例中气缸正常及异常工作情况下的波形信号二维图，其中(2a)表示正常工作情况，(2b)表示异常工作情况。
图3为本发明实施例中多模态Transformer模块的结构示意图。
图4为本发明实施例中混通道特征融合检测网络的结构示意图。
图5为本发明实施例中的MITDCNN网络结构示意图。
图6为本发明实施例中，在1800rpm的运行速度下，柴油发动机单缸失火的典型时域信号。
图7为本发明实施例中，在1800rpm的运行速度下，柴油发动机单缸失火的时域信号转换为二维图像后的示意图。
图8为本发明实施例中网络3(MITDCNN)的loss迭代曲线。
图9为本发明实施例中网络3(MITDCNN)AP迭代曲线。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
为解决现有技术中存在的问题，本发明提出了一种基于多模态Transformer特征提取的卷积神经网络(MITDCNN)，用于在强环境噪声和不同工作条件下的柴油发动机失火诊断。
本实施例通过实验收集不同速度下发动机气缸头的振动信号，并从中分别提取出一维幅值向量特征与二维图像特征输入到多模态特征提取网络中，并将所提取到的特征由混通道特征融合检测网络进行特征二次处理及检测，在混通道特征融合模块中包含有空间及通道双维度注意力计算机制，以实现对振动噪声的抑制，使得网络可抵抗环境噪声和操作条件变化对最终检测结果的影响。本实施例通过实验收集的数据集以及与现有代表性算法的比较，验证了所提方法的有效性。结果表明，所提出的MITDCNN的准确性和抗噪声性能明显优于现有算法。在不同工作条件下构建的四个数据集上，即使信噪比为-4dB，所提方法的准确率也至少达到了99.008％，远高于其他方法。
为了强化网络对于异常信号的敏感度，本发明设计了多模态特征提取网络，用于检测柴油发动机的异常信号。相比于单模态特征提取网络，本发明所设计网络同时对一维及二维的数据进行特征提取，提升所提取特征信息的丰富度，整体网络结构如图1所示。
如图1所示，由柴油发电机气缸提取得到的数据信息为波形信号(waveformsignal)，首先通过整形网络(ReshapeNet)将波形信号由一维数据根据时间与幅值转换为二维图片，其次是将波形信号按时间单位抽取出相应的幅值构成一维向量，以此获得在相同时间段内两种不同型态的数据。
气缸正常工作下所输出的波形信号具有一定的规律性，其所转换得到的二维图像为具有一定纹理规则的图像，而当气缸工作状态异常时，则在转换后的图片中出现不规则区域，正常工作及异常工作下所转换得到的二维图像如图2所示。
同理，对于一维向量数据，当气缸出现异常时，其值将出现不规律变换。如图1所示在网络中分为x轴与y轴两个方向对特征进行提取与聚合，在x轴中波形信号通过整形后得到二维图像，之后由卷积模块(ConvNet)进行特征提取，得到二维特征图片，并将所提取到的二维特征图片输入到多模态Transformer模块(Multi-Modal Transformer)中；而多模态Transformer模块的输出特征与卷积模块输出进行聚合，将多模态特征映射到特征图中，在主干网络中由6个上述结构体所叠加组合构成多模态特征提取网络。另一方面，在y轴中，提取到的一维向量向量后采用全连接模块(FCNet)进行特征提取，得到一维特征向量，以获取时序与幅值之间的特征关系，将得到的特征向量输入到多模态Transformer模块中，与二维图像的特征信息进行相互补充，学习异常波形的特征型态。
综上，在多模态特征提取网络而提取二维图像的特征信息为主，同时增加对一维时序特征的提取及融合为补充，扩增网络特征丰富性。网络的核心单元为多模态Transformer模块，负责构建一维及二维输入特征间的关联。
对于一维时序特征，本发明提出的多模态Transformer模块相比于循环神经网络有更优的长依赖解决能力，能够获取更长时序中的特征信息。且将多模态Transformer模块用于对图像特征的提取，则能够提取图各区域特征之间的关联，即全局特征。在本发明中为将一维及二维的输入信息进行融合，设计了多模态Transformer模块，同时对两类输入进行多头注意力计算，并对提取到的特征信息进行融合，多模态Transformer模块结构如图3所示。
如图3所示，在多模态Transformer模块结构中共包含有两个多头注意力网络(Multi Head Attention)，分别对应一维特征向量与二维特征图像的长距离关系交互。
输入到多模态Transformer模块中的两类数据分别做如下预处理操作：一维幅值向量经由全连接层提取到一维特征向量后，将一维特征向量分为n个tokens子向量；二维特征图片由卷积模块提取到特征图后将特征图均等分为n个特征块，之后将特征块延展为n个一维特征向量tokens。
在两个Transformer多头注意力网络中，其对应的两组Q、K、V向量分别由 和/>六个矩阵计算而得。
首先在第一个Transformer模块(Transformer-1Multi Head Attention)中，将转换后图片的二维特征图片对应的tokens输入到矩阵中，将一维幅值向量所对应的tokens输入到/>与/>矩阵中，将计算得到带有图片特征信息的查询矩阵Q与一维幅值特征n信息的键矩阵K进行匹配度计算，将得到的匹配度赋值与对应的特征值矩阵V上，以此完成图像特征映射至幅值特征的操作；
同理，将一维幅值特征对应的tokens输入到第一个Transformer模块(Transformer-2Multi Head Attention)的中，而图像特征所对应的tokens输入至/>与/>矩阵中，以此将幅值特征映射至特征图中。
随后对于多头注意力网络的输出一维特征向量进行合并，并采用全连接层(FCLayer)与ReLU激活函数对合并后的特征进行激活计算，增强其非线性。最后将得到的1×1×C向量进行整型计算，得到H×W×C维度的特征图。
在完成多模态特征的提取后，本发明设计了混通道特征融合网络以将不同层次的网络特征进行合并，提升特征的综合性，并且由于异常信号的出现时长不同，其在转换后的图像中所显示的异常图片块也不同，因此对于异常信号图像的检测，本发明采用了多尺度检测方案，对不同大小的特征图进行检测，综上所设计的网络结构如图4所示。
混通道特征融合网络整体可分为：特征聚合模块、特征混组模块及多尺度检测模块三个部分，每个部分的工作流程及作用分别如下：
首先，在特征聚合模块中将多模态特征提取网络最底层的三个卷积模块所输出的特征图进行聚合，如图4所示，输入到特征聚合模块的为三个大小不同的特征图，分别命名为FM1、FM2及FM3(Feature Map，FM)。从特征维度上分析，FM1至FM3呈语义特征逐级增强状态，因此在聚合操作时首先对每个特征图的特征信息进行提升(UpSample，上采样)，FM3由反卷积将特征图的大小扩大两倍、通道数压缩为原先的二分之一，采用add融合方式将其特征赋值于FM2上，得到FM′2；同理对融合后的FM2特征图进行上采样及通道压缩，与FM1特征图的特征进行融合得到FM′1。之后是采用concat层对FM′1、FM′2及FM3三个特征图进行合并，在合并操作过程中对FM′1进行下采样(DownSample)，对FM3进行上采样，聚合得到的特征图FM其大小同FM′2，该特征图包含有三个层次的特征信息，因此在特征信息丰富度上要优于FM1等三个特征图。
其次，利用特征混组模块对聚合后的特征图FM进行特征混组。采用1x1卷积层将FM的特征通道数压缩合并至与FM′2相同，之后采用分组卷积将FM平分为FM_1与FM_2两个特征图，其大小与FM相同，通道数为FM的二分之一。对分组后的特征图进行特征提取操作，以强化特征图中有效特征特征的权值。在提权操作中，对特征图FM_1采用空间注意力计算(Spatial Attention模型)，提升异常信号对应的形态特征信息FM_1′；对FM_2采用通道注意力计算(Channel Attention模型)，以提升异常信号的语义特征权值FM_2′。之后采用相同的并行卷积模块从FM_1′及FM_2′中提取出大小、通道数不同的特征图。以FM_1′为例，使用滑动步长为2的3x3卷积得到大小与FM1相同，通道数为其二分之一的特征图FM_1′1；采用步长为1的3x3卷积得到大小与FM2相同，通道为其二分之一的FM_1′2，最后是采用3x3反卷积得到大小与FM3相同，通道数同样为其二分之一的FM_1′3。同理，对FM_2′特征图采用并行卷积模块计算得到FM_2′1、FM_2′2与FM_2′3。在特征图参数上，FM_1′1与FM_2′1、FM_1′2与FM_2′2、FM_1′3与FM_2′3相同，将上述三组特征图称之为配对组，在每个配对组中包含了空间注意力提权特征值与通道注意力提权特征值，采用concat层与1x1卷积层组合的融合模块将配对组中的两个特征图进行合并混组，以此得到FM1、FM2及FM3三个不同大小的特征图。
最后，利用多尺度检测模块对混组后的三个特征图进行检测，通过检测特征图中是否有异常、不规则纹理区域以判断在当前这一时段内柴油机气缸是否有异常振动信号。对于检测器，所采用的分类损失与回归损失分别如下所述：在本发明的检测任务中，仅判断转换后的图形区域是否有异常信号，因此其为二分类问题，采用交叉熵分类损失以调节检测器的分类模块，其损失函数公式为：
Loss＝-y*log(p)-(1-y)*log(1-p)
而在位置损失的计算中，异常信息号所生成的图像块区域为规则的矩形，无复杂的边界信息，因此在位置损失基于CIoU位置评估关系进行，其损失公式可表示为：
Loss＝1-CIoU
综上，为更精确的检测到柴油发动机的失火信号，本发明基于基于多模态特征提取网络及混通道特征融合检测网络构造了MITDCNN网络，整体网络结构如图5所示。网络的整体工作原理为：对于提取到的柴油发动机震动信号，首先采用多模态特征提取网络从一维幅值数据及二维图像数据中提取出关于异常信号的图像特征，之后采用混通道特征融合检测网络将特征图拆分为两组，分别采用空间注意力机制与通道注意力机制对特征图进行空间域与通道域的提权计算，并将计算得到的特征图再次分组，并通过合并操作得到多维度提权的特征图，最后采用多尺度检测器同时对三个特征图进行检测，判断在该时段内的信号是否存在有异常状态。所构建的网络细节如下表1所示：
表1MITDCNN网络层结构组成表
基于以上所述，本实施例对柴油机在三种不同运行速度下的失火情况进行研究。三种运行速度为1300rpm、1800rpm、2200rpm，分别对应模拟低速、中速、高速工况。由于三个及以上的气缸失火会导致发动机剧烈振动，无需进行故障检测即可***作者肉眼观测到，因此本实施例重点聚焦于单缸失火和双缸(混合缸)失火。如表4所示，在1300rpm、1800rpm、2200rpm三种速度下进行单缸失火检测，在1800rpm下进行双缸失火检测。每组除失火故障外，均将正常运行时的情况作为对比参照。发动机常见的失火故障基本如表2所列的失火类型所示，由于上述故障所涉及的相关数据已在实验过程中被较为全面地收集起来，因此本实施例采用的数据集具有普适性。
表2柴油发动机在不同运行速度下失效
本实施例中，以25.6kHz的采样频率采集振动信号，每种失火类型的采样时间均为41s，采样时间至少包含900个工作周期，共获得1,049,600个振动序列点。不同运行速度下单缸失火的典型时域信号如图6所示。由于相同工况下不同失火类型的时域信号之间的差异极其微小，很难依据时域信号直接诊断出具体的失火类型。因此，需要借助计算机视觉，分析信号的“纹理结构”进而判断其是否存在异常。同时将振动信号转换为二维图像后的样本如图7所示。
四种不同工况下的数据集划分结果如表3所示。数据集A、B和C分别对应1300rpm、1800rpm和2200rpm三种运行速度下的单缸失火情况，数据集D对应1800rpm运行速度下的混合缸失火情况。由于每种失火故障在不同速度下收集了1,049,600个振动序列点，因此每个标签可以获得511个样本，每个数据集均有Ⅰ、Ⅱ、Ⅲ、Ⅳ、Ⅴ五种标签，可知每个数据集共有2555个样本。最后，训练集、测试集和验证集在这些数据集中分别占80％，10％，10％。
表3不同工作条件下的数据集划分情况
其次，本实施例所采用的环境如表4所示、
表4实验环境
本实施例中，在硬件环境中中央处理器采用了Inter i7 12100，图形处理器采用了Nvidia RTX 3080，其拥有8704个CUDA核心与184个Tensor核心，拥有10GB显存。在软件方面，采用了PyTorch 1.11.0作为深度学***台版本为11.3，cuDNN计算加速库版本为8.2.1。
本实施例采用如下评价指标以判断网络模型的性能：
(1)Precision：评估模型对于信号是否异常的判断准确性，即查准率，其计算公式为：
(2)Recall：评估模型对于异常信号的敏感性，即查全率，其计算公式为：
(3)F1-Score：Precision与Recall指标的调和平均数，其计算公式为：
(4)Average Precision(AP)：评估模型的平均检测精度，通过计算Precision-Recall指标曲线的下包围面积，反映模型的综合性能，其计算公式为
在上式中TP、FP、FN为混淆矩阵中的元素，每个元素所代表的含义分别为：
TP：检测正确目标个数，即正确检测出异常信号图像区域的个数；
FP：检测错误目标个数，即将正常信号的图像区域判断为异常信号的个数；
FN：漏检目标个数，即未将异常信号的图像区域检测出的个数。
在消融实验中，首先将本发明所设计的网络MITDCNN拆解为以下三组网络：
网络1：在特征提取网络中仅采用卷积模块对二维图像特征进行提取，不使用混通道特征融合网络，仅搭配检测网络；
网络2：在特征提取网络中采用多模态特征提取网络对一维及二维特征进行提取，不使用混道特征融合网络，仅搭配检测网络；
网络3：采用多模态特征提取网络与混通道特征融合检测网络即MITDCNN网络。
将上述三个网络采用上述评价指标，对不同工作速度下发动机的振动信号数据集进行测试，对比测试结果如表5-8所示。
表5 1300rpm单缸低速工况数据集对比情况
不同网络在数据集A上的对比测试情况如表5所示，网络1的Precision、Recall、F1-Score及AP指标分别为83.128％、84.035％、83.579％、88.268％，均在[80％,90％]范围内。网络2的Precision、Recall、F1-Score及AP指标均超过了90％，相比于网络1分别提升了9.229％、11.017％、10.106％、6.589％。在网络3中其Precision、Recall、F1-Score及AP指标分别为99.738％、99.888％、99.812％、99.926％，极其接近100％，且其标准偏差控制在1％以内。
表6 1800rpm单缸中速工况数据集对比情况
不同网络在数据集B上的对比测试情况如表6所示，网络1的Precision为83.571％，Recall为84.268％。网络2和网络3的F1-Score及AP指标分别为93.724％、94.968％和99.735％、99.853％，均超过了90％。
表7 2200rpm单缸高速工况数据集对比情况
不同网络在数据集C上的对比测试情况如表7所示，网络1的Precision及Recall分别为84.287％、85.937％，高于数据集A、B中网络1对应的Precision及Recall值。网络2的Recall、F1-Score及AP指标均高于95％，分别为96.872％、95.201％、95.587％。在网络3中其Precision、Recall、F1-Score及AP指标分别为99.184％、99.179％、99.181％、99.217％，相比于网络1提升了14.897％、13.242％、14.077％、11.292％。
表8 1800rpm混合缸中速工况数据集对比情况
不同网络在数据集D上的对比测试情况如表8所示，网络1的Precision、Recall、F1-Score及AP指标分别为81.918％、84.268％、83.076％、86.687％，标准偏差在4％以内。网络2的Precision、Recall、F1-Score及AP指标相比于网络1提升了8.619％、11.225％、9.872％、4.571％。在网络3中其Precision、Recall、F1-Score及AP指标均高于99％，相比于网络2提升了8.473％、4.089％、6.347％、8.481％。
综合表5-8的对比情况，网络1仅采用卷积模块对转换后的图像提取相关特征，而信号转换所得到的灰点纹理图具有无法明显的表示信号正常与否的差异，因此在四个数据集上所得到的precision与recall指标均较低，使得其F1-Score及AP综合性能指标也较低。在网络2中，相比于网络1其对于特征提取的方式采用了多模态特征提取，主干网络融合-维幅值特征后特征的丰富性得到了大幅提高，且采用Transformer模块能够提取出全局特征与卷积模块的局部特征进行互补，特征层面更加完善。因此在上表对比结果中，相比于网络1、网络2的各项指标有较大幅度的提升。最后在网络3中，其相比于网络2主要差异体现在加入了混通道特征融合检测网络，通过对提取到的不同层次特征进行混组聚合，且从空间域与通道域两个维度层面进行特征提权，提升异常信号特征的显著性。从测试及对比结果中，网络3的各项数据均为最优，且相比于网络2提升幅度也较大，因此也说明混通道特征融合检测网络对于提升网络性能有较大帮助。
其次，为了模拟在不同噪声环境下的失火故障信号检测性能,将不同信噪比的噪声添加到原始数据集中。设Psignal和Pnoise分别为信号和噪声能量，则信噪比SNR定义如下：
在噪声环境的消融实验中，对发动机不同的工作速度及缸数的原始信号添加了不同信噪比(-4、-2、0、2、4、6、8、10dB)的高斯白噪声，对比测试了各网络在不同工作条件及噪声环境下对于异常信号的检测性能，三个网络的测试结果分别如表9-11所示。
表9不同信噪比对网络1在各个工作环境下的检测性能测试
/>
表9展示了网络1在不同数据集及不同强度噪声干扰下的检测性能指标，在数据集A中其精确率(Precision)、召回率(Recall)、F1-Score(衡量模型寻找正例的能力)及平均精准度(AP)的平均指标为76.636％、78.058％、77.340％、82.038％。在数据集B、C中其Precision值极为接近，分别为75.616％和75.278％。在数据集D中其Precision值为73.350％，是四个数据集中的最低值。在-4dB噪声干扰的情况下，网络1在四个数据集中的Precision、Recall、F1-Score及AP平均值在[70％,80％]范围内波动，分别为70.760％、72.757％、71.743％、76.995％。
表10不同信噪比对网络2在各个工作环境下的检测性能测试
/>
网络2在不同数据集及不同强度噪声干扰下的检测性能指标如表10所示。在数据集A中其Recall值高于90％，为91.786％，比网络1在数据集A中的Recall值高了13.728％。在数据集B、C、D中其AP值的平均指标分别为92.482％、92.965％、89.345％，且数据集C中的标准偏差多为1.414％。在-2dB噪声干扰的情况下，网络2在四个数据集中Recall、F1-Score及AP的平均值均高于90％，分别为91.940％、90.845％、92.225％，比8dB噪声干扰下Recall、F1-Score及AP的平均值分别高出1.934％、1.587％、1.455％。
表11不同信噪比对网络3在各个工作环境下的检测性能测试
/>
表11展示了网络3在不同数据集及不同强度噪声干扰下的检测性能指标，在数据集A中其Precision、Recall、F1-Score及AP的平均指标均高于99.7％，分别为99.711％、99.754％、99.732％、99.856％。在数据集B、C中其Precision、Recall、F1-Score及AP的平均指标均在[99.1％-99.9％]范围内波动，极其接近100％。在数据集D中其Precision、Recall、F1-Score及AP的平均指标为98.995％、99.304％、99.149％、99.699％，远远高于网络1、2在数据集D中的Precision、Recall、F1-Score及AP的平均指标。
对比三个网络在不同工况及噪声环境下的测试结果，可以得出以下结论，对于网络1其仅由卷积模块对特征进行提取，加入噪声后转换得到的图像纹理特征受到较大干扰，因此在测试结果中网络1的各项性能指标波动较大；而网络2采用了多模态特征提取的方案。通过增加一维特征在一定程度上提高了网络的抗噪性。网络3相比于其他两个网络增加了混通道特征融合模块，在该模块中包含了空间注意力及通道注意力计算，可在空间域与通道域上对噪声进行抑制，因此在测试结果中网络3的各项指标受噪声影响所造成的波动均较小，体现出了很强的鲁棒性。其次网络3(MITDCNN)模型训练过程中损失函数值及精度值的迭代曲线如图8、图9所示。
在本实施例中经过多次实验测试取得以下最优超参数设置：epoch迭代次数为200次，learn rate初始学习率设置为0.001，经训练逐渐收敛至0.00001，动量参数momentum设置为0.954，权重衰减率weight decay设置为0.0013。从图8-9中可以看到，在100个epoch后，损失和模型准确率都保持稳定。损失函数值在短期内快速下降收敛，同时AP值也快速提升，说明网络对于目标特征的学习能力较强。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。
Claims (10)
1.一种基于发动机振动信号多模态分析的机械故障检测方法，其特征在于，包括以下步骤：
采集发电机的振动信号；
将所述振动信号输入多模态特征提取网络，得到多个特征信息；
选取p个特征信息输入混通道特征融合检测网络，进行特征二次处理及检测，输出检测结果
其中，所述多模态特征提取网络包括整形网络、卷积模块、全连接模块及多模态Transformer模块；
所述整形网络用于将输入的发动机振动信号转换为二维图片，卷积模块基于所述二维图片进行特征提取，得到二维特征图片；
所述全连接模块用于提取输入的发动机振动信号的一维特征向量；所述多模态Transformer模块用于整合所述一维特征向量及所述二维特征图片；
所述混通道特征融合检测网络包括特征聚合模块、特征混组模块及多尺度检测模块；
所述特征聚合模块用于将所述p个特征信息进行聚合，得到聚合特征图FM；
所述特征混组模块用于对所述聚合特征图FM进行特征混组，得到多个不同大小的特征图；
所述多尺度检测模块用于对混组后的特征图进行检测，通过检测特征图中是否有异常、不规则纹理区域以判断在当前这一时段内柴油机气缸是否有异常振动信号。
2.根据权利要求1所述的一种基于发动机振动信号多模态分析的机械故障检测方法，其特征在于，所述多模态特征提取网络包括q层结构，各层结构中均包括卷积模块、全连接模块及多模态Transformer模块。
3.根据权利要求2所述的一种基于发动机振动信号多模态分析的机械故障检测方法，其特征在于，所述多模态特征提取网络对所述振动信号进行特征提取，得到多个特征信息，包括以下步骤：
S1、所述振动信号分别输入整形网络及全连接模块，整形网络输出得到二维图片，并将所述二维图片输入卷积模块进行特征提取；
S2、所述全连接模块输出得到一维特征向量；
S3、所述卷积模块输出得到二维特征图片；
S4、将所述一维特征向量及二维特征图片输入多模态Transformer模块，得到整合特征信息；
S5、将所述整合特征信息及二维特征图片输入下一层的卷积模块，将所述一维特征向量输入下一层的全连接模块；
S6、重复步骤S2-S5，直至到达多模态特征提取网络的第q层结构，进行逐层特征提取，得到多个特征信息。
4.根据权利要求1所述的一种基于发动机振动信号多模态分析的机械故障检测方法，其特征在于，所述多模态Transformer模块包括两个多头注意力网络，分别对应所述一维特征向量与二维特征图像的长距离关系交互。
5.根据权利要求4所述的一种基于发动机振动信号多模态分析的机械故障检测方法，其特征在于，所述多模态Transformer模块整合所述一维特征向量及所述二维特征图片包括以下步骤：
将所述一维特征向量分为n个tokens子向量；
将所述二维特征图片等分为n个特征块，将所述特征块延展为n个tokens子向量；
在第一多头注意力网络中，将二维特征图片对应的tokens输入到矩阵中，将一维特征向量对应的tokens输入到矩阵/>与/>中，将计算得到带有图片特征信息的查询矩阵Q与一维幅值特征n信息的键矩阵K进行匹配度计算，将得到的匹配度赋值于对应的特征值矩阵V上，完成图像特征映射至幅值特征的操作；
在第二多头注意力网络中，将二维特征图片对应的tokens输入到矩阵中，将一维特征向量对应的tokens输入到矩阵/>与/>中，将计算得到带有图片特征信息的查询矩阵Q与一维幅值特征n信息的键矩阵K进行匹配度计算，将得到的匹配度赋值于对应的特征值矩阵V上，完成图像特征映射至幅值特征的操作；
其中，在两个多头注意力网络中，对应的两组Q、K、V向量分别由 和矩阵计算得到；
对两个多头注意力网络的输出一维特征向量进行合并，并采用全连接层与ReLU激活函数对合并后的特征进行激活计算，最后将得到的1×1×C向量进行整型计算，得到H×W×C维度的特征图。
6.根据权利要求1所述的一种基于发动机振动信号多模态分析的机械故障检测方法，其特征在于，所述特征聚合模块将所述多模态特征提取网络最底层的3个卷积模块所输出的特征图FM1、FM2及FM3进行聚合，包括以下步骤：
对每个特征图的特征信息进行提升；
FM3由反卷积将特征图的大小扩大两倍、通道数压缩为原来的二分之一，采用add融合方式将FM3的特征赋值于FM2上，得到FM2′；
对FM2特征图进行上采样及通道压缩，并与FM1特征图的特征进行融合得到FM1′；
采用concat层对FM1′、FM2′及FM3三个特征图进行合并，在合并操作过程中对FM1′进行下采样，对FM3进行上采样，聚合得到特征图FM。
7.根据权利要求6所述的一种基于发动机振动信号多模态分析的机械故障检测方法，其特征在于，所述特征混组模块对聚合后的特征图FM进行特征混组，包括以下步骤：
采用1x1卷积层将FM的特征通道数压缩合并至与FM2′相同，采用分组卷积将FM平分为FM_1与FM_2两个特征图，其大小与FM相同，通道数为FM的二分之一；
对分组后的特征图FM_1与FM_2进行特征提取操作，得到FM_1′及FM_2′；
采用相同的并行卷积模块从FM_1′及FM_2′中提取出大小、通道数不同的特征图，构成两组配对组；
采用concat层与1x1卷积层组合的融合模块将所述配对组中的特征图进行合并混组，得到FM1、FM2及FM3三个不同大小的特征图。
8.根据权利要求7所述的一种基于发动机振动信号多模态分析的机械故障检测方法，其特征在于，对特征图FM_1采用空间注意力计算，提升异常信号对应的形态特征信息FM_1′；对FM_2采用通道注意力计算，以提升异常信号的语义特征权值FM_2′；
在FM_1′提取的配对组中包含了空间注意力提权特征值，在FM_2′中提取的配对组中包含了通道注意力提权特征值。
9.根据权利要求1所述的一种基于发动机振动信号多模态分析的机械故障检测方法，其特征在于，采用所述多尺度检测模块对所述特征混组模块输出的特征图进行检测，采用交叉熵分类损失以调节检测器的分类模块。
10.根据权利要求1所述的一种基于发动机振动信号多模态分析的机械故障检测方法，其特征在于，采用所述多尺度检测模块对所述特征混组模块输出的特征图进行检测，基于CIoU位置评估关系进行位置损失的计算。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310554203.4A CN116610935A (zh) | 2023-05-17 | 2023-05-17 | 一种基于发动机振动信号多模态分析的机械故障检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310554203.4A CN116610935A (zh) | 2023-05-17 | 2023-05-17 | 一种基于发动机振动信号多模态分析的机械故障检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116610935A true CN116610935A (zh) | 2023-08-18 |
Family
ID=87681143
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310554203.4A Pending CN116610935A (zh) | 2023-05-17 | 2023-05-17 | 一种基于发动机振动信号多模态分析的机械故障检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116610935A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117152156A (zh) * | 2023-10-31 | 2023-12-01 | 通号通信信息集团有限公司 | 一种基于多模态数据融合的铁路异常检测方法及*** |
-
2023
- 2023-05-17 CN CN202310554203.4A patent/CN116610935A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117152156A (zh) * | 2023-10-31 | 2023-12-01 | 通号通信信息集团有限公司 | 一种基于多模态数据融合的铁路异常检测方法及*** |
| CN117152156B (zh) * | 2023-10-31 | 2024-02-13 | 通号通信信息集团有限公司 | 一种基于多模态数据融合的铁路异常检测方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111028146B (zh) | 基于双判别器的生成对抗网络的图像超分辨率方法 | |
| CN108613802B (zh) | 一种基于深度混合网络结构的机械故障诊断方法 | |
| Mayer et al. | Exposing fake images with forensic similarity graphs | |
| Jia et al. | GTFE-Net: A gramian time frequency enhancement CNN for bearing fault diagnosis | |
| CN116610935A (zh) | 一种基于发动机振动信号多模态分析的机械故障检测方法 | |
| CN114169377A (zh) | 基于g-mscnn的有噪环境中滚动轴承故障诊断方法 | |
| Zhao et al. | A novel deep fuzzy clustering neural network model and its application in rolling bearing fault recognition | |
| Zhang et al. | Imbalanced data enhancement method based on improved DCGAN and its application | |
| CN116403032A (zh) | 基于多域信息融合与深度学习的断路器故障评估方法 | |
| Wang et al. | Using artificial intelligence methods to classify different seismic events | |
| Zhiyong et al. | Fault identification method of diesel engine in light of pearson correlation coefficient diagram and orthogonal vibration signals | |
| CN115733673B (zh) | 一种基于多尺度残差分类器的数据异常检测方法 | |
| CN115356599B (zh) | 一种多模态城市电网故障诊断方法及*** | |
| CN116541771A (zh) | 一种基于多尺度特征融合的非平衡样本轴承故障诊断方法 | |
| Zhu et al. | A novel visual transformer for long-distance pipeline pattern recognition in complex environment | |
| CN113537010B (zh) | 基于单通道图数据增强和迁移训练残差网络的十五相异步电动机滚动轴承故障诊断方法 | |
| CN115525866A (zh) | 一种深度学习滚动轴承故障诊断方法及*** | |
| Zhao et al. | Dimension reduction graph‐based sparse subspace clustering for intelligent fault identification of rolling element bearings | |
| Hou et al. | A lightweight transformer based on feature fusion and global-local parallel stacked self-activation unit for bearing fault diagnosis | |
| Gunawan et al. | Classification of Japanese fagaceae wood based on microscopic image analysis | |
| Li et al. | Feature extraction for engine fault diagnosis utilizing the generalized S-transform and non-negative tensor factorization | |
| Guo et al. | A Neural Network Method for Bearing Fault Diagnosis | |
| Yu et al. | GAN-Based Day and Night Image Cross-Domain Conversion Research and Application | |
| Rajapaksha et al. | Sensitivity analysis of SVM kernel functions in machinery condition classification | |
| CN117725419A (zh) | 一种小样本类不平衡转子故障诊断方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |