CN113792597A - 一种基于自监督特征提取的机械设备异常声音检测方法 - Google Patents
一种基于自监督特征提取的机械设备异常声音检测方法 Download PDFInfo
- Publication number
- CN113792597A CN113792597A CN202110914649.4A CN202110914649A CN113792597A CN 113792597 A CN113792597 A CN 113792597A CN 202110914649 A CN202110914649 A CN 202110914649A CN 113792597 A CN113792597 A CN 113792597A
- Authority
- CN
- China
- Prior art keywords
- self
- data set
- abnormal
- sound
- normal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 104
- 238000001514 detection method Methods 0.000 title claims abstract description 99
- 238000000605 extraction Methods 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 claims abstract description 49
- 238000012549 training Methods 0.000 claims abstract description 39
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 230000005856 abnormality Effects 0.000 claims abstract description 12
- 238000001228 spectrum Methods 0.000 claims description 42
- 238000012360 testing method Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 19
- 230000002547 anomalous effect Effects 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 10
- 230000003595 spectral effect Effects 0.000 claims description 9
- 238000009432 framing Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000013480 data collection Methods 0.000 claims description 2
- 238000002372 labelling Methods 0.000 claims 1
- 230000005236 sound signal Effects 0.000 abstract description 11
- 238000010276 construction Methods 0.000 abstract 1
- 238000003745 diagnosis Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009776 industrial production Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M13/00—Testing of machine parts
- G01M13/04—Bearings
- G01M13/045—Acoustic or vibration analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Signal Processing (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Acoustics & Sound (AREA)
- Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
Abstract
本发明公开了一种基于自监督特征提取的机械设备异常声音检测方法，解决了机械设备异常声音检测主要基于人工构造算法提取声音信号特征，再以此特征进一步进行异常检测，存在人为因素影响较大，人工提取方法通用性不强等问题，提高了机械设备异常声音检测准确率。实现步骤包括：机械设备声音采集；数据预处理；制造异常声音样本；使用正常声音样本和制造的异常声音样本训练卷积网络作为自监督特征提取器；使用提取的正常声音样本特征训练自编码器网络；使用训练好的自监督特征提取器和自编码器网络判断待测机械设备声音是否异常。结果显示基于自监督学习提取的特征更适合做异常检测，准确率高，可应用于现实工厂机械设备异常检测任务。
Description
技术领域
本发明涉及异常声音检测技术领域，具体涉及一种基于自监督特征提取的机械设备异常声音检测方法。
背景技术
随着工业生产自动化的迅速发展，工厂中机械设备正常运行对工业生产有着重要的作用，但工业设备的高度复杂性，导致人工难以检测出设备前期故障，从而造成重大经济损失，因此对机械设备的异常诊断研究有重要意义。目前基于振动信号的机械设备异常检测已被广泛应用。声音信号与振动信号类似，是反应设备运行状态的重要信息来源，并且声音信号具有采集方便、非接触测量、处理速度快等优点。通过对设备运行声音识别来达到监测设备运行状态的目的，并将检测结果用于各种下游任务，例如故障诊断和预测性维护。基于声音信号的机械设备异常检测有着广泛的应用前景，值得深入研究。
目前对于机械设备异常声音检测大多基于信号处理的方法，首先对采集的声音信号进行预处理，然后对提取的特征进行检测。针对列车轴承轨边声学检测，提出了使用多普勒畸变对声音信号进行校正并采用核特征矩阵联合近似对角化的方法提取前校正后的声音信号特征，最后使用SVM进行故障诊断。提出了使用自适应多尺度多结构形态滤波、小波阈值降噪方法和稀疏量分析相结合的方法实现对滚动轴承声学异常检测。提出了采用共振稀疏分解算法对原始声音信号进行降噪，提取信号瞬态冲击成分并使用小波包变换对信号进行分解，最终通过包络谱分析轴承故障。上述方法具有较高的准确率，但是在声音信号特征提取方面，需要对设备运行机理有充分的了解，依赖于信号处理技术和诊断经验。随着大数据时代的到来，基于数据驱动的方法也逐渐被应用在机械设备异常检测中。建立深层神经网络模型，可以直接从底层原始数据出发经过层层网络学习自适应地提取出声音信号特征，摆脱了对大量信号技术和诊断经验的依赖，具有更强的处理高维非线性数据的能力。提出了直接使用发电机正常和故障声音训练BP神经网络达到检测发电机状态的目的。然而在现实中，工厂中机械设备故障率低、故障种类多且操作的环境相对复杂，很难获得的完整的异常声音样本，存在训练过程中设备异常声音样本不可用的难题。有人提出了使用one-class SVM进行异常声音检测。上述方法都具有良好地实用性，但这些方法都是通过人工提取声音特征，造成声音信息的丢失。鉴于这种情况本发明使用自监督的方法进行声音特征提取，并最终进行异常声音检测。
发明内容
有鉴于此，为了解决现有技术中训练数据只有正常声音样本时，由于人工手动提取声音特征可能与下一步异常检测关联性较差，从而造成机械设备异常声音检测准确率低的的问题，本发明提出一种基于自监督特征提取的机械设备异常声音检测方法。
本发明通过以下技术手段解决上述问题：
一方面，本发明提供一种基于自监督特征提取的机械设备异常声音检测方法，包括以下步骤：
S1、采集机械设备正常运行声音数据集D1；
S2、对所有数据样本进行预处理和短时傅里叶变换得到正常样本时频谱数据集D2；
S3、使用正常样本时频谱数据集D2生成异常样本时频谱数据集D3；
S4、将正常样本时频谱数据集D2和生成的异常样本时频谱数据集D3合并成训练数据集D4，使用D4训练深度卷积网络生成自监督特征提取模型Z1；
S5、使用自监督特征提取模型Z1提取D2的特征T1，然后使用T1训练自编码器网络生成异常检测模型Z2；
S6、检测过程中，首先采集机械运行声音样本d5，并进行预处理和短时傅里叶变换得到声音样本时频谱数据d6，然后使用自监督特征提取模型Z1提取d6的特征t2，最后将测试样本特征t2输入异常检测模型Z2进行机械设备异常声音检测。
进一步地，步骤S1中，采集机械设备正常运行声音数据集D1，D1是一个二维矩阵，第一维度表示声音数据集样本个数，第二维度表示声音数据长度。
进一步地，步骤S2中，对声音数据集D1进行分帧，加窗，帧长为512，滑动长度为256，并进行短时傅里叶变化得到声音数据时频数据集D2，D2是一个三维矩阵，第一维度表示数据集样本个数，第二、三维度表示声音数据的频率信息。
进一步地，步骤S3中，使用正常声音时频数据集D2生成异常样本时频谱数据集D3，D3与D2同为三维矩阵；对正常声音样本进行幅值变化生成异常样本，幅值变化公式如下：
其中f1，f2，f3......fn表示频率段范围，
表示时频数据中所有时间段频率为fi的幅值，
表示时频数据中所有时间段频率为fj的幅值，α∈[0，1)，β∈(1，10]，随机选M个频率段幅值进行变化，M∈[1，10]。
进一步地，步骤S4中，使用正常样本时频数据集D2和生成的异常样本时频数据集D3合并生成训练数据集D4，并将正常样本标为0，异常样本标为1训练深度卷积网络生成自监督特征提取模型Z1，该网络通过学习区分正常样本时频数据集D2与异常样本时频数据集D3的附属任务，实现正常样本深度特征提取，进而完成真实异常数据检测的下游任务。
进一步地，步骤S5中，使用提取的正常样本特征T1训练自编码器网络生成异常检测模型Z2，自编码器网络是一对相互连接的子网络，包括编码器和解码器；编码器和解码器分别由一个全连接层组成；编码器中的全连接层将输入数据进行压缩，提取出输入数据中最具有代表性的特征，解码器中的全连接层将提取的特征解压，尽可能地再现生成原始输入。
进一步地，步骤S6中，测试时，首先对测试声音样本d5进行分帧、加窗并进行短时傅里叶变换得到测试样本时频谱数据d6，然后使用特征提取模型Z1提取d6的特征t2，最后将测试样本特征t2输入异常检测模型Z2进行机械设备异常声音检测；利用自编码器网络生成的异常检测模型进行检测时，首先使用正常数据训练一个自编码器网络，让其编码解码学得正常数据的表达方式，故能够以较小的误差重构再现正常数据，而检测过程中的异常数据重构误差很高；最后设置一个阈值α，重构误差大于这个阈值则为异常，否则为正常；因此可将重构误差大小作为异常检测判断标准。
进一步地，使用正常样本和生成的异常样本训练深度卷积网络作为特征提取器，深度卷积网络只有学习到了样本声音的全部深度特征，才能区分出正常样本和随机破坏的异常样本；为实现工厂移动端的使用，采用轻量级卷积网络MoblienetV2，并使用ArcFace作为损失函数，使用Adam优化器优化网络参数，学习率设为0.0001；
其中，Loss为损失函数，N表示批量大小，n表示分类类别数，y表示网络中间层输出，yi表示网络中间层输出的第i个点，
θj分别为输出层的权重和全连接层的输出之间的角度，s为特征超球面半径，m＝0.5，s＝30。
进一步地，自编码器网络编码和解码的过程描述为：
编码过程：h1＝σe(W1x+b1)
解码过程：z＝σd(W2h1+b2)
式中，x表示自编码器网络的输入，h1表示编码器提取出的特征，z表示解码器重构数据，即自编码器网络的输出；σe、σd表示非线性变换，W1、W2、b1和b2表示神经网络的参数，通过优化器最小化x和z之间的重构误差来获得；重构误差ε公式如下：
其中xi表示原始输入数据的第i个点，zi表示生成器生成数据第i个点，q表示数据长度。
另一方面，本发明提供一种基于自监督特征提取的机械设备异常声音检测***，包括：
正常运行声音数据集采集模块，用于采集机械设备正常运行声音数据集D1；
正常样本时频谱数据集获取模块，用于对所有数据样本进行预处理和短时傅里叶变换得到正常样本时频谱数据集D2；
异常样本时频谱数据集获取模块，用于使用正常样本时频谱数据集D2生成异常样本时频谱数据集D3；
自监督特征提取模型生成模块，用于将正常样本时频谱数据集D2和生成的异常样本时频谱数据集D3合并成训练数据集D4，使用D4训练深度卷积网络生成自监督特征提取模型Z1；
异常检测模型生成模块，用于使用自监督特征提取模型Z1提取D2的特征T1，然后使用T1训练自编码器网络生成异常检测模型Z2；
异常声音检测模块，用于检测过程中，首先采集机械运行声音样本d5，并进行预处理和短时傅里叶变换得到声音样本时频谱数据d6，然后使用自监督特征提取模型Z1提取d6的特征t2，最后将测试样本特征t2输入异常检测模型Z2进行机械设备异常声音检测。
与现有技术相比，本发明的有益效果至少包括：
相较于人为设计的算法提取的特征，本发明是基于自监督特征提取的机械设备异常声音检测方法，可以直接从底层数据出发经过层层学习提取声音的深度特征，提高下一步自编码器网络的异常检测准确率，更适合做异常检测，准确率高，可应用于现实工厂机械设备异常检测任务。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明基于自监督特征提取的机械设备异常声音检测方法的训练过程的流程图；
图2是本发明基于自监督特征提取的机械设备异常声音检测方法的检测过程的流程图；
图3是本发明特征提取示意图；
图4是本发明自编码器网络异常检测示意图；
图5是本发明基于自监督特征提取的机械设备异常声音检测***的结构图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合附图和具体的实施例对本发明的技术方案进行详细说明。需要指出的是，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
如图1和图2所示，本发明提出了一种基于自监督特征提取的机械设备异常声音检测方法，包括如下步骤：
S1、采集机械设备正常运行声音数据集D1；
S2、对所有数据样本进行预处理和短时傅里叶变换(STFT)得到正常样本时频谱数据集D3；
S3、使用正常样本时频谱数据集D2生成异常样本时频谱数据集D3；
S4、将正常样本时频谱数据集D2和生成的异常样本时频谱数据集D3合并成训练数据集D4，使用D4训练深度卷积网络生成自监督特征提取模型Z1；
S5、使用自监督特征提取模型Z1提取D2的特征T1，然后使用T1训练自编码器网络生成异常检测模型Z2；
S6、检测过程中，首先采集机械运行声音样本d5，并进行预处理和STFT变换得到声音样本时频谱数据d6，然后使用自监督特征提取模型Z1提取d6的特征t2，最后将测试样本特征t2输入异常检测模型Z2进行机械设备异常声音检测。
步骤S1中，采集机械设备正常运行声音数据集D1，D1是一个二维矩阵，第一维度表示声音数据集样本个数，第二维度表示声音数据长度。
步骤S2中，对声音数据集D1进行分帧，加窗，帧长为512，滑动长度为256，并进行短时傅里叶变化得到声音数据时频数据集D2，D2是一个三维矩阵，第一维度表示数据集样本个数，第二、三维度表示声音数据的频率信息。
步骤S3中，使用正常声音时频数据集D2生成异常样本时频谱数据集D3，D3与D2同为三维矩阵。当机械出现异常时，一些频率段幅值会发生明显变化，因此对正常声音样本进行幅值变化生成异常样本，幅值变化公式如下。
其中f1，f2，f3......fn表示频率段范围，
表示时频数据中所有时间段频率为fi的幅值，
表示时频数据中所有时间段频率为fj的幅值，α∈[0，1)，β∈(1，10]，随机选M个频率段幅值进行变化，M∈[1，10]。
步骤S4中，如图3所示，使用正常样本时频数据集D2和生成的异常样本时频数据集D3合并生成训练数据集D4，并将正常样本标为0，异常样本标为1训练深度卷积网络生成自监督特征提取模型Z1，该网络通过学习区分正常样本时频数据集D2与异常样本时频数据集D3的附属任务，实现正常样本深度特征提取，进而完成真实异常数据检测的下游任务。
使用正常样本和生成的异常样本训练CNN模型作为特征提取器，CNN模型只有学习到了样本声音的全部深度特征，才能区分出正常样本和随机破坏的异常样本。为实现工厂移动端的使用，采用轻量级卷积网络MoblienetV2，并使用Additive Angular Margin作为损失函数，使用Adam优化器优化网络参数，学习率设为0.0001。
其中，Loss为损失函数，N表示批量大小，n表示分类类别数，y表示网络中间层输出，yi表示网络中间层输出的第i个点，
θj分别为输出层的权重和全连接层的输出之间的角度，s为特征超球面半径，m＝0.5，s＝30。
步骤S5中，图4为自编码器网络异常检测流程示意图，使用提取的正常样本特征T1训练自编码器网络生成异常检测模型Z2，自编码器网络是典型的无监督学习方法之一。自编码器网络是一对相互连接的子网络，包括编码器和解码器。编码器和解码器分别由一个全连接层组成。编码器中的全连接层将输入数据进行压缩，提取出输入数据中最具有代表性的特征，解码器中的全连接层将提取的特征解压，尽可能地再现生成原始输入。自编码器网络编码和解码的过程可描述为：
编码过程：h1＝σe(W1x+b1)
解码过程：z＝σd(W2h1+b2)
式中，x表示自编码器网络的输入，h1表示编码器提取出的特征，z表示解码器重构数据，即自编码器网络的输出。σe、σd表示非线性变换，W1、W2、b1和b2表示神经网络的参数，通过优化器最小化x和z之间的重构误差来获得。重构误差ε公式如下：
其中xi表示原始输入数据的第i个点，zi表示生成器生成数据第i个点，q表示数据长度。
步骤S6中，测试时，首先对测试声音样本d5进行分帧、加窗并进行STFT变换得到测试样本时频谱数据d6，然后使用特征提取模型Z1提取d6的特征t2，最后将测试样本特征t2输入异常检测模型Z2进行机械设备异常声音检测。利用自编码器网络生成的异常检测模型进行检测时，首先使用正常数据训练一个自编码器网络，让其编码解码学得正常数据的表达方式，故能够以较小的误差重构再现正常数据，而检测过程中的异常数据重构误差很高。最后设置一个阈值α，重构误差大于这个阈值则为异常，否则为正常。因此可将重构误差(异常分数)大小作为异常检测判断标准。
为证明所提算法的有效性，本发明实施例中对比算法是认为设计算法进行声音特征提取并使用自编码器网络进行异常检测。
用于具体实施例中，使用MIMII公开数据集进行验证。该数据集使用TAMAGO-03麦克风采集了4种不同类型的机械设备声音，采集的声音信号中除了目标机械设备的声音外，还包括了真实工厂背景噪音，采样率为16K，每个样本时长大约为10秒。该数据集包括设备正常状态时声音数据和异常状态时声音数据。训练集中只包含设备正常状态时运行声音，测试集包含设备正常状态运行声音和各种异常状态运行声音，声音数据集划分如表1所示。
表1数据集划分
| Class | Train | Test normal | Test anormal |
| Fan | 3675 | 400 | 1475 |
| Pump | 3349 | 400 | 456 |
| Slider | 2804 | 400 | 890 |
| Valve | 3291 | 400 | 479 |
本发明实施例使用AUC值进行评定。通常ROC曲线线下面积，即AUC被用来评估异常检测算法的性能，AUC值越接近1，表示异常检测算法的性能越好。
表2算法对比测试AUC结果
| Model | Fan | pump | slider | valve | Average |
| Log-mel-AE | 65.2 | 72.6 | 85.0 | 66.5 | 72.3 |
| Mfcc-AE | 64.7 | 73.9 | 84.4 | 67.0 | 72.5 |
| Spectrum-AE | 59.7 | 68.6 | 91.1 | 74.1 | 73.4 |
| Hpassh-AE | 53.3 | 61.2 | 91.7 | 84.5 | 72.7 |
| Hpassp-AE | 64.2 | 80.1 | 81.0 | 56.7 | 70.5 |
| SLFE-AE | 80.0 | 88.5 | 95.4 | 93.1 | 89.3 |
对于同一类型设备，选用不同类型的声音特征时，最终的异常检测结果会不同。对于Fan，使用log-mle特征，结果优于其它几种手动提取的特征。对于Pump，使用Hpss-p特征，结果会优于其它几种手动提取的特征。而对于Slider和Valve，使用Hpss-h特征，检测结果会优于其它特征。手动提取具有一定的局限性，无法提取与异常检测最相关的特征。然而在相同的实验条件下，对4种类型的设备使用自监督特征提取器提取的特征进行异常检测比最优的人工提取的特征检测结果分别高3.7％、8.6％、8.4％和13％。体现本发明实施例提出的基于自监督学习特征提取的机械设备异常声音检测具有更高的准确度。
实施例2
如图5所示，本发明提供一种基于自监督特征提取的机械设备异常声音检测***，包括正常运行声音数据集采集模块、正常样本时频谱数据集获取模块、异常样本时频谱数据集获取模块、自监督特征提取模型生成模块、异常检测模型生成模块和异常声音检测模块；
所述正常运行声音数据集采集模块用于采集机械设备正常运行声音数据集D1；
所述正常样本时频谱数据集获取模块用于对所有数据样本进行预处理和短时傅里叶变换得到正常样本时频谱数据集D2；
所述异常样本时频谱数据集获取模块用于使用正常样本时频谱数据集D2生成异常样本时频谱数据集D3；
所述自监督特征提取模型生成模块用于将正常样本时频谱数据集D2和生成的异常样本时频谱数据集D3合并成训练数据集D4，使用D4训练深度卷积网络生成自监督特征提取模型Z1；
所述异常检测模型生成模块用于使用自监督特征提取模型Z1提取D2的特征T1，然后使用T1训练自编码器网络生成异常检测模型Z2；
所述异常声音检测模块用于检测过程中，首先采集机械运行声音样本d5，并进行预处理和短时傅里叶变换得到声音样本时频谱数据d6，然后使用自监督特征提取模型Z1提取d6的特征t2，最后将测试样本特征t2输入异常检测模型Z2进行机械设备异常声音检测。
本实施例中的其他特征与实施例1相同，故在此不再赘述。
本发明实施的技术方案中，基于MIMII公开数据集，采用基于自监督学习的特征提取的机械设备异常声音检测，使用正常声音时频图生成异常训练样本；使用正常样本和生成的异常样本训练自监督特征提取器，即训练一个二分类CNN网络，CNN的全连接层的输出即为提取的声音样本特征，使用提取的样本特征训练自编码器网络。最后使用训练好的自编码器网络进行机械设备异常声音检测。与人为设计算法提取的声音特征进行异常声音检测结果相比，本发明证明提出的方法提高了检测的准确率，该方法在机械设备异常声音检测方面有广泛的应用前景，为克服传统检测方法缺点，建立完善的自动化检测提供了一种新的解决方案。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于自监督特征提取的机械设备异常声音检测方法，其特征在于，包括以下步骤：
S1、采集机械设备正常运行声音数据集D1；
S2、对所有数据样本进行预处理和短时傅里叶变换得到正常样本时频谱数据集D2；
S3、使用正常样本时频谱数据集D2生成异常样本时频谱数据集D3；
S4、将正常样本时频谱数据集D2和生成的异常样本时频谱数据集D3合并成训练数据集D4，使用D4训练深度卷积网络生成自监督特征提取模型Z1；
S5、使用自监督特征提取模型Z1提取D2的特征T1，然后使用T1训练自编码器网络生成异常检测模型Z2；
S6、检测过程中，首先采集机械运行声音样本d5，并进行预处理和短时傅里叶变换得到声音样本时频谱数据d6，然后使用自监督特征提取模型Z1提取d6的特征t2，最后将测试样本特征t2输入异常检测模型Z2进行机械设备异常声音检测。
2.根据权利要求1所述的基于自监督特征提取的机械设备异常声音检测方法，其特征在于，步骤S1中，采集机械设备正常运行声音数据集D1，D1是一个二维矩阵，第一维度表示声音数据集样本个数，第二维度表示声音数据长度。
3.根据权利要求1所述的基于自监督特征提取的机械设备异常声音检测方法，其特征在于，步骤S2中，对声音数据集D1进行分帧，加窗，帧长为512，滑动长度为256，并进行短时傅里叶变化得到声音数据时频数据集D2，D2是一个三维矩阵，第一维度表示数据集样本个数，第二、三维度表示声音数据的频率信息。
4.根据权利要求1所述的基于自监督特征提取的机械设备异常声音检测方法，其特征在于，步骤S3中，使用正常声音时频数据集D2生成异常样本时频谱数据集D3，D3与D2同为三维矩阵；对正常声音样本进行幅值变化生成异常样本，幅值变化公式如下：
其中f1，f2，f3......fn表示频率段范围，
表示时频数据中所有时间段频率为fi的幅值，
表示时频数据中所有时间段频率为fj的幅值，α∈[0，1)，β∈(1，10]，随机选M个频率段幅值进行变化，M∈[1，10]。
5.根据权利要求1所述的基于自监督特征提取的机械设备异常声音检测方法，其特征在于，步骤S4中，使用正常样本时频数据集D2和生成的异常样本时频数据集D3合并生成训练数据集D4，并将正常样本标为0，异常样本标为1训练深度卷积网络生成自监督特征提取模型Z1，该网络通过学习区分正常样本时频数据集D2与异常样本时频数据集D3的附属任务，实现正常样本深度特征提取，进而完成真实异常数据检测的下游任务。
6.根据权利要求1所述的基于自监督特征提取的机械设备异常声音检测方法，其特征在于，步骤S5中，使用提取的正常样本特征T1训练自编码器网络生成异常检测模型Z2，自编码器网络是一对相互连接的子网络，包括编码器和解码器；编码器和解码器分别由一个全连接层组成；编码器中的全连接层将输入数据进行压缩，提取出输入数据中最具有代表性的特征，解码器中的全连接层将提取的特征解压，尽可能地再现生成原始输入。
7.根据权利要求1所述的基于自监督特征提取的机械设备异常声音检测方法，其特征在于，步骤S6中，测试时，首先对测试声音样本d5进行分帧、加窗并进行短时傅里叶变换得到测试样本时频谱数据d6，然后使用特征提取模型Z1提取d6的特征t2，最后将测试样本特征t2输入异常检测模型Z2进行机械设备异常声音检测；利用自编码器网络生成的异常检测模型进行检测时，首先使用正常数据训练一个自编码器网络，让其编码解码学得正常数据的表达方式，故能够以较小的误差重构再现正常数据，而检测过程中的异常数据重构误差很高；最后设置一个阈值α，重构误差大于这个阈值则为异常，否则为正常；因此可将重构误差大小作为异常检测判断标准。
8.根据权利要求5所述的基于自监督特征提取的机械设备异常声音检测方法，其特征在于，使用正常样本和生成的异常样本训练深度卷积网络作为特征提取器，深度卷积网络只有学习到了样本声音的全部深度特征，才能区分出正常样本和随机破坏的异常样本；为实现工厂移动端的使用，采用轻量级卷积网络MoblienetV2，并使用ArcFace作为损失函数，使用Adam优化器优化网络参数，学习率设为0.0001；
其中，Loss为损失函数，N表示批量大小，n表示分类类别数，y表示网络中间层输出，yi表示网络中间层输出的第i个点，
θj分别为输出层的权重和全连接层的输出之间的角度，s为特征超球面半径，m＝0.5，s＝30。
9.根据权利要求6所述的基于自监督特征提取的机械设备异常声音检测方法，其特征在于，自编码器网络编码和解码的过程描述为：
编码过程：h1＝σe(W1x+b1)
解码过程：z＝σd(W2h1+b2)
式中，x表示自编码器网络的输入，h1表示编码器提取出的特征，z表示解码器重构数据，即自编码器网络的输出；σe、σd表示非线性变换，W1、W2、b1和b2表示神经网络的参数，通过优化器最小化x和z之间的重构误差来获得；重构误差ε公式如下：
其中xi表示原始输入数据的第i个点，zi表示生成器生成数据第i个点，q表示数据长度。
10.一种基于自监督特征提取的机械设备异常声音检测***，其特征在于，包括：
正常运行声音数据集采集模块，用于采集机械设备正常运行声音数据集D1；
正常样本时频谱数据集获取模块，用于对所有数据样本进行预处理和短时傅里叶变换得到正常样本时频谱数据集D2；
异常样本时频谱数据集获取模块，用于使用正常样本时频谱数据集D2生成异常样本时频谱数据集D3；
自监督特征提取模型生成模块，用于将正常样本时频谱数据集D2和生成的异常样本时频谱数据集D3合并成训练数据集D4，使用D4训练深度卷积网络生成自监督特征提取模型Z1；
异常检测模型生成模块，用于使用自监督特征提取模型Z1提取D2的特征T1，然后使用T1训练自编码器网络生成异常检测模型Z2；
异常声音检测模块，用于检测过程中，首先采集机械运行声音样本d5，并进行预处理和短时傅里叶变换得到声音样本时频谱数据d6，然后使用自监督特征提取模型Z1提取d6的特征t2，最后将测试样本特征t2输入异常检测模型Z2进行机械设备异常声音检测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110914649.4A CN113792597A (zh) | 2021-08-10 | 2021-08-10 | 一种基于自监督特征提取的机械设备异常声音检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110914649.4A CN113792597A (zh) | 2021-08-10 | 2021-08-10 | 一种基于自监督特征提取的机械设备异常声音检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113792597A true CN113792597A (zh) | 2021-12-14 |
Family
ID=78875833
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110914649.4A Pending CN113792597A (zh) | 2021-08-10 | 2021-08-10 | 一种基于自监督特征提取的机械设备异常声音检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113792597A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114444546A (zh) * | 2022-01-27 | 2022-05-06 | 东南大学 | 一种基于自监督学习的雷达信号分选识别方法 |
| CN116453526A (zh) * | 2023-04-24 | 2023-07-18 | 中国长江三峡集团有限公司 | 基于声音识别的水轮发电机组多工况异常监测方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110706720A (zh) * | 2019-08-16 | 2020-01-17 | 广东省智能制造研究所 | 一种端到端无监督深度支撑网络的声学异常检测方法 |
| CN112484981A (zh) * | 2020-11-27 | 2021-03-12 | 上海电气电站设备有限公司 | 一种基于卷积自编码器的发电机异常状态监测方法 |
| CN112906624A (zh) * | 2021-03-12 | 2021-06-04 | 合肥工业大学 | 一种基于音视频多模态时序预测的视频数据特征提取方法 |
-
2021
- 2021-08-10 CN CN202110914649.4A patent/CN113792597A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110706720A (zh) * | 2019-08-16 | 2020-01-17 | 广东省智能制造研究所 | 一种端到端无监督深度支撑网络的声学异常检测方法 |
| CN112484981A (zh) * | 2020-11-27 | 2021-03-12 | 上海电气电站设备有限公司 | 一种基于卷积自编码器的发电机异常状态监测方法 |
| CN112906624A (zh) * | 2021-03-12 | 2021-06-04 | 合肥工业大学 | 一种基于音视频多模态时序预测的视频数据特征提取方法 |
Non-Patent Citations (1)
| Title |
|---|
| ZERO SHINMURA: "DCASE2020 TASK2 SELF-SUPERVISED LEARNING SOLUTION", 《DETECTION AND CLASSIFICATION OF ACOUSTIC SCENES AND EVENTS 2020》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114444546A (zh) * | 2022-01-27 | 2022-05-06 | 东南大学 | 一种基于自监督学习的雷达信号分选识别方法 |
| CN114444546B (zh) * | 2022-01-27 | 2024-04-16 | 东南大学 | 一种基于自监督学习的雷达信号分选识别方法 |
| CN116453526A (zh) * | 2023-04-24 | 2023-07-18 | 中国长江三峡集团有限公司 | 基于声音识别的水轮发电机组多工况异常监测方法及装置 |
| CN116453526B (zh) * | 2023-04-24 | 2024-03-08 | 中国长江三峡集团有限公司 | 基于声音识别的水轮发电机组多工况异常监测方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sohaib et al. | Fault diagnosis of rotary machine bearings under inconsistent working conditions | |
| CN110672343B (zh) | 基于多注意力卷积神经网络的旋转机械故障诊断方法 | |
| Yang et al. | Bearing fault automatic classification based on deep learning | |
| CN110795843B (zh) | 一种识别滚动轴承故障的方法及装置 | |
| CN107657250B (zh) | 轴承故障检测及定位方法及检测定位模型实现***和方法 | |
| CN111914883A (zh) | 一种基于深度融合网络的主轴轴承状态评估方法及装置 | |
| CN113792597A (zh) | 一种基于自监督特征提取的机械设备异常声音检测方法 | |
| CN111967508A (zh) | 基于显著图的时间序列异常点检测方法 | |
| CN115424635B (zh) | 一种基于声音特征的水泥厂设备故障诊断方法 | |
| CN116735170A (zh) | 一种基于自注意力多尺度特征提取的智能故障诊断方法 | |
| CN117030263A (zh) | 多传感器信号融合下基于改进残差网络的轴承故障诊断方法 | |
| CN111707472A (zh) | 基于fft和全连接层-svm的滚动轴承故障诊断方法 | |
| Huijie et al. | Structured sparsity assisted online convolution sparse coding and its application on weak signature detection | |
| CN114371009A (zh) | 基于改进随机森林的高速列车轴承故障诊断方法 | |
| Dai et al. | Smart filter aided domain adversarial neural network for fault diagnosis in noisy industrial scenarios | |
| Yu et al. | Sparse time–frequency representation for the transient signal based on low-rank and sparse decomposition | |
| CN110222390B (zh) | 基于小波神经网络的齿轮裂纹识别方法 | |
| CN116484176A (zh) | 一种基于超小波的轴承故障诊断方法、***和存储介质 | |
| CN113758708B (zh) | 一种基于l1范数与组范数约束的滚动轴承信号的频域故障诊断方法 | |
| Aiba et al. | Noise robust acoustic anomaly detection system with nonnegative matrix factorization based on generalized Gaussian distribution | |
| CN112683533A (zh) | 一种用于轴承故障诊断的信号增强方法及*** | |
| Shang et al. | Denoising fused wavelets net for aeroengine bevel gear fault diagnosis | |
| Liu et al. | A Method for Identifying Weak Faults of Rolling Bearings Around Railway Based on PCA&SVD-LMD | |
| CN112560674B (zh) | 一种声音信号质量的检测方法及*** | |
| CN115114955B (zh) | 一种基于声音与振动信号的设备故障检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211214 |
|
| RJ01 | Rejection of invention patent application after publication |