CN115063725B - 基于多尺度自适应ssd算法的飞机蒙皮缺陷识别*** - Google Patents
基于多尺度自适应ssd算法的飞机蒙皮缺陷识别*** Download PDFInfo
- Publication number
- CN115063725B CN115063725B CN202210726144.XA CN202210726144A CN115063725B CN 115063725 B CN115063725 B CN 115063725B CN 202210726144 A CN202210726144 A CN 202210726144A CN 115063725 B CN115063725 B CN 115063725B
- Authority
- CN
- China
- Prior art keywords
- module
- convolution
- feature extraction
- defect
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 68
- 238000000605 extraction Methods 0.000 claims abstract description 57
- 239000011159 matrix material Substances 0.000 claims abstract description 38
- 238000001514 detection method Methods 0.000 claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 30
- 230000004927 fusion Effects 0.000 claims abstract description 28
- 238000000034 method Methods 0.000 claims abstract description 27
- 230000011218 segmentation Effects 0.000 claims abstract description 22
- 230000008569 process Effects 0.000 claims abstract description 17
- 238000002372 labelling Methods 0.000 claims abstract description 13
- 230000006378 damage Effects 0.000 claims abstract description 11
- 238000012163 sequencing technique Methods 0.000 claims abstract description 5
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 3
- 238000012545 processing Methods 0.000 claims description 19
- 230000001629 suppression Effects 0.000 claims description 18
- 238000005070 sampling Methods 0.000 claims description 15
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 7
- 230000010339 dilation Effects 0.000 claims description 6
- 239000003623 enhancer Substances 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000007499 fusion processing Methods 0.000 claims description 3
- 230000003416 augmentation Effects 0.000 claims 1
- 238000011161 development Methods 0.000 abstract description 4
- 230000018109 developmental process Effects 0.000 abstract description 4
- 238000013135 deep learning Methods 0.000 abstract description 3
- 238000012423 maintenance Methods 0.000 abstract description 3
- 230000032683 aging Effects 0.000 description 3
- 230000007797 corrosion Effects 0.000 description 3
- 238000005260 corrosion Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 239000003973 paint Substances 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001808 coupling effect Effects 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000037380 skin damage Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及民用航空器维修技术领域，公开了一种基于多尺度自适应SSD算法的飞机蒙皮缺陷识别***，包括矩阵分割模块、检测网络模块、缺陷分类模块和矩阵拼接模块；矩阵分割模块用于逐帧分割***所获取的视频，将视频中每秒图像分为N帧，将每帧图片分割为若干尺寸一致的样本图片并进行排序和标注；检测网络模块用于网络训练过程的数据读取和特征提取融合；缺陷分类模块用于对检测网络模块的输出结果进行分类预测与位置预测；矩阵拼接模块用于图片还原，合成带有缺陷损伤标注的视频。本发明可以在保证模型性能的同时将深度学习部署到嵌入式开发板设备上，便于在室外移动场景使用，同时提高了模型对小目标的检测精度，提升了飞机蒙皮的检测效率。
Description
技术领域
本发明涉及民用航空器维修技术领域，尤其是一种基于多尺度自适应SSD算法的飞机蒙皮缺陷识别***。
背景技术
近年来，国内外航空客货运运输量的迅速增加，飞机机体结构疲劳老化现象愈发突出。受新冠疫情的影响，国内外航空企业引进新飞机的速度放缓，越来越多的现役飞机机队进入老龄化阶段。为保证飞机运行的高可靠性，国内航空公司普遍采用增加飞机蒙皮检查频率和工时的检修策略。
飞机蒙皮作为飞行过程中承力和传递气动载荷的主要构件，运行过程中会受到交变载荷、外物撞击、腐蚀老化等因素的耦合作用影响，会使蒙皮表面出现裂纹、凹陷、腐蚀、掉漆等损伤。蒙皮损伤缺陷会降低航空飞行的可靠性，严重时会直接危及飞行安全，因此对飞机蒙皮表面进行及时准确的检测尤为重要。
目前，针对飞机蒙皮缺陷的检测工作，主要采用人工目视为主要手段，其工作强度大，易产生误检与漏检，存在检查盲区，高空作业危险性大，易发生安全事故。由于飞机蒙皮缺陷具有不规则、多尺度、大场景、环境信息干扰大等特点，采用机器/深度学习建立检测模型来提升检测精度和速度，具有显著优势。
卷积神经网络以其良好的容错能力、并行处理能力、自学习能力在表面缺陷领域广泛应用，但是其主要在工作站上进行运行，不易于现场移动作业。同时目前现有的SSD、YOLO等一系列智能识别算法对小目标的识别精度较差。从模型复杂度、缺陷特征融合度和计算效率等综合考虑，建立一种用于飞机蒙皮缺陷智能识别的深度学习模型并提出一种用于实际检测的方法非常重要。
发明内容
本发明的目的在于弥补现有技术的不足之处，提供一种基于多尺度自适应SSD算法的飞机蒙皮缺陷识别***。
为了解决上述技术问题，本发明采用如下技术方案：
一种基于多尺度自适应SSD算法的飞机蒙皮缺陷识别***，包括矩阵分割模块、检测网络模块、缺陷分类模块和矩阵拼接模块；
所述矩阵分割模块用于逐帧分割***所获取的视频，将视频中每秒图像分为N帧，以每帧图片的左上角为原点，以每帧图片的横向为X轴，以每帧图片的竖向为Y轴，将每帧图片分割为若干尺寸一致的样本图片，形成分割矩阵，每帧图片中的样本图片按照先行后列顺序进行排序和标注，将样本图片按照排序逐帧输送至所述检测网络模块；
所述检测网络模块包括图像处理增强子模块、特征提取子模块和特征融合子模块；
所述图像处理增强子模块用于网络训练时的数据读取和扩增以及视频处理时的数据读取；所述网络训练时的数据读取和扩增的过程为读取所述矩阵分割模块所输出的样本图片数据集中图像文件夹与标注文件夹内的图像数据与标注数据，对图像数据与标注数据进行扩增，再将扩增后的图像数据与标注数据叠加输送至所述特征提取子模块中；所述视频处理时的数据读取的过程为仅将矩阵分割模块输出的图像数据输送至所述特征提取子模块中；
所述特征提取子模块用于接收所述图像处理增强子模块处理后的图像数据与标注数据，采用卷积神经网络结构进行缺陷特征提取，所述卷积神经网络结构包括自上而下的浅层特征提取部分、中层特征提取部分与深层特征提取部分；
所述特征融合子模块用于融合所述特征提取子模块所输出的部分有效特征层，并将融合后的有效特征层输送至所述缺陷分类模块；
所述缺陷分类模块用于对所述特征融合子模块所输出的有效特征层进行种类预测与位置预测，形成带有缺陷损伤标注的图片并输送至所述矩阵拼接模块；
所述矩阵拼接模块用于将经过所述缺陷分类模块处理后的带有缺陷损伤标注的图片，依照分割矩阵时的排序进行图片还原与逐帧还原，合成带有缺陷损伤标注的视频进行展示。
进一步地，所述网络训练时的扩增，具体过程如下：
对网络训练时的数据读取过程中的图像数据与标注数据进行扩增，扩增方法为：以顺时针方向绕中心点进行随机4种角度的旋转、色域随机扭曲，再将扩增后的图像数据与标注数据叠加输入至所述特征提取子模块中。
进一步地，所述浅层特征提取部分包括3个block，所述浅层特征提取部分中的每个所述block分别包括两个深度可分离卷积与一个池化层；所述深度可分离卷积层为：先进行一次卷积操作之后，再利用1×1×3的卷积核扩大深度。
进一步地，所述中层特征提取部分从上到下依次为1个block和1个多尺度非对称卷积模块和两个卷积层；
所述中层特征提取部分中的所述block中包含三个卷积层与一个池化层；
所述多尺度非对称卷积模块采用并行结构将残差结构与多分支结构结合，所述残差结构用于跳跃连接，跳跃部分为多分支结构，所述多分支结构的通道数分为4条，具体如下：
第一条选用1×1卷积、一次膨胀率为1的3×3卷积；
第二条选用1×1卷积、一次3×3卷积、一次膨胀卷积率为3的3×3卷积；
第三条选用1×3的非对称卷积、一次3×1的非对称卷积，一次膨胀卷积率为5的3×3卷积；
第四条选用一次1×5的非对称卷积，一次5×1的非对称卷积，一次膨胀率为7的3×3卷积；
将所述多分支结构进行堆叠，并与所述残差结构进行合并；
其中，将所述中层特征提取部分中的所述block中的第三个卷积层与最后两个卷积层用于传入所述特征融合子模块的有效特征层，并命名为Mid4_3、Mid5、Mid6。
进一步地，所述深层特征提取部分包括4个block，所述深层特征提取部分中的每个所述block分别由两个卷积层组成；其中，所述深层特征提取部分中的每个所述block的最后一个卷积层为用于传入所述特征融合子模块的有效特征层，并命名为Deep5_2、Deep6_2、Deep7_2、Deep8_2。
进一步地，所述特征融合子模块的融合过程，具体如下：
采用batch Normalization层与激活函数层对所述特征提取子模块中的Mid4_3、Mid5、Mid6、Deep5_2、Deep6_2、Deep7_2层进行处理，处理后分别命名为MMid4_3、MMid5、MMid6、MDeep5_2、MDeep6_2、MDeep7_2、MDeep8_2；卷积层融合分别为OMid4_3、OMid6、ODeep5_2、ODeep6_2、ODeep7_2；其中，OMid4_3采用OMid4_3、一次上采样后的MMid6、两次上采样后的MDeep5_2层经过融合后得到；OMid6采用一次上采样后的MDeep5_2、MMid5、MMid6融合后得到；ODeep5_2采用MDeep5_2与一次上采样后的MDeep6_2融合得到；ODeep6_2采用MDeep6_2与一次上采样后的MDeep7_2融合得到；ODeep7_2采用MDeep7_2与一次上采样的MDeep8_2融合得到。
进一步地，所述缺陷分类模块包括非极大值抑制模块、位置预测模块和种类预测模块；
所述非极大值抑制模块用于去除重复预测或偏差较大的类别和位置坐标值，得到最佳的缺陷种类和位置坐标值；所述非极大值抑制模块与所述特征融合子模块相连，经过所述非极大值抑制模块处理后进行位置预测与种类预测；
所述位置预测模块用于提取所述非极大值抑制模块处理后的位置预测的数据信息，寻找置信度最佳的位置坐标值；
所述种类预测模块用于提取非极大值抑制模块处理后的种类预测的数据信息，寻找置信度较高的种类；
堆叠位置预测与种类预测的结果，将提取的缺陷种类与位置坐标值在所述矩阵分割模块输出的图像数据上显示，并回传至所述矩阵拼接模块。
与现有技术相比，本发明的有益效果是：
1)本发明以残差结构与空洞卷积取代原始SSD算法中的Block5的3个3×3卷积层与最大池化层，由于残差结构与空洞卷积的引入，使得网络的感受野范围加大，同时计算量相较于原始SSD算法减少且模型大小减小，可以提高开发板的运行效率。
2)本发明中，batch Normalization层与激活函数联合使用，可以有效降低模型的过拟合，提升模型的训练速率与效果。
3)本发明中对前两个有效特征层进行替换，通过这种方法可以减少因卷积过程中所导致的语义信息缺失，提高网络的性能。
4)本发明可以在保证模型性能的同时将深度学习部署到嵌入式开发板设备上，便于在室外移动场景使用，同时提高了模型对小目标的检测精度，提升了飞机蒙皮的检测效率。
附图说明
为了使本发明的优点更容易理解，将通过参考在附图中示出的具体实施方式更详细地描述上文简要描述的本发明。可以理解这些附图只描绘了本发明的典型实施方式，因此不应认为是对其保护范围的限制，通过附图以附加的特性和细节来描述和解释本发明。
图1为本发明提供的一种实施例的***原理图；
图2为本发明提供的一种实施例中特征提取子模块的结构图；
图3为本发明提供的一种实施例的方法流程图。
具体实施方式
在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员来说显而易见的是，本发明实施方式可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明实施方式发生混淆，对于本领域公知的一些技术特征未进行描述。
为了彻底了解本发明实施方式，将在下列的描述中提出详细的结构。显然，本发明实施方式的施行并不限定于本领域的技术人员所熟习的特殊细节。本发明的较佳实施方式详细描述如下，然而除了这些详细描述外，本发明还可以具有其他实施方式。
下面结合附图对本发明的实施例作进一步详细的说明：
如图1所示，本发明的实施例提供了一种基于多尺度自适应SSD算法的飞机蒙皮缺陷识别***，主要包括视频预处理模块、检测网络模块、缺陷分类模块。视频预处理模块主要用于对***所获取的视频进行处理，包括矩阵分割模块和矩阵拼接模块。检测网络模块主要用于网络训练过程的数据读取和特征提取融合。缺陷分类模块主要用于对检测网络模块的输出结果进行分类预测与位置预测。
在本实施例中，矩阵分割模块用于逐帧分割***所获取的视频，将视频中每秒图像分为10帧，以每帧图片的左上角为原点，以每帧图片的横向为X轴，以每帧图片的竖向为Y轴，按照每512个像素为一格划分为分割矩阵，即将每帧图片分割为若干512×512的样本图片，不足正方形部分选用黑色补齐，形成分割矩阵，每帧图片中的样本图片按照先行后列顺序进行排序和标注，将样本图片按照排序逐帧输送至检测网络模块。
在本实施例中，检测网络模块包括图像处理增强子模块、特征提取子模块和特征融合子模块。
图像处理增强子模块用于网络训练时的数据读取和扩增以及视频处理时的数据读取；网络训练时的数据读取和扩增的过程为读取矩阵分割模块所输出的样本图片数据集中图像文件夹与标注文件夹内的图像数据与标注数据，对图像数据与标注数据进行扩增，网络训练时的扩增，具体过程如下：对网络训练时的数据读取过程中的图像数据与标注数据进行扩增，扩增方法为：以顺时针方向绕中心点进行随机4种角度的旋转、色域随机扭曲，再将扩增后的图像数据与标注数据叠加输入至特征提取子模块中。视频处理时的数据读取的过程为仅将矩阵分割模块输出的图像数据输送至所述特征提取子模块中。
特征提取子模块用于接收图像处理增强子模块处理后的图像数据与标注数据，采用卷积神经网络结构进行缺陷特征提取，卷积神经网络结构包括自上而下的浅层特征提取部分、中层特征提取部分与深层特征提取部分。
浅层特征提取部分包括3个block，浅层特征提取部分中的每个block分别包括两个深度可分离卷积与一个池化层。深度可分离卷积层为：先进行一次卷积操作之后，再利用1×1×3的卷积核扩大深度。
中层特征提取部分从上到下依次为1个block和1个多尺度非对称卷积模块和两个卷积层。中层特征提取部分中的block中包含三个卷积层与一个池化层。如图2所示，多尺度非对称卷积模块采用并行结构将残差结构与多分支结构结合，残差结构用于跳跃连接，跳跃部分为多分支结构，多分支结构的通道数分为4条，具体如下：第一条选用1×1卷积、一次膨胀率为1的3×3卷积；第二条选用1×1卷积、一次3×3卷积、一次膨胀卷积率为3的3×3卷积；第三条选用1×3的非对称卷积、一次3×1的非对称卷积，一次膨胀卷积率为5的3×3卷积；第四条选用一次1×5的非对称卷积，一次5×1的非对称卷积，一次膨胀率为7的3×3卷积；将多分支结构进行堆叠，并与残差结构进行合并；其中，将中层特征提取部分中的block中的第三个卷积层与最后两个卷积层用于传入特征融合子模块的有效特征层，并命名为Mid4_3、Mid5、Mid6。
深层特征提取部分包括4个block，深层特征提取部分中的每个block分别由两个卷积层组成；其中，深层特征提取部分中的每个block的最后一个卷积层为用于传入特征融合子模块的有效特征层，并命名为Deep5_2、Deep6_2、Deep7_2、Deep8_2。
特征融合子模块用于融合特征提取子模块所输出的部分有效特征层，并将融合后的有效特征层输送至缺陷分类模块。特征融合子模块的融合过程，具体如下：采用batchNormalization层与激活函数层对特征提取子模块中的Mid4_3、Mid5、Mid6、Deep5_2、Deep6_2、Deep7_2层进行处理，处理后分别命名为MMid4_3、MMid5、MMid6、MDeep5_2、MDeep6_2、MDeep7_2、MDeep8_2；卷积层融合分别为OMid4_3、OMid6、ODeep5_2、ODeep6_2、ODeep7_2；其中，OMid4_3采用OMid4_3、一次上采样后的MMid6、两次上采样后的MDeep5_2层经过融合后得到；OMid6采用一次上采样后的MDeep5_2、MMid5、MMid6融合后得到；ODeep5_2采用MDeep5_2与一次上采样后的MDeep6_2融合得到；ODeep6_2采用MDeep6_2与一次上采样后的MDeep7_2融合得到；ODeep7_2采用MDeep7_2与一次上采样的MDeep8_2融合得到。
在本实施例中，缺陷分类模块用于对特征融合子模块所输出的有效特征层进行种类预测与位置预测，形成带有缺陷损伤标注的图片并输送至矩阵拼接模块。缺陷分类模块包括非极大值抑制模块、位置预测模块和种类预测模块。非极大值抑制模块用于去除重复预测或偏差较大的类别和位置坐标值，得到最佳的缺陷种类和位置坐标值；非极大值抑制模块与特征融合子模块相连，经过非极大值抑制模块处理后进行位置预测与种类预测。位置预测模块用于提取非极大值抑制模块处理后的位置预测的数据信息，寻找置信度最佳的位置坐标值。种类预测模块用于提取非极大值抑制模块处理后的种类预测的数据信息，寻找置信度较高的种类。最后堆叠位置预测与种类预测的结果，将提取的缺陷种类与位置坐标值在矩阵分割模块输出的图像数据上显示，并回传至矩阵拼接模块。
在本实施例中，矩阵拼接模块用于将经过缺陷分类模块处理后的带有缺陷损伤标注的图片，依照分割矩阵时的排序进行图片还原与逐帧还原，合成带有缺陷损伤标注的视频进行展示。
如图3所示，本发明的实施例还提供了一种利用上述基于多尺度自适应SSD算法的飞机蒙皮缺陷智能识别***的实现方法，包括以下步骤：
步骤1：飞机蒙皮缺陷数据采集与预处理
首先进行飞机蒙皮缺陷数据采集，通过互联网、实地拍摄等方式获取原始数据图片，然后将飞机蒙皮缺陷图像尺寸划分为512×512像素，得到样本图像，并选用PASCAL VOC2012格式进行图像缺陷标注，形成飞机蒙皮缺陷数据集，并将其以9：1的比例随机分为训练集和验证集；飞机蒙皮缺陷共包括7种，分别为：裂纹、凹坑、掉漆、铆钉损伤、雷击、标签缺失、腐蚀。
步骤2：选取训练集，对多尺度自适应SSD算法模型(该模型即为上文所述的基于多尺度自适应SSD算法的飞机蒙皮缺陷识别***)进行训练，并选用验证集对训练后多尺度自适应SSD算法模型进行验证。
正式训练采用“分段训练-断点续练-固定学习率”的方式进行，单次训练包括100个epoch，开始训练时采用冻结训练与解冻训练相结合，当loss下降较缓慢后采用解冻训练模式进行；训练初始权重采用多尺度自适应SSD模型以ImageNet为数据集所训练权重，后续训练权重选用每个训练周期最后一个epoch的权重为下一训练周期的起始权重。训练终止条件设为val_loss是否收敛。
步骤3：将训练后多尺度自适应SSD算法模型迁移至NVIDIA Jetson AGX Xavier开发板中并配置相关环境，并结合Intel Realsense D435i深度相机进行飞机蒙皮的绕机巡检测试，并通过内置存储将缺陷检测结果进行保存，以便后续查阅。
值得注意的是，针对飞机外场环境下，多尺度自适应SSD算法模型对含有环境因素的情况与不含有环境因素的情况的进行了蒙皮缺陷进行了识别。经实验可知，在含有环境因素时，检测效果会因周围环境导致部分识别不明显，标注位置有所偏差。在不含有环境因素时，模型对缺陷的检测精度较好，即使较小缺陷也可以准确的识别出来，没有出现误检或者漏检的情况。因此，多尺度自适应SSD算法模型能够在复杂背景下对图中的多个目标进行有效识别。
综上所述，本发明的内容并不局限在上述的实施例中，本领域的技术人员可以在本发明的技术指导思想之内提出其他的实施例，但这些实施例都包括在本发明的范围之内。
Claims (3)
1.一种基于多尺度自适应SSD算法的飞机蒙皮缺陷识别***，其特征在于，包括矩阵分割模块、检测网络模块、缺陷分类模块和矩阵拼接模块；
所述矩阵分割模块用于逐帧分割***所获取的视频，将视频中每秒图像分为N帧，以每帧图片的左上角为原点，以每帧图片的横向为X轴，以每帧图片的竖向为Y轴，将每帧图片分割为若干尺寸一致的样本图片，形成分割矩阵，每帧图片中的样本图片按照先行后列顺序进行排序和标注，将样本图片按照排序逐帧输送至所述检测网络模块；
所述检测网络模块包括图像处理增强子模块、特征提取子模块和特征融合子模块；
所述图像处理增强子模块用于网络训练时的数据读取和扩增以及视频处理时的数据读取；所述网络训练时的数据读取和扩增的过程为读取所述矩阵分割模块所输出的样本与图片数据集中图像文件夹与标注文件夹内的图像数据与标注数据，对图像数据与标注数据进行扩增，再将扩增后的图像数据与标注数据叠加输送至所述特征提取子模块中；所述视频处理时的数据读取的过程为仅将矩阵分割模块输出的图像数据输送至所述特征提取子模块中；
所述特征提取子模块用于接收所述图像处理增强子模块处理后的图像数据与标注数据，采用卷积神经网络结构进行缺陷特征提取，所述卷积神经网络结构包括自上而下的浅层特征提取部分、中层特征提取部分与深层特征提取部分；
所述特征融合子模块用于融合所述特征提取子模块所输出的部分有效特征层，并将融合后的有效特征层输送至所述缺陷分类模块；
所述缺陷分类模块用于对所述特征融合子模块所输出的有效特征层进行种类预测与位置预测，形成带有缺陷损伤标注的图片并输送至所述矩阵拼接模块；
所述矩阵拼接模块用于将经过所述缺陷分类模块处理后的带有缺陷损伤标注的图片，依照分割矩阵时的排序进行图片还原与逐帧还原，合成带有缺陷损伤标注的视频进行展示；
所述浅层特征提取部分包括3个block，所述浅层特征提取部分中的每个所述block分别包括两个深度可分离卷积与一个池化层；所述深度可分离卷积层为：先进行一次卷积操作之后，再利用1×1×3的卷积核扩大深度；
所述中层特征提取部分从上到下依次为1个block和1个多尺度非对称卷积模块和两个卷积层；
所述中层特征提取部分中的所述block中包含三个卷积层与一个池化层；
所述多尺度非对称卷积模块采用并行结构将残差结构与多分支结构结合，所述残差结构用于跳跃连接，跳跃部分为多分支结构，所述多分支结构的通道数分为4条，具体如下：
第一条选用1×1卷积、一次膨胀率为1的3×3卷积；
第二条选用1×1卷积、一次3×3卷积、一次膨胀卷积率为3的3×3卷积；
第三条选用1×3的非对称卷积、一次3×1的非对称卷积，一次膨胀卷积率为5的3×3卷积；
第四条选用一次1×5的非对称卷积，一次5×1的非对称卷积，一次膨胀率为7的3×3卷积；
将所述多分支结构进行堆叠，并与所述残差结构进行合并；
其中，将所述中层特征提取部分中的所述block中的第三个卷积层与最后两个卷积层用于传入所述特征融合子模块的有效特征层，并命名为Mid4_3、Mid5、Mid6；
所述深层特征提取部分包括4个block，所述深层特征提取部分中的每个所述block分别由两个卷积层组成；其中，所述深层特征提取部分中的每个所述block的最后一个卷积层为用于传入所述特征融合子模块的有效特征层，并命名为Deep5_2、Deep6_2、Deep7_2、Deep8_2；
所述特征融合子模块的融合过程，具体如下：
采用batch Normalization层与激活函数层对所述特征提取子模块中的Mid4_3、Mid5、Mid6、Deep5_2、Deep6_2、Deep7_2层进行处理，处理后分别命名为MMid4_3、MMid5、MMid6、MDeep5_2、MDeep6_2、MDeep7_2、MDeep8_2；卷积层融合分别为OMid4_3、OMid6、ODeep5_2、ODeep6_2、ODeep7_2；其中，OMid4_3采用OMid4_3、一次上采样后的MMid6、两次上采样后的MDeep5_2层经过融合后得到；OMid6采用一次上采样后的MDeep5_2、MMid5、MMid6融合后得到；ODeep5_2采用MDeep5_2与一次上采样后的MDeep6_2融合得到；ODeep6_2采用MDeep6_2与一次上采样后的MDeep7_2融合得到；ODeep7_2采用MDeep7_2与一次上采样的MDeep8_2融合得到。
2.根据权利要求1所述的基于多尺度自适应SSD算法的飞机蒙皮缺陷识别***，其特征在于，所述网络训练时的扩增，具体过程如下：
对网络训练时的数据读取过程中的图像数据与标注数据进行扩增，扩增方法为：以顺时针方向绕中心点进行随机4种角度的旋转、色域随机扭曲，再将扩增后的图像数据与标注数据叠加输入至所述特征提取子模块中。
3.根据权利要求1所述的基于多尺度自适应SSD算法的飞机蒙皮缺陷识别***，其特征在于，所述缺陷分类模块包括非极大值抑制模块、位置预测模块和种类预测模块；
所述非极大值抑制模块用于去除重复预测或偏差较大的类别和位置坐标值，得到最佳的缺陷种类和位置坐标值；所述非极大值抑制模块与所述特征融合子模块相连，经过所述非极大值抑制模块处理后进行位置预测与种类预测；
所述位置预测模块用于提取所述非极大值抑制模块处理后的位置预测的数据信息，寻找置信度最佳的位置坐标值；
所述种类预测模块用于提取非极大值抑制模块处理后的种类预测的数据信息，寻找置信度较高的种类；
堆叠位置预测与种类预测的结果，将提取的缺陷种类与位置坐标值在所述矩阵分割模块输出的图像数据上显示，并回传至所述矩阵拼接模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210726144.XA CN115063725B (zh) | 2022-06-23 | 2022-06-23 | 基于多尺度自适应ssd算法的飞机蒙皮缺陷识别*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210726144.XA CN115063725B (zh) | 2022-06-23 | 2022-06-23 | 基于多尺度自适应ssd算法的飞机蒙皮缺陷识别*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115063725A CN115063725A (zh) | 2022-09-16 |
| CN115063725B true CN115063725B (zh) | 2024-04-26 |
Family
ID=83203019
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210726144.XA Active CN115063725B (zh) | 2022-06-23 | 2022-06-23 | 基于多尺度自适应ssd算法的飞机蒙皮缺陷识别*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115063725B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116402821B (zh) * | 2023-06-08 | 2023-09-22 | 湖南大学 | 一种基于神经网络的飞机蒙皮涂胶质量缺陷检测方法 |
| CN117788471B (zh) * | 2024-02-27 | 2024-04-26 | 南京航空航天大学 | 一种基于YOLOv5检测飞机蒙皮缺陷和分类的方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110111331A (zh) * | 2019-05-20 | 2019-08-09 | 中南大学 | 基于机器视觉的蜂窝纸芯缺陷检测方法 |
| EP3836019A1 (de) * | 2019-12-09 | 2021-06-16 | Siemens Aktiengesellschaft | Verfahren und assistenzsystem zur überprüfung von mustern auf fehlerhaftigkeit |
| CN113034478A (zh) * | 2021-03-31 | 2021-06-25 | 太原科技大学 | 一种基于深度学习网络的焊缝缺陷识别定位方法、*** |
| CN113362347A (zh) * | 2021-07-15 | 2021-09-07 | 广东工业大学 | 基于多尺度超像素特征增强的图像缺陷区域分割方法和*** |
| WO2021232613A1 (zh) * | 2020-05-22 | 2021-11-25 | 五邑大学 | 酒瓶表面缺陷检测方法、电子装置及存储介质 |
| CN113870199A (zh) * | 2021-09-16 | 2021-12-31 | 江苏航空职业技术学院 | 一种飞机蒙皮缺陷检测的识别方法 |
| CN114119586A (zh) * | 2021-12-01 | 2022-03-01 | 中国计量大学 | 一种基于机器视觉的飞机蒙皮缺陷智能检测方法 |
| CN114240878A (zh) * | 2021-12-16 | 2022-03-25 | 国网河南省电力公司电力科学研究院 | 面向巡检场景的绝缘子缺陷检测神经网络构建与优化方法 |
| CN114565579A (zh) * | 2022-03-02 | 2022-05-31 | 南京航空航天大学 | 一种基于深度学习的飞机蒙皮表面损伤检测方法及*** |
-
2022
- 2022-06-23 CN CN202210726144.XA patent/CN115063725B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110111331A (zh) * | 2019-05-20 | 2019-08-09 | 中南大学 | 基于机器视觉的蜂窝纸芯缺陷检测方法 |
| EP3836019A1 (de) * | 2019-12-09 | 2021-06-16 | Siemens Aktiengesellschaft | Verfahren und assistenzsystem zur überprüfung von mustern auf fehlerhaftigkeit |
| WO2021232613A1 (zh) * | 2020-05-22 | 2021-11-25 | 五邑大学 | 酒瓶表面缺陷检测方法、电子装置及存储介质 |
| CN113034478A (zh) * | 2021-03-31 | 2021-06-25 | 太原科技大学 | 一种基于深度学习网络的焊缝缺陷识别定位方法、*** |
| CN113362347A (zh) * | 2021-07-15 | 2021-09-07 | 广东工业大学 | 基于多尺度超像素特征增强的图像缺陷区域分割方法和*** |
| CN113870199A (zh) * | 2021-09-16 | 2021-12-31 | 江苏航空职业技术学院 | 一种飞机蒙皮缺陷检测的识别方法 |
| CN114119586A (zh) * | 2021-12-01 | 2022-03-01 | 中国计量大学 | 一种基于机器视觉的飞机蒙皮缺陷智能检测方法 |
| CN114240878A (zh) * | 2021-12-16 | 2022-03-25 | 国网河南省电力公司电力科学研究院 | 面向巡检场景的绝缘子缺陷检测神经网络构建与优化方法 |
| CN114565579A (zh) * | 2022-03-02 | 2022-05-31 | 南京航空航天大学 | 一种基于深度学习的飞机蒙皮表面损伤检测方法及*** |
Non-Patent Citations (3)
| Title |
|---|
| 主动红外热像技术在航空发动机叶片缺陷检测中的研究和应用进展;王浩等;《激光与红外》;20211231;第51卷(第12期);全文 * |
| 基于小样本学习的LCD产品缺陷自动检测方法;马岭;鲁越;蒋慧琴;刘玉敏;;智能***学报;20201231(03);全文 * |
| 基于改进型SSD算法的空瓶表面缺陷检测;吴华运;任德均;付磊;郜明;吕义昭;邱吕;;计算机与现代化;20200415(04);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115063725A (zh) | 2022-09-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115063725B (zh) | 基于多尺度自适应ssd算法的飞机蒙皮缺陷识别*** | |
| CN112241699B (zh) | 物体缺陷类别识别方法、装置、计算机设备和存储介质 | |
| CN113658132B (zh) | 基于计算机视觉的结构件焊缝检测方法 | |
| CN111415329B (zh) | 一种基于深度学习的工件表面缺陷检测方法 | |
| CN112967243A (zh) | 一种基于yolo的深度学习芯片封装裂纹缺陷检测方法 | |
| CN107966454A (zh) | 一种基于fpga的端塞缺陷检测装置及检测方法 | |
| CN111047554A (zh) | 一种基于实例分割的复合绝缘子过热缺陷检测方法 | |
| CN107886133A (zh) | 一种基于深度学习的地下管道缺陷自动识别方法 | |
| CN111914720B (zh) | 一种输电线路绝缘子爆裂识别方法及装置 | |
| CN112037219A (zh) | 一种基于两阶段卷积神经网络的金属表面缺陷检测方法 | |
| CN113139528B (zh) | 基于Faster_RCNN的无人机热红外图像堤坝险情检测方法 | |
| CN111080600A (zh) | 一种铁路货车弹簧托板上开口销的故障识别方法 | |
| CN113506239B (zh) | 一种基于跨阶段局部网络的带钢表面缺陷检测方法 | |
| CN110415238A (zh) | 基于反向瓶颈结构深度卷积网络的膜片瑕点检测方法 | |
| CN115170529A (zh) | 基于注意力机制的多尺度微小瑕疵检测方法 | |
| CN113012153A (zh) | 一种铝型材瑕疵检测方法 | |
| CN110009601A (zh) | 基于hog的大型装备不规则外形表面缺陷检测方法 | |
| CN112837281B (zh) | 基于级联卷积神经网络的销钉缺陷识别方法、装置和设备 | |
| CN113205136A (zh) | 一种用于电源适配器外观缺陷的实时高精度检测方法 | |
| CN113516652A (zh) | 电池表面缺陷和粘合剂检测方法、装置、介质和电子设备 | |
| CN111179278B (zh) | 一种图像检测的方法、装置、设备和存储介质 | |
| CN111091533B (zh) | 一种基于改进ssd算法的电池片el缺陷检测方法 | |
| CN116485802A (zh) | 一种绝缘子闪络缺陷检测方法、装置、设备及存储介质 | |
| CN111597939A (zh) | 一种基于深度学习的高铁线路鸟窝缺陷检测方法 | |
| CN113947567B (zh) | 基于多任务学习的缺陷检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |