CN113706496A - 一种基于深度学习模型的飞行器结构裂纹检测方法 - Google Patents
一种基于深度学习模型的飞行器结构裂纹检测方法 Download PDFInfo
- Publication number
- CN113706496A CN113706496A CN202110970084.1A CN202110970084A CN113706496A CN 113706496 A CN113706496 A CN 113706496A CN 202110970084 A CN202110970084 A CN 202110970084A CN 113706496 A CN113706496 A CN 113706496A
- Authority
- CN
- China
- Prior art keywords
- feature map
- crack
- deep learning
- learning model
- comparison
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013136 deep learning model Methods 0.000 title claims abstract description 64
- 238000001514 detection method Methods 0.000 title claims abstract description 52
- 238000000605 extraction Methods 0.000 claims abstract description 43
- 238000012544 monitoring process Methods 0.000 claims abstract description 42
- 238000012549 training Methods 0.000 claims abstract description 28
- 238000000034 method Methods 0.000 claims abstract description 20
- 238000010586 diagram Methods 0.000 claims abstract description 14
- 239000013598 vector Substances 0.000 claims description 53
- 238000011176 pooling Methods 0.000 claims description 19
- 238000012216 screening Methods 0.000 claims description 12
- 238000013135 deep learning Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 230000036541 health Effects 0.000 abstract description 2
- 238000009661 fatigue test Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000013461 design Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000005336 cracking Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本申请属于结构健康监测领域，特别涉及一种基于深度学习模型的飞行器结构裂纹检测方法。包括：步骤一、构建深度学习模型包括：疑似裂纹特征提取模块，用于从待检测图像中提取包含疑似裂纹区域的特征图，并获取疑似裂纹区域的坐标信息；对比特征提取模块，用于根据疑似裂纹区域的坐标信息，从无裂纹的模板图像中提取对应区域的特征图；裂纹判定模块，用于将疑似裂纹特征提取模块输出的特征图与对比特征提取模块输出的特征图进行对比，判定疑似裂纹区域是否有裂纹；步骤二、进行深度学习模型训练；步骤三、进行飞行器结构裂纹检测。本申请能够减小干扰因素对裂纹检测准确率的影响，实现飞行器结构疲劳裂纹准确、快速、实时的识别与预警。
Description
技术领域
本申请属于结构健康监测领域，特别涉及一种基于深度学习模型的飞行器结构裂纹检测方法。
背景技术
金属裂纹是航空结构的一种常见损伤形式。在航空结构疲劳试验过程中及时发现并预警损伤，能够暴露航空结构设计的薄弱环节，支撑结构强度和完整性评估，同时也为航空结构维修手册编写提供依据。目前在飞机全尺寸疲劳试验中裂纹的检测手段主要包括目视检查、涡流和超声等，上述方法均对专家经验具有较强的依赖性，并且由于试验环境复杂、试验加载过程中检测风险大和有限空间操作困难等问题，裂纹检测存在人工成本高、耗时长、检测可靠性偏低等问题。因此，实现航空结构裂纹自动化、智能化的高可靠性检测是飞机全尺寸疲劳试验目前亟需解决的问题。
随着近十余年间机器人技术和人工智能技术的深入发展及其在民用领域的应用，机器视觉为飞机疲劳试验中的裂纹自动化检测提供了一条新的解决途径。通过高精度运动***(如爬行机器人、机械臂)和工业摄像头获取监测部位的高清图像，再应用目标检测算法进行裂纹自动识别并执行损伤预警，可以大幅度降低人工在成本、实时性和危险性等方面的不利影响。
以更快的-区域卷积神经网络(Faster-region Convolutional Neural Network，简称Faster-RCNN)为代表的深度学习目标检测算法，因具备快速、高准确率的优势，目前已被广泛应用于物体识别。但是在飞行器结构疲劳试验中，由于环境的复杂性，检测区域内极易出现污损、划痕等与裂纹特征相似度较高的干扰，造成直接使用现有目标检测算法进行裂纹检测时存在较高的误判率，进而影响疲劳试验进度。
因此，希望有一种技术方案来克服或至少减轻现有技术的至少一个上述缺陷。
发明内容
本申请的目的是提供了一种基于深度学习模型的飞行器结构裂纹检测方法，以解决现有技术存在的至少一个问题。
本申请的技术方案是：
一种基于深度学习模型的飞行器结构裂纹检测方法，包括：
步骤一、构建深度学习模型，所述深度学习模型包括：
疑似裂纹特征提取模块，用于从待检测图像中提取包含疑似裂纹区域的特征图，并获取疑似裂纹区域的坐标信息；
对比特征提取模块，用于根据疑似裂纹区域的坐标信息，从无裂纹的模板图像中提取对应区域的特征图；
裂纹判定模块，用于将疑似裂纹特征提取模块输出的特征图与对比特征提取模块输出的特征图进行对比，判定疑似裂纹区域是否有裂纹；
步骤二、进行深度学习模型训练；
步骤三、通过所述深度学习模型进行飞行器结构裂纹检测。
在本申请的至少一个实施例中，所述疑似裂纹特征提取模块包括待检测图像输入单元、监测区域标定网络单元、基础特征提取网络单元、疑似裂纹特征图单元、区域建议网络单元以及疑似裂纹推荐框单元，其中，
所述待检测图像输入单元用于输入图像，其中，
步骤二中，在进行深度学习模型训练时，所述待检测图像输入单元用于输入有裂纹的图像；
步骤三中，在通过所述深度学习模型进行飞行器结构裂纹检测时，所述待检测图像输入单元用于输入待检测图像；
所述监测区域标定网络单元用于实现对所述待检测图像输入单元输入的图像进行监测区域的标定；
所述基础特征提取网络单元用于从监测区域中提取基础特征；
所述疑似裂纹特征图单元用于提取包含具有基础特征的监测区域的特征图；
所述区域建议网络单元用于获取具有基础特征的监测区域的坐标信息；
所述疑似裂纹推荐框单元用于根据包含具有基础特征的监测区域的特征图生成推荐框特征图。
在本申请的至少一个实施例中，所述对比特征提取模块包括模板图像输入单元、监测区域标定网络单元、基础特征提取网络单元、对比特征图单元以及疑似裂纹对比框单元，其中，
所述模板图像输入单元用于输入无裂纹的模板图像，其中，
步骤二中，在进行深度学习模型训练时，所述模板图像输入单元用于输入两个无裂纹的模板图像；
步骤三中，在通过所述深度学习模型进行飞行器结构裂纹检测时，所述模板图像输入单元用于输入一个无裂纹的模板图像；
所述监测区域标定网络单元用于实现对所述模板图像输入单元输入的模板图像进行监测区域的标定；
所述基础特征提取网络单元用于从监测区域中提取基础特征；
所述对比特征图单元用于提取包含具有基础特征的监测区域的特征图；
所述疑似裂纹对比框单元用于根据所述区域建议网络单元输出的坐标信息提取对应的包含具有基础特征的监测区域的特征图，并根据对应的包含具有基础特征的监测区域的特征图生成对比框特征图。
在本申请的至少一个实施例中，步骤二中，在进行深度学习模型训练时，在所述疑似裂纹对比框单元中生成有的对比框特征图包括基于第一模板图像生成的第一对比框特征图，以及基于第二模板图像生成的第二对比框特征图。
在本申请的至少一个实施例中，所述裂纹判定模块包括推荐框池化网络单元、数据组合网络单元以及分类网络单元，其中，
所述推荐框池化网络单元用于对推荐框特征图以及对比框特征图进行池化处理；
所述数据组合网络单元用于将推荐框特征图以及对比框特征图按照裂纹位置进行重新排列组合；
所述分类网络单元用于从重新排列组合后的推荐框特征图以及对比框特征图中筛选出有裂纹的推荐框特征图。
在本申请的至少一个实施例中，经过所述推荐框池化网络单元池化处理后的推荐框特征图以及对比框特征图具有相同尺寸。
在本申请的至少一个实施例中，步骤二中，在进行深度学习模型训练时，所述数据组合网络单元中将推荐框特征图以及对比框特征图按照裂纹位置进行重新排列组合具体为：
将同一区域的推荐框特征图、第一对比框特征图以及第二对比框特征图组合为一个三元组。
在本申请的至少一个实施例中，步骤二中，在进行深度学习模型训练时，所述分类网络单元中从重新排列组合后的推荐框特征图以及对比框特征图中筛选出有裂纹的推荐框特征图具体为：
将三元组通过深度学习网络模型进一步提取特征，特征归一化后每个特征图均转化为一个128维的特征向量；
对各个三元组内的3个特征向量进行拼接，具体为：分别将推荐框特征图与第一对比框特征图的特征向量进行拼接，将第一对比框特征图与第二对比框特征图的特征向量进行拼接，每个三元组得到两个256维的拼接向量；
将拼接向量送入分类层进行分类，筛选出分类结果为有裂纹的推荐框特征图的128维的特征向量，并将有裂纹的推荐框特征图的128维的特征向量送入回归层，进行裂纹位置的预测。
在本申请的至少一个实施例中，步骤三中，通过所述深度学习模型进行飞行器结构裂纹检测时，所述数据组合网络单元中将推荐框特征图以及对比框特征图按照裂纹位置进行重新排列组合具体为：
将同一区域的推荐框特征图以及对比框特征图组合为一个二元组。
在本申请的至少一个实施例中，步骤三中，通过所述深度学习模型进行飞行器结构裂纹检测时，所述分类网络单元中从重新排列组合后的推荐框特征图以及对比框特征图中筛选出有裂纹的推荐框特征图具体为：
将二元组通过深度学习网络模型进一步提取特征，特征归一化后每个特征图均转化为一个128维的特征向量；
对各个二元组内的2个特征向量进行拼接，具体为：将推荐框特征图与对比框特征图的特征向量进行拼接，每个二元组得到一个256维的拼接向量；
将拼接向量送入分类层进行分类，筛选出分类结果为有裂纹的推荐框特征图的128维的特征向量，并将有裂纹的推荐框特征图的128维的特征向量送入回归层，进行裂纹位置的预测。
发明至少存在以下有益技术效果：
本申请的基于深度学习模型的飞行器结构裂纹检测方法，能够减小划痕、污损等干扰因素对裂纹检测准确率的影响，实现飞行器结构疲劳裂纹准确、快速、实时的识别与预警。
附图说明
图1是本申请一个实施方式的基于深度学习模型的飞行器结构裂纹检测方法的整体架构；
图2是本申请一个实施方式的数据组合网络单元的工作流程图；
图3是本申请一个实施方式的分类网络单元结构示意图；
图4是本申请一个实施方式的分类网络单元对三元组的特征拼接示意图。
其中：
1-疑似裂纹特征提取模块；2-对比特征提取模块；3-裂纹判定模块；4-待检测图像输入单元；5-监测区域标定网络单元；6-基础特征提取网络单元；7-疑似裂纹特征图单元；8-区域建议网络单元；9-疑似裂纹推荐框单元；10-模板图像输入单元；11-对比特征图单元；12-疑似裂纹对比框单元；13-推荐框池化网络单元；14-数据组合网络单元；15-分类网络单元。
具体实施方式
为使本申请实施的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行更加详细的描述。在附图中，自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。所描述的实施例是本申请一部分实施例，而不是全部的实施例。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。下面结合附图对本申请的实施例进行详细说明。
在本申请的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请保护范围的限制。
下面结合附图1至图4对本申请做进一步详细说明。
本申请提供了一种基于深度学习模型的飞行器结构裂纹检测方法，包括：疑似裂纹特征提取模块1、对比特征提取模块2以及裂纹判定模块3。
如图1所示，疑似裂纹特征提取模块1用于从待检测图像中提取包含疑似裂纹区域的特征图，并获取疑似裂纹区域的坐标信息；对比特征提取模块2用于根据疑似裂纹区域的坐标信息，分别从两个无裂纹的模板图像中提取对应区域的特征图；裂纹判定模块3用于将疑似裂纹特征提取模块1输出的特征图与对比特征提取模块2输出的特征图进行对比，判定疑似裂纹区域是否有裂纹。
在本申请的优选实施方案中，疑似裂纹特征提取模块1包括待检测图像输入单元4、监测区域标定网络单元5、基础特征提取网络单元6、疑似裂纹特征图单元7、区域建议网络单元(Region Proposal Network，RPN)8以及疑似裂纹推荐框单元9，其中，
待检测图像输入单元4用于输入图像，其中，
步骤二中，在进行深度学习模型训练时，待检测图像输入单元4用于输入有裂纹的图像；
步骤三中，在通过深度学习模型进行飞行器结构裂纹检测时，待检测图像输入单元4用于输入待检测图像；
监测区域标定网络单元5用于实现对待检测图像输入单元4输入的图像进行监测区域的标定；
基础特征提取网络单元6用于从监测区域中提取基础特征；
疑似裂纹特征图单元7用于提取包含具有基础特征的监测区域的特征图；
区域建议网络单元8用于获取具有基础特征的监测区域的坐标信息；
疑似裂纹推荐框单元9用于根据包含具有基础特征的监测区域的特征图生成推荐框特征图。
本实施例中，疑似裂纹特征图单元7能够提取多个包含具有基础特征的监测区域的特征图，在疑似裂纹推荐框单元9中生成有多个推荐框特征图。
在本申请的优选实施方案中，对比特征提取模块2包括模板图像输入单元10、监测区域标定网络单元5、基础特征提取网络单元6、对比特征图单元11以及疑似裂纹对比框单元12，其中，
模板图像输入单元10用于输入无裂纹的模板图像，其中，
步骤二中，在进行深度学习模型训练时，模板图像输入单元10用于输入两个无裂纹的模板图像；
步骤三中，在通过深度学习模型进行飞行器结构裂纹检测时，模板图像输入单元10用于输入一个无裂纹的模板图像；
监测区域标定网络单元5用于实现对模板图像输入单元10输入的模板图像进行监测区域的标定；
基础特征提取网络单元6用于从监测区域中提取基础特征；
对比特征图单元11用于提取包含具有基础特征的监测区域的特征图；
疑似裂纹对比框单元12用于根据区域建议网络单元8输出的坐标信息提取对应的包含具有基础特征的监测区域的特征图，并根据对应的包含具有基础特征的监测区域的特征图生成对比框特征图。
本实施例中，对比特征图单元11中在每个模板图像上均提取多个包含具有基础特征的监测区域的特征图；步骤二中，在进行深度学习模型训练时，在疑似裂纹对比框单元12中生成的对比框特征图包括基于第一模板图像生成的多个第一对比框特征图，以及基于第二模板图像生成的多个第二对比框特征图。
有利的是，本实施例中，疑似裂纹特征提取模块1和对比特征提取模块2共用监测区域标定网络单元5以及基础特征提取网络单元6。
在本申请的优选实施方案中，裂纹判定模块3包括推荐框池化网络单元13、数据组合网络单元14以及分类网络单元15，其中，
推荐框池化网络单元13用于对推荐框特征图以及对比框特征图进行池化处理；
数据组合网络单元14用于将推荐框特征图以及对比框特征图按照裂纹位置进行重新排列组合；
分类网络单元15用于从重新排列组合后的推荐框特征图以及对比框特征图中筛选出有裂纹的推荐框特征图。
本实施例中，经过推荐框池化网络单元13池化处理后的推荐框特征图以及对比框特征图具有相同尺寸。
如图2所示，步骤二中，在进行深度学习模型训练时，数据组合网络单元14中将推荐框特征图以及对比框特征图按照裂纹位置进行重新排列组合具体为：
将同一区域的推荐框特征图、第一对比框特征图以及第二对比框特征图组合为一个三元组。
如图3-4所示，步骤二中，在进行深度学习模型训练时，分类网络单元15中从重新排列组合后的推荐框特征图以及对比框特征图中筛选出有裂纹的推荐框特征图具体为：
将三元组通过深度学习网络模型进一步提取特征，特征归一化后每个特征图均转化为一个128维的特征向量；
对各个三元组内的3个特征向量进行拼接，具体为：分别将推荐框特征图与第一对比框特征图的特征向量进行拼接，将第一对比框特征图与第二对比框特征图的特征向量进行拼接，每个三元组得到两个256维的拼接向量；
将拼接向量送入分类层进行分类，筛选出分类结果为有裂纹的推荐框特征图的128维的特征向量，并将有裂纹的推荐框特征图的128维的特征向量送入回归层，进行裂纹位置的预测。
本申请的基于深度学习模型的飞行器结构裂纹检测方法，步骤三中，通过深度学习模型进行飞行器结构裂纹检测时，数据组合网络单元14中将推荐框特征图以及对比框特征图按照裂纹位置进行重新排列组合具体为：
将同一区域的推荐框特征图以及对比框特征图组合为一个二元组。
步骤三中，通过深度学习模型进行飞行器结构裂纹检测时，分类网络单元15中从重新排列组合后的推荐框特征图以及对比框特征图中筛选出有裂纹的推荐框特征图具体为：
将二元组通过深度学习网络模型进一步提取特征，特征归一化后每个特征图均转化为一个128维的特征向量；
对各个二元组内的2个特征向量进行拼接，具体为：将推荐框特征图与对比框特征图的特征向量进行拼接，每个二元组得到一个256维的拼接向量；
将拼接向量送入分类层进行分类，筛选出分类结果为有裂纹的推荐框特征图的128维的特征向量，并将有裂纹的推荐框特征图的128维的特征向量送入回归层，进行裂纹位置的预测。
本申请的基于深度学习模型的飞行器结构裂纹检测方法，利用Faster-RCNN中疑似裂纹筛选方法，又根据疲劳试验中裂纹检测的实际问题，在裂纹判定阶段引入了对比机制。在该模型中，疑似裂纹特征提取模块1、对比特征提取模块2以及推荐框池化网络单元13延用了Faster-RCNN中对应模块的网络架构和设计方法。
本申请的基于深度学习模型的飞行器结构裂纹检测方法，在模型初步构建完成后分为模型训练和模型预测两个阶段。在模型训练阶段，模型通过对已知有、无裂纹图像的学习优化深度学习模型的参数，此时该模型在三元组模式下工作；在模型预测阶段，深度学习模型通过对比实时采集图片(可能存在裂纹)和模板图片(无裂纹)的特征，判定实时采集图片内是否存在裂纹，此时该模型在二元组模型下工作。
下面按照模型训练和模型预测的顺序对本申请的工作原理进行介绍。
在模型训练阶段，待检测图像输入单元4中输入图像为已知的有裂纹图像，模板图像输入单元10中输入图像为两张与待检测图像输入单元4中输入图像视场相同，但光照和清晰度不同，且无裂纹的图像(命名为10-1、10-2)，模型通过基础特征提取网络单元6、疑似裂纹特征图单元7、区域建议网络单元8、疑似裂纹推荐框单元9、对比特征图单元11以及疑似裂纹对比框单元12提取出输入图像的推荐框特征图和对应的对比框特征图(分为12-1和12-2)，然后经过推荐框池化网络单元13的处理使所有推荐框、对比框具有相同尺寸，并在数组组合网络单元14组成三元组队列，再进入分类网络单元15对其参数进行训练。
模型的训练过程分为疑似裂纹特征提取模块1训练和裂纹判定模块3训练两个阶段，即输入一批图片，先训练疑似裂纹特征提取模块1内的网络参数，再将疑似裂纹特征提取模块1的输出作为输入，训练裂纹判定模块3内的网络参数；然后以此类推训练下一批图片，直至网络收敛。疑似裂纹特征提取模块1的损失函数和训练方法与Faster-RCNN的RPN网络相同。裂纹判定模块3的损失函数Loss_total可表示为：
Loss_total＝Triplet_Loss+Cross_Entropy_Loss+Regeression_Loss (1)
式中Triplet_Loss为三元组损失，具体可表示为：
式中，N表示输入分类网络单元15的三元组的总个数，f()表示由分类网络单元15提取到的推荐框特征图和对比框特征图的128维向量，
分别表示第i个三元组的推荐框特征图、第一对比框特征图以及第二对比框特征图。
该损失函数的作用是尽量减小两个对比框特征向量间的欧氏距离，同时尽量增大对比框和推荐框间特征向量的欧氏距离，使模型提取到的128维特征向量能够表征由裂纹引起的图像差异，而不易受光线、清晰度等因素的影响。
公式(1)中Cross_Entropy_Loss为交叉熵损失，具体可表示为：
式中，N表示输入分类网络单元15的三元组的总个数，g()表示分类网络单元15输出的分类结果，g()∈[0，1](0表示无裂纹，1表示有裂纹)，
分别表示第i个三元组中由推荐框与对比框12-1、对比框12-1与对比框12-2拼接得到的256维拼接向量。
该损失函数的作用是以尽量增大256维特征的类间距离为目标，优化得到分类层(图3)的网络参数。
公式(1)中的Regeression_Loss为裂纹位置的回归损失。
在模型预测阶段，待检测图像输入单元4中输入图像为疲劳试验中实时采集的待检测图像，模板图像输入单元10中输入图像则为一张在试验前期采集的，与待检测图像输入单元4中输入的待检测图像视场相同的无裂纹图像。模型首先提取出推荐框特征图以及对应的对比框特征图，然后通过推荐框池化网络单元13得到两者的特征图组成的二元组。最后在分类网络单元15中提取二元组的两个128维特征向量，并拼接为256维拼接向量，送入分类层得到模型的预测结果。
本申请的基于深度学习模型的飞行器结构裂纹检测方法，实现了对比图像获取方法设计、数据处理流程设计、分类网络结构设计以及分类网络的损失函数设计四方面内容，具体如下：
1、以Faster-RCNN中RPN网络的结构和设计方法为基础，设计两个并行网络提取同一检测位置在不同时刻的图像，并截取疑似存在裂纹区域的推荐框特征图和对比框特征图；
2、将批处理数据中所有的推荐框特征图和对比框特征图按位置重新排序；
3、在深度学习模型训练时，按三元组序列顺序提取每个推荐框特征图、对比框特征图的128维特征向量，并按推荐框-对比框、对比框1-对比框2的方式进行特征拼接，送入分类网络单元执行分类；
4、考虑目标分类结果易受图像质量影响和网络收敛速度等因素，设计分类网络的损失函数。
本申请的基于深度学习模型的飞行器结构裂纹检测方法，首先，与大视场目标检测任务中常用的目标检测算法相比，本申请的方案根据疲劳试验中裂纹检测的实际问题，在深度学习模型中引入了对比机制，解决了划痕、污损等干扰因素对检测准确率的影响，为实现飞行器结构疲劳试验中实时、可靠的损伤预警提供了基础；其次，本申请在对比机制设计中考虑了裂纹变化这一定向特征，在常用的分类损失函数中引入三元组损失，使模型能够区***纹特征和光线、清晰度变化的特征，该方法可加快模型的收敛速度、降低图像质量变化对检测准确率的影响。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种基于深度学习模型的飞行器结构裂纹检测方法，其特征在于，包括：
步骤一、构建深度学习模型，所述深度学习模型包括：
疑似裂纹特征提取模块(1)，用于从待检测图像中提取包含疑似裂纹区域的特征图，并获取疑似裂纹区域的坐标信息；
对比特征提取模块(2)，用于根据疑似裂纹区域的坐标信息，从无裂纹的模板图像中提取对应区域的特征图；
裂纹判定模块(3)，用于将疑似裂纹特征提取模块(1)输出的特征图与对比特征提取模块(2)输出的特征图进行对比，判定疑似裂纹区域是否有裂纹；
步骤二、进行深度学习模型训练；
步骤三、通过所述深度学习模型进行飞行器结构裂纹检测。
2.根据权利要求1所述的基于深度学习模型的飞行器结构裂纹检测方法，其特征在于，所述疑似裂纹特征提取模块(1)包括待检测图像输入单元(4)、监测区域标定网络单元(5)、基础特征提取网络单元(6)、疑似裂纹特征图单元(7)、区域建议网络单元(8)以及疑似裂纹推荐框单元(9)，其中，
所述待检测图像输入单元(4)用于输入图像，其中，
步骤二中，在进行深度学习模型训练时，所述待检测图像输入单元(4)用于输入有裂纹的图像；
步骤三中，在通过所述深度学习模型进行飞行器结构裂纹检测时，所述待检测图像输入单元(4)用于输入待检测图像；
所述监测区域标定网络单元(5)用于实现对所述待检测图像输入单元(4)输入的图像进行监测区域的标定；
所述基础特征提取网络单元(6)用于从监测区域中提取基础特征；
所述疑似裂纹特征图单元(7)用于提取包含具有基础特征的监测区域的特征图；
所述区域建议网络单元(8)用于获取具有基础特征的监测区域的坐标信息；
所述疑似裂纹推荐框单元(9)用于根据包含具有基础特征的监测区域的特征图生成推荐框特征图。
3.根据权利要求2所述的基于深度学习模型的飞行器结构裂纹检测方法，其特征在于，所述对比特征提取模块(2)包括模板图像输入单元(10)、监测区域标定网络单元(5)、基础特征提取网络单元(6)、对比特征图单元(11)以及疑似裂纹对比框单元(12)，其中，
所述模板图像输入单元(10)用于输入无裂纹的模板图像，其中，
步骤二中，在进行深度学习模型训练时，所述模板图像输入单元(10)用于输入两个无裂纹的模板图像；
步骤三中，在通过所述深度学习模型进行飞行器结构裂纹检测时，所述模板图像输入单元(10)用于输入一个无裂纹的模板图像；
所述监测区域标定网络单元(5)用于实现对所述模板图像输入单元(10)输入的模板图像进行监测区域的标定；
所述基础特征提取网络单元(6)用于从监测区域中提取基础特征；
所述对比特征图单元(11)用于提取包含具有基础特征的监测区域的特征图；
所述疑似裂纹对比框单元(12)用于根据所述区域建议网络单元(8)输出的坐标信息提取对应的包含具有基础特征的监测区域的特征图，并根据对应的包含具有基础特征的监测区域的特征图生成对比框特征图。
4.根据权利要求3所述的基于深度学习模型的飞行器结构裂纹检测方法，其特征在于，步骤二中，在进行深度学习模型训练时，在所述疑似裂纹对比框单元(12)中生成有的对比框特征图包括基于第一模板图像生成的第一对比框特征图，以及基于第二模板图像生成的第二对比框特征图。
5.根据权利要求4所述的基于深度学习模型的飞行器结构裂纹检测方法，其特征在于，所述裂纹判定模块(3)包括推荐框池化网络单元(13)、数据组合网络单元(14)以及分类网络单元(15)，其中，
所述推荐框池化网络单元(13)用于对推荐框特征图以及对比框特征图进行池化处理；
所述数据组合网络单元(14)用于将推荐框特征图以及对比框特征图按照裂纹位置进行重新排列组合；
所述分类网络单元(15)用于从重新排列组合后的推荐框特征图以及对比框特征图中筛选出有裂纹的推荐框特征图。
6.根据权利要求5所述的基于深度学习模型的飞行器结构裂纹检测方法，其特征在于，经过所述推荐框池化网络单元(13)池化处理后的推荐框特征图以及对比框特征图具有相同尺寸。
7.根据权利要求6所述的基于深度学习模型的飞行器结构裂纹检测方法，其特征在于，步骤二中，在进行深度学习模型训练时，所述数据组合网络单元(14)中将推荐框特征图以及对比框特征图按照裂纹位置进行重新排列组合具体为：
将同一区域的推荐框特征图、第一对比框特征图以及第二对比框特征图组合为一个三元组。
8.根据权利要求7所述的基于深度学习模型的飞行器结构裂纹检测方法，其特征在于，步骤二中，在进行深度学习模型训练时，所述分类网络单元(15)中从重新排列组合后的推荐框特征图以及对比框特征图中筛选出有裂纹的推荐框特征图具体为：
将三元组通过深度学习网络模型进一步提取特征，特征归一化后每个特征图均转化为一个128维的特征向量；
对各个三元组内的3个特征向量进行拼接，具体为：分别将推荐框特征图与第一对比框特征图的特征向量进行拼接，将第一对比框特征图与第二对比框特征图的特征向量进行拼接，每个三元组得到两个256维的拼接向量；
将拼接向量送入分类层进行分类，筛选出分类结果为有裂纹的推荐框特征图的128维的特征向量，并将有裂纹的推荐框特征图的128维的特征向量送入回归层，进行裂纹位置的预测。
9.根据权利要求6所述的基于深度学习模型的飞行器结构裂纹检测方法，其特征在于，步骤三中，通过所述深度学习模型进行飞行器结构裂纹检测时，所述数据组合网络单元(14)中将推荐框特征图以及对比框特征图按照裂纹位置进行重新排列组合具体为：
将同一区域的推荐框特征图以及对比框特征图组合为一个二元组。
10.根据权利要求9所述的基于深度学习模型的飞行器结构裂纹检测方法，其特征在于，步骤三中，通过所述深度学习模型进行飞行器结构裂纹检测时，所述分类网络单元(15)中从重新排列组合后的推荐框特征图以及对比框特征图中筛选出有裂纹的推荐框特征图具体为：
将二元组通过深度学习网络模型进一步提取特征，特征归一化后每个特征图均转化为一个128维的特征向量；
对各个二元组内的2个特征向量进行拼接，具体为：将推荐框特征图与对比框特征图的特征向量进行拼接，每个二元组得到一个256维的拼接向量；
将拼接向量送入分类层进行分类，筛选出分类结果为有裂纹的推荐框特征图的128维的特征向量，并将有裂纹的推荐框特征图的128维的特征向量送入回归层，进行裂纹位置的预测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110970084.1A CN113706496B (zh) | 2021-08-23 | 2021-08-23 | 一种基于深度学习模型的飞行器结构裂纹检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110970084.1A CN113706496B (zh) | 2021-08-23 | 2021-08-23 | 一种基于深度学习模型的飞行器结构裂纹检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113706496A true CN113706496A (zh) | 2021-11-26 |
| CN113706496B CN113706496B (zh) | 2024-04-12 |
Family
ID=78654184
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110970084.1A Active CN113706496B (zh) | 2021-08-23 | 2021-08-23 | 一种基于深度学习模型的飞行器结构裂纹检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113706496B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115077832A (zh) * | 2022-07-28 | 2022-09-20 | 西安交通大学 | 一种飞机耐高温构件三维表面振动疲劳损伤测量方法 |
| CN116309557A (zh) * | 2023-05-16 | 2023-06-23 | 山东聚宁机械有限公司 | 一种挖掘机履带板断裂检测方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110009019A (zh) * | 2019-03-26 | 2019-07-12 | 苏州富莱智能科技有限公司 | 磁性材料裂纹智能检测***及方法 |
| WO2020164270A1 (zh) * | 2019-02-15 | 2020-08-20 | 平安科技（深圳）有限公司 | 基于深度学习的行人检测方法、***、装置及存储介质 |
| WO2020181685A1 (zh) * | 2019-03-12 | 2020-09-17 | 南京邮电大学 | 一种基于深度学习的车载视频目标检测方法 |
| KR102157610B1 (ko) * | 2019-10-29 | 2020-09-18 | 세종대학교산학협력단 | 초고해상도 디지털 이미지 생성을 통한 자동화 구조물 손상 검출 시스템 및 그 방법 |
| JP6807093B1 (ja) * | 2020-09-24 | 2021-01-06 | 株式会社センシンロボティクス | 点検システム及び管理サーバ、プログラム、ヒビ割れ情報提供方法 |
| JP6807092B1 (ja) * | 2020-09-24 | 2021-01-06 | 株式会社センシンロボティクス | 点検システム及び管理サーバ、プログラム、ヒビ割れ情報提供方法 |
-
2021
- 2021-08-23 CN CN202110970084.1A patent/CN113706496B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020164270A1 (zh) * | 2019-02-15 | 2020-08-20 | 平安科技（深圳）有限公司 | 基于深度学习的行人检测方法、***、装置及存储介质 |
| WO2020181685A1 (zh) * | 2019-03-12 | 2020-09-17 | 南京邮电大学 | 一种基于深度学习的车载视频目标检测方法 |
| CN110009019A (zh) * | 2019-03-26 | 2019-07-12 | 苏州富莱智能科技有限公司 | 磁性材料裂纹智能检测***及方法 |
| KR102157610B1 (ko) * | 2019-10-29 | 2020-09-18 | 세종대학교산학협력단 | 초고해상도 디지털 이미지 생성을 통한 자동화 구조물 손상 검출 시스템 및 그 방법 |
| JP6807093B1 (ja) * | 2020-09-24 | 2021-01-06 | 株式会社センシンロボティクス | 点検システム及び管理サーバ、プログラム、ヒビ割れ情報提供方法 |
| JP6807092B1 (ja) * | 2020-09-24 | 2021-01-06 | 株式会社センシンロボティクス | 点検システム及び管理サーバ、プログラム、ヒビ割れ情報提供方法 |
Non-Patent Citations (1)
| Title |
|---|
| 衣世东;: "基于深度学习的图像识别算法研究", 网络安全技术与应用, no. 01 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115077832A (zh) * | 2022-07-28 | 2022-09-20 | 西安交通大学 | 一种飞机耐高温构件三维表面振动疲劳损伤测量方法 |
| CN115077832B (zh) * | 2022-07-28 | 2022-11-08 | 西安交通大学 | 一种飞机耐高温构件三维表面振动疲劳损伤测量方法 |
| CN116309557A (zh) * | 2023-05-16 | 2023-06-23 | 山东聚宁机械有限公司 | 一种挖掘机履带板断裂检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113706496B (zh) | 2024-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112380952B (zh) | 基于人工智能的电力设备红外图像实时检测及识别方法 | |
| CN110598736B (zh) | 一种电力设备红外图像故障定位、识别与预测方法 | |
| CN110321923B (zh) | 不同尺度感受野特征层融合的目标检测方法、***及介质 | |
| CN109584248B (zh) | 基于特征融合和稠密连接网络的红外面目标实例分割方法 | |
| CN107437245B (zh) | 基于深度卷积神经网络的高速铁路接触网故障诊断方法 | |
| CN107742093B (zh) | 一种红外图像电力设备部件实时检测方法、服务器及*** | |
| US10621717B2 (en) | System and method for image-based target object inspection | |
| CN111814850A (zh) | 缺陷检测模型训练方法、缺陷检测方法及相关装置 | |
| CN107966454A (zh) | 一种基于fpga的端塞缺陷检测装置及检测方法 | |
| CN109840900A (zh) | 一种应用于智能制造车间的故障在线检测***及检测方法 | |
| CN113706496B (zh) | 一种基于深度学习模型的飞行器结构裂纹检测方法 | |
| CN113920107A (zh) | 一种基于改进yolov5算法的绝缘子破损检测方法 | |
| US20220405586A1 (en) | Model generation apparatus, estimation apparatus, model generation method, and computer-readable storage medium storing a model generation program | |
| JP2021515885A (ja) | 照明条件を設定する方法、装置、システム及びプログラム並びに記憶媒体 | |
| CN112488066A (zh) | 一种无人机多机协同侦察下的目标实时检测方法 | |
| CN112164048A (zh) | 一种基于深度学习的磁瓦表面缺陷自动检测方法和装置 | |
| CN116543247A (zh) | 基于光度立体表面重建的数据集制作方法及验证*** | |
| CN117455917B (zh) | 一种蚀刻引线框架误报库建立及误报在线判定筛选方法 | |
| CN111160100A (zh) | 一种基于样本生成的轻量级深度模型航拍车辆检测方法 | |
| CN116485802B (zh) | 一种绝缘子闪络缺陷检测方法、装置、设备及存储介质 | |
| CN112750113A (zh) | 基于深度学习和直线检测的玻璃瓶缺陷检测方法及装置 | |
| CN116843691A (zh) | 光伏板热斑检测方法及存储介质、电子设备 | |
| CN110610136A (zh) | 一种基于深度学习的变电站设备识别模块及识别方法 | |
| CN115355952A (zh) | 一种原油储罐智能巡检*** | |
| CN116309270A (zh) | 一种基于双目图像的输电线路典型缺陷识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |