CN112700423B - 基于深度学习的机身表面损伤缺陷自动检测方法及*** - Google Patents

Abstract

本发明公开了一种基于深度学习的机身表面损伤缺陷自动检测方法及***，其方法如下：A、建立缺陷样本模型：采集飞机机身缺陷样本数据，并根据缺陷样本数据建立缺陷样本模型；B、通过多角度相机组合拍摄***拍摄、采集得到待检测飞机机身的机身实际图像数据并通过机身三维合成***对应三维合成得到机身实际三维场景模型，根据缺陷样本模型的机身缺陷信息对机身实际三维场景模型进行逐一目标比对检测并得到机身实际场景缺陷数据，机身实际场景缺陷数据包括缺陷位置信息、缺陷类型、缺陷范围、缺陷数量。本发明可以全面、准确、高效地实现飞机机身表面检测，能够准确定位出缺陷位置、缺陷类型及缺陷大小，降低了劳动强度，提高了检查维护效率。

Description

基于深度学习的机身表面损伤缺陷自动检测方法及***

技术领域

本发明涉及民航客机机身缺陷检测领域，尤其涉及一种基于深度学习的机身表面损伤缺陷自动检测方法及***。

背景技术

民航客机的机身检查是飞机日常维护工作的重要内容，传统的飞机机身检查，主要采用人工目视检查方法，由于飞机机身(包括机翼)结构庞大，这给日常缺陷检测带来较大困难，尤其是机身顶部的检查，通常需要其他机械辅助设备，存在检查不方便，工作量大，检测周期长等问题。近年来，随着民航的蓬勃发展以及人工智能技术的广泛应用，传统的人工目视检查方法已经不能满足飞机机身快速检查的要求。

发明内容

针对现有技术存在的不足之处，本发明的目的在于提供一种基于深度学习的机身表面损伤缺陷自动检测方法及***，通过多角度相机组合拍摄***横纵向覆盖重叠采集飞机机身图像数据，进而拟合重构出机身三维模型，根据缺陷样本数据在机身三维模型上标记得到缺陷样本模型，然后通过多角度相机组合拍摄***对待测飞机机身进行采集、拟合重构等，按照缺陷样本模型对待测飞机机身图像数据进行缺陷位置、类型、范围的检测策略，可以全面、准确、高效地实现飞机机身表面检测，能够准确定位出缺陷位置、缺陷类型及缺陷大小，降低了劳动强度，显著提高了检查维护效率。

本发明的目的通过下述技术方案实现：

一种基于深度学习的机身表面损伤缺陷自动检测方法，其方法如下：

A、建立缺陷样本模型：采集飞机机身缺陷样本数据，并根据缺陷样本数据建立缺陷样本模型；

A1、通过多角度相机组合拍摄***拍摄得到飞机机身图像数据，并通过机身三维合成***得到机身三维模型；

A2、采集飞机机身缺陷样本数据，在机身三维模型中对应标记出机身缺陷信息并得到缺陷样本模型，机身缺陷信息包括机身缺陷位置信息及范围信息；

B、通过多角度相机组合拍摄***拍摄、采集得到待检测飞机机身的机身实际图像数据并通过机身三维合成***对应三维合成得到机身实际三维场景模型，根据缺陷样本模型的机身缺陷信息对机身实际三维场景模型进行逐一目标比对检测并得到机身实际场景缺陷数据，机身实际场景缺陷数据包括缺陷位置信息、缺陷类型、缺陷范围、缺陷数量。

一种基于深度学习的机身表面损伤缺陷自动检测方法，其方法如下：

A、建立缺陷样本模型：采集飞机机身缺陷样本数据，并根据缺陷样本数据建立缺陷样本模型；

A1、通过多角度相机组合拍摄***拍摄得到飞机机身图像数据，并通过机身三维合成***得到机身三维模型；

A2、采集飞机机身缺陷样本数据，在机身三维模型中对应标记出机身缺陷信息并得到缺陷样本模型，在缺陷样本模型中按照像素建立像素坐标信息库，所述机身缺陷信息包括机身缺陷位置信息、缺陷类型及范围信息，机身缺陷位置信息为缺陷的像素坐标信息，对于同一机身缺陷位置信息下的缺陷按照缺陷类型进行分层设置，范围信息为缺陷所占像素大小或/和像素数量；

根据反馈修正的飞机机身缺陷样本数据或/和更新的飞机机身缺陷样本数据训练优化缺陷样本模型；

B、通过多角度相机组合拍摄***拍摄、采集得到待检测飞机机身的机身实际图像数据并通过机身三维合成***对应三维合成得到机身实际三维场景模型，将机身实际三维场景模型与缺陷样本模型进行像素坐标对应与像素坐标关联；根据缺陷样本模型的机身缺陷信息对机身实际三维场景模型进行逐一目标比对检测并得到机身实际场景缺陷数据，机身实际场景缺陷数据包括缺陷位置信息、缺陷类型、缺陷范围、缺陷数量；

C、输出机身实际场景缺陷数据并生成可视化的缺陷检测报告。

本发明一种优选的实施方式是：所述步骤A1中飞机机身图像数据取得方法如下：

包括飞机机库和飞机推行装置，飞机机库具有机库门，所述多角度相机组合拍摄***设置于飞机机库的机库门上，多角度相机组合拍摄***对飞机机身在横向区域进行重叠拍摄并得到第一组飞机机身横向重叠图像数据，然后通过飞机推行装置推动飞机机身纵向移动并得到第二组飞机机身横向重叠图像数据，前后两组飞机机身横向重叠图像数据在纵向区域上重叠，逐步推动飞机机身纵向移动并得到覆盖飞机机身全部区域的所有组飞机机身横向重叠图像数据所有组飞机机身横向重叠图像数据随即组合成飞机机身图像数据，每组飞机机身横向重叠图像数据在横向方向上相互重叠，相邻两组飞机机身横向重叠图像数据在纵向方向上相互重叠，通过机身三维合成***将所有组飞机机身横向重叠图像数据进行重组拟合并得到重组拟合后的机身二维展开模型或/和机身三维模型。

本发明一种优选的实施方式是：所述步骤B中机身实际三维场景模型取得方法如下：

通过多角度相机组合拍摄***对待检测飞机机身在横向区域进行重叠拍摄并得到第一组飞机机身横向重叠图像数据，然后通过飞机推行装置推动待检测飞机机身纵向移动并得到第二组飞机机身横向重叠图像数据，前后两组飞机机身横向重叠图像数据在纵向区域上重叠，逐步推动飞机机身纵向移动并得到覆盖飞机机身全部区域的所有组飞机机身横向重叠图像数据，所有组飞机机身横向重叠图像数据随即组合成机身实际图像数据并存储，每组飞机机身横向重叠图像数据在横向方向上相互重叠，相邻两组飞机机身横向重叠图像数据在纵向方向上相互重叠，通过机身三维合成***将所有组飞机机身横向重叠图像数据进行重组拟合并得到重组拟合后的机身实际场景二维展开模型或/和机身实际场景三维模型。

本发明一种优选的实施方式是：所述多角度相机组合拍摄***由若干个相机进行组合布置；所述机身实际三维场景模型采用目标比对检测模型包括yolo、ssd、fasterrcnn。

本发明一种优选的实施方式是：所述机身实际三维场景模型采用目标特征提取比对检测方法，其方法如下：

建立特征金字塔FPN，对步骤A1中飞机机身图像数据进行特征提取并根据机身三维合成***得到机身三维模型，同时对机身三维模型进行全面特征提取；对步骤A2中缺陷样本模型进行分层特征提取，对步骤B中机身实际三维场景模型进行特征提取并按特征进行坐标对应；

依靠特征金字塔FPN根据缺陷样本模型的机身缺陷信息对机身实际三维场景模型进行逐一、分层目标特征比对检测，并得到机身实际场景缺陷数据。

本发明一种优选的实施方式是：在进行逐一目标比对检测时采用可变形卷积单元进行动态调整比对检测；采用可变形卷积单元进行动态生成或/和训练缺陷样本模型。

一种基于深度学习的机身表面损伤缺陷自动检测***，包括飞机机身和飞机机库，所述飞机机库具有机库门，本发明机身表面损伤缺陷自动检测***还包括依次连接的采集模块、机身三维合成***、机身缺陷检测***和输出模块，所述飞机机库的机库门上设有多角度相机组合拍摄***，所述多角度相机组合拍摄***分别与采集模块、机身三维合成***连接，所述多角度相机组合拍摄***由若干个相机进行组合布置，所述多角度相机组合拍摄***的各个相机完全覆盖飞机机身横向区域；所述采集模块用于采集飞机机身缺陷样本数据或/和机身实际图像数据，所述机身三维合成***用于根据飞机机身图像数据得到机身三维模型、机身实际三维场景模型并根据飞机机身缺陷样本数据标记得到缺陷样本模型，所述机身缺陷检测***用于根据缺陷样本模型、机身实际三维场景模型进行逐一目标比对检测并得到机身实际场景缺陷数据，所述输出模块用于输出机身实际场景缺陷数据。

优选地，所述输出模块还用于生成可视化的缺陷检测报告并输出。

本发明较现有技术相比，具有以下优点及有益效果：

(1)本发明通过多角度相机组合拍摄***横纵向覆盖重叠采集飞机机身图像数据，进而拟合重构出机身三维模型，根据缺陷样本数据在机身三维模型上标记得到缺陷样本模型，然后通过多角度相机组合拍摄***对待测飞机机身进行采集、拟合重构等，按照缺陷样本模型对待测飞机机身图像数据进行缺陷位置、类型、范围的检测策略，可以全面、准确、高效地实现飞机机身表面检测，能够准确定位出缺陷位置、缺陷类型及缺陷大小，降低了劳动强度，显著提高了检查维护效率。

(2)其缺陷样本模型能够不断加入反馈、修正、更新的缺陷数据进行扩增训练优化，可以得到更加全面、精确的样本数据量，提高了缺陷检测效率和精确度，同时缺陷样本模型可以根据同一缺陷位置分层构建缺陷类型，便于对缺陷进行准确检测。

(3)本发明多角度相机组合拍摄***设置于机库门上，多角度相机组合拍摄***采用多个相机交错重叠覆盖，可以实现飞机机身某一段纵向区域内机身横向方向所有机身表面的全面重叠覆盖，并结合推行飞机逐段入库能够实现机身全部区域的重叠覆盖采集，不会落掉机身表面的任何区域，可以实现机身、机翼翼展表面缺陷的全面检测。

(4)本发明可以输出完整、全面、准确的机身实际场景缺陷数据，能够按照像素坐标精确定位出缺陷位置信息，并能分层得到缺陷类型，可以得到带有像素坐标集合的缺陷范围及数量。

附图说明

图1为本发明机身表面损伤缺陷自动检测***的原理框图；

图2为实施例中多角度相机组合拍摄***横向视场覆盖飞机机身的示意图；

图3为实施例中多角度相机组合拍摄***纵向视场覆盖飞机机身的示意图；

图4为实施例中缺陷样本模型训练的一种流程示意图。

其中，附图中的附图标记所对应的名称为：

1－多角度相机组合拍摄***，11－相机,2－采集模块,3－机身三维合成***,4－机身缺陷检测***,5－输出模块。

具体实施方式

下面结合实施例对本发明作进一步地详细说明：

实施例一

一种基于深度学习的机身表面损伤缺陷自动检测方法，其方法如下：

A、建立缺陷样本模型：采集飞机机身缺陷样本数据，并根据缺陷样本数据建立缺陷样本模型；

A1、通过多角度相机组合拍摄***拍摄得到飞机机身图像数据，并通过机身三维合成***得到机身三维模型；本实施例通过多角度相机组合拍摄***进行飞机机身采集拍摄以得到飞机机身图像数据，通过机身三维合成***根据飞机机身图像数据重组拟合得到机身三维模型(还可以包括机身二维展开模型，机身二维展开模型为机身三维模型的平面展开图)，该机身三维模型便于后期进行机身缺陷信息的标记。

A2、采集飞机机身缺陷样本数据，在机身三维模型中对应标记出机身缺陷信息并得到缺陷样本模型，机身缺陷信息包括机身缺陷位置信息及范围信息；本实施例在步骤A1中的机身三维模型中对应标记机身缺陷信息，并由此得到带有机身缺陷信息的缺陷样本模型，同样缺陷样本模型包括缺陷样本三维模型和缺陷样本二维展开模型。

B、通过多角度相机组合拍摄***对待检测飞机机身进行拍摄、采集，并得到待检测飞机机身的机身实际图像数据并通过机身三维合成***对应三维合成得到机身实际三维场景模型，该机身实际三维场景模型与缺陷样本三维模型相对应(同理，该机身实际二维场景模型与缺陷样本二维展开模型相对应)，根据缺陷样本模型的机身缺陷信息对机身实际三维场景模型进行逐一目标比对检测并得到机身实际场景缺陷数据，机身实际场景缺陷数据包括缺陷位置信息、缺陷类型、缺陷范围、缺陷数量。由于缺陷样本三维模型或缺陷样本二维展开模型记录有在同一机身三维模型下的缺陷样本数据，得到了待检测飞机机身的机身实际三维场景模型，进而进行对机身实际三维场景模型进行存在缺陷的位置进行逐一数据比对，并得到待检测飞机机身所实际对应的机身实际场景缺陷数据，便于快速得到机身实际场景缺陷数据，在后期进行人工检测后，可以反馈或修正缺陷样本模型。

实施例二

如图1～图4所示，一种基于深度学习的机身表面损伤缺陷自动检测方法，其特征在于：其方法如下：

A、建立缺陷样本模型：采集飞机机身缺陷样本数据，并根据缺陷样本数据建立缺陷样本模型；

A1、通过多角度相机组合拍摄***拍摄得到飞机机身图像数据，并通过机身三维合成***得到机身三维模型；在步骤A1中飞机机身图像数据取得方法如下：

本实施例方法包括飞机机库和飞机推行装置，飞机机库具有机库门，所述多角度相机组合拍摄***设置于飞机机库的机库门上，多角度相机组合拍摄***对飞机机身在横向区域进行重叠拍摄并得到第一组飞机机身横向重叠图像数据(飞机推行装置推动飞机机身朝向飞机机库内运动，让飞机机身的第一段横向区域被多角度相机组合拍摄***完全覆盖，这样多角度相机组合拍摄***对飞机机身的第一段横向区域进行重叠拍摄并能采集得到第一组飞机机身横向重叠图像数据)，然后通过飞机推行装置推动飞机机身纵向移动并得到第二组飞机机身横向重叠图像数据(飞机推行装置推动飞机机身朝向飞机机库内继续运动，让飞机机身的第二段横向区域被多角度相机组合拍摄***完全覆盖，同时飞机机身的第二段横向区域与第一段横向区域需要部分重叠覆盖，这样多角度相机组合拍摄***对飞机机身的第二段横向区域进行重叠拍摄并能采集得到第二组飞机机身横向重叠图像数据)，前后两组飞机机身横向重叠图像数据在纵向区域上重叠，逐步推动飞机机身纵向移动并得到覆盖飞机机身全部区域的所有组飞机机身横向重叠图像数据所有组飞机机身横向重叠图像数据，随即组合成飞机机身图像数据，每组飞机机身横向重叠图像数据在横向方向上相互重叠，相邻两组飞机机身横向重叠图像数据在纵向方向上相互重叠，通过机身三维合成***将所有组飞机机身横向重叠图像数据进行重组拟合并得到重组拟合后的机身二维展开模型或/和机身三维模型。本实施例通过多角度相机组合拍摄***进行飞机机身采集拍摄以得到飞机机身图像数据，通过机身三维合成***根据飞机机身图像数据重组拟合得到机身三维模型(还可以包括机身二维展开模型，机身二维展开模型为机身三维模型的平面展开图)，该机身三维模型便于后期进行机身缺陷信息的标记。

本实施例多角度相机组合拍摄***拍摄覆盖飞机机身的原理如图2、图3所示，其主要工作原理如下：当飞机进入飞机机库通过机库门时，通过多角度相机组合拍摄***的相机对飞机机身进行连续摄影拍照(或者拍摄视频)，形成连续的、多角度具有重叠的机身影像。利用该影像数据，通过机身三维合成***生成精准的机身三维模型，以供后续建立起机身三维模型、缺陷样本模型和进行缺陷检测。

考虑到机翼翼展宽度36米宽度，在飞机机库的机库门上安装的相机个数优选为15个，根据相机视场范围，具体分析如下：

根据相机的分辨率4096×2160及像元3.45微米可知：相机感光尺寸为14.1mm×7.4mm，考虑成像的分辨率，选择焦距为24mm的镜头，相机其视场范围为：32.7°×17.5°，其在横向视场上与摄影距离的关系如图2所示，其在纵向视场上与摄影距离的关系如图3所示：

由图2、图3可以看出：在相机距被摄物体距离为5米时，覆盖的测量范围约为2.9米×1.5米；在相机距被摄物体距离为6米时，覆盖的测量范围约为3.5米×1.8米；在相机距被摄物体距离为7米时，覆盖的测量范围约为4.1米×2.1米。图像的实际分辨率为：像元大小×距被摄物体距离/焦距，因此在相机距被摄物体距离为5米、6米、7米时，其图像分辨率依次为：0.7mm、0.8mm、1.0mm。据此测算，要覆盖36×3米的翼展空间，按照相机距被摄物体距离为6米计算，需要相机的总数为36/3.5约等于11台，考虑图像间的重叠，以15台为宜。

A2、采集飞机机身缺陷样本数据，在机身三维模型中对应标记出机身缺陷信息并得到缺陷样本模型，在缺陷样本模型中按照像素建立像素坐标信息库，所述机身缺陷信息包括机身缺陷位置信息、缺陷类型及范围信息，机身缺陷位置信息为缺陷的像素坐标信息，对于同一机身缺陷位置信息下的缺陷按照缺陷类型进行分层设置，范围信息为缺陷所占像素大小或/和像素数量；

如图4所示，本实施例根据反馈修正的飞机机身缺陷样本数据或/和更新的飞机机身缺陷样本数据训练优化缺陷样本模型；本实施例通过反馈修正的飞机机身缺陷样本数据或更新的飞机机身缺陷样本数据对缺陷样本模型进行不断训练、优化以得到更加准确、全面的缺陷样本模型。本实施例确定图像采集规范，收集常见缺陷数据，标注缺陷区域及缺陷类型，统计分析，数据扩增建立缺陷样本数据库；在图像采集时，固定图像采集平台(即机库门上的多角度相机组合拍摄***)，调整相机焦距、俯仰角、曝光度等，保证图像清晰可见，图像大小一致，目标物占比均衡；在标注缺陷样本时，标注缺陷区域及缺陷类型，统计缺陷像素大小分布，各个类别的分布，为模型设计和数据扩增提供依据；在数据扩增建库时，由于标注的数据有限，而且每类样本数量不均衡，需要后续不断更新飞机机身缺陷样本数据或反馈修正的飞机机身缺陷样本数据等操作将样本扩增。

本实施例在步骤A1中的机身三维模型中对应标记机身缺陷信息，并由此得到带有机身缺陷信息的缺陷样本模型，同样缺陷样本模型包括缺陷样本三维模型和缺陷样本二维展开模型。

B、通过多角度相机组合拍摄***拍摄、采集得到待检测飞机机身的机身实际图像数据并通过机身三维合成***对应三维合成得到机身实际三维场景模型，将机身实际三维场景模型与缺陷样本模型进行像素坐标对应与像素坐标关联；根据缺陷样本模型的机身缺陷信息对机身实际三维场景模型进行逐一目标比对检测并得到机身实际场景缺陷数据，机身实际场景缺陷数据包括缺陷位置信息、缺陷类型、缺陷范围、缺陷数量；

本实施例步骤B中机身实际三维场景模型取得方法如下：通过多角度相机组合拍摄***对待检测飞机机身在横向区域进行重叠拍摄并得到第一组飞机机身横向重叠图像数据(飞机推行装置推动待检测飞机机身朝向飞机机库内运动，让待检测飞机机身的第一段横向区域被多角度相机组合拍摄***完全覆盖，这样多角度相机组合拍摄***对待检测飞机机身的第一段横向区域进行重叠拍摄并能采集得到第一组飞机机身横向重叠图像数据)，然后通过飞机推行装置推动待检测飞机机身纵向移动并得到第二组飞机机身横向重叠图像数据(飞机推行装置推动待检测飞机机身朝向飞机机库内继续运动，让待检测飞机机身的第二段横向区域被多角度相机组合拍摄***完全覆盖，同时待检测飞机机身的第二段横向区域与第一段横向区域需要部分重叠覆盖，这样多角度相机组合拍摄***对待检测飞机机身的第二段横向区域进行重叠拍摄并能采集得到第二组飞机机身横向重叠图像数据)，前后两组飞机机身横向重叠图像数据在纵向区域上重叠，逐步推动飞机机身纵向移动并得到覆盖飞机机身全部区域的所有组飞机机身横向重叠图像数据，所有组飞机机身横向重叠图像数据随即组合成待检测飞机机身的机身实际图像数据并存储，每组飞机机身横向重叠图像数据在横向方向上相互重叠，相邻两组飞机机身横向重叠图像数据在纵向方向上相互重叠，通过机身三维合成***将所有组飞机机身横向重叠图像数据进行重组拟合并得到重组拟合后的机身实际场景二维展开模型或/和机身实际场景三维模型。本实施例通过多角度相机组合拍摄***进行待检测飞机机身采集拍摄以得到机身实际图像数据，通过机身三维合成***根据机身实际图像数据重组拟合得到机身实际三维场景模型(还可以包括机身实际二维展开模型，机身实际二维展开模型为机身实际三维模型的平面展开图)。由于，机身三维模型来源于通过多角度相机组合拍摄***拍摄得到的飞机机身图像数据，缺陷样本模型是根据采集的飞机机身缺陷样本数据在机身三维模型上标记得到，那么机身实际三维场景模型就与缺陷样本模型、机身三维模型能够很好的匹配，也便于实现机身实际三维场景模型与缺陷样本模型进行像素坐标对应与像素坐标关联，便于实现根据缺陷样本模型的机身缺陷信息对机身实际三维场景模型进行逐一目标比对检测并得到机身实际场景缺陷数据，机身实际场景缺陷数据的缺陷位置信息可以直接为像素坐标，缺陷类型为缺陷位置信息下的所分层标记设置的缺陷类型。

C、输出机身实际场景缺陷数据并生成可视化的缺陷检测报告。

本实施例的多角度相机组合拍摄***由若干个相机进行组合布置。本实施例的机身实际三维场景模型采用目标比对检测模型包括yolo、ssd、faster rcnn。

作为本实施例的一种优选实施例，机身实际三维场景模型采用目标特征提取比对检测方法，其方法如下：

建立特征金字塔FPN，对步骤A1中飞机机身图像数据进行特征提取并根据机身三维合成***得到机身三维模型，同时对机身三维模型进行全面特征提取；对步骤A2中缺陷样本模型进行分层特征提取，对步骤B中机身实际三维场景模型进行特征提取并按特征进行坐标对应；这样，在像素坐标对应与像素坐标关联时，将更加准确、可靠且易于实现。依靠特征金字塔FPN根据缺陷样本模型的机身缺陷信息对机身实际三维场景模型进行逐一、分层目标特征比对检测，并得到机身实际场景缺陷数据。针对缺陷样本模型，在其基础上进行结构调整，模型训练与测试环境可在windows/linux***有GPU显卡的服务器上运行。训练过程，被检测图像经FPN特征金字塔生成大量的特征，再经过分类器输出结果，与标签对比并反馈回网络，反复迭代训练，保存最佳模型。

建立的特征金字塔FPN，每个分辨率的feature map引入后一分辨率缩放两倍的feature map做element-wise相加的操作。通过这样的连接，每一层预测所用的featuremap都融合了不同分辨率、不同语义强度的特征，融合的不同分辨率的feature map分别做对应分辨率大小的物体检测。这样保证了每一层都有合适的分辨率以及强语义特征。同时，由于此方法只是在原网络基础上加上了额外的跨层连接，在实际应用中几乎不增加额外的时间和计算量。

本实施例在进行逐一目标比对检测时采用可变形卷积单元进行动态调整比对检测。本实施例采用可变形卷积单元进行动态生成或/和训练缺陷样本模型。本实施例可变形卷积单元中增加偏移量，其通过另外一个平行的标准卷积单元计算得到，进而也可以通过梯度反向传播进行端到端的学习。加上该偏移量的学习之后，可变形卷积核的大小和位置可以根据当前需要识别的图像内容进行动态调整，其直观效果就是不同位置的卷积核采样点位置会根据图像内容发生自适应的变化，从而适应不同物体的形状、大小等几何形变。

一种基于深度学习的机身表面损伤缺陷自动检测***，包括飞机机身和飞机机库，飞机机库具有机库门，本发明机身表面损伤缺陷自动检测***还包括依次连接的采集模块2、机身三维合成***3、机身缺陷检测***4和输出模块5，本实施例还包括与飞机机身相对应的飞机推行装置，本实施例的多角度相机组合拍摄***1的相机11可活动设置于飞机机库的机库门上(相机11活动设置在机库门上，便于对多角度相机组合拍摄***1的相机11拍摄区域进行微调，以便于得到更好的重叠图像数据)。飞机机库的机库门上设有多角度相机组合拍摄***1，多角度相机组合拍摄***1分别与采集模块2、机身三维合成***3连接，多角度相机组合拍摄***1由若干个相机11进行组合布置，多角度相机组合拍摄***1的各个相机11完全覆盖飞机机身横向区域。本实施例飞机推行装置的原理如下：

通过多角度相机组合拍摄***1对待检测飞机机身在横向区域进行重叠拍摄并得到第一组飞机机身横向重叠图像数据(飞机推行装置推动待检测飞机机身朝向飞机机库内运动，让待检测飞机机身的第一段横向区域被多角度相机组合拍摄***1完全覆盖，这样多角度相机组合拍摄***1对待检测飞机机身的第一段横向区域进行重叠拍摄并能采集得到第一组飞机机身横向重叠图像数据)，然后通过飞机推行装置推动待检测飞机机身纵向移动并得到第二组飞机机身横向重叠图像数据(飞机推行装置推动待检测飞机机身朝向飞机机库内继续运动，让待检测飞机机身的第二段横向区域被多角度相机组合拍摄***完全覆盖，同时待检测飞机机身的第二段横向区域与第一段横向区域需要部分重叠覆盖，这样多角度相机组合拍摄***1对待检测飞机机身的第二段横向区域进行重叠拍摄并能采集得到第二组飞机机身横向重叠图像数据)，前后两组飞机机身横向重叠图像数据在纵向区域上重叠，逐步推动飞机机身纵向移动并得到覆盖飞机机身全部区域的所有组飞机机身横向重叠图像数据，每组飞机机身横向重叠图像数据在横向方向上相互重叠，相邻两组飞机机身横向重叠图像数据在纵向方向上相互重叠，通过多角度相机组合拍摄***1进行待检测飞机机身采集拍摄以得到机身实际图像数据，通过机身三维合成***3根据机身实际图像数据重组拟合得到机身实际三维场景模型(还可以包括机身实际二维展开模型，机身实际二维展开模型为机身实际三维模型的平面展开图)。

采集模块2用于采集飞机机身缺陷样本数据或/和机身实际图像数据，机身三维合成***3用于根据飞机机身图像数据得到机身三维模型、机身实际三维场景模型并根据飞机机身缺陷样本数据标记得到缺陷样本模型，机身缺陷检测***4用于根据缺陷样本模型、机身实际三维场景模型进行逐一目标比对检测并得到机身实际场景缺陷数据，输出模块5用于输出机身实际场景缺陷数据，本实施例的输出模块5还用于生成可视化的缺陷检测报告并输出。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于深度学习的机身表面损伤缺陷自动检测方法，其特征在于：其方法如下：

A、建立缺陷样本模型：采集飞机机身缺陷样本数据，并根据缺陷样本数据建立缺陷样本模型；

A1、通过多角度相机组合拍摄***拍摄得到飞机机身图像数据，并通过机身三维合成***得到机身三维模型；

A2、采集飞机机身缺陷样本数据，在机身三维模型中对应标记出机身缺陷信息并得到缺陷样本模型，机身缺陷信息包括机身缺陷位置信息及范围信息；

B、通过多角度相机组合拍摄***拍摄、采集得到待检测飞机机身的机身实际图像数据并通过机身三维合成***对应三维合成得到机身实际三维场景模型，根据缺陷样本模型的机身缺陷信息对机身实际三维场景模型进行逐一目标比对检测并得到机身实际场景缺陷数据，比对检测方法如下：

建立特征金字塔FPN，对步骤A1中飞机机身图像数据进行特征提取并根据机身三维合成***得到机身三维模型，同时对机身三维模型进行全面特征提取；对步骤A2中缺陷样本模型进行分层特征提取，对步骤B中机身实际三维场景模型进行特征提取并按特征进行坐标对应；

依靠特征金字塔FPN根据缺陷样本模型的机身缺陷信息对机身实际三维场景模型进行逐一、分层目标特征比对检测，并得到机身实际场景缺陷数据；机身实际场景缺陷数据包括缺陷位置信息、缺陷类型、缺陷范围、缺陷数量。

2.一种基于深度学习的机身表面损伤缺陷自动检测方法，其特征在于：其方法如下：

A、建立缺陷样本模型：采集飞机机身缺陷样本数据，并根据缺陷样本数据建立缺陷样本模型；

A1、通过多角度相机组合拍摄***拍摄得到飞机机身图像数据，并通过机身三维合成***得到机身三维模型；

A2、采集飞机机身缺陷样本数据，在机身三维模型中对应标记出机身缺陷信息并得到缺陷样本模型，在缺陷样本模型中按照像素建立像素坐标信息库，所述机身缺陷信息包括机身缺陷位置信息、缺陷类型及范围信息，机身缺陷位置信息为缺陷的像素坐标信息，对于同一机身缺陷位置信息下的缺陷按照缺陷类型进行分层设置，范围信息为缺陷所占像素大小或/和像素数量；

根据反馈修正的飞机机身缺陷样本数据或/和更新的飞机机身缺陷样本数据训练优化缺陷样本模型；

B、通过多角度相机组合拍摄***拍摄、采集得到待检测飞机机身的机身实际图像数据并通过机身三维合成***对应三维合成得到机身实际三维场景模型，将机身实际三维场景模型与缺陷样本模型进行像素坐标对应与像素坐标关联；根据缺陷样本模型的机身缺陷信息对机身实际三维场景模型进行逐一目标比对检测并得到机身实际场景缺陷数据，比对检测方法如下：

建立特征金字塔FPN，对步骤A1中飞机机身图像数据进行特征提取并根据机身三维合成***得到机身三维模型，同时对机身三维模型进行全面特征提取；对步骤A2中缺陷样本模型进行分层特征提取，对步骤B中机身实际三维场景模型进行特征提取并按特征进行坐标对应；

依靠特征金字塔FPN根据缺陷样本模型的机身缺陷信息对机身实际三维场景模型进行逐一、分层目标特征比对检测，并得到机身实际场景缺陷数据；机身实际场景缺陷数据包括缺陷位置信息、缺陷类型、缺陷范围、缺陷数量；

C、输出机身实际场景缺陷数据并生成可视化的缺陷检测报告。

3.按照权利要求2所述的基于深度学习的机身表面损伤缺陷自动检测方法，其特征在于：所述步骤A1中飞机机身图像数据取得方法如下：

包括飞机机库和飞机推行装置，飞机机库具有机库门，所述多角度相机组合拍摄***设置于飞机机库的机库门上，多角度相机组合拍摄***对飞机机身在横向区域进行重叠拍摄并得到第一组飞机机身横向重叠图像数据，然后通过飞机推行装置推动飞机机身纵向移动并得到第二组飞机机身横向重叠图像数据，前后两组飞机机身横向重叠图像数据在纵向区域上重叠，逐步推动飞机机身纵向移动并得到覆盖飞机机身全部区域的所有组飞机机身横向重叠图像数据，通过机身三维合成***将所有组飞机机身横向重叠图像数据进行重组拟合并得到重组拟合后的机身二维展开模型或/和机身三维模型。

4.按照权利要求2所述的基于深度学习的机身表面损伤缺陷自动检测方法，其特征在于：所述步骤B中机身实际三维场景模型取得方法如下：

通过多角度相机组合拍摄***对待检测飞机机身在横向区域进行重叠拍摄并得到第一组飞机机身横向重叠图像数据，然后通过飞机推行装置推动待检测飞机机身纵向移动并得到第二组飞机机身横向重叠图像数据，前后两组飞机机身横向重叠图像数据在纵向区域上重叠，逐步推动飞机机身纵向移动并得到覆盖飞机机身全部区域的所有组飞机机身横向重叠图像数据，通过机身三维合成***将所有组飞机机身横向重叠图像数据进行重组拟合并得到重组拟合后的机身实际场景二维展开模型或/和机身实际场景三维模型。

5.按照权利要求2～4任一项所述的基于深度学习的机身表面损伤缺陷自动检测方法，其特征在于：所述多角度相机组合拍摄***由若干个相机进行组合布置；所述机身实际三维场景模型采用目标比对检测模型包括yolo、ssd、fasterrcnn。

6.按照权利要求2～4任一项所述的基于深度学习的机身表面损伤缺陷自动检测方法，其特征在于：在进行逐一目标比对检测时采用可变形卷积单元进行动态调整比对检测；采用可变形卷积单元进行动态生成或/和训练缺陷样本模型。

7.一种基于深度学习的机身表面损伤缺陷自动检测***，包括飞机机身和飞机机库，所述飞机机库具有机库门，其特征在于：还包括依次连接的采集模块(2)、机身三维合成***(3)、机身缺陷检测***(4)和输出模块(5)，所述飞机机库的机库门上设有多角度相机组合拍摄***(1)，所述多角度相机组合拍摄***(1)分别与采集模块(2)、机身三维合成***(3)连接，所述多角度相机组合拍摄***(1)由若干个相机(11)进行组合布置，所述多角度相机组合拍摄***(1)的各个相机(11)完全覆盖飞机机身横向区域；所述采集模块(2)用于采集飞机机身缺陷样本数据或/和机身实际图像数据，所述机身三维合成***(3)用于根据飞机机身图像数据得到机身三维模型、机身实际三维场景模型并根据飞机机身缺陷样本数据标记得到缺陷样本模型，所述机身缺陷检测***(4)用于根据缺陷样本模型、机身实际三维场景模型进行逐一目标比对检测并得到机身实际场景缺陷数据，比对检测方法如下：

建立特征金字塔FPN，对步骤A1中飞机机身图像数据进行特征提取并根据机身三维合成***得到机身三维模型，同时对机身三维模型进行全面特征提取；对步骤A2中缺陷样本模型进行分层特征提取，对步骤B中机身实际三维场景模型进行特征提取并按特征进行坐标对应；

依靠特征金字塔FPN根据缺陷样本模型的机身缺陷信息对机身实际三维场景模型进行逐一、分层目标特征比对检测，并得到机身实际场景缺陷数据；所述输出模块(5)用于输出机身实际场景缺陷数据。

8.按照权利要求7所述的基于深度学习的机身表面损伤缺陷自动检测***，其特征在于：还包括与飞机机身相对应的飞机推行装置，所述多角度相机组合拍摄***(1)的相机(11)可活动设置于飞机机库的机库门上。

9.按照权利要求7所述的基于深度学习的机身表面损伤缺陷自动检测***，其特征在于：所述输出模块(5)还用于生成可视化的缺陷检测报告并输出。

Images