CN111080627A - 一种基于深度学习的2d+3d大飞机外形缺陷检测与分析方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的2D+3D大飞机外形缺陷检测与分析方法，其特征在于，包括：采集多视角2D图像和3D点云数据；通过配准获取完整飞机点云模型；提取图像与点云特征点，根据特征匹配进行2D‑3D对应；根据2D‑3D的对应关系估计相机的位姿；根据相机位姿，实现2D图像的纹理颜色到3D点云的赋值；根据点云颜色和坐标信息，确定点云语义分割；根据点云语义分割，进行飞机外形缺陷的检测和分析。本发明方法基于深度学习的2D+3D大飞机外形缺陷检测与分析方法，利用视觉传感器设备和光学三维检测***测量技术，对采集到的2D+3D数据进行处理分析，可以准确有效的检测和提取出大飞机上的外形缺陷，且构思合理，实践中，可在飞机安全巡检等场景中实现自动化应用。

Description

一种基于深度学习的2D+3D大飞机外形缺陷检测与分析方法

技术领域

本发明涉及深度学习、计算机视觉和图形学等领域，具体为一种用于大飞机外形缺陷的检测与分析方法。

背景技术

传统的无损检测(Non-destructive testing，NDT)技术利用声、光、磁、电的特性，在不损害或不影响被检对象使用性能的前提下，检测被检对象中是否存在缺陷或不均匀性，给出缺陷的大小、位置、性质和数量等信息，进而判定被检对象当下的技术状态(如合格与否、剩余寿命等)，在大飞机缺陷检测方面有重要地位。然而，传统的无损检测同时具有检测成本高、速度慢的特点，并且，虽然其对体积型缺陷(气孔、夹渣、夹钨、烧穿、咬边、焊瘤、凹坑等)检出率很高，但如果照相角度不适当，对面积型缺陷(未焊透、未熔合、裂纹等)却容易漏检。

目前，通过基于爬行机器人的计算机视觉技术对大尺寸飞机外形缺陷进行检测与分析是主流的无损检测技术之一。这项技术利用一个带有吸盘脚的“平面履带式”移动机器人在飞机蒙皮上爬行，并同时进行缺陷定位与分析。具体而言，使通过使用安装在移动机器人上的四个摄像头，利用计算机视觉算法进行铆钉检测，并将机器人脊柱轴线与铆钉线对齐，从而将其定位在正确的位置。然而，这种技术由于受光照影响很不稳定，结构设计要求高，标定繁琐、漏检率比较高。所以，自动无损检测在视觉检测方面并没有获得巨大成功。

随着数字化测量技术的发展，使用激光跟踪仪及激光扫描仪进行大尺寸飞机停机状态全机外形检测的工程技术方法已经成为现实。基于激光跟踪仪的大飞机外形检测是针对一些尺寸大的飞机或特殊飞行器提出的整机停机状态下非接触式测绘与检测方法，其测绘对象尺寸非常大，翼展超过40m，三视图尺寸46m×42m×14m，精度要求高，要测的内容非常繁多，不仅包括机头、机身、机翼、发动机舱、平尾和垂尾等关键部件的整体外形测绘，还需进行巡航、起飞、降落等不同构型状态下的各活动翼面的不同位置的外形测绘等。然而，激光跟踪仪获取的3D点云数据虽然具有较高的精度，也有自身的问题，比如点比较稀疏，对于算法而言有效感知距离不会超过10m。另外，直接基于3D点云，其难点在于没有视觉特征使得跟踪和定位等任务不如视觉中直接。视觉的优势在于包含的信息量巨大，可以提供大量的视觉特征。

从以上分析可知，视觉和激光跟踪仪不应该是矛盾的两个技术，而是各有优势和劣势。随着计算机视觉和机器学***的发展，计算机视觉可以代替人眼对目标进行识别、定位和测量，已应用于许多工业检测问题。

发明内容

本发明的技术目的是提供一种基于深度学习的2D+3D大飞机外形缺陷检测与分析方法，结合视觉传感器设备和光学三维检测***，利用采集到的数据完成对大飞机外形缺陷的检测和分析，以填补现有技术的空白。

本发明提供的技术方案为：

一种2D+3D大飞机外形缺陷检测与分析方法，其特征在于，包括：

步骤S1.利用安装在移动机器人上的PTZ相机和激光跟踪仪从多个站位分别采集大尺寸飞机的图像和点云，构成多视角2D图像和3D点云数据；

步骤S2.通过3D点云配准获取完整飞机点云模型；

步骤S3.分别提取2D图像与3D点云特征点，根据特征匹配进行2D-3D对应；

步骤S4.根据2D-3D的对应关系，估计相机的位姿；

步骤S5.根据相机位姿，实现2D图像的纹理颜色到3D点云的赋值，得到带纹理信息的3D点云；

步骤S6.对所述带纹理信息的3D点云进行语义分割；

步骤S7.根据语义分割的结果对大飞机进行缺陷分析。

在上述方案的基础上，进一步改进或优选的方案还包括：

进一步的，所述步骤S5中，根据估计的相机位姿，将3D点云映射到图像空间；然后，对于正确匹配的2D-3D特征点对，将2D特征点颜色信息赋给对应的3D特征点；对于非匹配的2D-3D特征点对，选取最近的2D特征点，并将颜色信息赋给3D特征点；对于其他非特征点，使用插值法得到颜色信息。

进一步的，所述步骤S6中，根据步骤S5构建的带纹理3D点云，进行自监督语义分割，其过程包括以下步骤：

S6.1.z序序列生成：对于所述带纹理信息的3D点云中任一点x，建立以其为中心，具有一定中心半径的球形邻域，对所述球形邻域中的所有点，按照z坐标值进行排序，然后从所述球形邻域中随机抽取(k-1)个点，这些点与x相比具有更小的z值，这(k-1)点加上最后的x形成一个长度为k的z序序列；

S6.2.重复步骤S6.1，为点云中每个点生成多个z序序列；

S6.3.自监督特征学习：以(x₁，x₂，…，x_k)代表任一长度为k的z序序列，使用z序序列前(k-1)点(x₁，x₂，...，x_k-1)预测下一个点x_κ，使用长度为(k-1)的子序列(x₁，x₂，…，x_k-1)预测位移x_k-x_k-1。

所述自监督特征学习网络结构的输入是一个长度为(k-1)的三维点有序序列(x₁，x₂，…，x_k-1)，输出是到下一个点的位移，即x_k-x_k-1，使用多个空间编码层将每个点x_i编码成高维矢量V_i，1≤i≤k-1，所述空间编码层由1D卷积、批量归一化和ReLU激活函数组成；然后，将高维矢量序列(v₁，v₂，...，v_k-1)送到多层循环神经网络RNN；最后，使用完全连接层将RNN隐状态变换为3D输出y，即到达序列中下一个点所需的空间位移估计。

进一步的，所述步骤S7包括S7.1缺陷检测过程和S7.2缺陷表征过程，其中，S7.1.缺陷检测过程包括：

a.通过移动最小二乘算法平滑和重采样经过语义分割获得部件的3D点云数据，使用高阶多项式插值重建曲面；

b.基于移动最小二乘法进一步估计所述曲面的法线和曲率；

c.使用区域增长算法将部件划分为受损区域和非受损区域两部分：

首先从不同区域选择随机点作为种子点，然后逐渐增长，直到覆盖所述部件的整个点云，对于每个种子点，测试其邻域点法线与当前种子点法线之间的角度，如果角度小于某阈值，则将当前邻域点添加到种子点集合，对应每个种子点集合输出一组聚类，一个聚类视为位于同一平滑表面上的一部分点，结合所述聚类，最后通过可视化方法标记出所述部件上的缺陷区域。

进一步的，所述步骤S2包括：

S2.1.基于全局测量场进行初始配准；

S2.2.在初始配准的基础上，进行基于图优化的精配准。

步骤S2.1利用激光跟踪仪，通过自标定测距的方法计算出安置在飞机周围标靶点的全局坐标，并以此构建出整体飞机的全局测量场。

所述步骤S2.2通过将每站点云和点云之间的重叠面积转化为图中的节点和边的权值，建立用于优化的无向图模型，通过迭代寻找并闭合新生成的环完成整个点云的精配准。

进一步的，所述步骤S3包括：

S3.1.利用2D SIFT检测器在图像上提取一组特征点；

S3.2.利用3D ISS对优化配准后的大飞机点云提取一组特征点；

S3.3.根据步骤S31和S32提取的两组特征点，利用Triplet深度神经网络联合学习图像和点云的特征点描述子，获得2D-3D的对应关系。

有益效果：

本发明一种基于深度学习的2D+3D大飞机外形缺陷检测与分析方法，利用视觉传感器设备和光学三维检测***测量技术，对采集到的2D+3D数据进行处理分析，可以准确有效的检测和提取出大飞机上的外形缺陷，且构思合理，实践中，可在飞机安全巡检等场景中实现自动化应用。

附图说明

图1是根据本发明实施例的飞机外形缺陷检测与分析的流程图；

图2是根据本发明实施例的全局测量场构建示意图；

图3是根据本发明实施例的Triplet深度网络结构示意图；

图4是根据本发明实施例的空间填充曲线示意图；

图5是根据本发明实施例的自监督特征学习示意图；

图6是实施本发明实施例的飞机外形缺陷分析示意图；

图7是实施本发明实施例的飞机外形缺陷检测过程示意图；

图8是实施本发明实施例的飞机外形缺陷深度估计示意图。

图9为本发明实施中，检测的缺陷大小与方向的示意图。

具体实施方式

本实施例一种基于深度学习的2D+3D大飞机外形缺陷检测与分析方法，主要内容包括通过Triplet(三路)神经网络联合学习2D图像和3D点云特征点描述子；通过计算2D、3D特征描述子之间的欧氏距离相似度矩阵，得到2D-3D特征匹配对；然后，利用2D-3D匹配对之间的几何关系，通过PnP方法估计相机位姿；使用估计的相机位姿将3D点云投影到图像空间，得到带纹理的3D点云；对带纹理的3D点云进行自监督语义分割；最后，对语义分割得到的各部件进行缺陷分析。

为了进一步阐明本发明的技术方案和设计原理，下面结合附图对本发明做详细的介绍。

如图1所示，一种基于深度学习的2D+3D大飞机外形缺陷检测与分析方法，过程如下：

步骤S1.通过安装于移动机器人上的PTZ相机和激光跟踪仪获取单站位2D图像+3D点云数据，之后移动机器人从不同视角拍摄图像和获取3D点云数据；

步骤S2.通过3D配准获取飞机完整点云数据

在工业测量领域，受限于飞机尺寸以及各部件之间的相互遮挡，每一站激光跟踪仪所测得的点云数据都只包含部分飞机外形且处于自身测量坐标系下。为得到最终飞机完整数据，需要通过点云配准方法将处于不同坐标系下的点云数据统一到一个全局坐标系下。基于上述因素，本实施例针对通过步骤S1获取的多站位3D点云数据，首先建立全局测量场，进行初始配准；然后以初始配准为基础，进行基于图优化的精配准，以为后续处理步骤提供飞机完整点云模型。

步骤S2具体包括：

步骤S2.1：

a.构建全局测量场：单纯依靠传统方法直接对每站位的点云配准，所得到的结果精度很难达到大飞机外形检测的要求。因此，为提高整体精度，本实施例通过激光跟踪仪构建整个待扫描区域的全局测量场。

如图2所示，图2中包含1个标靶点P(x，y，z)和3个跟踪仪的站点T₁(0，0，0)、T₂(X₂，0，0)、T₃(X₃，Y₃，0)，以T₁其中一个站点上跟踪仪的测量坐标系为基准，根据T₂第二个跟踪仪站点确定X轴，再结合T₃第三个跟踪仪的站点建立XOY平面。将每个标靶点和跟踪仪自身的坐标视为未知参数，跟踪仪站点与标靶点的距离是已知参数，为坐标为的坐标为通过跟踪仪在不同站点视角对相同标靶点P的测距数值，构建有6个未知参数的方程组：

上式中，d₁为跟踪仪第一站点T₁到标靶点P的距离，d₂为跟踪仪第二站点T₂到标靶点P的距离，d₃为跟踪仪第三站点T₃到标靶点P的距离，为求解其中标靶点的坐标，通过增加跟踪仪站点和标靶点数量的方法，可以把跟踪仪全局测量场构建问题转化为线性方程组求解问题。

实际情况下，任意选定坐标系位置，设有A个跟踪仪站点和B个标靶点，只要满足如下关系，便可以求得转站参数：

AB≥3(A+B)

通过这种自标定的方法，可以快速精确地完成现场全局测量场的构建，同时，多余的跟踪仪检测站点或标靶数量提供了额外的数据，可以通过整体平差来提高整体测量精度。

b.初始配准：在建立好全局测量场之后，任何一站跟踪仪数据都可以通过公共标靶点转换到全局坐标系下。同理，在某一站位视角下激光扫描仪所测点云数据，也可以通过将点云中的标靶点与该站位下跟踪仪所测同名标靶点进行配准，从而将此站位的点云数据转换至全局坐标系内。

用p_i表示全局坐标系下标靶点的坐标，q_i表示激光跟踪仪局部坐标系下的所述标靶点的坐标，可得集合P＝{p₁，p₂，…，p_n}和Q＝{q₁，q₂，…，q_n}，将P作为目标点云，Q作为源点云，p_i为点云P中的点，q_i为点云Q中的点，n为点云的点数，利用最小二乘法来确定两点云的刚体定向关系：

只要有多于3个标靶点，便可以将点云数据快速粗配准至构建的全局坐标系下，完成整个数据的初始配准工作。

(1.1)式中，R，t分别为两组点云对应的旋转矩阵和平移矩阵。对(1.1)中的t求偏导可得平移矩阵

其中

分别为两组点集P，Q的重心。通过平移，两点云中点的新坐标可分别表示为：

也就是将

作为两点云的初始平移向量进行配准。

公式(1.1)可简化为：

为将目标函数最小化，需

进行SVD分解H＝UΛV^T，U为奇异向量组成的矩阵，V为U的逆矩阵，Λ为奇异值组成的对角矩阵。当R＝VU^T时，公式(1.2)取得最小值，此时得到最佳旋转矩阵。之后利用所述最佳旋转矩阵，完成点云P和Q的粗配准。

上式中，上标的T均代表矩阵转置。

步骤S2.2.基于图优化的精配准；

由于每一对点云的配准较之理想结果都与有一定微小偏差，而对于多视角点云配准情况，如果线性的将点云从第一个站位依次配准，很有可能出现第一个站位与最后一个站位会产生很大的配准误差，从而导致整个配准结果的不一致性，这就是飞机多视角点云配准所需要解决的闭环问题。

本实施例采用图优化的方法选择合适的配准次序从而消除误差累积。以每个视角的点云作为图中的一个节点，有重叠关系的相邻节点之间以边相连从而构成一个多视角点云的无向图。通过图论优化方法，迭代选定包含若干个首尾相接的节点作为一个环并进行闭合，从而形成一个新的节点直至图中没有剩余节点为止，完成大飞机点云的全局优化配准工作。

步骤S3.提取2D图像与3D点云的特征点，根据2D图像和3D点云的特征点，进行2D-3D对应，具体包括：

S3.1.利用2D SIFT检测器在图像上提取一组特征点

1≤n≤N；

S3.2.利用3D ISS对优化配准后的大飞机点云提取一组特征点

1≤m≤M；

这里的N和M分别代表从2D图像和3D点云中提取的2D和3D关键点数。SIFT和ISS是成熟的特征点提取算法。

S3.3.根据步骤S31和S32提取的两组特征点，利用Triplet深度神经网络联合学习图像和点云的特征点描述子；

首先，分别建立以每个2D关键点和3D关键点为中心的局部小块(Patch)集合(描述子不但包括关键点，也包括关键点周围对其有贡献的点)，深度Triplet网络将μ和

中的每个2D和3D关键点映射到同一个高维特征空间来联合学习相应的描述子集合，表示为

和

D是描述子的维数。此处和步骤2.1、3.1等位置出现的n，仅用于泛指不特定的量值，不表示其代表的量一定相等。

之后，采用三元组作为输入：一个参考样本(锚/基准正例)，一个同类样本(正例)，一个异类样本(负例)。三元组构成两类描述子对：匹配描述子对和非匹配描述子对。Triplet网络通过训练成对相似性损失函数来最大化匹配对的相似性，最小化不匹配对的相似性。用相似性距离来表达其学习目标是：匹配特征描述子对之间的相似距离比非匹配描述子对的相似距离小得多，从而建立Φ和Ψ之间的2D-3D对应关系。

如图3所示，图像和点云局部小块作为锚图像块的正例和正负例局部点云小块被送到网络中。将输入三元组表示为

Triplet网络由三个分支组成，其中一个分支学***均池化层应用于卷积4的特征图上。在网络末端连接两个完全连接层输出期望的描述子维度。3D特征点描述子函数F(x_M；θ_M)设计为PointNet网络来提取点云局部小块描述子。网络使用Triplet损失进行训练，因此锚点

和正例

匹配对之间的相似距离

远小于锚点

和负例

非匹配对之间的相似距离

即

Triplet损失使用加权softmargin函数

其中d＝d_pos-d_neg，这种损失函数可以使深度网络加快收敛速度。

步骤S4.根据2D-3D对应关系，利用特征点匹配对来估计相机的位姿；

所述步骤S4具体的过程为：

S4.1.根据步骤S3.3提取的2D、3D特征点和描述子，对特征点进行匹配，最终得到2D-3D特征点匹配对；

具体为根据特征向量之间的欧式距离，计算每对2D/3D特征描述子的相似性度量矩阵，然后，按照相似性度量对每个2D图像关键点的3D特征点进行排序，可选取前8个最近的3D特征点作为匹配对。

S4.2.获取三组以上的根据步骤S4.1得到的特征匹配对，根据PnP算法估计相机位姿，并通过随机抽样一致性(Random Sample Consensus，RANSAC)算法排除匹配错误的匹配对；

步骤S5.根据相机位姿信息，实现2D纹理颜色到3D点云的赋值；

首先，根据步骤S4.2估计的相机位姿，将3D点云映射到图像空间；然后，对于正确匹配的2D-3D特征点对，将2D特征点颜色信息赋给对应的3D特征点；对于非匹配的2D-3D特征点对，选取最近的2D特征点，并将颜色信息赋给3D特征点；对于其他非特征点，使用插值法得到颜色信息。

步骤S6.根据步骤S5构建的带纹理3D点云，进行自监督语义分割，具体过程为：

S6.1.z序序列生成：具体地，如图4所示，对于所述带纹理3D点云中任一点x，用S_r(x)代表以x为中心半径为r的球形邻域。对球形邻域S_r(x)中的所有点按照z坐标值进行排序，然后从S_r(x)中随机抽取(k-1)个点，这些点与x相比具有更小的z值，这(k-1)点加上最后的x形成一个长度为k的z序序列。

S6.2.为捕获多种局部结构，重复步骤S6.1为点云中每个点x生成多个z序序列。

S6.3.自监督特征学习：以(x₁，x₂，…，x_k)代表任一长度为k的z序序列，本实施例使用z序序列前(k-1)点(x₁，x₂，...，x_k-1)预测下一个点x_k。为了稳定特征学习过程，学习其等效任务：使用长度为(k-1)子序列(x₁，x₂，…，x_k-1)预测位移x_k-x_k-1。z序序列提供了一个稳定的结构来学习非结构化点云。

本实施例中包含空间编码层，子监督特征学习网络结构如图5中所示：输入是一个长度为(k-1)的三维点有序序列(x₁，x₂，…，x_k-1)，输出是到下一个点的位移，即x_k-x_k-1。使用多个空间编码层将每个点x_i编码成高维矢量v_i，空间编码层由1D卷积、批量归一化和ReLU激活函数组成；然后，将高维矢量序列(v₁，v₂，...，v_k-1)送到多层循环神经网络(RNN)；最后，使用完全连接层将RNN隐状态变换为3D输出y，即到达序列中下一个点所需的空间位移估计。

步骤S7.根据步骤S6构建的语义分割，对分割后的各部件进行缺陷分析，具体包括以下步骤：

S7.1.缺陷检测过程：如附图7所示，分为四个步骤：首先，通过移动最小二乘(MLS)算法对点云进行平滑；接下来，估计点云中每个点的法线和曲率；进一步利用法线和曲率信息，使用区域增长算法将点云分成缺陷区域和非缺陷区域；最后，使用可视化方法标记出缺陷区域。

步骤S7.1的过程具体为：

a.通过移动最小二乘(MLS)算法平滑和重采样3D点云。使用高阶多项式插值重建曲面，其数学模型描述如下：

给定高阶多项式函数f：

和一组点S＝{c_i，f_i|f(c_i)＝f_i}，其中

点c_i球形邻域的移动最小二乘近似定义为误差泛函：

为加权最小二乘解，

Θ称为加权函数，在本实施例中使用高斯函数

h代表平均距离。

b.基于移动最小二乘法进一步估计曲面的法线和曲率；给定查询点p_q及其邻域P^K，通过最小二乘平面拟合算法确定点x和法向量n_x表示的切平面S。g_i∈P^K到平面S的距离定义为：d_i＝(g_i-x)·n_x，d_i＝0对应的S为最小二乘平面，其中

的质心。将最小特征值λ₀对应的特征向量v₀作为法向n_x的近似估计。通过协方差矩阵的特征值来估计曲率：

其中λ₀＝min(λ_{j＝０，1，2})。重复以上步骤，对每个点估计法线和曲率。

c.使用区域增长算法将部件划分为受损区域和非受损区域两部分。首先，从不同区域选择随机点作为种子点；然后，逐渐增长直到覆盖整个点云。对于区域增长，需要一个规则来检查每个生长步骤后，区域的同质性，拾取满足曲面法线和曲率平滑度约束的点，将其添加到当前种子点集合中。对于每个种子点，测试邻域点法线与当前种子点法线之间的角度，如果角度小于某阈值，则将当前邻域点添加到种子点集合。通过这种方式，算法输出一组聚类，其中每个聚类是一组被认为是同一平滑表面的一部分的点。最后，使用可视化方法标记出缺陷区域。

S7.2.缺陷表征过程：使用S7.1缺陷检测结果，估计缺陷的大小和深度。此过程目的是提取并显示缺陷的三个最重要信息：尺寸(边界框)、最大深度和缺陷的方向。具体而言，包括

a.提取最低点：对于缺陷区域中的每个点a_i，如附图8所示，通过Δz(a_i)＝z_P(ideal)-z(a_i)估计其距离理想平面p_ideal的高差。如果|Δz(a_i)|低于预定义的阈值，则认为a_i不是缺陷点。缺陷的最低点由该缺陷区域中所有点的最大值确定，即max|Δz(a_i)|，而Δz(a_i)的符号确定缺陷是凹痕还是突起。当Δz(a_i)为正时检测到凹痕，当Δz(a_i)为负时检测到突起。

b.缺陷的尺寸和方向：对于缺陷区域，为了显示缺陷大小和方向，使用主成分分析(PCA)构建一个方向包围盒，即找到一个包含缺陷区域的最小矩形区域。在本实施例中，首先，计算缺陷区域的质心；然后，应用PCA算法来确定两个主轴组成的坐标系e_ξ，最后继续沿e_ξ的两个轴搜索终点。这些点一起构成了缺陷的方向包围盒，结果见附图9。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，本发明要求保护范围由所附的权利要求书、说明书及其等效物界定。

Claims (9)

1.一种基于深度学习的2D+3D大飞机外形缺陷检测与分析方法，其特征在于，包括：

步骤S1.利用安装在移动机器人上的PTZ相机和激光跟踪仪从多个站位分别采集大尺寸飞机的图像和点云，构成多视角2D图像和3D点云数据；

步骤S2.通过3D点云配准获取完整飞机点云模型；

步骤S3.分别提取2D图像与3D点云特征点，根据特征匹配进行2D-3D对应；

步骤S4.根据2D-3D的对应关系，估计相机的位姿；

步骤S5.根据相机位姿，实现2D图像的纹理颜色到3D点云的赋值,得到带纹理信息的3D点云；

步骤S6.对所述带纹理信息的3D点云进行语义分割；

步骤S7.根据语义分割的结果对大飞机进行缺陷分析。

2.根据权利要求1所述的一种基于深度学习的2D+3D大飞机外形缺陷检测与分析方法，其特征在于，步骤S5中，根据估计的相机位姿，将3D点云映射到图像空间；然后，对于正确匹配的2D-3D特征点对，将2D特征点颜色信息赋给对应的3D特征点；对于非匹配的2D-3D特征点对，选取最近的2D特征点，并将颜色信息赋给3D特征点；对于其他非特征点，使用插值法得到颜色信息。

3.根据权利要求1或2所述的一种基于深度学习的2D+3D大飞机外形缺陷检测与分析方法，其特征在于，步骤S6中，根据步骤S5构建的带纹理3D点云，进行自监督语义分割，其过程包括以下步骤：

S6.1.z序序列生成:对于所述带纹理信息的3D点云中任一点x，建立以其为中心，具有一定中心半径的球形邻域，对所述球形邻域中的所有点，按照z坐标值进行排序，然后从所述球形邻域中随机抽取(k-1)个点，这些点与x相比具有更小的z值，这(k-1)点加上最后的x形成一个长度为k的z序序列；

S6.2.重复步骤S6.1，为点云中每个点生成多个z序序列；

S6.3.自监督特征学习:以(x₁，x₂，…，x_k)代表任一长度为k的z序序列，使用z序序列前(k-1)点(x₁，x₂，...，x_k-1)预测下一个点x_k，使用长度为(k-1)的子序列(x₁，x₂，…，x_k-1)预测位移x_k-x_k-1。

4.根据权利要求3所述的一种基于深度学习的2D+3D大飞机外形缺陷检测与分析方法，其特征在于，所述自监督特征学习网络结构的输入是一个长度为(k-1)的三维点有序序列(x₁，x₂，…，x_k-1)，输出是到下一个点的位移，即x_k-x_k-1，使用多个空间编码层将每个点x_i编码成高维矢量v_i，1≤i≤k-1,所述空间编码层由1D卷积、批量归一化和ReLU激活函数组成；然后，将高维矢量序列(v₁，v₂，...，v_k-1)送到多层循环神经网络RNN；最后，使用完全连接层将RNN隐状态变换为3D输出y，即到达序列中下一个点所需的空间位移估计。

5.根据权利要求1所述的一种基于深度学习的2D+3D大飞机外形缺陷检测与分析方法，其特征在于，所述步骤S7包括S7.1缺陷检测过程和S7.2缺陷表征过程，其中，

S7.1.缺陷检测过程包括：

a.通过移动最小二乘算法平滑和重采样经过语义分割获得部件的3D点云数据，使用高阶多项式插值重建曲面；

b.基于移动最小二乘法进一步估计所述曲面的法线和曲率；

c.使用区域增长算法将部件划分为受损区域和非受损区域两部分：

首先从不同区域选择随机点作为种子点，然后逐渐增长，直到覆盖所述部件的整个点云，对于每个种子点，测试其邻域点法线与当前种子点法线之间的角度，如果角度小于某阈值，则将当前邻域点添加到种子点集合，对应每个种子点集合输出一组聚类，一个聚类视为位于同一平滑表面上的一部分点，结合所述聚类，最后通过可视化方法标记出所述部件上的缺陷区域。

6.根据权利要求1所述的一种基于深度学习的2D+3D大飞机外形缺陷检测与分析方法，其特征在于，所述步骤S2包括：

S2.1.基于全局测量场进行初始配准；

S2.2.在初始配准的基础上，进行基于图优化的精配准。

7.根据权利要求6所述的一种基于深度学习的2D+3D大飞机外形缺陷检测与分析方法，其特征在于，步骤S2.1利用激光跟踪仪，通过自标定测距的方法计算出安置在飞机周围标靶点的全局坐标，并以此构建出整体飞机的全局测量场。

8.根据权利要求6所述的一种基于深度学习的2D+3D大飞机外形缺陷检测与分析方法，其特征在于，所述步骤S2.2通过将每站点云和点云之间的重叠面积转化为图中的节点和边的权值，建立用于优化的无向图模型，通过迭代寻找并闭合新生成的环完成整个点云的精配准。

9.根据权利要求1所述的一种基于深度学习的2D+3D大飞机外形缺陷检测与分析方法，其特征在于，所述步骤S3包括：

S3.1.利用2D SIFT检测器在图像上提取一组特征点；

S3.2.利用3D ISS对优化配准后的大飞机点云提取一组特征点；

S3.3.根据步骤S31和S32提取的两组特征点，利用Triplet深度神经网络联合学习图像和点云的特征点描述子，获得2D-3D的对应关系。

Images