CN111860520A - 基于深度学习的大飞机点云模型自监督语义分割方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的大飞机点云模型自监督语义分割方法，包括：利用激光跟踪仪从多个站位分别采集大尺寸飞机点云，生成若干组3D点云数据；构建全局测量场，基于全局测量场对若干组3D点云数据进行初始配准，再基于图优化对初始配准后的点云数据进行精配准，获取完整飞机点云模型；对完整飞机点云模型进行自监督语义分割。本发明利用光学三维检测***测量技术，对采集到的3D数据进行处理分析，可以准确有效的进行大飞机上的外形语义分割，且构思合理，实践中可在飞机安全巡检等场景中实现自动化应用。

Description

基于深度学习的大飞机点云模型自监督语义分割方法

技术领域

本发明涉及深度学习、计算机视觉和图形学技术领域，具体而言涉及一种基于深度学习的大飞机点云模型自监督语义分割方法。

背景技术

随着服役年限逐渐增大，大量飞机的抗腐蚀性能随之下降。大量飞机的使用情况显示，飞机的主要故障形式是由结构件的裂纹、腐蚀等损伤导致的结构故障，严重的结构故障必须停飞进行严格全面的检修。因此，为保障在役飞机的正常使用和安全性，飞机的无损检测非常重要，而飞机蒙皮表面检测又是飞机无损检测的重点。飞机蒙皮通过铆钉固定在机身，随着飞机的升空和降落，机舱蒙皮承受着外部气压周期性的骤变，这种正常飞行期间的气压变化会导致铆钉连接处的疲劳损伤。此外，由于飞机长期处于自然环境中，铝材质的蒙皮和加强筋结构的铆接处在与环境中的某些物质接触后产生腐蚀损伤，进而导致损伤区域出现材料损失，该区域的应力集中会加快疲劳裂纹的扩展。这些蒙皮损伤的产生会使飞机蒙皮的结构强度下降，最终影响飞机的安全系数。

几何形变分析是航空维修、数控加工、虚拟装配、有限元分析的重要基础。例如，飞机表面的制造偏差会造成蒙皮无规律的起伏,即机体表面的波纹现象。在机头空速管附近,这将直接影响静压探头附近的流场,造成静压探头测得的高度、压力等数据出现偏差,当波纹较严重时,将较大的影响数据的准确性,造成飞行员的误判,影响飞行的安全。航空制造工业中，飞机机翼等复杂型面的零件都需要进行高精度数控加工，然后通过使用数字化测量方法，来进行质量控制。随着科学技术与飞机制造业的飞速发展，飞机的传统水平测量方法已经无法适应目前飞机制造和维修的发展趋势。

发明内容

本发明目的在于提供一种基于深度学***测量效率低、精度低等缺点，而且其理论应用和实际工程应用价值也非常大。

为达成上述目的，结合图1，本发明提出一种基于深度学习的大飞机点云模型自监督语义分割方法，所述语义分割方法包括以下步骤：

S1，利用激光跟踪仪从多个站位分别采集大尺寸飞机点云，生成若干组3D点云数据；

S2，构建全局测量场，基于全局测量场对若干组3D点云数据进行初始配准，再基于图优化对初始配准后的点云数据进行精配准，获取完整飞机点云模型；

S3，对完整飞机点云模型进行自监督语义分割。

作为其中的一种优选例，步骤S1中，所述利用激光跟踪仪从多个站位分别采集大尺寸飞机点云包括：

S1，在大尺寸飞机邻近处分布设置A个跟踪仪站点和B个标靶点，A和B均为大于等于1的正整数；

S2，采用激光跟踪仪从多个站位分别采集大尺寸飞机点云，每组所述3D点云数据均包含与自身测量坐标系对应的部分大尺寸飞机外形点云数据和至少一个标靶点信息。

作为其中的一种优选例，所述A和B满足以下关系：AB≥3(A+B)。

作为其中的一种优选例，步骤S2中，所述构建全局测量场的过程包括以下步骤：

S201，通过跟踪仪在不同站点视角对所有标靶点的测距数值，测量得到每个跟踪仪站点与所有标靶点之间的距离；

S202，选择A₁个标靶点和B₁个跟踪仪站点；

S203，以任意一个跟踪仪站点的测量坐标系为基准，结合其他跟踪仪站点依次建立X轴、XOY平面和全局坐标系；

S204，将每个标靶点和跟踪仪站点的坐标视为未知参数，标靶点和跟踪仪站点之间的距离视为已知参数，构建方程组，将跟踪仪全局测量场构建问题转化为线性方程组求解问题，计算得到标靶点的坐标和对应的转站参数，构建全局测量场。

作为其中的一种优选例，步骤S2中，所述构建全局测量场的过程还包括以下步骤：

S205，利用多余的标靶点和跟踪仪站点，通过整体平差的方法对全局测量场进行优化。

作为其中的一种优选例，步骤S2中，所述基于全局测量场对若干组3D点云数据进行初始配准的过程包括以下步骤：

S211，用p_i表示全局坐标系下标靶点的坐，q_i表示激光跟踪仪局部坐标系下的所述标靶点的坐标，生成集合P＝{p₁,p₂,…,p_n}和Q＝{q₁,q₂,…,q_n}，将P作为目标点云，Q作为源点云，p_i为点云P中的点，q_i为点云Q中的点，n为点云的点数，利用最小二乘法确定两点云的刚体定向关系：

式中，R、t分别为目标点云和源点云对应的旋转矩阵和平移矩阵；

S212，对上式中的t求偏导可得平移矩阵

其中

分别为两组点集P,Q的重心，n≥i≥1；

通过平移，两组点云中点的新坐标分别表示为：

将上述公式简化为：

S213，计算得到最佳旋转矩阵：

S2131，最小化目标函数：

S2132，进行SVD分解H＝UΛV^T，U为奇异向量组成的矩阵，V为U的逆矩阵，Λ为奇异值组成的对角矩阵；

S2133，设R＝VU^T，目标函数取得最小值，得到最佳旋转矩阵，式中，T代表矩阵转置；

S214，利用所述最佳旋转矩阵，完成点云P和Q的粗配准。

作为其中的一种优选例，步骤S2中，所述基于图优化对初始配准后的点云数据进行精配准的过程包括以下步骤：

将每站点云和点云之间的重叠面积转化为图中的节点和边的权值，建立用于优化的无向图模型，通过迭代寻找并闭合新生成的环完成整个点云的精配准。

作为其中的一种优选例，步骤S3中，所述对完整飞机点云模型进行自监督语义分割的过程包括以下步骤：

S31，生成z序序列：

对于所述3D点云中任一点x，用S_r(x)代表以x为中心半径为r的球形邻域；

对球形邻域S_r(x)中的所有点按照z坐标值进行排序，然后从S_r(x)中随机抽取(k-1)个点，这些点与x相比具有更小的z值，这(k-1)点加上最后的x形成一个长度为k的z序序列。

S32，重复步骤S31，为点云中每个点x生成多个z序序列；

S33，采用训练完成的自监督特征学习网络预测下一个点的位移(x_k-x_k-1)：

以(x₁,x₂,...,x_k)代表任一长度为k的z序序列，使用z序序列前(k-1)点(x₁,x₂,...,x_k-1)预测下一个点x_k，使用长度为(k-1)子序列(x₁,x₂,...,x_k-1)预测位移(x_k-x_k-1)。

作为其中的一种优选例，所述自监督特征学习网络包括多个空间编码层、多层循环神经网络和完全连接层；

所述空间编码层包括1D卷积层、批量归一化层和ReLU激活函数层，所述多个空间编码层用于将每个点x_i编码成高维矢量v_i，再将高维矢量序列(v₁,v₂,...,v_k-1)传输至多层循环神经网络转换成RNN隐状态；

所述完全连接层用于将RNN隐状态变换为3D输出y，即到达序列中下一个点所需的空间位移估计。

以上本发明的技术方案，与现有相比，其显著的有益效果在于：

(1)利用光学三维检测***测量技术，对采集到的3D数据进行处理分析，可以准确有效的进行大飞机上的外形语义分割，且构思合理，实践中可在飞机安全巡检等场景中实现自动化应用。

(2)通过自标定的方法，可以快速精确地完成现场全局测量场的构建，同时，多余的跟踪仪检测站点或标靶数量提供了额外的数据，可以通过整体平差来提高整体测量精度。

(3)采用图优化的方法选择合适的配准次序从而消除误差累积,实现精度更高的大飞机点云的全局配准效果。

应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。另外，所要求保护的主题的所有组合都被视为本公开的发明主题的一部分。

结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见，或通过根据本发明教导的具体实施方式的实践中得知。

附图说明

附图不意在按比例绘制。在附图中，在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见，在每个图中，并非每个组成部分均被标记。现在，将通过例子并参考附图来描述本发明的各个方面的实施例，其中：

图1是本发明的基于深度学习的大飞机点云模型自监督语义分割方法的流程图。

图2是根据本发明实施例的全局测量场构建示意图。

图3是根据本发明实施例的空间填充曲线示意图。

图4是根据本发明实施例的自监督特征学习示意图。

具体实施方式

为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。

结合图1，本发明提出一种基于深度学习的大飞机点云模型自监督语义分割方法，所述语义分割方法包括以下步骤：

S1，利用激光跟踪仪从多个站位分别采集大尺寸飞机点云，生成若干组3D点云数据。

S2，构建全局测量场，基于全局测量场对若干组3D点云数据进行初始配准，再基于图优化对初始配准后的点云数据进行精配准，获取完整飞机点云模型。

S3，对完整飞机点云模型进行自监督语义分割。

在工业测量领域，受限于飞机尺寸以及各部件之间的相互遮挡，每一站激光跟踪仪所测得的点云数据都只包含部分飞机外形且处于自身测量坐标系下。为得到最终飞机完整数据，需要通过点云配准方法将处于不同坐标系下的点云数据统一到一个全局坐标系下。基于上述因素，本实施例针对通过步骤S1获取的多站位3D点云数据，首先建立全局测量场，进行初始配准；然后以初始配准为基础，进行基于图优化的精配准，以为后续处理步骤提供飞机完整点云模型。

一、构建全局测量场

单纯依靠传统方法直接对每站位的点云配准，所得到的结果精度很难达到大飞机外形检测的要求。因此，为提高整体精度，本实施例通过激光跟踪仪构建整个待扫描区域的全局测量场。

如图2所示，图2中包含1个标靶点P(x,y,z)和3个跟踪仪的站点T₁(0,0,0)、T₂(X₂,0,0)、T₃(X₃,Y₃,0)，以T₁其中一个站点上跟踪仪的测量坐标系为基准，根据T₂第二个跟踪仪站点确定X轴，再结合T₃第三个跟踪仪的站点建立XOY平面。将每个标靶点和跟踪仪自身的坐标视为未知参数，跟踪仪站点与标靶点的距离是已知参数，通过跟踪仪在不同站点视角对相同标靶点P的测距数值，构建有6个未知参数的方程组：

上式中，d₁为跟踪仪第一站点T₁到标靶点P的距离，d₂为跟踪仪第二站点T₂到标靶点P的距离，d₃为跟踪仪第三站点T₃到标靶点P的距离，为求解其中标靶点的坐标，通过增加跟踪仪站点和标靶点数量的方法，可以把跟踪仪全局测量场构建问题转化为线性方程组求解问题。

实际情况下，任意选定坐标系位置，设有A个跟踪仪站点和B个标靶点，只要满足如下关系，便可以求得转站参数：

AB≥3(A+B)

通过这种自标定的方法，可以快速精确地完成现场全局测量场的构建，同时，多余的跟踪仪检测站点或标靶数量提供了额外的数据，可以通过整体平差来提高整体测量精度。

二、初始配准

在建立好全局测量场之后，任何一站跟踪仪数据都可以通过公共标靶点转换到全局坐标系下。同理，在某一站位视角下激光扫描仪所测点云数据，也可以通过将点云中的标靶点与该站位下跟踪仪所测同名标靶点进行配准，从而将此站位的点云数据转换至全局坐标系内。

用p_i表示全局坐标系下标靶点的坐标，q_i表示激光跟踪仪局部坐标系下的所述标靶点的坐标，可得集合P＝{p₁,p₂,…,p_n}和Q＝{q₁,q₂,…,q_n}，将P作为目标点云，Q作为源点云，p_i为点云P中的点，q_i为点云Q中的点，n为点云的点数，利用最小二乘法来确定两点云的刚体定向关系：

只要有多于3个标靶点，便可以将点云数据快速粗配准至构建的全局坐标系下，完成整个数据的初始配准工作。

式(1.1)中，R、t分别为目标点云和源点云对应的旋转矩阵和平移矩阵。对式(1.1)中的t求偏导可得平移矩阵

其中

分别为两组点集P,Q的重心，n≥i≥1。通过平移，两点云中点的新坐标可分别表示为：

也就是将

作为两点云的初始平移向量进行配准。

公式(1.1)可简化为：

为将目标函数最小化，需：

进行SVD分解H＝UΛV^T,U为奇异向量组成的矩阵，V为U的逆矩阵，Λ为奇异值组成的对角矩阵。当R＝VU^T时，公式(1.2)取得最小值，此时得到最佳旋转矩阵。之后利用所述最佳旋转矩阵，完成点云P和Q的粗配准。

上式中，上标的T均代表矩阵转置。

三、基于图优化的精配准

由于每一对点云的配准较之理想结果都与有一定微小偏差，而对于多视角点云配准情况，如果线性的将点云从第一个站位依次配准，很有可能出现第一个站位与最后一个站位会产生很大的配准误差，从而导致整个配准结果的不一致性，这就是飞机多视角点云配准所需要解决的闭环问题。

本实施例采用图优化的方法选择合适的配准次序从而消除误差累积。以每个视角的点云作为图中的一个节点，有重叠关系的相邻节点之间以边相连从而构成一个多视角点云的无向图。通过图论优化方法，迭代选定包含若干个首尾相接的节点作为一个环并进行闭合，从而形成一个新的节点直至图中没有剩余节点为止，完成大飞机点云的全局优化配准工作。

四、自监督语义分割

具体过程为：

S3.1.z序序列生成:具体地，如图3所示，对于所述3D点云中任一点x，用S_r(x)代表以x为中心半径为r的球形邻域。对球形邻域S_r(x)中的所有点按照z坐标值进行排序，然后从S_r(x)中随机抽取(k-1)个点，这些点与x相比具有更小的z值，这(k-1)点加上最后的x形成一个长度为k的z序序列。

S3.2.为捕获多种局部结构，重复步骤S3.1为点云中每个点x生成多个z序序列。

S3.3.自监督特征学习:以(x₁,x₂,...,x_k)代表任一长度为k的z序序列，本实施例使用z序序列前(k-1)点(x₁,x₂,...,x_k-1)预测下一个点x_k。为了稳定特征学习过程，学习其等效任务：使用长度为(k-1)子序列(x₁,x₂,...,x_k-1)预测位移(x_k-x_k-1)。z序序列提供了一个稳定的结构来学习非结构化点云。

本实施例中包含空间编码层，自监督特征学习网络结构如图4中所示：输入是一个长度为(k-1)的三维点有序序列(x₁,x₂,...,x_k-1)，输出是到下一个点的位移，即(x_k-x_k-1)。使用多个空间编码层将每个点x_i编码成高维矢量v_i，空间编码层由1D卷积、批量归一化和ReLU激活函数组成；然后，将高维矢量序列(v₁,v₂,...,v_k-1)送到多层循环神经网络(RNN)；最后，使用完全连接层将RNN隐状态变换为3D输出y，即到达序列中下一个点所需的空间位移估计。

在本公开中参照附图来描述本发明的各方面，附图中示出了许多说明的实施例。本公开的实施例不必定义在包括本发明的所有方面。应当理解，上面介绍的多种构思和实施例，以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施，这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (9)

1.一种基于深度学习的大飞机点云模型自监督语义分割方法，其特征在于，所述语义分割方法包括以下步骤：

S1，利用激光跟踪仪从多个站位分别采集大尺寸飞机点云，生成若干组3D点云数据；

S2，构建全局测量场，基于全局测量场对若干组3D点云数据进行初始配准，再基于图优化对初始配准后的点云数据进行精配准，获取完整飞机点云模型；

S3，对完整飞机点云模型进行自监督语义分割。

2.根据权利要求1所述的基于深度学习的大飞机点云模型自监督语义分割方法，其特征在于，步骤S1中，所述利用激光跟踪仪从多个站位分别采集大尺寸飞机点云包括：

S1，在大尺寸飞机邻近处分布设置A个跟踪仪站点和B个标靶点，A和B均为大于等于1的正整数；

S2，采用激光跟踪仪从多个站位分别采集大尺寸飞机点云，每组所述3D点云数据均包含与自身测量坐标系对应的部分大尺寸飞机外形点云数据和至少一个标靶点信息。

3.根据权利要求2所述的基于深度学习的大飞机点云模型自监督语义分割方法，其特征在于，所述A和B满足以下关系：AB≥3(A+B)。

4.根据权利要求2所述的基于深度学习的大飞机点云模型自监督语义分割方法，其特征在于，步骤S2中，所述构建全局测量场的过程包括以下步骤：

S201，通过跟踪仪在不同站点视角对所有标靶点的测距数值，测量得到每个跟踪仪站点与所有标靶点之间的距离；

S202，选择A1个标靶点和B₁个跟踪仪站点；

S203，以任意一个跟踪仪站点的测量坐标系为基准，结合其他跟踪仪站点依次建立X轴、XOY平面和全局坐标系；

S204，将每个标靶点和跟踪仪站点的坐标视为未知参数，标靶点和跟踪仪站点之间的距离视为已知参数，构建方程组，将跟踪仪全局测量场构建问题转化为线性方程组求解问题，计算得到标靶点的坐标和对应的转站参数，构建全局测量场。

5.根据权利要求4所述的基于深度学习的大飞机点云模型自监督语义分割方法，其特征在于，步骤S2中，所述构建全局测量场的过程还包括以下步骤：

S205，利用多余的标靶点和跟踪仪站点，通过整体平差的方法对全局测量场进行优化。

6.根据权利要求1所述的基于深度学习的大飞机点云模型自监督语义分割方法，其特征在于，步骤S2中，所述基于全局测量场对若干组3D点云数据进行初始配准的过程包括以下步骤：

S211，用p_i表示全局坐标系下标靶点的坐标，q_i表示激光跟踪仪局部坐标系下的所述标靶点的坐标，生成集合P＝{p₁，P₂，...，p_n}和Q＝{q₁，q₂，...，q_n}，将P作为目标点云，Q作为源点云，p_i为点云P中的点，q_i为点云Q中的点，n为点云的点数，利用最小二乘法确定两点云的刚体定向关系：

式中，R、t分别为目标点云和源点云对应的旋转矩阵和平移矩阵；

S212，对上式中的t求偏导可得平移矩阵

其中

分别为两组点集P，Q的重心，n≥i≥1；

通过平移，两组点云中点的新坐标分别表示为：

将上述公式简化为：

S213，计算得到最佳旋转矩阵：

S2131，最小化目标函数：

S2132，进行SVD分解片＝UAV^T，U为奇异向量组成的矩阵，V为U的逆矩阵，Λ为奇异值组成的对角矩阵；

S2133，设R＝VU^T，目标函数取得最小值，得到最佳旋转矩阵，式中，T代表矩阵转置；

S214，利用所述最佳旋转矩阵，完成点云P和Q的粗配准。

7.根据权利要求1所述的基于深度学习的大飞机点云模型自监督语义分割方法，其特征在于，步骤S2中，所述基于图优化对初始配准后的点云数据进行精配准的过程包括以下步骤：

将每站点云和点云之间的重叠面积转化为图中的节点和边的权值，建立用于优化的无向图模型，通过迭代寻找并闭合新生成的环完成整个点云的精配准。

8.根据权利要求1所述的基于深度学习的大飞机点云模型自监督语义分割方法，其特征在于，步骤S3中，所述对完整飞机点云模型进行自监督语义分割的过程包括以下步骤：

S31，生成z序序列：

对于所述3D点云中任一点x，用S_r(x)代表以x为中心半径为r的球形邻域；

对球形邻域S_r(x)中的所有点按照z坐标值进行排序，然后从S_r(x)中随机抽取(k-1)个点，这些点与x相比具有更小的z值，这(k-1)点加上最后的x形成一个长度为k的z序序列。

S32，重复步骤S31，为点云中每个点x生成多个z序序列；

S33，采用训练完成的自监督特征学习网络预测下一个点的位移(x_k-x_k-1)：

以(x₁，x₂，...，x_k)代表任一长度为k的z序序列，使用此z序序列的前(k-1)点(x₁，x₂，...，x_k-1)预测位移(x_k-x_k-1)。

9.根据权利要求1所述的基于深度学习的大飞机点云模型自监督语义分割方法，其特征在于，所述自监督特征学习网络包括多个空间编码层、多层循环神经网络和全连接层；

所述空间编码层包括1D卷积层、批量归一化层和ReLU激活函数层，所述多个空间编码层用于将每个点x_i编码成高维矢量v_i，再将高维矢量序列(v₁，v₂，...，v_k-1)传输至多层循环神经网络转换成RNN隐状态；

所述全连接层用于将RNN隐状态变换为3D输出y，即到达序列中下一个点所需的空间位移估计。

Images