CN110889243B - 一种基于深度相机的飞机油箱三维重建方法与检测方法 - Google Patents
一种基于深度相机的飞机油箱三维重建方法与检测方法 Download PDFInfo
- Publication number
- CN110889243B CN110889243B CN201911321940.XA CN201911321940A CN110889243B CN 110889243 B CN110889243 B CN 110889243B CN 201911321940 A CN201911321940 A CN 201911321940A CN 110889243 B CN110889243 B CN 110889243B
- Authority
- CN
- China
- Prior art keywords
- point
- point cloud
- fuel tank
- scene
- dimensional reconstruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 239000002828 fuel tank Substances 0.000 title claims abstract description 44
- 238000001514 detection method Methods 0.000 title claims abstract description 12
- 230000009466 transformation Effects 0.000 claims abstract description 47
- 239000011159 matrix material Substances 0.000 claims abstract description 39
- 238000004026 adhesive bonding Methods 0.000 claims abstract description 8
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 230000008569 process Effects 0.000 claims description 28
- 238000005457 optimization Methods 0.000 claims description 23
- 239000013598 vector Substances 0.000 claims description 19
- 238000013139 quantization Methods 0.000 claims description 8
- 239000013256 coordination polymer Substances 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000009616 inductively coupled plasma Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000012804 iterative process Methods 0.000 claims description 2
- 238000011002 quantification Methods 0.000 claims 1
- 230000008901 benefit Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000002860 competitive effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度相机的飞机油箱三维重建方法与检测方法。所述三维重建方法包括：场景点云数据采集，将深度相机伸入待检测的飞机油箱，从不同视角采集油箱的内部信息，获得多帧带有颜色信息的飞机油箱点云数据，保证每帧点云数据与相邻帧点云之间都有部分重叠，用于后续配准；场景点云模型粗配准，点云数据进行预处理，通过特征匹配找到待匹配点云之间的对应点，通过对应点的位置变换关系，解算出点云之间的粗配准变换矩阵；场景点云模型的精配准。本发明三维重建方法匹配准确率高，算法效率较好，且有效解决了经典ICP算法在飞机整体油箱内部重建中稳定性不足的问题，适合应用在飞机油箱内部涂胶质量的检测中。
Description
技术领域
本发明属于计算机视觉领域，涉及点云之间的匹配方法，具体为一种基于深度相机的飞机油箱三维重建方法和利用所述重建方法检测油箱的方法。
背景技术
飞机整体油箱是油密区域，是飞机结构密封中要求最严格的部位，其良好的密封性是实现“安全、经济、舒适、环保”目标的必然要求。而事实上，目前在研型号中，整体油箱的泄漏情况反复出现，导致制造时的气密试验和油密试验周期远高于同类竞争机型。然而，目前油箱内部涂胶质量只能靠人工目测，效率不高同时检查效果也不好。
三维重建主要工作是点云的匹配问题，如何能快速、精确地配准帧与帧(或者帧与模型)之间的点云数据一直是一个研究热点。该问题比较经典的解决方案是迭代最临近点(Iterative Closest Point,ICP)及其变形算法。该算法通常用寻找点的对应关系及优化距离目标函数的方法求解，其中以点对平面法因其快速收敛性而应用较广，但也存在一些问题，比如该算法在有较多平滑曲面的情况下的表现并不稳定，因为没有足够的几何特征来支撑优化。同时，在初始粗配准达不到一定要求下，ICP算法也容易失效。
发明内容
针对传统方法检测飞机油箱内部效率低、检查效果不好的情况，本发明提出了采用三维重建的方式重建油箱内部点云，通过与理论数模作对比，以此来评估油箱内部涂胶质量。并针对现有三维重建技术配准技术的不足，提出了一种基于深度相机的飞机整体油箱高精度三维重建方法，该方法结合点云的颜色与几何信息，在提高配准精度的同时有效解决了算法稳定性的问题。
本发明提供的技术方案为：
一种基于深度相机的飞机油箱三维重建方法，其特征在于，包括以下步骤：
步骤一、场景点云数据采集
将深度相机伸入待检测的飞机油箱，从不同视角采集油箱的内部信息，获得多帧带有颜色信息的飞机油箱点云数据，保证每帧点云数据与相邻帧点云之间都有部分重叠，用于后续配准；
步骤二、场景点云模型粗配准
对步骤一采集的点云数据进行预处理，通过特征匹配找到待匹配点云之间的对应点，通过对应点的位置变换关系，解算出点云之间的粗配准变换矩阵；
步骤三、场景点云模型的精配准
将粗配准后的各帧点云的颜色信息与几何信息参数化，采用ICP算法建立待匹配点云中的精确对应点集，将对应点参数化后的颜色与几何信息整合到一起形成优化目标，最小化该目标求得所述精配准变换矩阵。
在上述方案的基础上，进一步改进或优选的方案还包括：
步骤三中，建立优化目标，计算精配准变换矩阵T的过程为：
针对两待配准场景P、Q的点云，通过公式(1)将二者对应点集κ＝{(p，q)}中点的颜色信息与几何信息整合形成一个综合的优化目标；
E(T)＝(1-σ)EC(T)+σEG(T) (1)
上式中，E(T)由两部分组成，EC(T)代表点云颜色信息的优化目标，EG(T)表示点云几何信息的优化目标，σ∈[0，1]是平衡EC(T)和EG(T)两个目标的权重；
在最小化E(T)的目标下，利用高斯牛顿法来计算两点云间的精配准变换矩阵T，即目标函数E(T)最小时，对应的精配准变换矩阵为最终应用到场景点云上的变换矩阵。
步骤三中，颜色信息和几何信息的量化过程均通过一连续函数实现：
颜色信息量化过程：
为点p切平面上的向量，C(p)为离散函数,表示从点云到颜色信息的检索函数，CP(u)为其对应连续函数，
为CP(u)的梯度；
几何信息量化过程：
GP(u)≈(op-p)Tnp (3)
op为虚拟相机所在位置，np表示p点的法向量；
上式中，点p为场景P点云中的一个点，其它待配准场景点云颜色信息和几何信息的量化过程采用相同的原理。
结合所述公式(2)、(3)，公式(1)可具体表达为：
其中，
分别为光度与几何残差，具体计算方法如下：
上式中，C(q)为场景Q点云中点q的离散函数，表示从点云到颜色信息的检索函数；σ为权重，s表示两个矩阵相乘，即s(q，T)＝Tq；f表示投影函数，将经变换矩阵T变换后的对应点q投影到点p的切平面上。
在步骤三建立对应点集和求解精配准变换矩阵的匹配迭代过程中：
通过初始迭代时，对场景点云下采样只留下较少的点，得到稀疏点云，随着迭代的进行，下采样的幅度越来越小，使每次迭代处理的密度呈现由粗到精的变化。
进一步的，所述步骤二的过程为：
(21)对步骤一中采集的各场景点云数据进行预处理
所述预处理的过程为：首先利用直通滤波的方法去除场景边缘数据模糊、质量较低的冗余数据；然后利用基于统计学的去噪算法对点云中的离群点进行剔除；最后计算场景中各点的法矢，其中法矢信息是采用基于局部表面拟合估计法向量的方法获取的；
(22)基于点对特征的方法建立全局模型描述
(23)利用步骤(22)中建立的全局模型描述，通过搜索不同场景间的相似点对特征，进行点云之间的特征匹配，找到两两点云之间的粗配准对应点，计算所述对应点在两点云中的位姿变换矩阵，并进行位姿聚类和投票操作，得到点云的最终粗配准变换矩阵。
进一步的，步骤(23)中：
所述位姿聚类是指将比较相近的位姿变换矩阵，对应的投票数量即得分取平均值，以消除相近位姿的影响，提高算法对位姿检测的稳定性；
所述投票操作是通过累加两点云中各对应点位姿变换矩阵出现的次数进行投票，最终得票最高的为点云的最终粗配准变换矩阵。
一种基于如上所述三维重建方法的飞机油箱检测方法，其特征在于，通过所述三维重建方法，重建待检测油箱的内部点云模型，并与预设的理论模型作对比，评估飞机油箱内部的涂胶质量。
有益效果：
本发明检测方法利用三维重建的方法代替人工来检测油箱的涂胶质量，不仅提高了检测效率，且检测效果更好。而本发明三维重建方法与现有三维重建技术相比，具有以下优点：1)通过结合量化(参数化)的点云颜色和几何信息，优化对精配准变换矩阵的求解，可克服现有算法在较多平滑曲面的情况下表现不稳定的情况；2)使用基于ppf特征的粗配准方法，快速有效的保证精配准的初始位置后，结合了点云的颜色信息与几何信息的优化目标，使得精配准算法的稳定性进一步提高；3)匹配迭代过程中对点云采用“由粗到精”的处理方式，可提高算法效率，减少了陷入局部最小值的可能性。
附图说明
图1是飞机整体油箱高精度三维重建方法流程图；
图2是飞机整体油箱测量方法示意图；
图3是本发明两点之间ppf特征示意图；
图4是本发明飞机油箱部分点云精配准结果图。
具体实施方式
为了阐明本发明的工作流程和工作原理，下面结合附图和具体实施例对本发明做详细说明。
实施例一：
一种基于深度相机的飞机油箱三维重建方法，包括以下步骤：
步骤一：采集场景点云数据
将RGB-D深度相机伸入飞机油箱，从不同视角采集油箱内部的图像信息，获得多帧带有颜色信息的飞机油箱点云数据，这些片段点云数据将作为后续粗配准步骤的输入。每帧点云可视为对应全局场景下的一个“小场景”，后文如无特别说明，场景均指所述“小场景”。
搭载RGB-D深度相机的硬件结构如图2所示，图中各部分分别为：
1：三脚架；
2：RGB-D深度相机；
3：伸缩杆；
4：连接件。
所述RGB-D深度相机2安装在伸缩杆3的前端，伸缩杆3偏后的某一位置通过云台等活动连接件4，安装在所述三脚架1的顶端。其中，所述RGB-D深度相机的工作参数为：垂直方向的标称测量精度在0.1mm以内；采集到的点云数据中，相邻两点之间的距离为0.286mm，工作范围(即物体距相机的最远与最近距离)在458-1118mm之间。所述硬件结构可提供四个方向的自由度，分别为三脚架的升降，伸缩杆的伸长和缩短，伸缩杆绕三脚架z轴(竖向轴)的旋转，伸缩杆绕三脚架x轴的旋转(俯仰转动)。利用该硬件结构，在飞机油箱内部采集点云数据，保证每帧点云数据与相邻帧之间都有部分重叠，以此满足后续的点云配准要求。
步骤二：场景点云模型粗配准
(21)对步骤一中采集的各场景点云数据进行预处理
所述预处理的过程为：首先利用直通滤波的方法去除场景边缘数据模糊、质量较低的冗余数据；然后利用基于统计学的去噪算法对点云中的离群点进行剔除；最后计算场景中各点的法矢，其中法矢信息是采用基于局部表面拟合估计法向量的方法获取的。
(22)基于点对特征(ppf)的方法建立全局模型描述
遍历各个场景点云中的每一个点，以两两配对的关系，建立其与点云中其它所有点的点对特征，然后建立由点对特征索引的哈希表，即对场景建立了全局模型描述。所述全局模型描述表示为由点对特征索引的哈希表，各场景点云中，具有相似特征的点对被存储于哈希表的相同位置，可以通过使用某一点对特征F作为访问哈希表的键，来获取键值(哈希值)，将与F相似的点对特征搜索出来。
所述全局模型描述表示从点对特征空间到模型的映射，具体来说是将四维点对特征映射到场景所有点对的集合中。
关于所述点对特征，以场景P点云的点对特征为Fp为例，设p1，p2为该场景中点云的第一点和第二点，p1，p2的点对特征Fp(p1，p2)可定义为：
F1＝||d||2
F2＝∠(n1，d)
F3＝∠(n2，d)
F4＝∠(n1，n2)
F(p1，p2)＝(F1，F2，F3，F4)
上式中，n1为p1对应的法向量，n2为p2对应的法向量，d为两点之间的距离。
由上式可知，点对特征Fp(p1，p2)由四个分量定义而成，其中，第一个分量F表示点之间的距离，设∠(a，b)∈[0，π]表示括号内两个向量a，b之间的夹角，则分量F2、F3、F4分别表示第一点法线与两点连线的夹角、第二点法线与两点连线的夹角、两点法线之间的夹角，如图3所示。
(23)特征匹配
首先，利用步骤(22)中建立的全局模型描述，通过搜索不同场景间的相似点对特征，进行点云之间的特征匹配，找到两两点云之间的对应点(即点云中经过旋转和平移能够与另一点云中的某点对齐的点)，不同视角点云的对应点仅存在于点云之间的重叠区域。
之后，针对匹配得到的对应点，计算所述对应点在两点云中的位姿变换矩阵(平移和旋转)，并进行位姿聚类和投票操作，得票最高者即为最终粗配准变换矩阵。利用所述最终粗配准变换矩阵得到的粗配准结果，作为精配准过程的初始位置。
上述过程中，所述位姿聚类是指，将比较相近的变换矩阵对应的投票数量(即得分)取平均值，以消除相近位姿的影响，提高算法对位姿检测的稳定性；所述投票操作是指，通过累加两点云中各配对对应点的位姿变换矩阵出现的次数，进行计票和投票，将最终得票最高的视为目标粗配准变换矩阵。
步骤三：场景点云模型精配准
(31)将粗配准后的两场景点云的颜色量与几何量参数化(即量化)。为了在优化过程中能够使用颜色信息，使用一个连续函数来量化点云中点的颜色信息，这里以场景P中的一个点p为例来说明点的颜色量化过程；
其中，u为p点切平面上的向量，CP(u)为离散函数,表示从点云到颜色信息的检索函数，CP(u)为其对应连续函数，
为CP(u)的梯度，可由临近点最小二乘法求出；
同理，我们使用连续函数GP(u)来量化点p的几何信息(主要是指点的位置、法向等几何信息)：
GP(u)≈(op-p)Tnp
其中，op为虚拟相机所在位置，np表示p点的法向量(所述虚拟相机是人为假设的，该相机的图像平面是p点邻域的切平面)。
上两式中，上标的T为转置符号，下同。
(32)利用ICP算法建立待匹配点云的精确对应点集κ＝{(p，q)}。
ICP算法在每次优化迭代过程中，会寻找P，Q两场景对应的点云M、TkN中，距离小于ε的点作为对应点。其中，M为场景P对应的(原始)点云，N为场景Q对应的(原始)点云，Tk是当前(第k次)迭代循环中的变换矩阵，TkN指的是第k次迭代中，点云N经过变化矩阵Tk作用(平移和旋转)后的点云。而每次迭代中找到的对应点集κ＝{(p，q)}会被用于之后进一步精配准的过程。随着迭代优化的进行，对应点集κ＝{(p，q)}也在不断更新。
(33)建立优化目标，计算精配准变换矩阵T。
本实施例将对应点集κ＝{(p，q)}中点的颜色信息与几何信息整合形成一个综合的优化目标：
E(T)＝(1-σ)EC(T)+σEG(T)
上式中，E(T)由两部分组成，EC(T)代表点云颜色信息的优化目标，EG(T)表示点云几何信息的优化目标，σ∈[0，1]是平衡EC(T)和EG(T)两个目标的权重；
在最小化E(T)的目标下，利用高斯牛顿法来计算点云M、N的精确匹配变换矩阵T，具体为：
(a)综合颜色与几何信息的优化目标的具体表达式为
其中，
分别为光度(即颜色)与几何残差，具体计算方法如下：
上式中，C(q)为针对Q场景点云中点q的离散函数，表示从点云到颜色信息的检索函数；σ为权重，s(q，T)表示两个矩阵相乘，即s(q，T)＝Tq；f表示投影函数，将经矩阵T变换后的对应点q投影到点p的切平面上；
(b)当第(k+1)次迭代时，对应点集κ＝{(p，q)}之间的精变换矩阵T可拆分为如下形式
Tk+1＝ξTk
其中，Tk+1表示第k+1次迭代时累积的变换矩阵，Tk即表示其上一个循环的变换矩阵，ξ表示当前循环使得优化目标E(T)最小时的变换矩阵，可利用高斯牛顿法求解线性***
(该式是由目标函数E(T)变换而来，其中r是残差向量，Jr是r的雅可比式)来计算。
如果ICP算法迭代到第k+1次时，即达到最小化目标函数的要求，则TK+1就是最终应用到场景Q上的精配准变换矩阵。
式
中各参数的计算方法如下：
其中，
式中，
是对每一个点p∈P预计算的梯度，Jf(s)是f的雅可比式，Js(ξ)是关于ξ的s的雅可比式。
(34)匹配迭代过程中(即建立对应点和计算精确配准变换矩阵T)，对点云采用“由粗到精”的处理方式，即开始迭代时对较稀疏的点云进行优化，随着迭代过程的进行点云的密度也在不断增加，这样不仅提高了效率，也减少了陷入局部最小值的可能性，具体为：
由于目标函数E(T)是一个非线性最小二乘函数，因此可用高斯牛顿法进行求解。然而又由于目标函数是非凸函数，因此容易陷入局部最小值。为了解决这个问题，拟提出由粗及细的目标函数优化算法。通过调整体素的大小对数据进行稀疏采样并构建点云数据分层次模型，即在初始迭代时对场景点云(如场景P)下采样，只留下较少的点，得到稀疏点云，而随着迭代的进行，下采样的幅度越来越小(即点云密度在变大)，这样在每次迭代中，处理的点云密度均不同，并呈现由粗到精的变化。这样处理的好处在于优化过程中，粗优化可使配准更加平滑从而解决局部最小值问题，并指导高斯牛顿法寻找全局最优解。
最终精配准结果如图4所示，图中为飞机油箱两个部分的精配准结果图与配准精度RMS。本实施例三维重建方法匹配准确率高，算法效率较好，且有效解决了经典ICP算法在飞机整体油箱内部重建中稳定性不足的问题。
实施例二：
利用实施例一提供的三维重建方法，重建待检测油箱的内部点云模型，并与理论数模做对比，评估飞机油箱内部的涂胶质量。所述理论数模基于涂胶精准的油箱模型建立。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，本发明要求保护范围由所附的权利要求书、说明书及其等效物界定。
Claims (7)
1.一种基于深度相机的飞机油箱三维重建方法，其特征在于，包括以下步骤：
步骤一、场景点云数据采集
将深度相机伸入待检测的飞机油箱，从不同视角采集油箱的内部信息，获得多帧带有颜色信息的飞机油箱点云数据，保证每帧点云数据与相邻帧点云之间都有部分重叠，用于后续配准；
步骤二、场景点云模型粗配准
对步骤一采集的点云数据进行预处理，通过特征匹配找到待匹配点云之间的对应点，通过对应点的位置变换关系，解算出点云之间的粗配准变换矩阵；
步骤三、场景点云模型的精配准
将粗配准后的各帧点云的颜色信息与几何信息参数化，采用ICP算法建立待匹配点云中的精确对应点集，将对应点参数化后的颜色与几何信息整合到一起形成优化目标，最小化该目标求得精配准变换矩；
步骤三中，建立优化目标，计算精配准变换矩阵T的过程为：
针对两待配准场景P、Q的点云，通过公式(1)将二者对应点集κ＝{(p,q)}中点的颜色信息与几何信息整合形成一个综合的优化目标；
E(T)＝(1-σ)EC(T)+σEG(T) (1)
上式中，E(T)由两部分组成，EC(T)代表点云颜色信息的优化目标，EG(T)表示点云几何信息的优化目标，σ∈[0,1]是平衡EC(T)和EG(T)两个目标的权重；
在最小化E(T)的目标下，利用高斯牛顿法来计算两点云间的精配准变换矩阵T，即目标函数E(T)最小时，对应的精配准变换矩阵为最终应用到场景点云上的变换矩阵。
2.根据权利要求1所述的一种基于深度相机的飞机油箱三维重建方法，其特征在于，步骤三中，颜色信息和几何信息的量化过程均通过一连续函数实现：
颜色信息量化过程：
为点p切平面上的向量，C(p)为离散函数,表示从点云到颜色信息的检索函数，CP(u)为其对应连续函数，
为CP(u)的梯度；
几何信息量化过程：
GP(u)≈(op-p)Tnp (3)
op为虚拟相机所在位置，np表示p点的法向量；
上式中，点p为场景P点云中的一个点，其它待配准场景点云颜色信息和几何信息的量化过程采用相同的原理。
3.根据权利要求2所述的一种基于深度相机的飞机油箱三维重建方法，其特征在于，结合所述公式(2)、(3)，公式(1)可具体表达为：
其中，
分别为光度与几何残差，具体计算方法如下：
上式中，C(q)为场景Q点云中点q的离散函数，表示从点云到颜色信息的检索函数；σ为权重，s表示两个矩阵相乘，即s(q,T)＝Tq；f表示投影函数，将经变换矩阵T变换后的对应点q投影到点p的切平面上。
4.根据权利要求1所述的一种基于深度相机的飞机油箱三维重建方法，其特征在于，在步骤三建立对应点集和求解精配准变换矩阵的匹配迭代过程中：
通过初始迭代时，对场景点云下采样只留下较少的点，得到稀疏点云，随着迭代的进行，下采样的幅度越来越小，使每次迭代处理的密度呈现由粗到精的变化。
5.根据权利要求1所述的一种基于深度相机的飞机油箱三维重建方法，其特征在于，步骤二的具体过程为：
(21)对步骤一中采集的各场景点云数据进行预处理
所述预处理的过程为：首先利用直通滤波的方法去除场景边缘数据模糊、质量较低的冗余数据；然后利用基于统计学的去噪算法对点云中的离群点进行剔除；最后计算场景中各点的法矢，其中法矢信息是采用基于局部表面拟合估计法向量的方法获取的；
(22)基于点对特征的方法建立全局模型描述
(23)利用步骤(22)中建立的全局模型描述，通过搜索不同场景间的相似点对特征，进行点云之间的特征匹配，找到两两点云之间的粗配准对应点，计算所述对应点在两点云中的位姿变换矩阵，并进行位姿聚类和投票操作，得到点云的最终粗配准变换矩阵。
6.根据权利要求5所述的一种基于深度相机的飞机油箱三维重建方法，其特征在于，步骤(23)中：
所述位姿聚类是指将比较相近的位姿变换矩阵，对应的投票数量即得分取平均值，以消除相近位姿的的影响，提高算法对位姿检测的稳定性；
所述投票操作是通过累加两点云中各对应点位姿变换矩阵出现的次数进行投票，最终得票最高的为点云的最终粗配准变换矩阵。
7.一种基于权利要求1-6中任一项三维重建方法的飞机油箱检测方法，其特征在于，通过所述三维重建方法，重建待检测油箱的内部点云模型，并与预设的理论模型做对比，评估飞机油箱内部的涂胶质量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911321940.XA CN110889243B (zh) | 2019-12-20 | 2019-12-20 | 一种基于深度相机的飞机油箱三维重建方法与检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911321940.XA CN110889243B (zh) | 2019-12-20 | 2019-12-20 | 一种基于深度相机的飞机油箱三维重建方法与检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110889243A CN110889243A (zh) | 2020-03-17 |
| CN110889243B true CN110889243B (zh) | 2020-08-18 |
Family
ID=69752564
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911321940.XA Active CN110889243B (zh) | 2019-12-20 | 2019-12-20 | 一种基于深度相机的飞机油箱三维重建方法与检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110889243B (zh) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111798563A (zh) * | 2020-06-24 | 2020-10-20 | 南京智鹤电子科技有限公司 | 基于三维建模确定油箱形状的方法和装置 |
| CN111986219B (zh) * | 2020-08-10 | 2023-09-19 | 中国科学院光电技术研究所 | 一种三维点云与自由曲面模型的匹配方法 |
| CN112330699B (zh) * | 2020-11-14 | 2022-09-16 | 重庆邮电大学 | 一种基于重叠区域对齐的三维点云分割方法 |
| CN112417618B (zh) * | 2020-11-20 | 2022-03-11 | 北京工商大学 | 一种四维时空感知的大场景自由弯曲管路检测及点云补全方法 |
| CN112611371A (zh) * | 2020-11-27 | 2021-04-06 | 上海智蕙林医疗科技有限公司 | 一种多场景二维地图的位姿转换方法及*** |
| CN112562008B (zh) * | 2020-11-30 | 2022-04-08 | 成都飞机工业（集团）有限责任公司 | 一种局部双目视觉测量中的靶标点匹配方法 |
| CN112686993B (zh) * | 2021-01-27 | 2024-04-02 | 大连理工大学 | 用于三维对象的三维重建方法、设备及计算机存储介质 |
| CN112907729B (zh) * | 2021-02-09 | 2022-02-11 | 南京航空航天大学 | 一种基于三维局部点云配准的复合材料预制体整体外形重建方法 |
| CN113223145B (zh) * | 2021-04-19 | 2023-11-24 | 中国科学院国家空间科学中心 | 用于行星表面探测的亚像素测量多源数据融合方法及*** |
| CN113706593B (zh) * | 2021-08-27 | 2024-03-08 | 北京工业大学 | 一种适用于车辆几何通过性参数检测的车辆底盘点云融合方法 |
| CN114055781B (zh) * | 2021-10-24 | 2023-12-29 | 扬州大学 | 基于点体素相关场的燃油箱焊接机械臂自适应校正方法 |
| CN114781056B (zh) * | 2022-04-13 | 2023-02-03 | 南京航空航天大学 | 一种基于特征匹配的飞机整机外形测量方法 |
| CN115115847B (zh) * | 2022-08-31 | 2022-12-16 | 海纳云物联科技有限公司 | 三维稀疏重建方法、装置及电子装置 |
| CN117635896B (zh) * | 2024-01-24 | 2024-04-05 | 吉林大学 | 基于汽车车身点云运动预测的点云拼接方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109785389A (zh) * | 2019-01-18 | 2019-05-21 | 四川长虹电器股份有限公司 | 一种基于哈希描述与迭代最近点的三维物体检测方法 |
| CN109816703A (zh) * | 2017-11-21 | 2019-05-28 | 西安交通大学 | 一种基于相机标定和icp算法的点云配准方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106887043A (zh) * | 2017-03-08 | 2017-06-23 | 景致三维（江苏）股份有限公司 | 三维建模外点去除的方法、装置及三维建模的方法 |
| CN107240129A (zh) * | 2017-05-10 | 2017-10-10 | 同济大学 | 基于rgb‑d相机数据的物体及室内小场景恢复与建模方法 |
| CN111417871A (zh) * | 2017-11-17 | 2020-07-14 | 迪普迈普有限公司 | 基于激光雷达利用高清晰度地图的集成运动估计的迭代最近点处理 |
-
2019
- 2019-12-20 CN CN201911321940.XA patent/CN110889243B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109816703A (zh) * | 2017-11-21 | 2019-05-28 | 西安交通大学 | 一种基于相机标定和icp算法的点云配准方法 |
| CN109785389A (zh) * | 2019-01-18 | 2019-05-21 | 四川长虹电器股份有限公司 | 一种基于哈希描述与迭代最近点的三维物体检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110889243A (zh) | 2020-03-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110889243B (zh) | 一种基于深度相机的飞机油箱三维重建方法与检测方法 | |
| CN108986037B (zh) | 基于半直接法的单目视觉里程计定位方法及定位*** | |
| CN110796728B (zh) | 一种基于扫描式激光雷达的非合作航天器三维重建方法 | |
| CN110223348A (zh) | 基于rgb-d相机的机器人场景自适应位姿估计方法 | |
| CN108682027A (zh) | 基于点、线特征融合的vSLAM实现方法及*** | |
| CN108648240A (zh) | 基于点云特征地图配准的无重叠视场相机姿态标定方法 | |
| CN109712172A (zh) | 一种初始位姿测量结合目标追踪的位姿测量方法 | |
| CN109785370B (zh) | 一种基于空间时间序列模型的弱纹理图像配准方法 | |
| CN114549549B (zh) | 一种动态环境下基于实例分割的动态目标建模跟踪方法 | |
| CN110766782A (zh) | 基于多无人机视觉协同的大型施工场景实时重构方法 | |
| CN104268880A (zh) | 基于特征和区域匹配相结合的深度信息获取方法 | |
| CN113393439A (zh) | 一种基于深度学习的锻件缺陷检测方法 | |
| CN108921170B (zh) | 一种有效的图像噪声检测和去噪方法及*** | |
| CN116358449A (zh) | 一种基于双目面结构光的飞机铆钉凹凸量测量方法 | |
| CN115597512A (zh) | 一种汽车间隙测量及误差矫正方法 | |
| CN111145198A (zh) | 一种基于快速角点检测的非合作目标运动估计方法 | |
| CN113642397B (zh) | 一种基于手机视频的物体长度测量方法 | |
| CN112767481B (zh) | 一种基于视觉边缘特征的高精度定位及建图方法 | |
| CN113103226A (zh) | 一种面向陶瓷素坯加工制造的视觉引导机器人*** | |
| CN112950527B (zh) | 一种基于限定几何关联约束的立体匹配形貌测量方法 | |
| CN117372480A (zh) | 一种利用自适应下采样与曲率增强点对特征的点云配准方法 | |
| CN110910457B (zh) | 基于角点特征的多光谱立体相机外参计算方法 | |
| CN114877826B (zh) | 一种双目立体匹配三维测量方法、***及存储介质 | |
| CN116952154A (zh) | 基于机器视觉的传爆管装配体口部深度测量方法及*** | |
| CN109285210B (zh) | 结合拓扑关系和极线约束的管路三维重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220129 Address after: No. 29, Qinhuai District, Qinhuai District, Nanjing, Jiangsu Patentee after: Nanjing University of Aeronautics and Astronautics Asset Management Co.,Ltd. Address before: No. 29, Qinhuai District, Qinhuai District, Nanjing, Jiangsu Patentee before: Nanjing University of Aeronautics and Astronautics |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220214 Address after: 211599 No. 59, Wangqiao Road, Xiongzhou street, Liuhe District, Nanjing, Jiangsu Patentee after: Nanjing Changjiang Industrial Technology Research Institute Co.,Ltd. Address before: No. 29, Qinhuai District, Qinhuai District, Nanjing, Jiangsu Patentee before: Nanjing University of Aeronautics and Astronautics Asset Management Co.,Ltd. |
|
| TR01 | Transfer of patent right |