CN117475170A - 基于fpp的由局部到全局结构引导的高精度点云配准方法 - Google Patents
基于fpp的由局部到全局结构引导的高精度点云配准方法 Download PDFInfo
- Publication number
- CN117475170A CN117475170A CN202311776827.7A CN202311776827A CN117475170A CN 117475170 A CN117475170 A CN 117475170A CN 202311776827 A CN202311776827 A CN 202311776827A CN 117475170 A CN117475170 A CN 117475170A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- local
- point
- target
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- ZJPGOXWRFNKIQL-JYJNAYRXSA-N Phe-Pro-Pro Chemical compound C([C@H](N)C(=O)N1[C@@H](CCC1)C(=O)N1[C@@H](CCC1)C(O)=O)C1=CC=CC=C1 ZJPGOXWRFNKIQL-JYJNAYRXSA-N 0.000 title claims abstract description 46
- 239000011159 matrix material Substances 0.000 claims abstract description 40
- 238000004458 analytical method Methods 0.000 claims abstract description 16
- 230000003993 interaction Effects 0.000 claims abstract description 14
- 238000001314 profilometry Methods 0.000 claims abstract description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 34
- 230000009466 transformation Effects 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 230000007246 mechanism Effects 0.000 claims description 5
- 238000000844 transformation Methods 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- UDHXJZHVNHGCEC-UHFFFAOYSA-N Chlorophacinone Chemical compound C1=CC(Cl)=CC=C1C(C=1C=CC=CC=1)C(=O)C1C(=O)C2=CC=CC=C2C1=O UDHXJZHVNHGCEC-UHFFFAOYSA-N 0.000 claims description 3
- 239000000463 material Substances 0.000 claims description 2
- 239000002184 metal Substances 0.000 claims description 2
- 238000012549 training Methods 0.000 abstract description 14
- 230000002829 reductive effect Effects 0.000 description 13
- 238000006243 chemical reaction Methods 0.000 description 12
- 238000013135 deep learning Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 238000004519 manufacturing process Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 6
- 238000009826 distribution Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 244000062645 predators Species 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000007621 cluster analysis Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000002679 ablation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Mathematical Optimization (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Pure & Applied Mathematics (AREA)
- Algebra (AREA)
- Operations Research (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于FPP的由局部到全局结构引导的高精度点云配准方法，包括如下步骤：利用条纹投影轮廓术得到源点云和目标点云的多模态数据特征；利用多模态数据特征进行点云聚类，得到源点云和目标点云的点云聚类切块，通过特征相似度匹配出对应的节点对，得到源点云与目标点云中局部点云块的对应关系；利用重叠注意力网络模型对源点云与目标点云中具有对应关系的局部点云块进行特征交互；基于对应聚类投票的特征匹配模块对聚类点云对进行特征对应分析，选择置信度高计算位姿矩阵。本发明提出基于FPP数据特性的点云配准框架，采用聚类结构化先验约束网络模型的训练以及推理来实现更高精度和鲁棒性的点云配准。
Description
技术领域
本发明涉及一种基于FPP的由局部到全局结构引导的高精度点云配准方法，属于焊缝检测技术领域。
背景技术
室内建图、智能制造等领域的发展对大场景点云产生迫切需求。条纹投影轮廓术作为一种成熟的点云重建算法具有很大的应用前景，然而目前很少有基于FPP的点云配准相关的工作。现有的点云配准算法无法挖掘FPP的多模态数据特征，且全局特征检索的方式导致精度和鲁棒性有限。
条纹投影轮廓术（FPP）是一种非常重要的点云重建方法，以其非接触式、高精度、高分辨率等特点被广泛应用于工业测量、智能制造、以及逆向工程等领域。近年来，随着智能制造、室内建图等领域的发展，高精度、高质量的大场景点云成为了迫切需求。但由于条纹投影轮廓术的测量视场有限，无法直接获得大场景的点云数据，这使得条纹投影轮廓术的应用场景受到很大限制。FPP的点云高精度的特点使得其对配准精度具有很高的要求。目前很多点云配准算法虽然在公共数据集上都达到了比较好的效果，但是配准特征仅依赖于点云坐标，这会导致配准效果具有一定的局限性。通过FPP可以获取到目标图像、点云、相位等多维对齐的数据，有助于进一步提升配准算法性能，但目前很少有相关工作出现，如何基于FPP实现大场景高精度点云配准是一个值得探讨的问题。
为了得到完整场景点云，需要将各测量视角下的点云数据统一到一个坐标系下。现有的点云配准方案是通过分析点云特征得到对应点对，最后拟合出不同视角点云的转换矩阵。ICP等经典算法在点云配准任务应用广泛，但特征提取能力有限导致配准结果容易陷入局部最优解。对比而言，深度学习具有很强的特征分析能力，能充分挖掘源点云与目标点云的高维特征并进行相似性对比。PointNetLK融合PointNet和LK（Lucas&Kanade）成为端到端的神经网络，通过迭代的方式计算转换矩阵；3DMatch通过学习局部空间块的描述子来建立源点云与目标点云的局部对应关系。深度学习的特征挖掘能力使得这些方法的性能较传统算法有了较大提升。但这些模型没有关注到源点云和目标点云的重叠区域，性能易受重叠区域外的点干扰。
FIRE-Net提出了一种特征交互机制，在源点云与目标点云之间进行局部特征交互和全局特征交互；Predator在源点云和目标点云之间建立重叠注意力模块用于早期的信息交换，从而预测出两个点云之间重叠区域。重叠区域信息可以使模型关注到两个点云的共有特征从而提升配准性能。但FIRE-Net和Predator是在全局特征分析中定位重叠区域位置并进行相似性约束，这一方面需要大量的数据训练使模型对重叠区域具有隐性感知能力，另一方面冗余的特征点会干扰全局特征的相似性约束，影响配准精度。
除了源点云与目标点云的重叠区域外，特征点的检索区间也是影响算法性能的重要因素。
Anestis等依据点云的平滑度将点云分为两种不同的语义，并将语义信息引入点云配准过程中，使得特征点的搜索范围从全局缩小到相同语义来提升配准的鲁棒性。这在一定程度上避免了由于点云细节丢失等原因导致的算法性能下降的问题，但是语义分类依据比较粗糙且划分的语义类别较少，导致性能提升有限。Anestis等使用Pointnet作为语义标签的来源，然后在相同语义分类中进行3D点的搜索。与之前的工作相比，使用Pointnet进一步丰富了点云的语义信息，更精准细致的检索区间使配准性能得到明显提升，但语义标签的引入导致了数据集复杂度的提升，FPP高精度点云的语义标注数据集很难获得。此外上述工作都是基于语义辅助的经典传统算法，而在基于深度学习的点云配准任务中还没有相关研究。如何利用无标注的模态信息划分特征点的检索区间并引导深度模型的特征约束是本文的研究重点。
对于基于FPP***的大场景高精度点云配准任务，目前的点云配准算法仅局限于点云特征的分析，忽略了图像以及相位特征的利用。Qian等率先利用了FPP多模态数据特性，通过分析源图像与目标图像得到sift特征点以及对应关系，然后将sift特征点映射到点云上，计算出位姿矩阵作为粗配准结果，最后使用ICP进行精匹配。他们利用FPP***的数据特性实现了高精度的配准效果，但仅有图像sift特征的分析导致该配准算法缺乏鲁棒性，只能应用于高速条纹投影***中。
综上所述，点云配准的关键在于待配准点云的重叠区域的定位以及特征点对的检索精度，以往基于全局特征定位重叠区域的方法需要更多的数据样本来感知点云的共有特征，而语义信息引导点云配准的方法增加了制作数据集的难度。
因此，需要一种新的基于FPP的由局部到全局结构引导的高精度点云配准方法以解决上述问题。
发明内容
本发明的目的在于提供一种基于FPP的由局部到全局结构引导的高精度点云配准方法，以解决上述背景技术中提出的问题。
一种基于FPP的由局部到全局结构引导的高精度点云配准方法，包括如下步骤：
一、利用条纹投影轮廓术得到源点云和目标点云的多模态数据特征；
二、利用步骤一得到的多模态数据特征进行点云聚类，得到源点云和目标点云的点云聚类切块，通过点云聚类切块的特征相似度匹配出源点云与目标点云中对应的节点对，得到源点云与目标点云中局部点云块的对应关系；
三、利用重叠注意力网络模型对源点云与目标点云中具有对应关系的局部点云块进行特征交互；
四、基于对应聚类投票的特征匹配模块对聚类点云对进行特征对应分析，选择置信度高的对应聚类计算位姿矩阵。
更进一步的，步骤一中所述多模态数据特征包括条纹图像、绝对相位信息和三维点云数据，利用条纹图像、绝对相位信息和三维点云数据分别得到RGB特征、相位特征和几何特征。
更进一步的，步骤一中利用条纹投影轮廓术得到源点云和目标点云的多模态数据特征，采用三维重建***，所述三维重建***包括投影仪和相机，所述投影仪和相机均正对待测目标，包括以下步骤：
1.1、利用投影仪投射正弦条纹到待测目标上，利用相机对待测目标进行拍照得到对应的条纹图像；
1.2、通过相位解包裹算法得到所述待测目标的绝对相位信息；
1.3、结合硬件***的标定数据和步骤1.2得到的绝对相位信息计算出所述待测目标的三维点云数据。
更进一步的，步骤二中利用步骤一得到的多模态数据特征进行点云聚类，通过最小化下式将具有相似特征的点分别聚类到不同的点云聚类切块：
；
式中，[.]为艾弗森括号，是与边的长度成正比的权重参数，/>决定点云聚类的粗糙程度，/>表示点云中的每个点，/>表示一个点云中第i个点的几何特征、RGB特征以及相位特征，/>表示另一个点云中第i个点的几何特征、RGB特征以及相位特征，/>表示X中相邻聚类的集合，(i, j)分别代表相邻聚类中的两个点：
，
；
其中，为邻域中的点，/>为邻域中的第i个点，/>为邻域中点的数量；λ1，λ2和λ3分别为协方差的三个特征值；Lλ、Pλ和Sλ分别为局部邻域的线性度、平面度和散度。
更进一步的，步骤二中通过分析点云聚类切块的特征相似度匹配出源点云与目标点云中对应的节点对，得到源点云与目标点云中局部点云块的对应关系，利用下式完成：
；
式中，表示源点云中的第i个节点与目标点云中的第j个节点的特征相似度，表示源点云中的第i个节点，/>表示目标点云中的第j个节点，/>，/>，/>为调参系数，/>，/>分别为源点云与目标点云中节点的数量，/>表示距离阈值，/>表示/>和/>与对应节点的距离差，其中，/>和/>的对应节点为与/>和的邻域检索特征/>相似的节点，/>表示节点的特征，其中，/>为节点内点的数量；/>为节点中点数最多的颜色特征；/>为该节点与其他节点的距离。
更进一步的，步骤二中局部点云块的对应关系为物理先验。
更进一步的，步骤三中利用重叠注意力网络模型对源点云与目标点云中具有对应关系的局部点云块的进行特征交互，包括以下步骤：
3.1、利用FCGF方法挖掘点云的几何与颜色特征，得到对应的高维特征和；
3.2、利用多头注意力机制进行信息互通，源点云中的每个特征向量与目标点云中的特征向量/>得到注意力得分矩阵，再与目标点云的特征向量/>得到信息输出结果：
；
式中，MLP是用来特征降维的全连接层，，表示一个彩色点云，/>表示另一个彩色点云。
更进一步的，通过Local loss 监督S和T局部特征之间的匹配度，Local loss通过下式表示：
；
其中，参照/>计算得到，/>为对应的点云块数量，/>为S的局部点云块中点的数量，/>为S和T中任一聚类对应/>根据计算特征相似度矩阵得到匹配的点对。
更进一步的，使用circle loss监督局部点云块内的特征描述，circle loss计算如下所示，
；
其中，参照/>计算得到，/>为对应的点云块数量，/>为S的局部点云块中点的数量，/>代表特征距离，/>、/>和超参数/>决定权重/>和的大小，其中，/>，/>，使用GT变换矩阵对齐点云/>和点云/>，对点相对应的集合/>定义为/>中距离/>小于/>的点，将集合/>定义为/>中距离/>大于的点。
更进一步的，使用overlap loss监督重叠区内点对的特征相似度，overlap loss通过下式表示：
；
式中，计算特征相似度得到/>的对应点集/>，然后将Gt标签/>定义为下式：
；
其中，为点云对齐变换，/>为点云最近邻计算。
更进一步的，步骤四中基于对应聚类投票的特征匹配模块对聚类点云对进行特征对应分析，选择置信度高的对应聚类计算位姿矩阵，包括以下步骤：
4.1、使用模型对与/>进行特征提取，利用每组点云块对/>的特征并得到转换矩阵/>以及对应点对，根据经转换矩阵/>对齐后的/>与/>的重叠点的数量来评判该点云块对的置信度：
；
其中，参照/>计算得到，/>为重叠点的数量，/>为点云对齐变换，/>为点云最近邻计算，/>为/>中点的数量，/>，/>；
4.2、根据置信度对点云块对进行排序，对预设数量之外点云块对进行置信度阈值筛选；
4.3、然后对置信度的点云块对/>的局部点对得到全局点对；
4.4、最后通过RANAC分析全局点对的特征拟合出输出位姿矩阵完成点云对齐。
发明原理：源点云与目标点云中局部点云块的对应关系作为物理先验，物理先验建立了源点云与目标点云的点云块的对应关系，使对应点对的分布范围从全局减小到了每组点云块对。这降低了点云配准任务的难度，使得对应点对的特征约束更快，模型的训练效率更高。
有益效果：本发明的基于FPP的由局部到全局结构引导的高精度点云配准方法提出基于FPP数据特性的点云配准框架，采用聚类结构化先验约束网络模型的训练以及推理来实现更高精度和鲁棒性的点云配准，物理先验建立了源点云与目标点云的点云块的对应关系，使对应点对的分布范围从全局减小到了每组点云块对。这降低了点云配准任务的难度，使得对应点对的特征约束更快，模型的训练效率更高。
附图说明
图1为基于FPP的由局部到全局结构引导的高精度点云配准方法的流程图；
图2为FPP多模态数据处理的流程示意图；
图3为点云一致性聚类分析的流程示意图；
图4为基于聚类对应的重叠注意力模型的流程示意图；
图5为基于对应聚类投票的特征匹配的流程示意图；
图6为本发明对六种模型的训练效率提升对比图。
实施方式
下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
本发明提出了一种新的点云配准框架来适应FPP***的数据特性，通过无监督的方式获取到重叠区域的聚类特征的结构化先验，在不增加数据集复杂度的前提下筛选出包含重叠区信息的对应点云块赖减小特征点的检索区间，并引导模型进行特征交互和位姿矩阵的推理。具体来说，
本发明注重使用物理机制进行源点云与目标点云的重叠区域信息的挖掘和利用，提出了一致性聚类模块定位出重叠区域的特征聚类，并对聚类特征进行一致性分析得到聚类特征之间的对应关系；提出了CloaNet对重叠区域的对应的聚类进行特征约束；提出了基于对应聚类投票的特征匹配模块对聚类点云对进行特征对应分析，选择置信度高的对应聚类计算位姿矩阵。
本发明由FPP多模态数据分析、点云一致性聚类分析、基于聚类对应的重叠注意力模型和基于对应聚类投票的特征匹配四部分组成。逻辑流程如图1所示。
条纹投影轮廓术（FPP）是一种高精度、高分辨率的三维主动测量方法，能够在不破坏待测目标的前提下获得其三维轮廓，被广泛应用于智能制造等领域，点云重建过程如图2所示。
首先投影仪投射正弦条纹到待测目标上并触发相机捕获到对应的条纹图像；然后通过相位解包裹算法得到绝对相位信息；最后结合硬件***的标定数据以及绝对相位信息计算出待测目标的三维点云。
为了实现高精度的大场景点云配准，本发明通过其中点云数据描述了被测对象的物理几何信息；相位数据直观描述了被测对象表面轮廓的变化情况；RGB图像描述了被测物体的颜色信息。根据FPP***中图像像素与点云之间的对应关系，将每帧的RGB以及相位信息融入到对应的点云中，使每个点不仅包含位置信息，还包含颜色和相位信息。
FPP对表面轮廓变化剧烈的目标重建效果有限且容易产生错位杂点。为了保证数据的稳定性，本发明通过滤除相位梯度大的点来避免错位杂点的影响。此外本发明通过统计滤波去除掉点云中的离散点来进一步提升点云质量。
首先分析多模态信息特征进行点云聚类，然后通过图匹配算法实现点云切块之间的对应匹配，得到源点云特征与目标点云特征的局部对应关系。
点云中每个点的物理几何特征由其局部邻域的点共同描述，本发明根据每个点的局部特征计算出其对应几何属性[30,31,32]。具体的来说，对于点云中的每个点，其线性度、平面度、散度分别可以通过局部邻域的协方差矩阵的特征值来描述，如式所示。其中X为邻域中的点，k为邻域中点的数量；λ1，λ2，λ3分别为协方差的三个特征值；Lλ，Pλ，Sλ分别为局部邻域的线性度、平面度、散度：
沿用波特能量模型分析多模态点云特征并进行点云聚类。点云中的每个点i∈C的特征fi∈R3包括几何特征、RGB特征以及相位特征，通过最小化下式将具有相似特征的点分别聚类到不同区域。其中[.]为Iverson bracket艾弗森括号，/>是与边的长度正比的权重参数，/>决定点云聚类的粗糙程度。
；
为了得到源点云与目标点云的局部特征对应关系，本发明使用图匹配算法[34]进行点云聚类块特征分析以及匹配。点云可以通过聚类切块图表示，其中每个聚类切块S为图的节点，切块之间的距离定义为图的边。
对源点云中任意聚类切块，其特征可以由下式表示：
；
其中，为节点内点的数量；/>为节点中点数最多的颜色特征；为该节点与其他节点的距离，/>为源点云中节点数量。
定义聚类切块的描述特征后，对源点云与目标点云中任意两个节点和/>，特征相似度可以通过节点大小，颜色特征以及邻域节点分布来描述，如下式所示：
；
其中，/>，/>为调参系数，/>分别为源点云与目标点云中节点的数量；分别在和/>的邻域检索特征/>相似的节点，得到/>和/>与对应节点的距离差。
通过分析聚类切块的特征相似度可以匹配出源点云与目标点云中对应的节点对，得到两个点云中局部点云块的对应关系。本发明将局部点云块的对应关系作为物理先验引导CloaNet 训练与推理。
提出了一种基于聚类对应的重叠注意力模型，如图4所示。与以往基于点云全局特征分析的方法不同，CloaNet基于点云局部特征对应的物理先验对源点云与目标点云的局部点云块的进行特征交互与分析。
考虑两个彩色点云，/>。首先本发明使用Fully Convolutional Geometric Features (FCGF)[17]挖掘点云的几何与颜色特征，得到对应的高维特征/>和/>。但是独立的特征提取途径无法定位重叠区域，所以本发明引入了交叉注意力模块进行特征交互。本发明使用Transformer[35]里的多头注意力机制进行信息互通[18]。源点云中的每个特征向量/>与目标点云中的特征向量/>得到注意力得分矩阵，然后再与目标点云的特征向量/>得到信息输出结果，如下式所示：
交互后的特征为，/>，
其中MLP是用来特征降维的全连接层。
为了实现S和T的特征交互，交互注意力模块可以两个方向应用。
为了提升模型训练效率和配准精度，根据物理先验设计了局部对应损失函数约束模型训练，将对应点的搜索范围从全局点云减小到每个对应的局部点云块，通过约束每个对应的局部点云块特征来实现点云的全局约束。
首先，通过Local loss 监督S和T局部特征之间的匹配度。正确匹配的点对应该都处于对应的局部点云块中，对S和T中任一聚类对应，根据计算特征相似度矩阵得到匹配的点对/>，并通过真实对齐的点云得到真实匹配的点数/>，Local loss可以表示为：
；
其中，为对应的点云块数量，/>为S的局部点云块中点的数量，然后根据对称的损失函数得到/>。
本发明使用circle loss[36]监督局部点云块内的特征描述，首先使用GT变换矩阵对齐点云S和点云T，对点相对应的集合/>定义为/>中距离/>小于/>的点，将集合定义为/>中距离/>大于/>的点。circle loss计算如下所示，
；
其中为对应的点云块数量，/>为S的局部点云块中点的数量，/>代表特征距离，/>和/>和超参数/>决定权重/>和/>的大小。
同理可得，。
除此之外，本发明使用predator里的overlap loss监督重叠区内点对的特征相似度：首先，计算特征相似度得到/>的对应点集/>，然后，将Gt标签/>定义为：
；
其中，为点云对齐变换，/>为点云最近邻计算，/>可计算为：
本发明致力于对应的局部点云块的特征分析，所以点云块的匹配准确度直接影响到对应点对的准确度，从而最终影响到转换矩阵的精度。此外，对应点云块的数量也至关重要，过少的对应点云块对会导致点对局限于点云的局部区域，无法获得高精度的转换矩阵。为了提升模型的推理精度，在保证点云块数量的前提下投票筛选出置信度高的点云块。聚合点云块的对应特征点得到全局对应点对，最后拟合出姿态矩阵，如图5所示。
首先，使用模型对与/>进行特征提取，然后使用RANSAC分析每组点云块对的特征并得到转换矩阵/>以及对应点对。根据经转换矩阵/>对齐后的/>与/>的重叠点的数量来评判该点云块对的置信度，如下式所示：
；
其中，为重叠点的数量，/>为/>中点的数量，上式可相向计算得，/>。
根据置信度对点云块对进行降序排序，对预设数量之外点云块进行置信度阈值筛选，然后汇总关键的点云块对的局部点对得到全局点对，最后通过RANAC分析全局点对的特征拟合出输出矩阵/>完成点云对齐。其中，RANSAC参见文献：菲斯克勒 M A，博勒斯R C. 随机样本一致性：模型拟合的范例，应用于图像分析和自动制图[J]. 美国计算机学会通讯, 1981, 24(6): 381-395。
本发明介绍了基于FPP的点云数据集制作以及对配准算法的性能进行评估。其中算法的性能评估分为三部分：（1）测试基于对应聚类投票的特征匹配模块对点云配准精度和鲁棒性的提升效果；（2）对比本发明的算法与其他点云配准算法的精度和鲁棒性；（3）测试本发明的框架对齐他深度学习模型的提升效果。
本发明采用FPP***与工业机器人协同处理的方式获取FPP***的多视角点云配准数据集。首先将FPP***固定在工业机器人末端，对工业机器人进行手眼标定，得到机器人末端坐标系与相机坐标系的转换关系；然后通过机器人移动FPP***捕获不同视角的点云数据以及机器人的位姿信息；通过机器人的位姿信息，手眼标定信息以及点云坐标得到不同视角点云在机器人基坐标系下坐标，然后计算出点云之间的转换矩阵，并使用ICP算法优化出更精准的配准矩阵。整个数据集包括室内场景的日常物件（桌子，电脑，水杯，背包等），图展示了数据集的一些例子。真实的点云转换矩阵为ICP优化后的结果。实验设备包括一个投影仪（DLP 4500），一个工业相机（acA 1920–40gm），一个焦距为8mm的镜头以及一个工业机器人（ERER-MA02010-A00-C）。
本发明在NVIDIA TITANRTX GPU上评估了基于PyTorch和Minkowski Engine的CloaNet Batch size为1，学习率从0.05开始随epoch以0.05指数减小。
在配准精度测试过程中，本发明使用相对旋转误差（RRE）预测旋转矩阵与真实旋转矩阵之间的误差，相对平移误差（RTE）预测平移矩阵与真实平移矩阵之间的欧氏距离[40]；点云配准鲁棒性的度量标准为配准召回率（RR），转换误差小于某一阈值（RRE<0.8，RTE<0.03）的点云对比例；此外还将特征匹配召回率（GT转换后的点云重叠区内特征距离<1cm的点对比例）作为度量标准。
在转换矩阵的推理过程中，对应点云块的置信度和数量会影响到点对的匹配准确度以及区域分布，并最终影响到转换矩阵的拟合精度。为了评估基于对应聚类投票的特征匹配模块的作用，本发明分别分析点云块数量以及置信度对转换矩阵的误差和配准召回率的影响，如表1所示。结果显示在保证点云块数量（Num>=3）的前提下，以 =0.8为置信度阈值进行点云块的筛选可以得到更高精度的转换矩阵。当预设的点云块数量过少时，高置信度阈值的筛选会减少点云块数量，使得点对局限于点云的小部分区域，无法拟合出高精度的转换矩阵；但低置信度阈值无法筛除错误匹配的点云块对，导致错误点对的引入并降低转换矩阵的拟合精度。而预设的点云块数量过多（包括此模块处理的情况）会直接引入一些低置信度的点云块从而降低转换矩阵精度。综上所述，基于对应聚类投票的特征匹配模块通过合理的预设点云块数量以及置信度阈值可以筛选出足够数量的高置信度的关键点云块，这有助于提升模型的推理精度以及召回率。
表1
为了评估本发明的算法性能，本发明将与经典的点云配准算法Go-ICP，SAC-IA，FGR和最近的基于深度学习的点云配准算法FCGF，D3Feat，Predator进行比较。经典的点云配准算法来源于Open3D以及PCL发布的版本，基于深度学习的点云配准算法都使用同一数据集训练。本发明通过分析RRE，RTE和RR对比算法的匹配精度和鲁棒性，此外本发明还通过FMR来分析基于深度学习的算法的特征提取能力，如表2所示。
基于深度学***移误差更低并且匹配召回率更高。综上所述，本发明提出的CloaNet的局部特征处理方案更有助于相似特征点的约束和检索，可以明显提升点云配准的精度和鲁棒性。
表2
为了进一步评估本发明的方法，将框架中的特征提取和特征交互模块分别替换为FCGF，D3Feat，Predator的backbone进行消融实验，如表3所示。与上组实验结果一致，通过物理先验约束点云块对内的点特征的策略提升了这些算法的FMR；相似特征点检索范围的减小也使得RRE和RTE明显降低，配准召回率也明显提升。综上所述，本发明的框架可以优化其他点云配准算法的特征提取能力，并且提升点云配准的精度和鲁棒性。
表3
此外本发明的框架也提升了其他模型的训练效率，如图6所示。在训练过程中，改进后的模型的损失函数值相较于原方法收敛的更快。这说明本发明基于物理先验的局部点云的特征约束方式比全局特征约束的效率更高。本发明的物理先验建立了源点云与目标点云的点云块的对应关系，使对应点对的分布范围从全局减小到了每组点云块对。这降低了点云配准任务的难度，使得对应点对的特征约束更快，模型的训练效率更高。
综上所述，本发明提出了一种基于FPP数据特性的点云配准框架，首次采用聚类结构化先验约束网络模型的训练以及推理来实现更高精度和鲁棒性的点云配准。另外本发明的框架适配与其他深度学习模型并提升其训练效率和配准效果。本发明的框架提出了一种FPP大场景点云获取的新方式，有利于推动FPP在室内建图、智能制造等领域开拓新的应用。
Claims (10)
1.一种基于FPP的由局部到全局结构引导的高精度点云配准方法，其特征在于，包括如下步骤：
一、利用条纹投影轮廓术得到源点云和目标点云的多模态数据特征；
二、利用步骤一得到的多模态数据特征进行点云聚类，得到源点云和目标点云的点云聚类切块，通过点云聚类切块的特征相似度匹配出源点云与目标点云中对应的节点对，得到源点云与目标点云中局部点云块的对应关系；
三、利用重叠注意力网络模型对源点云与目标点云中具有对应关系的局部点云块进行特征交互；
四、基于对应聚类投票的特征匹配模块对聚类点云对进行特征对应分析，选择置信度高的对应聚类计算位姿矩阵。
2.如权利要求1所述的基于FPP的由局部到全局结构引导的高精度点云配准方法，其特征在于：步骤一中所述多模态数据特征包括条纹图像、绝对相位信息和三维点云数据，利用条纹图像、绝对相位信息和三维点云数据分别得到RGB特征、相位特征和几何特征。
3.如权利要求1所述的基于FPP的由局部到全局结构引导的高精度点云配准方法，其特征在于：
步骤一中利用条纹投影轮廓术得到源点云和目标点云的多模态数据特征，采用三维重建***，所述三维重建***包括投影仪和相机，所述投影仪和相机均正对待测目标，包括以下步骤：
1.1、利用投影仪投射正弦条纹到待测目标上，利用相机对待测目标进行拍照得到对应的条纹图像；
1.2、通过相位解包裹算法得到所述待测目标的绝对相位信息；
1.3、结合硬件***的标定数据和步骤1.2得到的绝对相位信息计算出所述待测目标的三维点云数据。
4.如权利要求1所述的基于FPP的由局部到全局结构引导的高精度点云配准方法，其特征在于：步骤二中利用步骤一得到的多模态数据特征进行点云聚类，通过最小化下式将具有相似特征的点分别聚类到不同的点云聚类切块：
式中，[.]为艾弗森括号，是与边的长度成正比的权重参数，/>决定点云聚类的粗糙程度，/>表示点云中的每个点，/>表示一个点云中第i个点的几何特征、RGB特征以及相位特征，/>表示另一个点云中第i个点的几何特征、RGB特征以及相位特征，/>表示X中相邻聚类的集合，(i, j)分别代表相邻聚类中的两个点：
其中，为邻域中的点，/>为邻域中的第i个点，/>为邻域中点的数量；λ1，λ2和λ3分别为协方差的三个特征值；Lλ、Pλ和Sλ分别为局部邻域的线性度、平面度和散度。
5.如权利要求1所述的基于FPP的由局部到全局结构引导的高精度点云配准方法，其特征在于：步骤二中通过分析点云聚类切块的特征相似度匹配出源点云与目标点云中对应的节点对，得到源点云与目标点云中局部点云块的对应关系，利用下式完成：
式中，表示源点云中的第i个节点与目标点云中的第j个节点的特征相似度，/>表示源点云中的第i个节点，/>表示目标点云中的第j个节点，/>，/>，/>为调参系数，分别为源点云与目标点云中节点的数量，/>表示距离阈值，/>表示和/>与对应节点的距离差，其中，/>和/>的对应节点为与/>和/>的邻域检索特征/>相似的节点，/>表示节点的特征，其中，/>为节点内点的数量；为节点中点数最多的颜色特征；/>为该节点与其他节点的距离。
6.如权利要求1所述的基于FPP的由局部到全局结构引导的高精度点云配准方法，其特征在于：步骤三中利用重叠注意力网络模型对源点云与目标点云中具有对应关系的局部点云块的进行特征交互，包括以下步骤：
3.1、利用FCGF方法挖掘点云的几何与颜色特征，得到对应的高维特征和；
3.2、利用多头注意力机制进行信息互通，源点云中的每个特征向量与目标点云中的特征向量/>得到注意力得分矩阵，再与目标点云的特征向量/>得到信息输出结果：
式中，MLP是用来特征降维的全连接层，，表示一个彩色点云，/>表示另一个彩色点云。
7.如权利要求6所述的基于FPP的由局部到全局结构引导的高精度点云配准方法，其特征在于：通过Local loss 监督S和T局部特征之间的匹配度，Local loss通过下式表示：
；
其中，参照/>计算得到，/>为对应的点云块数量，/>为S的局部点云块中点的数量，/>为S和T中任一聚类对应/>根据计算特征相似度矩阵得到匹配的点对。
8.如权利要求6所述的基于FPP的由局部到全局结构引导的高精度点云配准方法，其特征在于：使用circle loss监督局部点云块内的特征描述，circle loss计算如下所示，
其中，参照/>计算得到，/>为对应的点云块数量，/>为S的局部点云块中点的数量，/>代表特征距离，/>、/>和超参数/>决定权重/>和的大小，其中，/>=0.1，/>=1.4，使用GT变换矩阵对齐点云/>和点云/>，对点相对应的集合/>定义为/>中距离/>小于/>的点，将集合/>定义为/>中距离/>大于的点。
9.如权利要求6所述的基于FPP的由局部到全局结构引导的高精度点云配准方法，其特征在于：使用overlap loss监督重叠区内点对的特征相似度，overlap loss通过下式表示：
式中，计算特征相似度得到/>的对应点集/>，然后将Gt标签/>定义为下式：
其中，为点云对齐变换，/>为点云最近邻计算。
10.如权利要求1所述的基于FPP的由局部到全局结构引导的高精度点云配准方法，其特征在于：步骤四中基于对应聚类投票的特征匹配模块对聚类点云对进行特征对应分析，选择置信度高的对应聚类计算位姿矩阵，包括以下步骤：
4.1、使用模型对与/>进行特征提取，利用每组点云块对/>的特征并得到转换矩阵/>以及对应点对，根据经转换矩阵/>对齐后的/>与/>的重叠点的数量来评判该点云块对的置信度：
其中，参照/>计算得到，/>为重叠点的数量，/>为点云对齐变换，/>为点云最近邻计算，/>为/>中点的数量，/>，/>；
4.2、根据置信度对点云块对进行排序，对预设数量之外点云块对进行置信度阈值筛选；
4.3、然后对置信度的点云块对/>的局部点对得到全局点对；
4.4、最后通过RANAC分析全局点对的特征拟合出输出位姿矩阵完成点云对齐。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311776827.7A CN117475170B (zh) | 2023-12-22 | 2023-12-22 | 基于fpp的由局部到全局结构引导的高精度点云配准方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311776827.7A CN117475170B (zh) | 2023-12-22 | 2023-12-22 | 基于fpp的由局部到全局结构引导的高精度点云配准方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117475170A true CN117475170A (zh) | 2024-01-30 |
| CN117475170B CN117475170B (zh) | 2024-03-22 |
Family
ID=89633238
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311776827.7A Active CN117475170B (zh) | 2023-12-22 | 2023-12-22 | 基于fpp的由局部到全局结构引导的高精度点云配准方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117475170B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117726673A (zh) * | 2024-02-07 | 2024-03-19 | 法奥意威(苏州)机器人***有限公司 | 焊缝位置获得方法、装置及电子设备 |
| CN117830676A (zh) * | 2024-03-06 | 2024-04-05 | 国网湖北省电力有限公司 | 基于无人机的输电线路施工风险识别方法及*** |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105976353A (zh) * | 2016-04-14 | 2016-09-28 | 南京理工大学 | 基于模型和点云全局匹配的空间非合作目标位姿估计方法 |
| CN113379818A (zh) * | 2021-05-24 | 2021-09-10 | 四川大学 | 一种基于多尺度注意力机制网络的相位解析方法 |
| CN113888748A (zh) * | 2021-09-27 | 2022-01-04 | 北京经纬恒润科技股份有限公司 | 一种点云数据处理方法及装置 |
| CN114543787A (zh) * | 2022-04-21 | 2022-05-27 | 南京理工大学 | 基于条纹投影轮廓术的毫米级室内建图定位方法 |
| CN115578408A (zh) * | 2022-07-28 | 2023-01-06 | 四川大学 | 点云配准的叶片轮廓光学检测方法、***、设备及终端 |
| CN115816471A (zh) * | 2023-02-23 | 2023-03-21 | 无锡维度机器视觉产业技术研究院有限公司 | 多视角3d视觉引导机器人的无序抓取方法、设备及介质 |
| CN115841517A (zh) * | 2022-10-25 | 2023-03-24 | 北京计算机技术及应用研究所 | 一种基于dic双圆交比的结构光标定方法和装置 |
| CN116071570A (zh) * | 2023-02-16 | 2023-05-05 | 河海大学 | 一种室内场景下的3d目标检测方法 |
| CN116433841A (zh) * | 2023-04-12 | 2023-07-14 | 南京理工大学 | 一种基于全局优化的实时模型重建方法 |
| CN116468764A (zh) * | 2023-06-20 | 2023-07-21 | 南京理工大学 | 基于超点空间引导的多视图工业点云高精度配准*** |
-
2023
- 2023-12-22 CN CN202311776827.7A patent/CN117475170B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105976353A (zh) * | 2016-04-14 | 2016-09-28 | 南京理工大学 | 基于模型和点云全局匹配的空间非合作目标位姿估计方法 |
| CN113379818A (zh) * | 2021-05-24 | 2021-09-10 | 四川大学 | 一种基于多尺度注意力机制网络的相位解析方法 |
| CN113888748A (zh) * | 2021-09-27 | 2022-01-04 | 北京经纬恒润科技股份有限公司 | 一种点云数据处理方法及装置 |
| CN114543787A (zh) * | 2022-04-21 | 2022-05-27 | 南京理工大学 | 基于条纹投影轮廓术的毫米级室内建图定位方法 |
| CN115578408A (zh) * | 2022-07-28 | 2023-01-06 | 四川大学 | 点云配准的叶片轮廓光学检测方法、***、设备及终端 |
| CN115841517A (zh) * | 2022-10-25 | 2023-03-24 | 北京计算机技术及应用研究所 | 一种基于dic双圆交比的结构光标定方法和装置 |
| CN116071570A (zh) * | 2023-02-16 | 2023-05-05 | 河海大学 | 一种室内场景下的3d目标检测方法 |
| CN115816471A (zh) * | 2023-02-23 | 2023-03-21 | 无锡维度机器视觉产业技术研究院有限公司 | 多视角3d视觉引导机器人的无序抓取方法、设备及介质 |
| CN116433841A (zh) * | 2023-04-12 | 2023-07-14 | 南京理工大学 | 一种基于全局优化的实时模型重建方法 |
| CN116468764A (zh) * | 2023-06-20 | 2023-07-21 | 南京理工大学 | 基于超点空间引导的多视图工业点云高精度配准*** |
Non-Patent Citations (1)
| Title |
|---|
| 石佳潼 等: ""面向点云配准的局部－全局动态图更新框架"", 《中国计量大学学报》, vol. 34, no. 2, 30 June 2023 (2023-06-30), pages 292 - 302 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117726673A (zh) * | 2024-02-07 | 2024-03-19 | 法奥意威(苏州)机器人***有限公司 | 焊缝位置获得方法、装置及电子设备 |
| CN117726673B (zh) * | 2024-02-07 | 2024-05-24 | 法奥意威(苏州)机器人***有限公司 | 焊缝位置获得方法、装置及电子设备 |
| CN117830676A (zh) * | 2024-03-06 | 2024-04-05 | 国网湖北省电力有限公司 | 基于无人机的输电线路施工风险识别方法及*** |
| CN117830676B (zh) * | 2024-03-06 | 2024-06-04 | 国网湖北省电力有限公司 | 基于无人机的输电线路施工风险识别方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117475170B (zh) | 2024-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117475170B (zh) | 基于fpp的由局部到全局结构引导的高精度点云配准方法 | |
| Wang et al. | Vision-assisted BIM reconstruction from 3D LiDAR point clouds for MEP scenes | |
| CN110827398B (zh) | 基于深度神经网络的室内三维点云自动语义分割方法 | |
| Cui et al. | 3D semantic map construction using improved ORB-SLAM2 for mobile robot in edge computing environment | |
| CN108171133B (zh) | 一种基于特征协方差矩阵的动态手势识别方法 | |
| SG192768A1 (en) | System for detection of non-uniformities in web-based materials | |
| Xu et al. | GraspCNN: Real-time grasp detection using a new oriented diameter circle representation | |
| CN113989547B (zh) | 基于图卷积深度神经网络的三维点云数据分类***及方法 | |
| Chen et al. | Autosweep: Recovering 3d editable objects from a single photograph | |
| CN114881955A (zh) | 基于切片的环状点云缺陷提取方法、装置、设备存储介质 | |
| CN114723764A (zh) | 一种点云物体的参数化边缘曲线提取方法 | |
| Chen et al. | A local tangent plane distance-based approach to 3D point cloud segmentation via clustering | |
| CN110516527B (zh) | 一种基于实例分割的视觉slam回环检测改进方法 | |
| Yang et al. | An improved algorithm for the detection of fastening targets based on machine vision | |
| Hou et al. | Multi-modal feature fusion for 3D object detection in the production workshop | |
| Huang et al. | Overview of LiDAR point cloud target detection methods based on deep learning | |
| Liang et al. | DIG-SLAM: an accurate RGB-D SLAM based on instance segmentation and geometric clustering for dynamic indoor scenes | |
| Xin et al. | Accurate and complete line segment extraction for large-scale point clouds | |
| Wang et al. | Energy-based automatic recognition of multiple spheres in three-dimensional point cloud | |
| CN115719363B (zh) | 可进行二维动态检测和三维重建的环境感知方法与*** | |
| Zhao et al. | A review of visual SLAM for dynamic objects | |
| Li et al. | Rethinking scene representation: A saliency-driven hierarchical multi-scale resampling for RGB-D scene point cloud in robotic applications | |
| CN114964206A (zh) | 一种单目视觉里程计目标位姿检测方法 | |
| Wu et al. | A Systematic Point Cloud Edge Detection Framework for Automatic Aircraft Skin Milling | |
| Seibt et al. | Dense feature matching based on homographic decomposition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |