CN113706710A - 基于fpfh特征差异的虚拟点多源点云融合方法及*** - Google Patents
基于fpfh特征差异的虚拟点多源点云融合方法及*** Download PDFInfo
- Publication number
- CN113706710A CN113706710A CN202110919653.XA CN202110919653A CN113706710A CN 113706710 A CN113706710 A CN 113706710A CN 202110919653 A CN202110919653 A CN 202110919653A CN 113706710 A CN113706710 A CN 113706710A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- point
- points
- fpfh
- source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 18
- 238000006243 chemical reaction Methods 0.000 claims abstract description 42
- 239000011159 matrix material Substances 0.000 claims abstract description 42
- 238000000034 method Methods 0.000 claims abstract description 33
- 230000004927 fusion Effects 0.000 claims abstract description 30
- 230000007704 transition Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000000717 retained effect Effects 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 abstract description 3
- 238000013519 translation Methods 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 6
- 238000011160 research Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000007499 fusion processing Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
一种基于FPFH特征差异的虚拟点多源点云融合方法及***，包括遍历低精度点云，进行虚拟同名点寻找，把低精度点云当作源点云，相对高精度点云作为目标点云，将源点云中的点利用初始转换矩阵转换到目标点云中，保留和最近邻域点的欧式距离小于等于阈值的转换点，对保留的转换点在源点云中计算FPFH特征，在目标点云中寻找邻域并进行体素划分得到体素中心点，对体素中心点计算FPFH特征，计算F2距离由CNN网络进行特征差异的学习，坐标融合得到配准对应点；对源点云和目标点云进行点云刚性配准，直到迭代结束，得到最佳刚性配准矩阵，通过点云更新提高低精度点云的精度。本发明支持对存在噪声、采样分辨率不同、存在局部扭曲的多源点云，提高点云配准融合精度。
Description
技术领域
本发明属于不同来源点云配准融合领域，是通过学习特征差异得到配准的虚拟同名点用以点云配准融合的技术。
背景技术
点云配准是点云融合过程中非常重要的一个环节，它是对处在两个不同坐标系下的点云，进行旋转平移等操作使得两个点云在同一坐标系的过程。点云配准融合是点云数据处理中的一个步骤，近年来点云数据应用到了更多领域，如机器人和自动驾驶，人脸识别、手势识别等等，在面对L3以上级别的自动驾驶***中，高精度地图已成为必不可少的组成部分，高精度地图是一种具有厘米级精度、相比于一般导航地图有着详细车道信息的特殊地图，能够更加丰富、细致和全面的描述道路信息，更加精准地反映道路的真实情况。获取高精度地图点云数据的方法大致有三种：移动测绘车采集、无人机航测和1:500地形图测绘，各个采集方案中的传感器都有所不同，由于传感器的异构性，得到的点云数据在精度上，范围上和数据集上有很大区别，具体而言一些传感器得到的点云精度高但范围小，另一些传感器得到的点云精度低但范围大等等，因此如何对不同传感器得到的点云数据进行融合，结合各自的优点是生成高精度地图的关键。(参考文献：Jingnan,L.；Hangbin,W.；Chi,G.；Hongmin,Z.；Wenwei,Z.；Cheng,Y.Progress and consideration of highprecisionroad navigation map.Eng.Sci.2018；Zongjuan,C.；Erxin,S.；Dandan,L.；Congcong,Z.；Xu,C.Analysis of the Status Quo of High-precision Maps and Research onImplementation Schemes.Computer KnowIedge and TechnoIogy.2018.)
目前已有的对于点云融合的研究大部分是以参考点云精配准来实现，已有的相关的比较成熟的是Besl和Mckay等提出的最近点迭代(Iterative Closest Point,ICP)算法、Biber等提出正态分布变换(Normal Distributions Transform,NDT)算法。从根本上来讲，迭代最近点算法是在两个现有的点云数据中寻找对应点，但由于传感器、扫描视角等各种因素，这些对应点不可能是真正意义上的对应点，配准结果会有一定的误差；同时迭代最近点算法只能在整体上对目标点云有一个刚性变换，而不能对目标点云中的所有点进行纠正，这也是迭代最近点算法在多源点云配准中的缺点。(参考文献：Besl,P.J.；Mckay,H.D.Amethod for registration of 3-d shapes.IEEE Trans.PatternAnal.Mach.Intell.1992；Biber,P.；Straβer,W.The normal distributions transform:Anew approach to laser scan matching.Proceedings2003IEEE/RSJ InternationalConference on Intelligent Robots and Systems(IROS2003)(Cat.No.03CH37453).IEEE.2003.)
当今科技迅速发展，随着人工智能这一领域的不断研究，深度学习迎来史无前例的火热期。深度学习可以让机器对人类的活动进行学习，来达到模仿的效果，以此来解决一些复杂的问题。当前已有一些学者在结合深度学习技术进行点云匹配上进行了研究。ElbazG,和Avraham T等人通过卷积神经网络来集合局部特征，完成了点云的匹配，在2019年百度无人车提出首个端到端的高精度点云配准网络，但这主要作用于两片同一传感器得到的点云数据，注重于排除在动态地物上选取关键点，不适用于不同传感器得到的，存在不同精度、不同分辨率、存在噪声的点云数据融合。因此，本发明的研究方法主要针对基于传感器得到的存在各种差异的点云数据，旨在提高点云配准融合的精度。(参考文献：Chen,X.Research on algorithm and application of deep learning based onconvolutional neural network.Zhejiang Gongshang University.2013；Elbaz,G.；Avraham,T.；Fischer,A.3D point cloud registration for localization using adeep neural network auto-encoder.Proceedings of the IEEE conference oncomputer vision and pattern recognition.2017；Lu,W.；Wan,G.；Zhou,Y.；Fu,X.；Yuan,P.；Song,S.Deepvcp:An end-to-end deep neural network for point cloudregistration.Proceedings of the IEEE/CVF International Conference on ComputerVision.2019.)
发明内容
针对现有技术中的问题，本发明提出一种基于FPFH特征差异的虚拟同名点多源点云数据融合方法，对存在噪声、采样分辨率不同、存在局部扭曲的多源点云，引入了快速点特征直方图特征(FPFH，Fast Point Feature Histograms)、建立体素利用点云空间信息、引入CNN网络学习特征差异，提高点云配准融合过程的精度。
本发明所采用的技术方案为一种基于FPFH特征差异的虚拟点多源点云融合方法，包括以下步骤，
步骤1，遍历低精度点云，进行虚拟同名点寻找，实现方式如下，
对于两个不同精度的点云数据集，把低精度点云当作源点云，相对高精度点云作为目标点云，将源点云中的点利用初始转换矩阵转换到目标点云中；
计算各转换点和目标点云中的最近邻域点的欧式距离，将计算得到的距离和预设的阈值进行比较，如果大于阈值则删去转换点，保留小于等于阈值的转换点；
对保留的转换点在源点云中计算FPFH特征
在目标点云中寻找邻域并进行体素划分得到体素中心点，对所得各体素中心点分别计算FPFH特征
其中，FPFH特征表示快速点特征直方图特征；
对FPFH特征
和
计算F2距离，输入到CNN网络中进行特征差异的学习，输出配准对应点的概率，利用体素中心点坐标，通过坐标融合得到配准对应点；
步骤2，利用配准对应点对源点云和目标点云进行点云刚性配准，在达到迭代结束条件前返回重复步骤1，直到满足迭代结束条件，则得到最佳刚性配准矩阵，进入步骤3；
步骤3，通过点云更新进一步提高低精度点云的精度，包括根据步骤2所得最佳刚性配准矩阵，采用步骤1的实现方式寻找虚拟点，利用虚拟点进行源点云中的点的更新。
而且，FPFH特征定义如下，
其中，SPFH为当前点的PFH特征，k为邻域点个数，wt为邻域内第t个点的权重，SPFH(pt)为邻域内第t个点的PFH特征；所述PFH特征为点特征直方图。
而且，在目标点云中寻找邻域并进行体素划分得到体素中心点，实现方式如下，
通过邻域寻找，在目标点云中将转换点的邻域划分为
个体素，其中r为邻域的宽度，s为体素的大小。
而且，体素的大小s初始设置为邻域宽度r的一半，当进行步骤3时，将体素的大小s更新设置为更小的值。
而且，当进行步骤3时，将体素的大小s更新设置为更小的值，包括设置为邻域宽度r的1/3或1/4。
而且，利用体素中心点坐标，通过坐标融合得到配准对应点，实现方式如下，
利用CNN网络进行特征差异的学习后输出的概率wj计算转换点qi对应的虚拟同名点q′i，得到配准对应点，计算实现如下，
其中，qij为第j个体素中心点，j＝1，...，J。
另一方面，本发明还提供一种基于FPFH特征差异的虚拟点多源点云融合***，用于实现如上所述的一种基于FPFH特征差异的虚拟点多源点云融合方法。
而且，包括以下模块，
第一模块，用于遍历低精度点云，进行虚拟同名点寻找，实现方式如下，
对于两个不同精度的点云数据集，把低精度点云当作源点云，相对高精度点云作为目标点云，将源点云中的点利用初始转换矩阵转换到目标点云中；
计算各转换点和目标点云中的最近邻域点的欧式距离，将计算得到的距离和预设的阈值进行比较，如果大于阈值则删去转换点，保留小于等于阈值的转换点；
对保留的转换点在源点云中计算FPFH特征
在目标点云中寻找邻域并进行体素划分得到体素中心点，对所得各体素中心点分别计算FPFH特征
其中，FPFH特征表示快速点特征直方图特征；
对FPFH特征
和
计算F2距离，输入到CNN网络中进行特征差异的学习，输出配准对应点的概率，利用体素中心点坐标，通过坐标融合得到配准对应点；
第二模块，用于利用配准对应点对源点云和目标点云进行点云刚性配准，在达到迭代结束条件前命令第一模块工作，直到满足迭代结束条件，则得到最佳刚性配准矩阵，命令第三模块工作；
第三模块，用于通过点云更新进一步提高低精度点云的精度，包括根据第二模块所得最佳刚性配准矩阵，采用第一模块的工作方式寻找虚拟点，利用虚拟点进行源点云中的点的更新。
或者，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如上所述的一种基于FPFH特征差异的虚拟点多源点云融合方法。
或者，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如上所述的一种基于FPFH特征差异的虚拟点多源点云融合方法。
本发明提供了一种基于FPFH特征差异的虚拟同名点多源点云数据融合技术方案，对存在噪声、采样分辨率不同、存在局部扭曲的多源点云，引入了FPFH特征、建立体素利用点云空间信息、引入CNN网络学习特征差异，通过虚拟同名点寻找和点云更新提高点云配准融合过程的精度。虚拟同名点寻找时将重点放在对应点的寻找上，通过对FPFH特征差异的学习，利用体素和概率合成虚拟同名点的过程解决了现有方法中从现有点中寻找准确性低的对应点的问题。点云更新对低精度点云的精度有提升作用，使得两个精度不等的点云融合之后的点云精度达到一致，消除一些精度误差，使每一个点的改正方向和大小可以随着点自身的特征进行纠正，实现小范围的精细拟合，且能在整体上保持各区域间改正量不出现较大跳变，保证整个点云区域的连续性。
本发明的有益效果是：本发明避免了传统的直接从现有点云中寻找对应点，实现了根据特征差异利用概率合成虚拟同名点；避免了低精度点云高精度融合后精度下降的问题。
附图说明
图1为本发明实施例的方法整体流程图；
图2为本发明实施例的局部虚拟同名点寻找示意图；
图3为本发明实施例的CNN网络示意图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
参见图1，本发明实施例提供的一种基于FPFH特征差异的虚拟同名点多源点云数据融合方法，包括以下步骤：
步骤1，遍历低精度点云，进行虚拟同名点寻找；
本步骤是对经典ICP算法中寻找对应点的改进。然而，直接的在现有点云中寻找对应点时，由于传感器、扫描视角等各种因素，这些对应点不可能是真正意义上的对应点，配准结果会有一定的误差。与经典的ICP算法中直接在现有点云中寻找对应点不同，虚拟同名点寻找模块通过引入FPFH特征增加对存在噪声的鲁棒性。
仅仅利用FPFH特征保留点云的邻域空间信息是不够的，虚拟同名点寻找模块在利用FPFH特征的基础上，引入体素进一步保留学习点云的邻域空间信息。
本发明还利用CNN网络学习特征差异，通过CNN网络，可以利用其在相似性学习中强大的表达能力，可以自动学习到更深层次、更抽象的特征信息，可以更好的学习到对应点的概率，通过体素坐标融合即可在利用点云空间信息的基础上，通过概率得到精度更高的虚拟同名，提高配准融合的精度。
本发明步骤1包括以下内容：
步骤1)，对于两个不同精度的点云数据集，把低精度点云当作源点云，相对高精度点云作为目标点云，将源点云中的点利用初始转换矩阵转换到目标点云中；
步骤2)，设定一个阈值，计算转换过去的点和目标点云中的最近邻域点的欧式距离，将计算得到的距离和阈值进行比较，如大于阈值，则表明该转换点在源点云中没有重叠，删去该转换点，保留小于阈值的转换点；
步骤3)，对步骤2)中保留下来的转换点在源点云中计算FPFH特征，在目标点云中寻找邻域并进行体素划分得到体素中心点，对这些体素中心点计算FPFH特征；
为考虑到点云的周围邻域空间信息，本发明采用了引用体素的形式，不丢失点云的空间信息增加寻找配准对应点的稳定性和精度。
步骤4)，对步骤3)中得到的FPFH特征，计算它们之间的F2距离，喂入到CNN网络中进行特征差异的学习，输出配准对应点的概率，利用基于步骤3)中的体素中心点坐标，通过坐标融合得到配准对应点；
考虑到CNN网络学习特征差异的优越性，本发明中引用CNN网络学习FPFH特征的F2距离，能够更加准确的得到配准对应点的概率。
为便于实施参考起见，以下提供实施例的步骤具体实现说明。参见图2，本发明实施例的虚拟同名点寻找具体实现包括以下子步骤，具体实施时可以作为虚拟同名点寻找模块提供：
步骤1.1，首先选择两个不同精度的点云P，Q，把低精度的点云P当做源点云，相对高精度的点云Q作为目标点云，把源点云中的点pi，pi∈R3，i＝1，...，Np作为候选点，R3为三维空间，Np为点云P的点数目，i为点标识；
其中，R3表示点所处三维空间。
步骤1.2，对源点云中的所有点pi利用初始转换矩阵R，T进行转换，对源点云中的所有点pi进行转换后得到转换点pi′，pi′∈R3，i＝1，...，Np。其中R是转换矩阵，T是平移矩阵，初始转换矩阵可简单采用单位矩阵。
步骤1.3，把得到的所有转换点pi′放入目标点云Q，中，在目标点云Q中寻找转换点的邻域点，此时设定一个阈值r，计算转换点和目标点云中的最近邻域点的欧式距离d，将计算得到的距离和阈值进行比较，如大于阈值，则表明该转换点在源点云中没有重叠，删去该转换点，保留小于等于阈值的转换点qi，qi∈R3，i＝1，...，Nq；
其中，由于是在点云局部进行邻域点查询，建议阈值r设置为目标点云分辨率的10倍：此步骤服务于下面步骤中的寻找虚拟同名点，因此最近邻点的距离应在目标点云分辨率这个值的两三倍附近，但如果目标点云和源点云的点云分辨率不相同，可以适当放宽至10倍，具体数值可按照需求设定。
步骤1.4，对上述得到的转换点qi在源点云中进行FPFH特征值计算，得到
本发明对经典ICP算法中寻找对应点进行改进。直接的在现有点云中寻找对应点时，由于传感器、扫描视角等各种因素，这些对应点不可能是真正意义上的对应点，配准结果会有一定的误差。与经典的ICP算法中直接在现有点云中寻找对应点不同，本发明通过引入FPFH特征增加对存在噪声的鲁棒性。
其中，SPFH为当前点的PFH特征，k为邻域点个数，wt为邻域内第t个点的权重，具体为点对间的欧式距离，SPFH(pt)为邻域内第t个点的PFH特征；
PFH特征为Point Feature Histograms，点特征直方图。本发明在此基础上引入快速点特征直方图特征(FPFH，Fast Point Feature Histograms)。
步骤1.5，在目标点云中对转换点qi寻找邻域，并进行体素划分，得到体素中心点qij，j＝1，...，J；其中i为转换点的标号，j为相应邻域内体素中心点的标号。
仅仅利用FPFH特征保留点云的邻域空间信息是不够的，在利用FPFH特征的基础上，引入体素进一步保留学习点云的邻域空间信息。在进行FPFH特征的提取时，可以嵌入多核多线程OpenMP并行处理模式，加速关键点快速特征直方图提取。
将源点云中的点云转换到目标点云中得到转换点后，以这个转换点为原点中心，在x，y，z三个坐标轴上进行一定间距的分割。实施例中，通过邻域寻找的方法，在目标点云中将转换点的邻域划分为
个体素，其中r为邻域的宽度，采用步骤1.3设置的阈值取值，s为体素的大小，在其中的每一个体素都包含了目标点云中的一些点。
实施例中，当体素大小s为邻域宽度r的一半的时候，体素个数J为8，此时是最小值，当后续步骤3还需要要求结果精度进一步提高时，可以将体素个数增加，体素大小s相应减小，同时相应更改CNN网络模块中的CNN参数。
步骤1.6，计算体素中心点qij，j＝1，...，J的FPFH特征值
j＝1，...，J，分别与
计算F2距离；
其中，F2距离表示欧式距离，本发明中指空间中两个三维点的欧式距离，计算方式为现有技术，本发明不予赘述。
步骤1.7，将步骤1.6得到的F2距离喂入CNN网络中得到各体素中心点的概率wj，j＝1，...，J；
为得到更加准确的概率wj，在特征差异学习时利用CNN网络，通过CNN网络，可以利用其在相似性学习中强大的表达能力，可以自动学习到更深层次、更抽象的特征信息，可以更好的学习到对应点的概率，通过体素坐标融合即可在利用点云空间信息的基础上，通过概率得到精度更高的虚拟同名，提高配准融合的精度。
参见图3，本发明实施例优选使用的CNN网络为一个三层的卷积神经网络，第一层是一个8*1*1的数据输入层，输入数据为体素中心点与源点云中的点的FPFH特征差异；第二层为4*1*1的卷积层；最后连接1*1*1的全连接层。在全连接层后通过SoftMax函数输出各个体素中心点对应的概率，最后利用体素中心点坐标和概率进行坐标加权合成虚拟同名点坐标。
本发明实施例的CNN网络具体实现包括以下子步骤：
步骤1.7.1，将得到的F2距离输入到神经卷积网络中；
步骤1.7.2，将网络输出到SoftMax中得到概率wj，j＝1，...，J；
步骤1.8，利用体素中心点坐标，通过坐标融合得到配准对应点：
利用步骤1.7中的概率wj，j＝1，...，J计算转换点qi对应的虚拟同名点q′i，即可得到配准对应点；
其中，qij为第j个体素中心点；
步骤2，利用配准对应点对源点云和目标点云进行点云刚性配准，得到新的旋转矩阵R′，平移矩阵T′，在达到迭代结束条件(例如循环次数或误差收敛)之前，基于新的旋转矩阵R′，平移矩阵T′重复迭代步骤1，直到达到迭代结束条件(例如循环次数或误差收敛)，则得到最佳刚性配准矩阵，进入步骤3；
点云刚性配准的实现方式为，得到对应点后，根据最小二乘计算出转换矩阵配准参数，也即新的旋转矩阵R′，平移矩阵T′，计算误差原则是使目标函数最小；
当结束迭代时，当前计算的旋转矩阵R′，平移矩阵T′即最佳刚性配准矩阵。
步骤3，通过点云更新进一步提高低精度点云的精度；
为进一步提高源点云的精度，在上一步骤中得到最佳刚性配准矩阵后，基于步骤1，得到源点云的对应点，以对应点更新源点云中的点，得到最终结果。
由于源点云为相对的低精度点云，点云配准后得到的点还是达不到高精度点云的精度，通过步骤3可以更新源点云中的点以提高点云精度。
具体实施时，步骤3可以作为点云更新模块提供。本发明实施例的点云更新模块具体实现包括以下子步骤：
步骤3.1，设置精度更新的体素大小s；
步骤1中，体素大小s的取值在不需要过高的精度时默认为邻域的一半，体素为8个，当本步骤需要更高精度时，体素大小s的取值更新设置为更小的值，例如可以设为邻域宽度r的1/3或1/4，相应的体素个数J将会变为9或64；
步骤3.2，基于更新后的体素大小s及相应的体素数目J，利用步骤1中的虚拟同名点寻找过程(模块)寻找虚拟点，此时采用最佳刚性配准矩阵R′，T′代替初始转换矩阵R，T；
步骤3.3，利用虚拟点进行源点云中的点的更新。
步骤3.2所述虚拟点是指转换点对应的虚拟同名点，之后更新即用该虚拟点替换原来的点。
本发明旨在利用点云更新模块提高低精度点云的精度，使得两个精度不等的点云融合之后的点云精度达到一致，消除一些精度误差，为了达到这个目的，在此引入一个阈值s，得到最佳的刚性配准矩阵后，为进一步在细致区域进行进一步点云精度提高，点云更新模块可以使每一个点的改正方向和大小可以随着点自身的特征进行纠正，实现小范围的精细拟合，能在整体上保持各区域间改正量不出现较大跳变，保证整个点云区域的连续性。
最后为了区别效果起见，还可以进行精度指标计算。实施例中，精度指标采用旋转误差、平移误差和CD距离。
具体实施时，可采用计算机软件技术实现以上流程的自动运行。
利用本发明实施例的技术方案进行实验，生成点云配准后的可视化图：
取Data——四类标志性的点云数据，分别是Bunny，Sign Board，Sculpture和Chair。采用本发明提供的以上流程，最终可得到本发明实施例的技术方案结果——经过上述方法得到的点云配准结果图。通过对旋转误差、平移误差和CD距离对比可确认本发明的有效性。
旋转误差、平移误差和CD距离的定义如下：
其中，RGT为真实的旋转矩阵，Ri为需要评估的旋转矩阵，trace(Rid)为矩阵Rid的迹，Error(R)为旋转误差，用度表示。
Error(T)＝||tGT-ti||2
其中，tGT为真实的平移矩阵，ti为需要评估的平移矩阵，Error(T)为平移误差。
其中，S1为第一个点云的点数量，x为点云S1中的任意一点，S2为第二点云的点数量，y为点云S2中任意一点，CD(S1，S2)为CD距离。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
具体实施时，本发明技术方案提出的方法可由本领域技术人员采用计算机软件技术实现自动运行流程，实现方法的***装置例如存储本发明技术方案相应计算机程序的计算机可读存储介质以及包括运行相应计算机程序的计算机设备，也应当在本发明的保护范围内。
在一些可能的实施例中，提供一种基于FPFH特征差异的虚拟点多源点云融合***，包括以下模块，
第一模块，用于遍历低精度点云，进行虚拟同名点寻找，实现方式如下，
对于两个不同精度的点云数据集，把低精度点云当作源点云，相对高精度点云作为目标点云，将源点云中的点利用初始转换矩阵转换到目标点云中；
计算各转换点和目标点云中的最近邻域点的欧式距离，将计算得到的距离和预设的阈值进行比较，如果大于阈值则删去转换点，保留小于等于阈值的转换点；
对保留的转换点在源点云中计算FPFH特征
在目标点云中寻找邻域并进行体素划分得到体素中心点，对所得各体素中心点分别计算FPFH特征
其中，FPFH特征表示快速点特征直方图特征；
对FPFH特征
和
计算F2距离，输入到CNN网络中进行特征差异的学习，输出配准对应点的概率，利用体素中心点坐标，通过坐标融合得到配准对应点；
第二模块，用于利用配准对应点对源点云和目标点云进行点云刚性配准，在达到迭代结束条件前命令第一模块工作，直到满足迭代结束条件，则得到最佳刚性配准矩阵，命令第三模块工作；
第三模块，用于通过点云更新进一步提高低精度点云的精度，包括根据第二模块所得最佳刚性配准矩阵，采用第一模块的工作方式寻找虚拟点，利用虚拟点进行源点云中的点的更新。
在一些可能的实施例中，提供一种基于FPFH特征差异的虚拟点多源点云融合***，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如上所述的一种基于FPFH特征差异的虚拟点多源点云融合方法。
在一些可能的实施例中，提供一种基于FPFH特征差异的虚拟点多源点云融合***，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如上所述的一种基于FPFH特征差异的虚拟点多源点云融合方法。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。
Claims (10)
1.一种基于FPFH特征差异的虚拟点多源点云融合方法，其特征在于：包括以下步骤，步骤1，遍历低精度点云，进行虚拟同名点寻找，实现方式如下，
对于两个不同精度的点云数据集，把低精度点云当作源点云，相对高精度点云作为目标点云，将源点云中的点利用初始转换矩阵转换到目标点云中；
计算各转换点和目标点云中的最近邻域点的欧式距离，将计算得到的距离和预设的阈值进行比较，如果大于阈值则删去转换点，保留小于等于阈值的转换点；
对保留的转换点在源点云中计算FPFH特征
在目标点云中寻找邻域并进行体素划分得到体素中心点，对所得各体素中心点分别计算FPFH特征
其中，FPFH特征表示快速点特征直方图特征；
对FPFH特征
和
计算F2距离，输入到CNN网络中进行特征差异的学习，输出配准对应点的概率，利用体素中心点坐标，通过坐标融合得到配准对应点；
步骤2，利用配准对应点对源点云和目标点云进行点云刚性配准，在达到迭代结束条件前返回重复步骤1，直到满足迭代结束条件，则得到最佳刚性配准矩阵，进入步骤3；
步骤3，通过点云更新进一步提高低精度点云的精度，包括根据步骤2所得最佳刚性配准矩阵，采用步骤1的实现方式寻找虚拟点，利用虚拟点进行源点云中的点的更新。
2.根据权利要求1所述基于FPFH特征差异的虚拟点多源点云融合方法，其特征在于：
FPFH特征定义如下，
其中，SPFH为当前点的PFH特征，k为邻域点个数，wt为邻域内第t个点的权重，SPFH(pt)为邻域内第t个点的PFH特征；所述PFH特征为点特征直方图。
3.根据权利要求1所述基于FPFH特征差异的虚拟点多源点云融合方法，其特征在于：在目标点云中寻找邻域并进行体素划分得到体素中心点，实现方式如下，
通过邻域寻找，在目标点云中将转换点的邻域划分为
个体素，其中r为邻域的宽度，s为体素的大小。
4.根据权利要求3所述基于FPFH特征差异的虚拟点多源点云融合方法，其特征在于：体素的大小s初始设置为邻域宽度r的一半，当进行步骤3时，将体素的大小s更新设置为更小的值。
5.根据权利要求4所述基于FPFH特征差异的虚拟点多源点云融合方法，其特征在于：当进行步骤3时，将体素的大小s更新设置为更小的值，包括设置为邻域宽度r的1/3或1/4。
6.根据权利要求1或2或3或4或5所述基于FPFH特征差异的虚拟点多源点云融合方法，其特征在于：利用体素中心点坐标，通过坐标融合得到配准对应点，实现方式如下，
利用CNN网络进行特征差异的学习后输出的概率wj计算转换点qi对应的虚拟同名点q′i，得到配准对应点，计算实现如下，
其中，qij为第j个体素中心点，j＝1，...，J。
7.一种基于FPFH特征差异的虚拟点多源点云融合***，其特征在于：用于实现如权利要求1-6任一项所述的一种基于FPFH特征差异的虚拟点多源点云融合方法。
8.根据权利要求7所述基于FPFH特征差异的虚拟点多源点云融合***，其特征在于：包括以下模块，
第一模块，用于遍历低精度点云，进行虚拟同名点寻找，实现方式如下，
对于两个不同精度的点云数据集，把低精度点云当作源点云，相对高精度点云作为目标点云，将源点云中的点利用初始转换矩阵转换到目标点云中；
计算各转换点和目标点云中的最近邻域点的欧式距离，将计算得到的距离和预设的阈值进行比较，如果大于阈值则删去转换点，保留小于等于阈值的转换点；
对保留的转换点在源点云中计算FPFH特征
在目标点云中寻找邻域并进行体素划分得到体素中心点，对所得各体素中心点分别计算FPFH特征
其中，FPFH特征表示快速点特征直方图特征；
对FPFH特征
和
计算F2距离，输入到CNN网络中进行特征差异的学习，输出配准对应点的概率，利用体素中心点坐标，通过坐标融合得到配准对应点；
第二模块，用于利用配准对应点对源点云和目标点云进行点云刚性配准，在达到迭代结束条件前命令第一模块工作，直到满足迭代结束条件，则得到最佳刚性配准矩阵，命令第三模块工作；
第三模块，用于通过点云更新进一步提高低精度点云的精度，包括根据第二模块所得最佳刚性配准矩阵，采用第一模块的工作方式寻找虚拟点，利用虚拟点进行源点云中的点的更新。
9.根据权利要求7所述基于FPFH特征差异的虚拟点多源点云融合***，其特征在于：包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如权利要求1-6任一项所述的一种基于FPFH特征差异的虚拟点多源点云融合方法。
10.根据权利要求7所述基于FPFH特征差异的虚拟点多源点云融合***，其特征在于：包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如权利要求1-6任一项所述的一种基于FPFH特征差异的虚拟点多源点云融合方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110919653.XA CN113706710B (zh) | 2021-08-11 | 2021-08-11 | 基于fpfh特征差异的虚拟点多源点云融合方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110919653.XA CN113706710B (zh) | 2021-08-11 | 2021-08-11 | 基于fpfh特征差异的虚拟点多源点云融合方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113706710A true CN113706710A (zh) | 2021-11-26 |
| CN113706710B CN113706710B (zh) | 2024-03-08 |
Family
ID=78652409
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110919653.XA Active CN113706710B (zh) | 2021-08-11 | 2021-08-11 | 基于fpfh特征差异的虚拟点多源点云融合方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113706710B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114004871A (zh) * | 2022-01-04 | 2022-02-01 | 山东大学 | 一种基于点云补全的点云配准方法及*** |
| CN114972460A (zh) * | 2022-06-02 | 2022-08-30 | 福州大学 | 一种结合图特征上下文匹配的点云配准方法 |
| CN115272433A (zh) * | 2022-09-23 | 2022-11-01 | 武汉图科智能科技有限公司 | 用于无人机自动避障的轻量点云配准方法及*** |
| CN115797418A (zh) * | 2022-09-27 | 2023-03-14 | 湖南科技大学 | 一种基于改进icp的复杂机械零件测量点云配准方法及*** |
| CN116188543A (zh) * | 2022-12-27 | 2023-05-30 | 中国人民解放军61363部队 | 基于深度学习无监督的点云配准方法及*** |
| CN117495932A (zh) * | 2023-12-25 | 2024-02-02 | 国网山东省电力公司滨州供电公司 | 一种电力设备异源点云配准方法及*** |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109118564A (zh) * | 2018-08-01 | 2019-01-01 | 湖南拓视觉信息技术有限公司 | 一种基于融合体素的三维点云标记方法和装置 |
| CN110490915A (zh) * | 2019-08-19 | 2019-11-22 | 重庆大学 | 一种基于卷积受限玻尔兹曼机的点云配准方法 |
| US20200334897A1 (en) * | 2019-04-18 | 2020-10-22 | Zebra Medical Vision Ltd. | Systems and methods for reconstruction of 3d anatomical images from 2d anatomical images |
| CN112700479A (zh) * | 2020-12-23 | 2021-04-23 | 北京超星未来科技有限公司 | 一种基于cnn点云目标检测的配准方法 |
| US11037346B1 (en) * | 2020-04-29 | 2021-06-15 | Nanjing University Of Aeronautics And Astronautics | Multi-station scanning global point cloud registration method based on graph optimization |
| CN113192112A (zh) * | 2021-04-29 | 2021-07-30 | 浙江大学计算机创新技术研究院 | 一种基于学习采样的部分对应点云配准方法 |
-
2021
- 2021-08-11 CN CN202110919653.XA patent/CN113706710B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109118564A (zh) * | 2018-08-01 | 2019-01-01 | 湖南拓视觉信息技术有限公司 | 一种基于融合体素的三维点云标记方法和装置 |
| US20200334897A1 (en) * | 2019-04-18 | 2020-10-22 | Zebra Medical Vision Ltd. | Systems and methods for reconstruction of 3d anatomical images from 2d anatomical images |
| CN110490915A (zh) * | 2019-08-19 | 2019-11-22 | 重庆大学 | 一种基于卷积受限玻尔兹曼机的点云配准方法 |
| US11037346B1 (en) * | 2020-04-29 | 2021-06-15 | Nanjing University Of Aeronautics And Astronautics | Multi-station scanning global point cloud registration method based on graph optimization |
| CN112700479A (zh) * | 2020-12-23 | 2021-04-23 | 北京超星未来科技有限公司 | 一种基于cnn点云目标检测的配准方法 |
| CN113192112A (zh) * | 2021-04-29 | 2021-07-30 | 浙江大学计算机创新技术研究院 | 一种基于学习采样的部分对应点云配准方法 |
Non-Patent Citations (1)
| Title |
|---|
| HAO GUO ET AL.: ""Correspondence estimation for non-rigid point clouds with automatic part discovery"", 《VISUAL COMPUTER》, vol. 32, pages 1511 - 1524, XP036086904, DOI: 10.1007/s00371-015-1136-5 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114004871A (zh) * | 2022-01-04 | 2022-02-01 | 山东大学 | 一种基于点云补全的点云配准方法及*** |
| CN114972460A (zh) * | 2022-06-02 | 2022-08-30 | 福州大学 | 一种结合图特征上下文匹配的点云配准方法 |
| CN115272433A (zh) * | 2022-09-23 | 2022-11-01 | 武汉图科智能科技有限公司 | 用于无人机自动避障的轻量点云配准方法及*** |
| CN115272433B (zh) * | 2022-09-23 | 2022-12-09 | 武汉图科智能科技有限公司 | 用于无人机自动避障的轻量点云配准方法及*** |
| CN115797418A (zh) * | 2022-09-27 | 2023-03-14 | 湖南科技大学 | 一种基于改进icp的复杂机械零件测量点云配准方法及*** |
| CN116188543A (zh) * | 2022-12-27 | 2023-05-30 | 中国人民解放军61363部队 | 基于深度学习无监督的点云配准方法及*** |
| CN116188543B (zh) * | 2022-12-27 | 2024-03-12 | 中国人民解放军61363部队 | 基于深度学习无监督的点云配准方法及*** |
| CN117495932A (zh) * | 2023-12-25 | 2024-02-02 | 国网山东省电力公司滨州供电公司 | 一种电力设备异源点云配准方法及*** |
| CN117495932B (zh) * | 2023-12-25 | 2024-04-16 | 国网山东省电力公司滨州供电公司 | 一种电力设备异源点云配准方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113706710B (zh) | 2024-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113706710B (zh) | 基于fpfh特征差异的虚拟点多源点云融合方法及*** | |
| Xia et al. | Geometric primitives in LiDAR point clouds: A review | |
| CN113345018B (zh) | 一种动态场景下的激光单目视觉融合定位建图方法 | |
| CN112767490B (zh) | 一种基于激光雷达的室外三维同步定位与建图方法 | |
| CN110930495A (zh) | 基于多无人机协作的icp点云地图融合方法、***、装置及存储介质 | |
| Zhou et al. | S4-SLAM: A real-time 3D LIDAR SLAM system for ground/watersurface multi-scene outdoor applications | |
| CN114332348B (zh) | 一种融合激光雷达与图像数据的轨道三维重建方法 | |
| CN111915517B (zh) | 适用于室内光照不利环境下rgb-d相机全局定位方法 | |
| CN114088081B (zh) | 一种基于多段联合优化的用于精确定位的地图构建方法 | |
| CN115032648B (zh) | 一种基于激光雷达密集点云的三维目标识别与定位方法 | |
| CN113110455A (zh) | 一种未知初始状态的多机器人协同探索方法、装置及*** | |
| Yin et al. | Pse-match: A viewpoint-free place recognition method with parallel semantic embedding | |
| CN113223062B (zh) | 一种基于角点特征点选取与快速描述子的点云配准方法 | |
| CN116429116A (zh) | 一种机器人定位方法及设备 | |
| Pan et al. | Pin-slam: Lidar slam using a point-based implicit neural representation for achieving global map consistency | |
| Xu et al. | A LiDAR SLAM System with Geometry Feature Group Based Stable Feature Selection and Three-Stage Loop Closure Optimization | |
| CN113808152A (zh) | 一种基于orb_slam2的无人机自主导航方法 | |
| CN112950786A (zh) | 一种基于神经网络的车辆三维重建方法 | |
| Xu et al. | Fast and accurate registration of large scene vehicle-borne laser point clouds based on road marking information | |
| Zhang et al. | Accurate real-time SLAM based on two-step registration and multimodal loop detection | |
| Zhou et al. | A lidar mapping system for robot navigation in dynamic environments | |
| Guo et al. | A feasible region detection method for vehicles in unstructured environments based on PSMNet and improved RANSAC | |
| CN113256693A (zh) | 基于K-means与正态分布变换的多视角配准方法 | |
| He et al. | OFFS-Net: Optimal Feature Fusion-Based Spectral Information Network for Airborne Point Cloud Classification | |
| Zhang et al. | Object depth measurement from monocular images based on feature segments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |