CN117745778B - 一种点云配准实现方法、装置、存储介质及电子设备 - Google Patents

一种点云配准实现方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN117745778B
CN117745778B CN202410139567.0A CN202410139567A CN117745778B CN 117745778 B CN117745778 B CN 117745778B CN 202410139567 A CN202410139567 A CN 202410139567A CN 117745778 B CN117745778 B CN 117745778B
Authority
CN
China
Prior art keywords
source
target
point cloud
planes
plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410139567.0A
Other languages
English (en)
Other versions
CN117745778A (zh
Inventor
杜冬晖
郭胜男
宋昱
束健
于江磊
翟晓琴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faoyiwei Suzhou Robot System Co ltd
Original Assignee
Faoyiwei Suzhou Robot System Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Faoyiwei Suzhou Robot System Co ltd filed Critical Faoyiwei Suzhou Robot System Co ltd
Priority to CN202410139567.0A priority Critical patent/CN117745778B/zh
Publication of CN117745778A publication Critical patent/CN117745778A/zh
Application granted granted Critical
Publication of CN117745778B publication Critical patent/CN117745778B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本申请提出一种点云配准实现方法、装置、存储介质及电子设备,分别对源点云和目标点云进行平面检测分割,以得到三个源平面和三个目标平面获取三条源平面交线的方向向量和源交线线段点云;获取三条目标平面交线的方向向量和目标交线线段点云;基于源交线线段点云、目标交线线段点云、三条源平面交线的方向向量以及三条目标平面交线的方向向量确定目标转换矩阵;基于目标转换矩阵对源点云进行转换,完成点云配准。极大地降低了计算量,提升处理效率,并且可以排除拍摄误差,所带来的影响,提升配置结果的准确度,实现点云的准确快速配准。

Description

一种点云配准实现方法、装置、存储介质及电子设备
技术领域
本申请涉及点云数据处理领域,具体而言,涉及一种点云配准实现方法、装置、存储介质及电子设备。
背景技术
点云配准是通过计算两个点云之间的变换矩阵,其中包含旋转信息和平移信息,将一个点云(源点云)与另一个点云(目标点云)对齐,从而使它们在同一坐标系下表达相同场景的过程。该过程的目标是实现两个点云的空间一致性,使它们的特征点或描述子能够相互匹配。
点云配准的精度直接影响了后续步骤(如误差分析、三维重建、目标识别、姿态估计等)的可靠性。在计算机视觉领域和计算机辅助几何领域,点云配准是一项至关重要的任务,广泛应用于立体匹配、目标识别、姿态估计、图像匹配等应用中。通过正确地将不同视角或时间采集的点云对齐,可以建立更准确和完整的三维场景模型,为各种应用提供可靠的空间信息。
如何快速准确地实现点云配准,成为了本领域技术人员所持续关注的难题。
发明内容
本申请的目的在于提供一种点云配准实现方法、装置、存储介质及电子设备,以至少部分改善上述问题。
为了实现上述目的,本申请实施例采用的技术方案如下:
第一方面,本申请实施例提供一种点云配准实现方法,所述方法包括:
分别对源点云和目标点云进行平面检测分割,以得到三个源平面和三个目标平面,其中,三个源平面为从所述源点云中分割出的内点数量最多的三个平面,三个目标平面为从所述目标点云中分割出的内点数量最多的三个平面;
在所述三个源平面相交于一点的情况下,获取三条源平面交线的方向向量和源交线线段点云;
在所述三个目标平面相交于一点的情况下,获取三条目标平面交线的方向向量和目标交线线段点云;
基于所述源交线线段点云、所述目标交线线段点云、三条源平面交线的方向向量以及三条目标平面交线的方向向量确定目标转换矩阵;
基于所述目标转换矩阵对所述源点云进行转换,完成点云配准。
第二方面,本申请实施例提供一种点云配准实现装置,所述装置包括:
第一处理单元,用于分别对源点云和目标点云进行平面检测分割,以得到三个源平面和三个目标平面,其中,三个源平面为从所述源点云中分割出的内点数量最多的三个平面,三个目标平面为从所述目标点云中分割出的内点数量最多的三个平面;
所述第一处理单元还用于在所述三个源平面相交于一点的情况下,获取三条源平面交线的方向向量和源交线线段点云;
所述第一处理单元还用于在所述三个目标平面相交于一点的情况下,获取三条目标平面交线的方向向量和目标交线线段点云;
所述第一处理单元还用于基于所述源交线线段点云、所述目标交线线段点云、三条源平面交线的方向向量以及三条目标平面交线的方向向量确定目标转换矩阵;
第二处理单元,用于基于所述目标转换矩阵对所述源点云进行转换,完成点云配准。
第三方面,本申请实施例提供一种存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述的方法。
第四方面,本申请实施例提供一种电子设备,所述电子设备包括:处理器和存储器,所述存储器用于存储一个或多个程序;当所述一个或多个程序被所述处理器执行时,实现上述的方法。
相对于现有技术,本申请实施例所提供的一种点云配准实现方法、装置、存储介质及电子设备,包括:分别对源点云和目标点云进行平面检测分割,以得到三个源平面和三个目标平面,其中,三个源平面为从源点云中分割出的内点数量最多的三个平面,三个目标平面为从目标点云中分割出的内点数量最多的三个平面;在三个源平面相交于一点的情况下,获取三条源平面交线的方向向量和源交线线段点云;在三个目标平面相交于一点的情况下,获取三条目标平面交线的方向向量和目标交线线段点云;基于源交线线段点云、目标交线线段点云、三条源平面交线的方向向量以及三条目标平面交线的方向向量确定目标转换矩阵;基于目标转换矩阵对源点云进行转换,完成点云配准。基于源交线线段点云、目标交线线段点云、三条源平面交线的方向向量以及三条目标平面交线的方向向量确定目标转换矩阵,相对于基于所有点云数据去推导目标转换矩阵,极大地降低了计算量,提升处理效率,并且可以排除拍摄误差,所带来的影响,提升配置结果的准确度,实现点云的准确快速配准。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它相关的附图。
图1为本申请实施例提供的拍摄点云示意图;
图2为本申请实施例提供的电子设备的结构示意图;
图3为本申请实施例提供的点云配准实现方法的流程示意图;
图4为本申请实施例提供的一种投影点示意图;
图5为本申请实施例提供的提取交线线段点云示意图;
图6为本申请实施例提供的点云配准的实现装置的单元示意图。
图中:10-处理器;11-存储器;12-总线;13-通信接口;201-第一处理单元;202-第二处理单元。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
在本申请的描述中,需要说明的是,术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,或者是该申请产品使用时惯常摆放的方位或位置关系,仅是为了便于描述本申请和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。
在本申请的描述中,还需要说明的是,除非另有明确的规定和限定,术语“设置”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本申请中的具体含义。
下面结合附图,对本申请的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
在一种可选的实施方式中,可以基于点云中的特征点(如关键点、角点、法向量等)进行匹配,找到两个点云中相似的特征点对。实际拍摄时,往往受环境或硬件条件所限,针对边缘部分的点云获取会有偏差。而这些特征点针对点云中不存在的点云部分,无法提取到有效特征。
针对实际焊接场景下的三平面相交的工件与模型的高精度点云配准算法还存在以下缺点:首先,计算量较大;其次,受噪声影响;最后,配准结果的准确度不确定。
受噪声影响:点云配准算法通常依赖于特征点的提取和匹配。实际获取的点云存在干扰噪声,算法可能难以准确提取和匹配关键特征,从而影响配准的精度。算法可能会在局部最小值或错误的匹配点上陷入,使得最终的配准结果不准确。而焊接场景中,针对多平面的工件的焊接精度要求较高,对焊缝的配准精度要求也高。
实际获取的直角点云带有弧度,影响配准结果的准确度:在实际深度相机拍摄两个平面相交的部分时,由于多种因素,如深度相机的分辨率、噪声、光照条件等,可能导致拍摄到的点云中两个平面的相交处呈现为带有弧度的平滑过渡,而不是严格的尖角。这是一个常见的现象,尤其在复杂环境和边缘部分,平滑过渡区域的点云可能导致匹配不稳定性,请参考图1,图1为本申请实施例提供的拍摄点云示意图。
为了克服以上问题,本申请实施例提供了一种点云配准实现方法,具体地,请参考下文。
本申请实施例提供了一种电子设备,可以是电脑设备、服务器设备以及手机设备等等。请参照图2,电子设备的结构示意图。电子设备包括处理器10、存储器11、总线12。处理器10、存储器11通过总线12连接,处理器10用于执行存储器11中存储的可执行模块,例如计算机程序。
处理器10可以是一种集成电路芯片,具有信号的处理能力。在实现过程中,点云配准实现方法的各步骤可以通过处理器10中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器10可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(DigitalSignal Processor,简称DSP)、专用集成电路(Application Specific IntegratedCircuit ,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
存储器11可能包含高速随机存取存储器(RAM:Random Access Memory),也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。
总线12可以是ISA(Industry Standard Architecture)总线、PCI(PeripheralComponent Interconnect)总线或EISA(Extended Industry Standard Architecture)总线等。图2中仅用一个双向箭头表示,但并不表示仅有一根总线12或一种类型的总线12。
存储器11用于存储程序,例如点云配准的实现装置对应的程序。点云配准的实现装置包括至少一个可以软件或固件(firmware)的形式存储于存储器11中或固化在电子设备的操作***(operating system,OS)中的软件功能模块。处理器10在接收到执行指令后,执行所述程序以实现点云配准实现方法。
可能地,本申请实施例提供的电子设备还包括通信接口13。通信接口13通过总线与处理器10连接。
应当理解的是,图2所示的结构仅为电子设备的部分的结构示意图,电子设备还可包括比图2中所示更多或者更少的组件,或者具有与图2所示不同的配置。图2中所示的各组件可以采用硬件、软件或其组合实现。
本申请实施例提供的一种点云配准实现方法,可以但不限于应用于图2所示的电子设备,具体的流程,请参考图3,点云配准实现方法包括:S110、S120、S130、S140以及S150,具体阐述如下。
S110,分别对源点云和目标点云进行平面检测分割,以得到三个源平面和三个目标平面。
其中,三个源平面为从源点云中分割出的内点数量最多的三个平面,三个目标平面为从目标点云中分割出的内点数量最多的三个平面。
可选地,使用随机采样一致性(Random sample consensus,简称RANSAC)分别对源点云和目标点云中的最大平面点云(内点数量最多的平面)进行检测分割。
RANSAC是一种鲁棒的模型拟合方法,可以处理存在大量噪声和异常值的数据。在进行平面拟合时,随机选择三个点,然后计算这三个点确定的平面模型。然后,计算其他所有点到这个平面的距离,并根据一个预设的阈值来判断这些点是否符合这个平面模型。这个过程会重复多次,最后选择符合点最多的平面模型作为最终的结果。
以源点云和目标点云作为待处理点云(cloud),对待处理点云进行平面检测分割,每一轮平面检测分割出当前的待处理点云中的最大平面点云后,从当前的待处理点云中删除最大平面点云,再进行下一轮平面检测分割,一共进行三轮,最终获得待处理点云中最大的三个平面点云,分别对应三个源平面和三个目标平面。
平面检测分割流程如下:
第一步,初始化最优内点数N0=0,当前迭代次数j=0,初始化第一点云Cloud_max,初始化平面模型系数A0、B0、C0以及D0
第二步,确定当前迭代次数j是否小于目标迭代次数k。若是,则执行第三步,若否,则执行第十二步。
第三步,从待处理点云中随机选择最小样本集。
随机从待处理点云中选择m(m≥3,取值可以为3)个采样数据点作为最小样本集{pj},m个采样数据点中包括至少3个非共线的点。
第四步,基于m个采样数据点拟合得到迭代次数为j时对应的平面模型Ax+By+Cz+D=0。
需要说明的是,平面模型Ax+By+Cz+D=0为通过m个采样数据点的平面,其中,A、B、C是平面法线向量的分量,D是平面到原点的距离。
第五步,计算待处理点云中所有点到第四步中所确定的平面模型对应的平面之间的距离Dt,其中,Dt表示待处理点云中第t个点到平面之间的距离。
第六步,确定Dt是否小于预设的距离阈值d。若是,则执行第七步,若否,则跳过。
需要说明的是,若Dt小于预设的距离阈值d,则表示待处理点云中第t个点符合平面模型,其为该平面的内点,所以执行第七步。
第七步,将待处理点云中第t个点添加至迭代次数为j时对应的平面模型的内点列表。
在待处理点云中所有点均判断了是否属于迭代次数为j时对应的平面模型的内点后,执行第八步。
第八步,统计迭代次数为j时对应的平面模型的内点列表中的内点数量N,提取迭代次数为j时对应的内点所组成的分割点云Cloud_seg。
第九步,确定N0是否小于迭代次数为j时对应的内点数量N。若是,执行第十步;若否,则执行第十一步。
第十步,令N0=迭代次数为j时对应的内点数量N,第一点云Cloud_max=迭代次数为j时对应的内点所组成的分割点云Cloud_seg,A0=迭代次数为j时对应的平面模型中的A,B0=迭代次数为j时对应的平面模型中的B,C0=迭代次数为j时对应的平面模型中的C,D0=迭代次数为j时对应的平面模型中的D。
在第十步结束后,执行第十一步。
第十一步,令j=j+1。
在j迭代更新完成后,重复执行上述的第二步。
需要说明的是,上述过程会重复迭代执行k次(目标迭代次数k),在每次迭代中,都会随机选择一个新的最小样本集,然后构建模型,计算距离,确定内点,更新模型,直到达到预设的目标迭代次数k,即当前迭代次数j等于目标迭代次数k,执行第十二步。
第十二步,确定当前的待处理点云中的最大平面点云为第一点云Cloud_max,最大平面点云对应的平面模型系数为A0、B0、C0以及D0
第十三步,将最大平面点云对应的平面模型系数为A0、B0、C0以及D0存入平面模型系数数组coefficientsArray,并令累积平面点云cloud_out=cloud_out+cloud_max,cloud_out的初始值为0。
第十四步,从当前的待处理点云中删除第一点云Cloud_max,得到新的待处理点云。
在第十四步完成后,确定累积平面点云cloud_out中的第一点云的数量是否小于3,若是,则重复执行第一步,若否,则输出累积平面点云cloud_out和平面模型系数数组coefficientsArray。
需要说明的是,通过进行平面检测分割,以得到三个源平面和三个目标平面,可以排除噪声干扰,只保留有效信息,保障最终的配准结果的准确度。
S120,在三个源平面相交于一点的情况下,获取三条源平面交线的方向向量和源交线线段点云。
需要说明的是,当三个源平面相交于一点时,三个源平面两两相交,存在三条源平面交线。其中,源交线线段点云为三条源平面交线对应的点云。
S130,在三个目标平面相交于一点的情况下,获取三条目标平面交线的方向向量和目标交线线段点云。
需要说明的是,当三个目标平面相交于一点时,三个目标平面两两相交,存在三条目标平面交线。其中,目标交线线段点云为三条目标平面交线对应的点云。
还需要说明的是,在三个源平面未相交于一点或三个目标平面未相交于一点的情况下,则结束。
S140,基于源交线线段点云、目标交线线段点云、三条源平面交线的方向向量以及三条目标平面交线的方向向量确定目标转换矩阵。
S150,基于目标转换矩阵对源点云进行转换,完成点云配准。
可选地,可以但不限定为基于点云配准结果进行误差分析、三维重建、目标识别、姿态估计等。
本申请方案中,基于源交线线段点云、目标交线线段点云、三条源平面交线的方向向量以及三条目标平面交线的方向向量确定目标转换矩阵,相对于基于所有点云数据去推导目标转换矩阵,极大地降低了计算量,提升处理效率,并且可以排除拍摄误差(实际获取的直角点云带有弧度)所带来的影响,提升配置结果的准确度,实现点云的准确快速配准。
在一种可选的实施方式中,可以对初始的源点云和目标点云分别进行降采样,然后执行S110,分别对降采样后的源点云和降采样后的目标点云进行平面检测分割,以得到三个源平面和三个目标平面,可以进一步降低计算量。
在图3的基础上,关于S120中的内容,本申请实施例还提供了一种可选的实施方式,请参考下文,S120,在三个源平面相交于一点的情况下,获取三条源平面交线的方向向量和源交线线段点云的步骤,包括:S121、S122、S123以及S124,具体阐述如下。
S121,获取三个源平面的源交点坐标和三条源平面交线的初始方向向量。
可选地,S121,获取三个源平面的源交点坐标和三条源平面交线的初始方向向量的步骤,包括:S121-1和S121-2,具体阐述如下。
S121-1,获取三个源平面的源交点坐标。
需要说明的是,三个源平面两两不平行,两两不平行的三个平面可以唯一的确定一个交点。
可选地,基于以下算式获取三个源平面的源交点坐标:
其中,、/>、/>以及/>表示第一个源平面的平面模型系数,/>、/>、/>以及表示第二个源平面的平面模型系数,/>、/>、/>以及/>表示第三个源平面的平面模型系数。
求解交点就是求上述方程组的解,当系数矩阵非奇异,也就是三个平面不平行的时候,方程组适定,可以求出唯一解。
S121-2,基于三个源平面的法向量获取三条源平面交线的初始方向向量。
可选地,先获取三个源平面的法向量,(i=1,2,3),/>表示第i个源平面的法向量,第i个源平面对应的模型为:/>
对三个源平面的法向量两两进行叉积,叉积的结果是垂直于这两个向量所在平面的向量并对其进行归一化得到两两平面的交线的单位方向向量
其中,表示第1个源平面和第2个源平面之间的交线的初始方向向量,/>表示第2个源平面和第3个源平面之间的交线的初始方向向量,表示第1个源平面和第3个源平面之间的交线的初始方向向量。
S122,基于三条源平面交线的初始方向向量和三个源平面确定每一条源平面交线的端点坐标。
可选地,S122,基于三条源平面交线的初始方向向量和三个源平面确定每一条源平面交线的端点坐标的步骤,包括:S122-1和S122-2,具体阐述如下。
S122-1,获取三个源平面中每一点在源平面交线的初始方向向量上的投影点。
可选地,通过遍历的方式确定源平面中每一点在源平面交线的初始方向向量上的投影点。
S122-2,将源平面交线两端的投影点的坐标确定为源平面交线的端点坐标。
请参考图4,图4为本申请实施例提供的一种投影点示意图。其中,L表示平面交线的初始方向向量,AA和BB为源平面中的点,将AA和BB投影到L对应的交线上,对应的端点为aa和bb,也为平面交线的边界点。
S123,基于源交点坐标和源平面交线的端点坐标,确定每一条源平面交线的方向向量。
可选地,S123,基于源交点坐标和源平面交线的端点坐标,确定每一条源平面交线的方向向量的步骤,包括:S123-1和S123-2,具体阐述如下。
S123-1,基于源交点坐标和源平面交线的端点坐标,确定源交点到源平面交线的两端之间的距离。
请继续参考图4,其中,cc表示源交点,即三个源平面的交点。源交点到源平面交线的两端之间的距离分别为ccaa(点cc到点aa之间的距离)和ccbb(点cc到点bb之间的距离)。
进而可以对源交点到源平面交线的两端之间的距离进行比较,将源平面交线中距离源交点更远的一个端点作为第一源端点。
S123-2,基于源交点坐标和第一源端点坐标确定源平面交线的方向向量。
其中,第一源端点坐标为源平面交线中距离源交点更远的一个端点的坐标,源平面交线的方向向量为由源交点指向第一源端点的单位向量。
需要说明的是,在知晓坐标的情况下,可以获取两点之间的距离和方向向量。
因为源点云和目标点云的平面交线的方向向量可能存在相反的情况,为了防止后续计算旋转矩阵时出现方向错误问题,在本申请方案中,将方向向量的方向统一。根据实际拍摄点云,将交点指向距离交点远的端点(边界点)的方向判定为更新后的交线方向向量的方向。
S124,获取三条源平面交线对应的源交线线段点云。
可选地,S124,获取三条源平面交线对应的源交线线段点云的步骤,包括:S124-1和S124-2,具体阐述如下。
S124-1,按照预设的采样步长分别对三条源平面交线进行点云采样,以得到源采样点。
请参考图5,图5为本申请实施例提供的提取交线线段点云示意图。
可选地,针对两个源平面相交的源平面交线,设置预设的采样步长为step,以交点cc为起点,端点aa和端点bb各为终点,分别向ccaa和ccbb方向进行点云采样,生成交线点云。
S124-2,将所有的源采样点组合为源交线线段点云。
三条源平面交线都进行交线线段点云的提取,三条源平面交线合并成一个采样点云,即源交线线段点云。
在图3的基础上,关于S130中的内容,本申请实施例还提供了一种可选的实施方式,请参考下文,S130,在三个目标平面相交于一点的情况下,获取三条目标平面交线的方向向量和目标交线线段点云的步骤,包括:S131、S132、S133以及S134,具体阐述如下。
S131,获取三个目标平面的目标交点坐标和三条目标平面交线的初始方向向量。
可选地,S131,获取三个目标平面的目标交点坐标和三条目标平面交线的初始方向向量的步骤,包括:S131-1和S131-2,具体阐述如下。
S131-1,获取三个目标平面的目标交点坐标。
需要说明的是,三个目标平面两两不平行,两两不平行的三个平面可以唯一的确定一个交点。
可选地,基于以下算式获取三个目标平面的目标交点坐标:
其中,、/>、/>以及/>表示第一个目标平面的平面模型系数,/>、/>、/>以及/>表示第二个目标平面的平面模型系数,/>、/>、/>以及/>表示第三个目标平面的平面模型系数。
求解交点就是求上述方程组的解,当系数矩阵非奇异,也就是三个平面不平行的时候,方程组适定,可以求出唯一解。
S131-2,基于三个目标平面的法向量获取三条目标平面交线的初始方向向量。
可选地,先获取三个目标平面的法向量,(i=1,2,3),/>表示第i个目标平面的法向量,第i个目标平面对应的模型为:/>
对三个目标平面的法向量两两进行叉积,叉积的结果是垂直于这两个向量所在平面的向量并对其进行归一化得到两两平面的交线的单位方向向量
其中,表示第1个目标平面和第2个目标平面之间的交线的初始方向向量,/>表示第2个目标平面和第3个目标平面之间的交线的初始方向向量,/>表示第1个目标平面和第3个目标平面之间的交线的初始方向向量。
S132,基于三条目标平面交线的初始方向向量和三个目标平面确定每一条目标平面交线的端点坐标。
可选地,S132,基于三条目标平面交线的初始方向向量和三个目标平面确定每一条目标平面交线的端点坐标的步骤,包括:S132-1和S132-2,具体阐述如下。
S132-1,获取三个目标平面中每一点在目标平面交线的初始方向向量上的投影点。
可选地,通过遍历的方式确定目标平面中每一点在目标平面交线的初始方向向量上的投影点。
S132-2,将目标平面交线两端的投影点的坐标确定为目标平面交线的端点坐标。
请继续参考图4,其中,L表示平面交线的初始方向向量,AA和BB为目标平面中的点,将AA和BB投影到L对应的交线上,对应的端点为aa和bb,也为平面交线的边界点。
S133,基于目标交点坐标和目标平面交线的端点坐标,确定每一条目标平面交线的方向向量。
可选地,S133,基于目标交点坐标和目标平面交线的端点坐标,确定每一条目标平面交线的方向向量的步骤,包括:S133-1和S133-2,具体阐述如下。
S133-1,基于目标交点坐标和目标平面交线的端点坐标,确定目标交点到目标平面交线的两端之间的距离。
请继续参考图4,其中,cc表示目标交点,即三个目标平面的交点。目标交点到目标平面交线的两端之间的距离分别为ccaa(点cc到点aa之间的距离)和ccbb(点cc到点bb之间的距离)。
进而可以对目标交点到目标平面交线的两端之间的距离进行比较,将目标平面交线中距离目标交点更远的一个端点作为第一目标端点。
S133-2,基于目标交点坐标和第一目标端点坐标确定目标平面交线的方向向量。
其中,第一目标端点坐标为目标平面交线中距离目标交点更远的一个端点的坐标,目标平面交线的方向向量为由目标交点指向第一目标端点的单位向量。
需要说明的是,在知晓坐标的情况下,可以获取两点之间的距离和方向向量。
S134,获取三条目标平面交线对应的目标交线线段点云。
可选地,S134,获取三条目标平面交线对应的目标交线线段点云的步骤,包括:S134-1和S134-2,具体阐述如下。
S134-1,按照预设的采样步长分别对三条目标平面交线进行点云采样,以得到目标采样点。
请继续参考图5,可选地,针对两个目标平面相交的目标平面交线,设置预设的采样步长为step,以交点cc为起点,端点aa和端点bb各为终点,分别向ccaa和ccbb方向进行点云采样,生成交线点云。
S134-2,将所有的目标采样点组合为目标交线线段点云。
三条目标平面交线都进行交线线段点云的提取,三条目标平面交线合并成一个采样点云,即目标交线线段点云。
在图3的基础上,关于S140中的内容,本申请实施例还提供了一种可选的实施方式,请参考下文。S140,基于源交线线段点云、目标交线线段点云、三条源平面交线的方向向量以及三条目标平面交线的方向向量确定目标转换矩阵的步骤,包括:S140-1、S140-2、S140-3,具体阐述如下。
S140-1,基于三条源平面交线的方向向量和三条目标平面交线的方向向量确定六组初始转换矩阵。
可选地,初始转换矩阵包括初始旋转矩阵和初始平移矩阵。
假设有两个向量k1=(x1,y1,z1)和k2=(x2,y2,z2) ,它们的转换关系为:
其中,R为初始旋转矩阵,T为初始平移矩阵。
用齐次方式则表示为:
结合上述算式,基于三条源平面交线的方向向量和三条目标平面交线的方向向量可以确定六组初始转换矩阵。
可选地,三条源平面交线的方向向量分别为{ax,ay,az},三条目标平面交线的方向向量分别为{bx,by,bz}。
求解R为初始旋转矩阵时,需要考虑:三条源平面交线的方向向量分别为{ax,ay,az}和三条目标平面交线的方向向量分别为{bx,by,bz}的排列顺序未知,一共有6种可能排列情况,如下所示。
对以上六个算式进行解算,可以得到六组初始旋转矩阵。
在确定六组初始旋转矩阵的基础上,可以基于以下算式,进一步确定六组初始平移矩阵。
其中,表示三个目标平面的目标交点坐标,/>表示三个源平面的源交点坐标,R为初始旋转矩阵,T表示初始平移矩阵。
需要说明的是,经过上述计算,可以确定六组初始转换矩阵,为了从其中确定最佳转换矩阵,需要执行S140-2,基于六组初始转换矩阵分别对源交线线段点云进行转换,通过对比转换结果与目标交线线段点云,获取每一组初始转换矩阵对应的配准率rate和评价分数score。
需要说明的是,源交线线段点云和目标交线线段点云中的点数量很少,使用源交线线段点云和目标交线线段点云进行配准率和评价分数计算,效率高,速度快,可以高效获得精确的最佳转换矩阵。
S140-2,基于源交线线段点云和目标交线线段点云,获取每一组初始转换矩阵对应的配准率和评价分数。
可选地,配准率rate=(2×满足双向对应关系的点对数量)/总点数N;
总点数N=S_cloud的点数+T_cloud的点数;
其中,S_cloud表示源交线线段点云,T_cloud表示目标交线线段点云,双向对应关系可以通过计算两个点云之间的最近邻点(nearest neighbors)确定是否满足,当S_cloud中的点Q是T_cloud中的点P的最近邻点,同时,T_cloud中的点P是S_cloud中的点Q的最近邻点,点Q和点P满足双向对应关系,配准率rate越高说明配准的点数越多。
评价分数score是指S_cloud转换后的转换结果S_tcloud中每个点到T_cloud中最近邻点的欧氏距离之和,评价分数score越低说明配准的精度越高。
在获取每一组初始转换矩阵对应的配准率和评价分数之后,可以执行S140-3,以配准率rate为主,评价分数score为辅,即选择配准率rate最高的转换矩阵Trans为最佳转换矩阵Transb,若两组初始转换矩阵的配准率rate相等,则取评价分数score最低的转换矩阵Trans为最佳转换矩阵Transb
S140-3,基于配准率和评价分数从六组初始转换矩阵确定一个作为目标转换矩阵。
可选地,确定目标转换矩阵包括以下步骤:
S140-3A,令h=0,初始化Rateb=0,Scoreb=0以及Transb
S140-3B,确定h是否小于6。
S140-3C,若h<6,则调取第h+1组初始转换矩阵(Transh+1)的配准率和评价分数。
在一种可选的实施方式中,可以直接调取步骤S140-2所获得的第h+1组初始转换矩阵(Transh+1)的配准率和评价分数,还可以是,在确定h<6时,先获取第h+1组初始转换矩阵,在获取第h+1组初始转换矩阵(Transh+1)的配准率和评价分数。
S140-3D,确定第h+1组初始转换矩阵的配准率是否大于Rateb。若大于Rateb,则执行S140-3G;若小于或等于Rateb,则执行S140-3E。
S140-3G,令Transb=第h+1组初始转换矩阵(Transh+1),Rateb=第h+1组初始转换矩阵的配准率,Scoreb=第h+1组初始转换矩阵的评价分数。
在S140-3G之后,执行S140-3H。
S140-3E,确定第h+1组初始转换矩阵的配准率是否等于Rateb。若等于Rateb,则执行S140-3F;若不等于Rateb,则执行S140-3H。
S140-3F,确定第h+1组初始转换矩阵的评价分数是否小于Scoreb。若小于Scoreb,则执行S140-3G,若大于或等于Scoreb,则执行S140-3H。
S140-3H,令h=h+1。
在S140-3H 之后,重复执行S140-3B,确定h是否小于6,直至h=6,输出Transb,作为目标转换矩阵。
本申请实施例提供的点云配准方法,针对三平面有公共交点的点云的配准,可以对局部工件实现高精度的快速配准。配准过程是利用三个平面的交线和交点,生成实际点云中可能原本不存在的采样源交线线段点云和目标交线线段点云来实现点云配准。可以克服现有配准算法的缺点。
首先,是克服了现有配准算法中计算量较大的缺点,具体地,计算转换矩阵是通过计算提取的交线线段点云,这部分点云数量很少,却包含了完整点云的交点、交线方向向量、交线线段长度等特征,可以以很少的点云获得快速而又准确的配准结果。
其次,是克服了对于点云噪声的敏感性。实际相机拍摄的点云多含有噪声,因为本申请实施例提供的点云配准方法是基于平面检测的,所以本申请实施例提供的点云配准方法对于噪声的敏感性大大降低。平面检测是依赖的点云中平面上点分布的总体情况,即使点云中某些位置处存在一些噪声点,但局部的噪声点并不会影响平面检测的过程,也就不会对配准过程产生影响。一般来说,点云中的噪声表现为物体表面点的起伏,这些起伏的点不会影响平面检测过程。
最后,本申请实施例提供的点云配准方法可以提高多平面配准的精确度。由三面构成的交线和交点是唯一确定的,不会出现干扰计算的因素,不会出现陷入局部最优的情况,因此可以获得很好的配准结果。
请参阅图6,图6为本申请实施例提供的一种点云配准的实现装置,可选地,该点云配准的实现装置被应用于上文所述的电子设备。
点云配准实现装置包括:第一处理单元201和第二处理单元202。
第一处理单元201,用于分别对源点云和目标点云进行平面检测分割,以得到三个源平面和三个目标平面,其中,三个源平面为从源点云中分割出的内点数量最多的三个平面,三个目标平面为从目标点云中分割出的内点数量最多的三个平面;
第一处理单元201还用于在三个源平面相交于一点的情况下,获取三条源平面交线的方向向量和源交线线段点云;
第一处理单元201还用于在三个目标平面相交于一点的情况下,获取三条目标平面交线的方向向量和目标交线线段点云;
第一处理单元201还用于基于源交线线段点云、目标交线线段点云、三条源平面交线的方向向量以及三条目标平面交线的方向向量确定目标转换矩阵;
第二处理单元202,用于基于目标转换矩阵对源点云进行转换,完成点云配准。
需要说明的是,本实施例所提供的点云配准的实现装置,其可以执行上述方法流程实施例所示的方法流程,以实现对应的技术效果。为简要描述,本实施例部分未提及之处,可参考上述的实施例中相应内容。
本申请实施例还提供了一种存储介质,该存储介质存储有计算机指令、程序,该计算机指令、程序在被读取并运行时执行上述实施例的点云配准实现方法。该存储介质可以包括内存、闪存、寄存器或者其结合等。
下面提供一种电子设备,可以是电脑设备、服务器设备以及手机设备等等,该电子设备如图2所示,可以实现上述的点云配准实现方法;具体的,该电子设备包括:处理器10,存储器11、总线12。处理器10可以是CPU。存储器11用于存储一个或多个程序,当一个或多个程序被处理器10执行时,执行上述实施例的点云配准实现方法。
综上所述,本申请实施例提供的一种点云配准实现方法、装置、存储介质及电子设备,包括:分别对源点云和目标点云进行平面检测分割,以得到三个源平面和三个目标平面,其中,三个源平面为从源点云中分割出的内点数量最多的三个平面,三个目标平面为从目标点云中分割出的内点数量最多的三个平面;在三个源平面相交于一点的情况下,获取三条源平面交线的方向向量和源交线线段点云;在三个目标平面相交于一点的情况下,获取三条目标平面交线的方向向量和目标交线线段点云;基于源交线线段点云、目标交线线段点云、三条源平面交线的方向向量以及三条目标平面交线的方向向量确定目标转换矩阵;基于目标转换矩阵对源点云进行转换,完成点云配准。基于源交线线段点云、目标交线线段点云、三条源平面交线的方向向量以及三条目标平面交线的方向向量确定目标转换矩阵,相对于基于所有点云数据去推导目标转换矩阵,极大地降低了计算量,提升处理效率,并且可以排除拍摄误差,所带来的影响,提升配置结果的准确度,实现点云的准确快速配准。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
对于本领域技术人员而言,显然本申请不限于上述示范性实施例的细节,而且在不背离本申请的精神或基本特征的情况下,能够以其它的具体形式实现本申请。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (10)

1.一种点云配准实现方法,其特征在于,所述方法包括:
分别对源点云和目标点云进行平面检测分割,以得到三个源平面和三个目标平面,其中,三个源平面为从所述源点云中分割出的内点数量最多的三个平面,三个目标平面为从所述目标点云中分割出的内点数量最多的三个平面;
在所述三个源平面相交于一点的情况下,获取三条源平面交线的方向向量和源交线线段点云;
在所述三个目标平面相交于一点的情况下,获取三条目标平面交线的方向向量和目标交线线段点云;
基于所述源交线线段点云、所述目标交线线段点云、三条源平面交线的方向向量以及三条目标平面交线的方向向量确定目标转换矩阵;
基于所述目标转换矩阵对所述源点云进行转换,完成点云配准;
所述基于所述源交线线段点云、所述目标交线线段点云、三条源平面交线的方向向量以及三条目标平面交线的方向向量确定目标转换矩阵的步骤,包括:
基于所述三条源平面交线的方向向量和所述三条目标平面交线的方向向量确定六组初始转换矩阵;
基于所述源交线线段点云和所述目标交线线段点云,获取每一组初始转换矩阵对应的配准率和评价分数;
基于所述配准率和所述评价分数从所述六组初始转换矩阵确定一个作为所述目标转换矩阵。
2.如权利要求1所述的点云配准实现方法,其特征在于,所述获取三条源平面交线的方向向量和源交线线段点云的步骤,包括:
获取所述三个源平面的源交点坐标和三条源平面交线的初始方向向量;
基于所述三条源平面交线的初始方向向量和所述三个源平面确定每一条所述源平面交线的端点坐标;
基于所述源交点坐标和所述源平面交线的端点坐标,确定每一条所述源平面交线的方向向量;
获取所述三条源平面交线对应的源交线线段点云。
3.如权利要求2所述的点云配准实现方法,其特征在于,所述获取所述三个源平面的源交点坐标和三条源平面交线的初始方向向量的步骤,包括:
获取所述三个源平面的源交点坐标;
基于所述三个源平面的法向量获取三条源平面交线的初始方向向量。
4.如权利要求2所述的点云配准实现方法,其特征在于,所述基于所述三条源平面交线的初始方向向量和所述三个源平面确定每一条所述源平面交线的端点坐标的步骤,包括:
获取所述三个源平面中每一点在所述源平面交线的初始方向向量上的投影点;
将所述源平面交线两端的投影点的坐标确定为所述源平面交线的端点坐标。
5.如权利要求2所述的点云配准实现方法,其特征在于,所述基于所述源交点坐标和所述源平面交线的端点坐标,确定每一条所述源平面交线的方向向量的步骤,包括:
基于所述源交点坐标和所述源平面交线的端点坐标,确定源交点到所述源平面交线的两端之间的距离;
基于所述源交点坐标和第一源端点坐标确定所述源平面交线的方向向量;
其中,所述第一源端点坐标为所述源平面交线中距离所述源交点更远的一个端点的坐标。
6.如权利要求2所述的点云配准实现方法,其特征在于,所述获取所述三条源平面交线对应的源交线线段点云的步骤,包括:
按照预设的采样步长分别对三条所述源平面交线进行点云采样,以得到源采样点;
将所有的源采样点组合为所述源交线线段点云。
7.如权利要求1所述的点云配准实现方法,其特征在于,所述获取三条目标平面交线的方向向量和目标交线线段点云的步骤,包括:
获取所述三个目标平面的目标交点坐标和三条目标平面交线的初始方向向量;
基于所述三条目标平面交线的初始方向向量和所述三个目标平面确定每一条所述目标平面交线的端点坐标;
基于所述目标交点坐标和所述目标平面交线的端点坐标,确定每一条所述目标平面交线的方向向量;
获取所述三条目标平面交线对应的目标交线线段点云。
8.一种点云配准实现装置,其特征在于,所述装置包括:
第一处理单元,用于分别对源点云和目标点云进行平面检测分割,以得到三个源平面和三个目标平面,其中,三个源平面为从所述源点云中分割出的内点数量最多的三个平面,三个目标平面为从所述目标点云中分割出的内点数量最多的三个平面;
所述第一处理单元还用于在所述三个源平面相交于一点的情况下,获取三条源平面交线的方向向量和源交线线段点云;
所述第一处理单元还用于在所述三个目标平面相交于一点的情况下,获取三条目标平面交线的方向向量和目标交线线段点云;
所述第一处理单元还用于基于所述源交线线段点云、所述目标交线线段点云、三条源平面交线的方向向量以及三条目标平面交线的方向向量确定目标转换矩阵;
第二处理单元,用于基于所述目标转换矩阵对所述源点云进行转换,完成点云配准;
所述基于所述源交线线段点云、所述目标交线线段点云、三条源平面交线的方向向量以及三条目标平面交线的方向向量确定目标转换矩阵,包括:基于所述三条源平面交线的方向向量和所述三条目标平面交线的方向向量确定六组初始转换矩阵;基于所述源交线线段点云和所述目标交线线段点云,获取每一组初始转换矩阵对应的配准率和评价分数;基于所述配准率和所述评价分数从所述六组初始转换矩阵确定一个作为所述目标转换矩阵。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法。
10.一种电子设备,其特征在于,包括:处理器和存储器,所述存储器用于存储一个或多个程序;当所述一个或多个程序被所述处理器执行时,实现如权利要求1-7中任一项所述的方法。
CN202410139567.0A 2024-02-01 2024-02-01 一种点云配准实现方法、装置、存储介质及电子设备 Active CN117745778B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410139567.0A CN117745778B (zh) 2024-02-01 2024-02-01 一种点云配准实现方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410139567.0A CN117745778B (zh) 2024-02-01 2024-02-01 一种点云配准实现方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN117745778A CN117745778A (zh) 2024-03-22
CN117745778B true CN117745778B (zh) 2024-05-28

Family

ID=90257689

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410139567.0A Active CN117745778B (zh) 2024-02-01 2024-02-01 一种点云配准实现方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN117745778B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110443836A (zh) * 2019-06-24 2019-11-12 中国人民解放军战略支援部队信息工程大学 一种基于平面特征的点云数据自动配准方法及装置
CN113436238A (zh) * 2021-08-27 2021-09-24 湖北亿咖通科技有限公司 点云配准精度的评估方法、装置和电子设备
CN114581527A (zh) * 2022-01-07 2022-06-03 美的集团(上海)有限公司 相机的坐标变换方法、标定环境修正方法及机器人
CN114926549A (zh) * 2022-05-30 2022-08-19 北京百度网讯科技有限公司 三维点云处理方法、装置、设备以及存储介质
CN116958212A (zh) * 2022-12-13 2023-10-27 北京理工大学 一种针对结构化场景中基于平面基元的点云配准方法
CN117237428A (zh) * 2023-11-15 2023-12-15 南京航空航天大学 一种面向三维点云的数据配准方法、装置及介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110443836A (zh) * 2019-06-24 2019-11-12 中国人民解放军战略支援部队信息工程大学 一种基于平面特征的点云数据自动配准方法及装置
CN113436238A (zh) * 2021-08-27 2021-09-24 湖北亿咖通科技有限公司 点云配准精度的评估方法、装置和电子设备
CN114581527A (zh) * 2022-01-07 2022-06-03 美的集团(上海)有限公司 相机的坐标变换方法、标定环境修正方法及机器人
CN114926549A (zh) * 2022-05-30 2022-08-19 北京百度网讯科技有限公司 三维点云处理方法、装置、设备以及存储介质
CN116958212A (zh) * 2022-12-13 2023-10-27 北京理工大学 一种针对结构化场景中基于平面基元的点云配准方法
CN117237428A (zh) * 2023-11-15 2023-12-15 南京航空航天大学 一种面向三维点云的数据配准方法、装置及介质

Also Published As

Publication number Publication date
CN117745778A (zh) 2024-03-22

Similar Documents

Publication Publication Date Title
JP5705147B2 (ja) 記述子を用いて3dオブジェクトまたはオブジェクトを表す方法
CN109493375B (zh) 三维点云的数据匹配及合并方法、装置、可读介质
JP6216508B2 (ja) 3dシーンにおける3d物体の認識および姿勢決定のための方法
CN110348454B (zh) 匹配局部图像特征描述符
JP5677798B2 (ja) 3次元シーンにおける3次元物体の認識及び位置姿勢決定方法
CN113436238B (zh) 点云配准精度的评估方法、装置和电子设备
WO2021052283A1 (zh) 处理三维点云数据的方法和计算设备
CN111524168A (zh) 点云数据的配准方法、***、装置及计算机存储介质
CN113793370A (zh) 三维点云配准方法、装置、电子设备及可读介质
CN114241018A (zh) 一种牙齿点云配准方法、***及可读存储介质
CN111739071A (zh) 基于初始值的快速迭代配准方法、介质、终端和装置
CN117197333A (zh) 基于多目视觉的空间目标重构与位姿估计方法及***
CN116935013B (zh) 基于三维重建的电路板点云大范围拼接方法及***
CN116817887B (zh) 语义视觉slam地图构建方法、电子设备及存储介质
CN117745778B (zh) 一种点云配准实现方法、装置、存储介质及电子设备
CN116678418A (zh) 一种改进激光slam快速回环检测方法
CN116295466A (zh) 地图生成方法、装置、电子设备、存储介质、及车辆
CN115018922A (zh) 畸变参数标定方法、电子设备和计算机可读存储介质
CN109919998B (zh) 卫星姿态确定方法、装置和终端设备
CN117788538B (zh) 点云区间配对体积方差一致性的配准方法、装置和***
CN111814869B (zh) 一种同步定位与建图的方法、装置、电子设备及存储介质
Kocur et al. Robust Self-calibration of Focal Lengths from the Fundamental Matrix
Chi et al. Improving RANSAC filtering with matching similarity of local features
CN117911628A (zh) 基于三维激光扫描与无人机倾斜摄影的古建筑重建方法
CN118229772A (zh) 基于图像处理的托盘位姿检测方法、***、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant