CN114820955B - 一种对称面补全方法、装置、设备及存储介质 - Google Patents
一种对称面补全方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114820955B CN114820955B CN202210755141.9A CN202210755141A CN114820955B CN 114820955 B CN114820955 B CN 114820955B CN 202210755141 A CN202210755141 A CN 202210755141A CN 114820955 B CN114820955 B CN 114820955B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- transformation
- feature
- characteristic
- symmetric
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2016—Rotation, translation, scaling
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请是关于一种对称面补全方法、装置、设备及存储介质,具体涉及计算机视觉技术领域。所述方法包括:获取第一特征点云、第二特征点云、第一变换点云、第二变换点云、第一对称点云与第二对称点云;计算第一对称点云以及第一特征点云,与第二变换点云的第一残差;计算第一特征点云以及第二变换点云,与第一对称点云的第二残差;计算第一变换点云以及第二特征点云,与第二对称点云的第三残差;以第一残差、第二残差以及第三残差的加权和最小为目标条件,迭代更新位姿变换参数与对称变换参数。上述方案在获取对称变换参数的同时,考虑了不同角度的点云的配准,使得获取到的对称变换参数更加精准,提高了物体补全的准确性。
Description
技术领域
本发明涉及计算机视觉技术领域,具体涉及一种对称面补全方法、装置、设备及存储介质。
背景技术
在自动驾驶场景中,前端感知是主要功能模块之一,用于收集环境中的信息并输出给后续定位、决策等功能。
如今大部分自动驾驶的感知模块都会使用基于深度学***面深度),可以在一定程度上实现物体的自补全。
在基于对称面的补全方法中对于遮挡物体,计算机难以准确获取到图像中物体的对称面信息,导致物体补全的准确性较低。
发明内容
本申请提供了一种对称面补全方法、装置、计算机设备及存储介质,提高了物体补全的准确性,该技术方案如下。
一方面,提供了一种对称面补全方法,所述方法包括:
获取第一特征点云与第二特征点云;所述第一特征点云与所述第二特征点云为从不同方位对目标物体采集得到的特征点云;
基于位姿变换参数,分别对所述第一特征点云与所述第二特征点云进行位姿变换,对应获得第一变换点云与第二变换点云;
基于对称变换参数,分别对所述第一特征点云与所述第二特征点云进行对称变换,对应获得第一对称点云与第二对称点云;
计算所述第一对称点云以及所述第一特征点云,与所述第二变换点云的第一残差;
计算所述第一特征点云以及所述第二变换点云,与所述第一对称点云的第二残差;
计算所述第一变换点云以及所述第二特征点云,与所述第二对称点云的第三残差;
以所述第一残差、所述第二残差以及所述第三残差的加权和最小为目标条件,迭代更新所述位姿变换参数与所述对称变换参数,以便根据更新后的所述对称变换参数对所述目标物体执行补全操作。
又一方面,提供了一种对称面补全装置,所述装置包括:
特征点云获取模块,用于获取第一特征点云与第二特征点云;所述第一特征点云与所述第二特征点云为从不同方位对目标物体采集得到的特征点云;
位姿变换模块,用于基于位姿变换参数,分别对所述第一特征点云与所述第二特征点云进行位姿变换,对应获得第一变换点云与第二变换点云;
对称变换模块,用于基于对称变换参数,分别对所述第一特征点云与所述第二特征点云进行对称变换,对应获得第一对称点云与第二对称点云;
第一残差计算模块,用于计算所述第一对称点云以及所述第一特征点云,与所述第二变换点云的第一残差;
第二残差计算模块,用于计算所述第一特征点云以及所述第二变换点云,与所述第一对称点云的第二残差;
第三残差计算模块,用于计算所述第一变换点云以及所述第二特征点云,与所述第二对称点云的第三残差;
物体补全模块,用于以所述第一残差、所述第二残差以及所述第三残差的加权和最小为目标条件,迭代更新所述位姿变换参数与所述对称变换参数,以便根据更新后的所述对称变换参数对所述目标物体执行补全操作。
在一种可能的实现方式中,所述位姿变换参数包括位姿变换矩阵;
所述位姿变换模块,还用于,
通过位姿变换矩阵,对所述第一特征点云中的各个坐标点进行坐标变换,对应获得第一变换点云;
通过位姿变换矩阵的逆矩阵,对所述第二特征点云中的各个坐标点进行坐标变换,对应获得第二变换点云。
在一种可能的实现方式中,所述第一残差计算模块,还用于,
在所述第一对称点云以及所述第一特征点云中,选取与所述第二变换点云中的各个特征点最邻近的特征关联点,以构成第一邻近点集合;
计算所述第一邻近点集合中的各个特征点,与所述第二变换点云中的各个特征点之间的残差的平方和作为所述第一残差。
在一种可能的实现方式中,所述第一残差计算模块,还用于,
针对第二变换点云中的每个变换后特征点,在所述第一特征点云中选取与所述变换后特征点之间的欧拉距离最小的点作为候选关联点;
当所述目标欧拉距离小于或等于目标残差阈值时,将第一特征点云中的所述候选关联点确定为与所述变换后特征点最邻近的特征关联点;
当所述目标欧拉距离大于目标残差阈值时,在所述第一变换点云中选取与所述变换后特征点之间欧拉距离最小的点作为与所述变换后特征点最邻近的特征关联点。
在一种可能的实现方式中,所述第二残差计算模块,还用于,
在所述第一特征点云以及所述第二变换点云中,选取与所述第一对称点云的中各个特征点最邻近的特征关联点,以构成第二邻近点集合;
计算所述第二邻近点集合中的各个特征关联点,与所述第一对称点云中的各个特征点之间的残差的平方和作为所述第二残差;
在一种可能的实现方式中,所述第三残差计算模块,还用于,
在所述第一变换点云以及所述第二特征点云中,选取与所述第二对称点云中的各个特征点最邻近的特征关联点,以构成第三邻近点集合;
计算所述第三邻近点集合中的各个特征关联点,与所述第二对称点云中的各个特征点之间的残差的平方和作为所述第三残差。
在一种可能的实现方式中,在所述迭代更新的过程中,所述位姿变换参数的初始值可以为信息采集设备采集到的第二特征点云到第一特征点云的变换位姿。
在一种可能的实现方式中,所述物体补全模块,还用于,
根据更新后的对称变换参数,对所述第一特征点云执行对称变换,获得第三特征点云;
将所述第一特征点云、所述第二变换点云与所述第三特征点云之间的特征点融合,获得目标特征点云,以指示所述目标物体的补全状态。
再一方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令,所述至少一条指令由所述处理器加载并执行以实现上述的对称面补全方法。
又一方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行以实现上述的对称面补全方法。
再一方面,提供了一种计算机程序产品或计算机程序,所述计算机程序产品或计算机程序包括计算机指令,所述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质中读取所述计算机指令,处理器执行所述计算机指令,使得所述计算机设备执行上述对称面补全方法。
本申请提供的技术方案可以包括以下有益效果:
在需要对目标物体进行物体补全时,可以先获取到从不同方位上对目标物体进行采集所得到的第一特征点云与第二特征点云,再对第一特征点云以及第二特征点云分别进行对称变换以及位姿变换,并在第一特征点云与第二变换点云的点集对齐过程中引入第一对称点云、在第一特征点云与第一对称点云的对称检测中引入第二变换点云、在第二特征点云与第二对称点云的对称检测中引入第一变换点云,并同时根据三者检测过程中所得到的残差进行迭代优化,在获取对称变换参数的同时,考虑了不同角度的点云的配准,使得获取到的对称变换参数更加精准,提高了物体补全的准确性。
附图说明
为了更清楚地说明本申请具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的一种车辆控制***的结构示意图。
图2是根据一示例性实施例示出的一种对称面补全方法的流程图。
图3是根据一示例性实施例示出的一种对称面补全方法的流程图。
图4是根据一示例性实施例示出的一种对称面补全装置的结构方框图。
图5示出了本申请一示例性实施例示出的计算机设备的结构框图。
具体实施方式
下面将结合附图对本申请的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
应理解,在本申请的实施例中提到的“指示”可以是直接指示,也可以是间接指示,还可以是表示具有关联关系。举例说明,A指示B,可以表示A直接指示B,例如B可以通过A获取;也可以表示A间接指示B,例如A指示C,B可以通过C获取;还可以表示A和B之间具有关联关系。
在本申请实施例的描述中,术语“对应”可表示两者之间具有直接对应或间接对应的关系,也可以表示两者之间具有关联关系,也可以是指示与被指示、配置与被配置等关系。
本申请实施例中,“预定义”可以通过在设备(例如,包括终端设备和网络设备)中预先保存相应的代码、表格或其他可用于指示相关信息的方式来实现,本申请对于其具体的实现方式不做限定。
图1是根据一示例性实施例示出的一种车辆控制***的结构示意图。该车辆控制***中包含服务器110以及目标车辆120。其中,该目标车辆120中可以包括数据处理设备、信息采集设备以及数据存储模块等模块。
可选的,该目标车辆120中包括信息采集设备以及数据存储模块,该信息采集设备可以在目标车辆的运行过程中,对目标车辆周围的环境进行信息采集,并将采集到的特征点保存在目标车辆中的数据存储模块中。
可选的,该目标车辆120通过传输网络(如无线通信网络)与服务器110实现通信连接,该目标车辆120可以通过无线通信网络,将数据存储模块中存储的各个数据(如采集到的特征点)上传至服务器110,以便服务器110对采集到的特征点进行处理。
可选的,该目标车辆中还包含有数据处理设备,该数据处理设备可以在目标车辆120的信息采集设备采集到特征点时,对特征点所对应的物体进行识别,并根据环境中存在的物体给出后续定位、决策等功能。
可选的,该目标车辆中加载有机器学习模型,该机器学习模型用于对信息采集设备采集到的特征点进行处理,并输出对应的预测结果,以指示目标车辆执行决策(如刹车、转弯等操作)。
可选的,目标车辆上的信息采集设备,可以在运行过程中,对目标车辆的运行过程中的周围环境进行信息采集,而通常在数据采集的过程中,由于遮挡,观测角度等限制,观测到的物体通常是不完整的,例如路边停靠的车辆等,而由于人造物体大多数是对称的,因此目标车辆上的处理器(或者服务器)在将采集到的特征点作为机器学习模型的训练特征点之前,可以对特征点中的物体通过对称面信息进行补全。
可选的,上述服务器可以是由多个物理服务器构成的服务器集群或者是分布式***,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等技术云计算服务的云服务器。
可选的,该***还可以包括管理设备,该管理设备用于对该***进行管理(如管理各个模块与服务器之间的连接状态等),该管理设备与服务器之间通过通信网络相连。可选的,该通信网络是有线网络或无线网络。
可选的,上述的无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网,但也可以是其他任何网络,包括但不限于局域网、城域网、广域网、移动、有限或无线网络、专用网络或者虚拟专用网络的任何组合。在一些实施例中,使用包括超文本标记语言、可扩展标记语言等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层、传输层安全、虚拟专用网络、网际协议安全等常规加密技术来加密所有或者一些链路。在另一些实施例中,还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。
图2是根据一示例性实施例示出的一种对称面补全方法的流程图。该方法由计算机设备执行,该计算机设备可以是如图1中所示的目标车辆中的数据处理设备。如图2所示,该对称面补全方法可以包括如下步骤:
步骤201,获取第一特征点云与第二特征点云。
该第一特征点云与该第二特征点云为从不同方位对目标物体采集得到的特征点云。
可选的,在汽车自动驾驶的应用场景中,也就是目标车辆的行驶过程中,该目标车辆上的信息采集设备可以对指定方位的环境进行特征点信息采集,此时第一特征点云可以是目标车辆上的信息采集设备,在第一时刻所采集到的图像中的目标物体的特征点;而第二特征点云可以是目标车辆上的信息采集设备,在第二时刻所采集到的图像中的目标物体的特征点。
也就是说,目标车辆在行驶过程中,信息采集设备在不同时刻采集到的特征点,可能对应同一个物体,且由于目标车辆在行驶时,与目标物体的相对姿态会发生变换,因此第一特征点云与第二特征点云实际上是信息采集设备从不同方位对目标物体采集得到的,此时第一特征点云与第二特征点云上的特征点,实际上是目标物体的特征点云,从不同方向观察到的特征点。
步骤202,基于位姿变换参数,分别对该第一特征点云与该第二特征点云进行位姿变换,对应获得第一变换点云与第二变换点云。
目标车辆在行驶过程中,信息采集设备在两个不同时刻采集到的目标物体的特征点,仍然可能存在重合部分。因此第一特征点云与第二特征点云是信息采集设备分别从不同的角度向目标物体采集所得到的,且第一特征点云与第二特征点云上的特征点中存在相同的特征点部分,因此通过合适的位姿变换参数,计算机设备可以将第一特征点云变换为第一变换点云,且使得第一变换点云尽可能与第二特征点云贴合;同理,计算机设备还可以根据位姿变换参数,将第二特征点云变换为第二变换点云,使得第二变换点云尽可能与第一特征点云贴合。
步骤203,基于对称变换参数,分别对该第一特征点云与该第二特征点云进行对称变换,对应获得第一对称点云与第二对称点云。
由于人造物体大部分是对称的,因此当选取到合适的对称点时,可以将特征点云进行对称变换处理,从而实现物体的自补全操作,例如当计算机设备获取到合适的对称变换参数(也就是对称面的坐标表示)后,可以对第一特征点云进行对称变换,获得第一对称点云,并对第二特征点云进行对称变换,获得第二对称点云。
而由于对称变换参数以及位姿变换参数难以选取,步骤202以及步骤203中的第一变换点云、第二变换点云、第一对称点云以及第二对称点云,都存在一定程度上的误差,因此计算机设备需要根据对称变换的误差以及位姿变换的误差,对位姿变换参数以及对称变换参数进行迭代更新,例如通过ICP(Iterative Closest Point,最邻近点迭代)算法,从而尽可能得到符合真实情况的位姿变换参数以及对称变换参数。
步骤204,计算该第一对称点云以及该第一特征点云,与该第二变换点云的第一残差。
由于第二变换点云是第二特征点云,根据位姿变换参数进行位姿变换所得到的,因此该第二变换点云实际上是向第一特征点云靠拢的,此时计算机设备可以在第一对称点云以及第一特征点云中,查找与第二变换点云中各个特征点的最邻近的特征点,从而得到第一残差,作为第二特征点云变换为第二特征点云时的残差,以便后续对姿态变换参数以及对称变换参数进行更新。
步骤205,计算该第一特征点云以及该第二变换点云,与该第一对称点云的第二残差。
第一对称点云是第一特征点云根据对称变换参数,进行对称变换所得到的,因此理论上在第一特征点云通过最合适的对称变换参数进行对称处理后,第一特征点云以及第二变换点云中,与第一对称点云中的各个特征点的残差之和最小,因此计算机设备可以先计算出第一特征点云以及第二变换点云中,与第一对称点云中的各个特征点的残差之和,并生成第二残差,以便后续对姿态变换参数以及对称变换参数进行更新。
步骤206,计算该第一变换点云以及该第二特征点云,与该第二对称点云的第三残差。
第二对称点云是第二特征点云根据对称变换参数,进行对称变换所得到的,因此理论上在第二特征点云通过最合适的对称变换参数进行对称处理后,第二特征点云以及第一变换点云中,与第二对称点云中的各个特征点的残差之和最小,因此计算机设备可以先计算出第二特征点云以及第一变换点云中,与第二对称点云中的各个特征点的残差之和,并生成第三残差,以便后续对姿态变换参数以及对称变换参数进行更新。
步骤207,以该第一残差、该第二残差以及该第三残差的加权和最小为目标条件,迭代更新该位姿变换参数与该对称变换参数,以便根据更新后的该对称变换参数对该目标物体执行补全操作。
当计算机设备计算出第一残差、第二残差以及第三残差后,则可以根据三者的加权和最小作为目标条件,通过迭代更新算法(例如全局ICP算法)联合进行对称面检测和物体配准。当第一残差、第二残差以及第三残差的加权和最小时,则代表着该位姿变换参数可以将第一特征点云通过位姿转换,较为准确的贴合第二特征点云,且相互贴合的第一特征点云与第二变换点云,与通过对称变换参数得到的第一对称点云之间的对称性较好(即对应的特征点对之间的残差之和最小);且相互贴合的第二特征点云与第一变换点云,与通过对称变换参数得到的第二对称点云之间的对称性较好。
因此上述方案,联合对称变换参数以及姿态变换参数的求解问题,同时实现物体配准和对称面的全局优化,同时提高了配准的精度和残缺物体对称面检测的精度,从而提高了物体补全的准确性。
综上所述,在需要对目标物体进行物体补全时,可以先获取到从不同方位上对目标物体进行采集所得到的第一特征点云与第二特征点云,再对第一特征点云以及第二特征点云分别进行对称变换以及位姿变换,并在第一特征点云与第二变换点云的点集对齐过程中引入第一对称点云、在第一特征点云与第一对称点云的对称检测中引入第二变换点云、在第二特征点云与第二对称点云的对称检测中引入第一变换点云,并同时根据三者检测过程中所得到的残差进行迭代优化,在获取对称变换参数的同时,考虑了不同角度的点云的配准,使得获取到的对称变换参数更加精准,提高了物体补全的准确性。
图3是根据一示例性实施例示出的一种对称面补全方法的流程图。该方法由计算机设备执行,该计算机设备可以是如图1中所示的目标车辆中的数据处理设备。如图3所示,该对称面补全方法可以包括如下步骤:
步骤301,获取第一特征点云与第二特征点云。
可选的,该第一特征点云与该第二特征点云为从不同方位对目标物体采集得到的特征点云。
当该计算机设备为目标车辆中的数据处理设备时,该目标车辆在运行过程中,通过该计算机设备控制目标车辆中的信息采集设备,对指定方位的环境进行特征点采集,从而在第一时刻获得第一特征点,且在第二时刻获得第二特征点。
在一种可能的实现方式中,该计算机设备对该第一特征点进行物体标注(例如当检测目标为车辆时),该计算机设备可以对第一特征点上的车辆特征点进行特征点标注(例如通过常见的3D点云标注工具进行标注)。同理,该计算机设备还可以对第二特征点进行物体标注,即该计算机设备可以对第二特征点上的车辆特征点进行特征点标注。
在一种可能的实现方式中,该第一特征点与该第二特征点之间的采集时间小于阈值,即由于采集到该第一特征点与该第二特征点之间的时间较小,因此可以认为通过3D点云标注工具标注出的物体为同一物体。
在一种可能的实现方式中,计算机设备对第一特征点进行物体标注得到第一特征图、对第二特征点进行物体标注得到第二特征图后,可以对第一特征图以及第二特征图中的特征点进行比对(例如比对其与其他特征点之间的距离、或者是特征点的个数),从而将第一特征图与第二特征图中的特征点云确定为相同物体在不同角度下采集到的第一特征点云与第二特征点云。
例如,目标车辆中的计算机设备可以记录t1和t2时刻下激光雷达(也就是信息采集设备)扫描得到的两帧点云,并利用3D点云标注工具,对每帧点云进行标注,并分割出对应同一目标物体的局部残缺点云X和Y(也就是第一特征点云以及第二特征点云)。
步骤302,基于位姿变换参数,分别对该第一特征点云与该第二特征点云进行位姿变换,对应获得第一变换点云与第二变换点云。
在一种可能的实现方式中,该位姿变换参数包括位姿变换矩阵;计算机设备通过位姿变换矩阵,对该第一特征点云中的各个坐标点进行坐标变换,对应获得第一变换点云;计算机设备通过位姿变换矩阵的逆矩阵,对该第二特征点云中的各个坐标点进行坐标变换,对应获得第二变换点云。
定义旋转矩阵R和平移矩阵t 组成的变换为第一特征点云X和第二特征点云Y的相
对位姿(也就是位姿变换参数),通过该位姿变换参数可以对第二特征点云Y进行变换, 使
其与第二特征点云X对齐。进一步定义第一变换点云和第二变换点云是在各个方向上进行旋转变换后的对应点云。
步骤303,基于对称变换参数,分别对该第一特征点云与该第二特征点云进行对称变换,对应获得第一对称点云与第二对称点云。
在本申请实施例的一种可能的实现方式中,在迭代更新过程中,初始的对称变换参数是根据第一特征点云与该第二特征点云进行全局搜索得到的。
在本申请实施例中,计算机设备可以从搜索区间预估的法线n和平面深度d,对称
操作可通过对称平面进行变换,对称变换可将第一特征点云X中一点x,通过几何关系变换到对应的反射点。定义是第一特征点云X对应的对称点集。
例如,当对称变换参数包括对称的法线和深度,当需要获取到该对称的法线以及深度时,计算机设备需要进行全局搜索,一般会将点云归一化到[0,1]之间,所以法线的范围就是[-pi/2, pi/2], 深度的范围就是[-1,1]之间,因此计算机设备可以在该范围内选取对称的法线以及深度,以对第一特征点云以及第二特征点云进行对称变换,从而得到第一对称点云以及第二对称点云,计算机设备再在后续过程中根据误差进一步的对对称的法线以及深度进行搜索,直至搜索出合适的对称变换参数为止。
步骤304,计算该第一对称点云以及该第一特征点云,与该第二变换点云的第一残差。
在一种可能的实现方式中,在该第一对称点云以及该第一特征点云中,选取与该第二变换点云中的各个特征点最邻近的特征关联点,以构成第一邻近点集合;
计算该第一邻近点集合中的各个特征点,与该第二变换点云中的各个特征点之间的残差的平方和作为该第一残差。
在一种可能的实现方式中,针对第二变换点云中的每个变换后特征点,在该第一特征点云中选取与该变换后特征点之间的欧拉距离最小的候选关联点;
当该目标欧拉距离小于或等于目标残差阈值时,将第一特征点云中的该候选关联点确定为与该变换后特征点最邻近的特征点;
当该目标欧拉距离大于目标残差阈值时,在该第一变换点云中选取与该变换后特征点之间的欧拉距离最小的第二候选特征点作为与该变换后特征点最邻近的特征关联点。
也就是说,计算机设备可以计算关于点云配准的残差,由于点云配准问题的标准解决方案由最邻近迭代(ICP)算法给出, 主要是最小化对齐误差, 配准误差采用公式如下:
其中和分别是从集合第一特征点云X和第一对称点云XS中选择的对应最邻近
特征点。算法将优先考虑X中的点作为配准的关联点对, 如果从X选择的点的对应残差大于
所选参数c,则转向从XS中搜索最邻近点。给定初始变换R和t, ICP算法通过交替查找最邻
近点构建新的点配对关系,交替最近邻点的选择和更新优化残差,直到找到最优配准位姿。
在一种可能的实现方式中,当确定出与该变换后特征点最邻近的特征点后,若二者之间的残差大于截断阈值时,则忽略二者所形成的匹配点对。
也就是说,针对第二变换点云中的每一个特征点,当在第一特征点云与第一对称点云中找到的最邻近特征点,与第二变换点云中的该特征点之间的残差大于截断阈值时,则不需要将该残差值合并至第一残差中,从而过滤残差太大的匹配点对。
步骤305,计算该第一特征点云以及该第二变换点云,与该第一对称点云的第二残差。
在一种可能的实现方式中,在该第一特征点云以及该第二变换点云中,选取与该第一对称点云的中各个特征点最邻近的特征关联点,以构成第二邻近点集合;
计算该第二邻近点集合中的各个特征关联点,与该第一对称点云中的各个特征点之间的残差的平方和作为该第二残差。
即计算机设备还可以计算关于对称面检测的残差,由定义的对称距离, 对称平面
检测的问题可以表述为最小化误差。
其中是关于的点对残差, 点是点在点云X中的最邻近特征点,使得。因此关于X的对称平面拟合的目标函数是。
在一种可能的实现方式中,针对第一对称点云中的每一个特征点,当在第二邻近点集合中找到的最邻近特征点,与第一对称点云中的该特征点之间的残差大于截断阈值时,则不需要将该残差值合并至第二残差中,从而过滤残差太大的匹配点对。
步骤306,计算该第一变换点云以及该第二特征点云,与该第二对称点云的第三残差。
在一种可能的实现方式中,在该第一变换点云以及该第二特征点云中,选取与该第二对称点云中的各个特征点最邻近的特征点,以构成第三邻近点集合;
计算该第三邻近点集合中的各个特征点,与该第二对称点云中的各个特征点之间的残差的平方和作为该第三残差。
是集合X∪Yr中关于的最邻近点, 关于Y的对称面检测的目标函数是。是从集合X∪Yr中选择的最邻近点,和为根据几何变换获得的Yr的对称面参数。同样通过交替查找最邻近点构建新的
点配对关系,交替最近邻点的选择和更新优化残差,直到找到最优法线n和平面深度d。
在一种可能的实现方式中,针对第二对称点云中的每一个特征点,当在第三邻近点集合中找到的最邻近特征点,与第二对称点云中的该特征点之间的残差大于截断阈值时,则不需要将该残差值合并至第三残差中,从而过滤残差太大的匹配点对。
步骤307,以该第一残差、该第二残差以及该第三残差的加权和最小为目标条件,迭代更新该位姿变换参数与该对称变换参数。
可选的,在本申请实施例中,位姿变换参数以及对称变换参数的初始值可以是预先确定的。
在一种可能的实现方式中,算法将目标车辆在采集到第一特征点云以及第二特征
点云之间的旋转量和平移量(也就是信息采集设备采集到的第二特征点云到第
一特征点云的变换位姿)作为最小化目标函数的初始R与t(也就是位姿变换参数),可以大
大加快执行速度。为了获得全局最优解,在旋转变换初始值附近,对于所有可能法向量进行
全局搜索。
步骤308,根据更新后的对称变换参数,对该第一特征点云执行对称变换,获得第三特征点云。
在获得了对称变换参数后,则计算机设备可以根据更新后的对称变换参数,对第一特征点云执行对称变换,从而得到第三特征点云,此时第三特征点云即可以较为精准的表示在对称面的另一侧的物体的特征点。
步骤309,将该第一特征点云、该第二变换点云与该第三特征点云之间的特征点融合,获得目标特征点云,以指示该目标物体的补全状态。
此时计算机设备在获取了通过对称面(即对称变换参数)对第一特征点云执行对称变换得到的第三特征点云,可以直接将第一特征点云、第二变换点云与第三特征点云三者的特征点进行融合,再进行下采样处理,从而得到目标的补全状态。
综上所述,在需要对目标物体进行物体补全时,可以先获取到从不同方位上对目标物体进行采集所得到的第一特征点云与第二特征点云,再对第一特征点云以及第二特征点云分别进行对称变换以及位姿变换,并在第一特征点云与第二变换点云的点集对齐过程中引入第一对称点云、在第一特征点云与第一对称点云的对称检测中引入第二变换点云、在第二特征点云与第二对称点云的对称检测中引入第一变换点云,并同时根据三者检测过程中所得到的残差进行迭代优化,在获取对称变换参数的同时,考虑了不同角度的点云的配准,使得获取到的对称变换参数更加精准,提高了物体补全的准确性。
图4是根据一示例性实施例示出的一种对称面补全装置的结构方框图。该对称面补全装置包括:
特征点云获取模块401,用于获取第一特征点云与第二特征点云;所述第一特征点云与所述第二特征点云为从不同方位对目标物体采集得到的特征点云;
位姿变换模块402,用于基于位姿变换参数,分别对所述第一特征点云与所述第二特征点云进行位姿变换,对应获得第一变换点云与第二变换点云;
对称变换模块403,用于基于对称变换参数,分别对所述第一特征点云与所述第二特征点云进行对称变换,对应获得第一对称点云与第二对称点云;
第一残差计算模块404,用于计算所述第一对称点云以及所述第一特征点云,与所述第二变换点云的第一残差;
第二残差计算模块405,用于计算所述第一特征点云以及所述第二变换点云,与所述第一对称点云的第二残差;
第三残差计算模块406,用于计算所述第一变换点云以及所述第二特征点云,与所述第二对称点云的第三残差;
物体补全模块407,用于以所述第一残差、所述第二残差以及所述第三残差的加权和最小为目标条件,迭代更新所述位姿变换参数与所述对称变换参数,以便根据更新后的所述对称变换参数对所述目标物体执行补全操作。
在一种可能的实现方式中,所述位姿变换参数包括位姿变换矩阵;
所述位姿变换模块,还用于,
通过位姿变换矩阵,对所述第一特征点云中的各个坐标点进行坐标变换,对应获得第一变换点云;
通过位姿变换矩阵的逆矩阵,对所述第二特征点云中的各个坐标点进行坐标变换,对应获得第二变换点云。
在一种可能的实现方式中,所述第一残差计算模块,还用于,
在所述第一对称点云以及所述第一特征点云中,选取与所述第二变换点云中的各个特征点最邻近的特征关联点,以构成第一邻近点集合;
计算所述第一邻近点集合中的各个特征点,与所述第二变换点云中的各个特征点之间的残差的平方和作为所述第一残差。
在一种可能的实现方式中,所述第一残差计算模块,还用于,
针对第二变换点云中的每个变换后特征点,在所述第一特征点云中选取与所述变换后特征点之间的欧拉距离最小的点作为候选关联点;
当所述目标欧拉距离小于或等于目标残差阈值时,将第一特征点云中的所述候选关联点确定为与所述变换后特征点最邻近的关联特征点;
当所述目标欧拉距离大于目标残差阈值时,在所述第一变换点云中选取与所述变换后特征点之间的欧拉距离最小的第二候选特征点作为与所述变换后特征点最邻近的特征关联点。
在一种可能的实现方式中,所述第二残差计算模块,还用于,
在所述第一特征点云以及所述第二变换点云中,选取与所述第一对称点云的中各个特征点最邻近的特征关联点,以构成第二邻近点集合;
计算所述第二邻近点集合中的各个特征关联点,与所述第一对称点云中的各个特征点之间的残差的平方和作为所述第二残差;
在一种可能的实现方式中,所述第三残差计算模块,还用于,
在所述第一变换点云以及所述第二特征点云中,选取与所述第二对称点云中的各个特征点最邻近的特征点,以构成第三邻近点集合;
计算所述第三邻近点集合中的各个特征点,与所述第二对称点云中的各个特征点之间的残差的平方和作为所述第三残差。
在一种可能的实现方式中,在所述迭代更新的过程中,所述位姿变换参数的初始值可以为信息采集设备采集到的第二特征点云到第一特征点云的变换位姿。
在一种可能的实现方式中,所述物体补全模块,还用于,
根据更新后的对称变换参数,对所述第一特征点云执行对称变换,获得第三特征点云;
将所述第一特征点云、所述第二变换点云与所述第三特征点云之间的特征点融合,获得目标特征点云,以指示所述目标物体的补全状态。
综上所述,在需要对目标物体进行物体补全时,可以先获取到从不同方位上对目标物体进行采集所得到的第一特征点云与第二特征点云,再对第一特征点云以及第二特征点云分别进行对称变换以及位姿变换,并在第一特征点云与第二变换点云的点集对齐过程中引入第一对称点云、在第一特征点云与第一对称点云的对称检测中引入第二变换点云、在第二特征点云与第二对称点云的对称检测中引入第一变换点云,并同时根据三者检测过程中所得到的残差进行迭代优化,在获取对称变换参数的同时,考虑了不同角度的点云的配准,使得获取到的对称变换参数更加精准,提高了物体补全的准确性。
图5示出了本申请一示例性实施例示出的计算机设备500的结构框图。该计算机设备可以实现为本申请上述方案中的服务器。所述计算机设备500包括中央处理单元(Central Processing Unit,CPU)501、包括随机存取存储器(Random Access Memory,RAM)502和只读存储器(Read-Only Memory,ROM)503的***存储器504,以及连接***存储器504和中央处理单元501的***总线505。所述计算机设备500还包括用于存储操作***509、应用程序510和其他程序模块511的大容量存储设备506。
所述大容量存储设备506通过连接到***总线505的大容量存储控制器(未示出)连接到中央处理单元501。所述大容量存储设备506及其相关联的计算机可读介质为计算机设备500提供非易失性存储。也就是说,所述大容量存储设备506可以包括诸如硬盘或者只读光盘(Compact Disc Read-Only Memory,CD-ROM)驱动器之类的计算机可读介质(未示出)。
不失一般性,所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、可擦除可编程只读寄存器(Erasable Programmable Read Only Memory,EPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-OnlyMemory,EEPROM)闪存或其他固态存储其技术,CD-ROM、数字多功能光盘(DigitalVersatile Disc,DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然,本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的***存储器504和大容量存储设备506可以统称为存储器。
根据本公开的各种实施例,所述计算机设备500还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备500可以通过连接在所述***总线505上的网络接口单元507连接到网络508,或者说,也可以使用网络接口单元507来连接到其他类型的网络或远程计算机***(未示出)。
所述存储器还包括至少一条计算机程序,所述至少一条计算机程序存储于存储器中,中央处理单元501通过执行该至少一条计算机程序来实现上述各个实施例所示的方法中的全部或部分步骤。
在一示例性实施例中,还提供了一种计算机可读存储介质,用于存储有至少一条计算机程序,所述至少一条计算机程序由处理器加载并执行以实现上述方法中的全部或部分步骤。例如,该计算机可读存储介质可以是只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、只读光盘(Compact Disc Read-Only Memory,CD-ROM)、磁带、软盘和光数据存储设备等。
在一示例性实施例中,还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述图2或图3任一实施例所示方法的全部或部分步骤。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (9)
1.一种对称面补全方法,其特征在于,所述方法包括:
获取第一特征点云与第二特征点云;所述第一特征点云与所述第二特征点云为从不同方位对目标物体采集得到的特征点云;
基于位姿变换参数,分别对所述第一特征点云与所述第二特征点云进行位姿变换,对应获得第一变换点云与第二变换点云;
基于对称变换参数,分别对所述第一特征点云与所述第二特征点云进行对称变换,对应获得第一对称点云与第二对称点云;
计算所述第一对称点云以及所述第一特征点云,与所述第二变换点云的第一残差;
计算所述第一特征点云以及所述第二变换点云,与所述第一对称点云的第二残差;
计算所述第一变换点云以及所述第二特征点云,与所述第二对称点云的第三残差;
以所述第一残差、所述第二残差以及所述第三残差的加权和最小为目标条件,迭代更新所述位姿变换参数与所述对称变换参数,以便根据更新后的所述对称变换参数对所述目标物体执行补全操作;
其中,所述根据更新后的所述对称变换参数对所述目标物体执行补全操作,包括:
根据更新后的对称变换参数,对所述第一特征点云执行对称变换,获得第三特征点云;
将所述第一特征点云、所述第二变换点云与所述第三特征点云之间的特征点融合,获得目标特征点云,以指示所述目标物体的补全状态。
2.根据权利要求1所述的方法,其特征在于,所述位姿变换参数包括位姿变换矩阵;
所述基于位姿变换参数,分别对所述第一特征点云与所述第二特征点云进行位姿变换,对应获得第一变换点云与第二变换点云,包括:
通过位姿变换矩阵,对所述第一特征点云中的各个坐标点进行坐标变换,对应获得第一变换点云;
通过位姿变换矩阵的逆矩阵,对所述第二特征点云中的各个坐标点进行坐标变换,对应获得第二变换点云。
3.根据权利要求2所述的方法,其特征在于,所述计算所述第一对称点云以及所述第一特征点云,与所述第二变换点云的第一残差,包括:
在所述第一对称点云以及所述第一特征点云中,选取与所述第二变换点云中的各个特征点最邻近的特征关联点,以构成第一邻近点集合;
计算所述第一邻近点集合中的各个特征点,与所述第二变换点云中的各个特征点之间的残差的平方和作为所述第一残差。
4.根据权利要求3所述的方法,其特征在于,所述在所述第一对称点云以及所述第一特征点云中,选取与所述第二变换点云中的各个特征点最邻近的特征关联点,包括:
针对第二变换点云中的每个变换后特征点,在所述第一特征点云中选取与所述变换后特征点之间的目标欧拉距离最小的点为候选关联点;
当所述目标欧拉距离小于或等于目标残差阈值时,将第一特征点云中的所述候选关联点确定为与所述变换后特征点最邻近的特征关联点;
当所述目标欧拉距离大于目标残差阈值时,在所述第一变换点云中选取与所述变换后特征点之间欧拉距离最小的点作为与所述变换后特征点最邻近的特征关联点。
5.根据权利要求1所述的方法,其特征在于,所述计算所述第一特征点云以及所述第二变换点云,与所述第一对称点云的第二残差,包括:
在所述第一特征点云以及所述第二变换点云中,选取与所述第一对称点云中的各个特征点最邻近的特征关联点,以构成第二邻近点集合;
计算所述第二邻近点集合中的各个特征关联点,与所述第一对称点云中的各个特征点之间的残差的平方和作为所述第二残差;
所述计算所述第一变换点云以及所述第二特征点云,与所述第二对称点云的第三残差,包括:
在所述第一变换点云以及所述第二特征点云中,选取与所述第二对称点云中的各个特征点最邻近的特征关联点,以构成第三邻近点集合;
计算所述第三邻近点集合中的各个特征关联点,与所述第二对称点云中的各个特征点之间的残差的平方和作为所述第三残差。
6.根据权利要求1所述的方法,其特征在于,在所述迭代更新的过程中,所述位姿变换参数的初始值可以为信息采集设备采集到的第二特征点云到第一特征点云的变换位姿。
7.一种对称面补全装置,其特征在于,所述装置包括:
特征点云获取模块,用于获取第一特征点云与第二特征点云;所述第一特征点云与所述第二特征点云为从不同方位对目标物体采集得到的特征点云;
位姿变换模块,用于基于位姿变换参数,分别对所述第一特征点云与所述第二特征点云进行位姿变换,对应获得第一变换点云与第二变换点云;
对称变换模块,用于基于对称变换参数,分别对所述第一特征点云与所述第二特征点云进行对称变换,对应获得第一对称点云与第二对称点云;
第一残差计算模块,用于计算所述第一对称点云以及所述第一特征点云,与所述第二变换点云的第一残差;
第二残差计算模块,用于计算所述第一特征点云以及所述第二变换点云,与所述第一对称点云的第二残差;
第三残差计算模块,用于计算所述第一变换点云以及所述第二特征点云,与所述第二对称点云的第三残差;
物体补全模块,用于以所述第一残差、所述第二残差以及所述第三残差的加权和最小为目标条件,迭代更新所述位姿变换参数与所述对称变换参数,以便根据更新后的所述对称变换参数对所述目标物体执行补全操作;
其中,所述物体补全模块,还用于,
根据更新后的对称变换参数,对所述第一特征点云执行对称变换,获得第三特征点云;
将所述第一特征点云、所述第二变换点云与所述第三特征点云之间的特征点融合,获得目标特征点云,以指示所述目标物体的补全状态。
8.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令,所述至少一条指令由所述处理器加载并执行以实现如权利要求1至6任一所述的对称面补全方法。
9.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行以实现如权利要求1至6任一所述的对称面补全方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210755141.9A CN114820955B (zh) | 2022-06-30 | 2022-06-30 | 一种对称面补全方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210755141.9A CN114820955B (zh) | 2022-06-30 | 2022-06-30 | 一种对称面补全方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114820955A CN114820955A (zh) | 2022-07-29 |
CN114820955B true CN114820955B (zh) | 2022-11-18 |
Family
ID=82522576
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210755141.9A Active CN114820955B (zh) | 2022-06-30 | 2022-06-30 | 一种对称面补全方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114820955B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109872354A (zh) * | 2019-01-28 | 2019-06-11 | 深圳市易尚展示股份有限公司 | 基于非线性优化的多视角点云配准方法及*** |
CN111325663A (zh) * | 2020-02-21 | 2020-06-23 | 深圳市易尚展示股份有限公司 | 基于并行架构的三维点云匹配方法、装置和计算机设备 |
CN114127785A (zh) * | 2021-04-15 | 2022-03-01 | 商汤国际私人有限公司 | 点云补全方法、网络训练方法、装置、设备及存储介质 |
-
2022
- 2022-06-30 CN CN202210755141.9A patent/CN114820955B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109872354A (zh) * | 2019-01-28 | 2019-06-11 | 深圳市易尚展示股份有限公司 | 基于非线性优化的多视角点云配准方法及*** |
CN111325663A (zh) * | 2020-02-21 | 2020-06-23 | 深圳市易尚展示股份有限公司 | 基于并行架构的三维点云匹配方法、装置和计算机设备 |
CN114127785A (zh) * | 2021-04-15 | 2022-03-01 | 商汤国际私人有限公司 | 点云补全方法、网络训练方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114820955A (zh) | 2022-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107481292B (zh) | 车载摄像头的姿态误差估计方法和装置 | |
CN112179330B (zh) | 移动设备的位姿确定方法及装置 | |
CN108871353B (zh) | 路网地图生成方法、***、设备及存储介质 | |
CN111192331B (zh) | 一种激光雷达和相机的外参标定方法及装置 | |
CN109407073B (zh) | 反射值地图构建方法和装置 | |
CN111582054B (zh) | 点云数据处理方法及装置、障碍物检测方法及装置 | |
CN110119679B (zh) | 物体三维信息估计方法及装置、计算机设备、存储介质 | |
CN113341397A (zh) | 反射值地图构建方法和装置 | |
AU2022223991A1 (en) | Computer vision systems and methods for supplying missing point data in point clouds derived from stereoscopic image pairs | |
CN114972490B (zh) | 一种数据自动标注方法、装置、设备及存储介质 | |
CN115376109B (zh) | 障碍物检测方法、障碍物检测装置以及存储介质 | |
CN115436920A (zh) | 一种激光雷达标定方法及相关设备 | |
CN115494533A (zh) | 车辆定位方法、装置、存储介质及定位*** | |
CN114001706B (zh) | 航向角估计方法、装置、电子设备和存储介质 | |
CN114897988A (zh) | 一种铰链式车辆中的多相机定位方法、装置及设备 | |
CN115097419A (zh) | 一种激光雷达到imu的外参标定方法及装置 | |
CN113450389B (zh) | 一种目标跟踪方法、装置及电子设备 | |
CN115222884A (zh) | 一种基于人工智能的空间对象分析及建模优化方法 | |
CN114821497A (zh) | 目标物位置的确定方法、装置、设备及存储介质 | |
CN114820955B (zh) | 一种对称面补全方法、装置、设备及存储介质 | |
CN112733971A (zh) | 扫描设备的位姿确定方法、装置、设备及存储介质 | |
CN112632415A (zh) | 一种Web地图实时生成方法及图像处理服务器 | |
CN109598199B (zh) | 车道线生成方法和装置 | |
CN115937449A (zh) | 高精地图生成方法、装置、电子设备和存储介质 | |
CN115965923A (zh) | 基于深度估计的鸟瞰图目标检测方法、装置和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |