CN117765039A - 点云粗配准方法、装置及设备 - Google Patents
点云粗配准方法、装置及设备 Download PDFInfo
- Publication number
- CN117765039A CN117765039A CN202311540389.4A CN202311540389A CN117765039A CN 117765039 A CN117765039 A CN 117765039A CN 202311540389 A CN202311540389 A CN 202311540389A CN 117765039 A CN117765039 A CN 117765039A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- matching
- data
- feature
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000009466 transformation Effects 0.000 claims abstract description 62
- 239000011159 matrix material Substances 0.000 claims abstract description 57
- 238000001514 detection method Methods 0.000 claims abstract description 25
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims abstract description 21
- 238000004422 calculation algorithm Methods 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 11
- 230000009977 dual effect Effects 0.000 claims description 8
- 238000007689 inspection Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 10
- 238000000605 extraction Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 240000004050 Pentaglottis sempervirens Species 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明实施例提供一种点云粗配准方法、装置及设备，该方法包括：使用多个采集设备在同一水平面上同时对目标对象进行点云采集，得到目标对象的多个点云数据且相邻采集设备得到的点云数据部分重叠；对多个点云数据分别进行离散化投影，得到各个点云数据对应的鸟瞰图；对得到的多张鸟瞰图分别进行二维图像尺度不变局部特征检测，得到各鸟瞰图对应的特征数据；对得到的多个特征数据进行特征匹配，获取点云变换矩阵；根据点云变换矩阵对目标对象的多个点云数据进行粗配准。通过离散化投影，将三维点云转换为二维鸟瞰图，将配准问题由三维降至二维，降低了时间复杂度以及计算的空间复杂度，提高了匹配效率，缩短了匹配时间。
Description
技术领域
本发明实施例涉及计算机视觉技术领域，具体涉及一种点云粗配准方法、装置及设备。
背景技术
随着激光雷达(LiDAR)等高精度传感器的快速发展，点云已逐渐成为表示三维世界的主要数据格式。然而由于单个传感器只能在有限的视野范围内扫描获取数据，因此需要通过对多个传感器所采集的数据进行配准来生成完整的三维场景。点云配准技术是一种估计两帧扫描点云之间变换矩阵的技术，根据变换矩阵便可以将同一个三维场景或物体的多个部分扫描点云合并成一个完整的三维点云。点云配准在许多应用，例如三维建模、目标检测与跟踪、增强现实等中都至关重要。从最经典的点云配准算法——迭代最近点(Iterative Closest Point，ICP)到后来的ICP改进算法可以看出，此类算法通常需要首先对点云进行粗配准，以获得良好的初值，因此点云粗配准是实现高质量的三维重建和目标识别的重要前提。
现有粗配准方法大多是通过对应搜索和变换估计两个过程来减小几何投影误差，这两个过程交替进行，直到几何重投影误差最小。然而在实际应用中，由于传感器误差、噪声和非刚性变形等因素的存在，点云之间存在着不可避免的对齐误差，同时由于传感器采集的点云量数目庞大，对点云配准算法造成了不小的时间负担。现有点云粗配准方法效率低、耗时长，难以满足对实时性要求较高的应用场景需求。
发明内容
本发明实施例提供一种点云粗配准方法、装置及设备，用以解决现有点云粗配准方法效率低、耗时长的问题。
第一方面，本发明实施例提供一种点云粗配准方法，包括：
使用多个采集设备在同一水平面上同时对目标对象进行点云采集，得到目标对象的多个点云数据且相邻采集设备得到的点云数据部分重叠；
对多个点云数据分别进行离散化投影，得到各个点云数据对应的鸟瞰图；
对得到的多张鸟瞰图分别进行二维图像尺度不变局部特征检测，得到各鸟瞰图对应的特征数据；
对得到的多个特征数据进行特征匹配，获取点云变换矩阵；
根据点云变换矩阵对目标对象的多个点云数据进行粗配准。
一种实施例中，对多个点云数据分别进行离散化投影，得到各个点云数据对应的鸟瞰图，包括：
在各点云数据中设定感兴趣区域并确定鸟瞰图中每个像素对应的实际尺度；
根据像素与实际尺度的对应关系确定感兴趣区域内每个点云在鸟瞰图中的像素坐标；
根据每个鸟瞰图像素所对应的多个点云高度值的最大值以及检测范围的高度，确定鸟瞰图中各像素的像素值，得到各个点云数据对应的鸟瞰图。
一种实施例中，对得到的多张鸟瞰图分别进行二维图像尺度不变局部特征检测，得到各鸟瞰图对应的特征数据，包括：
利用高斯滤波函数对各鸟瞰图进行反复降阶采样；
将每个像素与其在图像域和尺度空间域内的相邻点进行比较，得到双重局部极值点；
去除双重局部极值点中不稳定和误检测的极值点，得到稳定的极值点；
采用梯度求解来确定稳定的极值点的方向，得到各鸟瞰图对应的特征数据。
一种实施例中，对得到的多个特征数据进行特征匹配，获取点云变换矩阵包括：
采用FLANN匹配法对得到的多个特征数据进行特征匹配，得到匹配结果；
使用RANSAC算法对匹配结果进行优化，获取点云变换矩阵。
一种实施例中，采用FLANN匹配法对得到的多个特征数据进行特征匹配，得到匹配结果，包括：
采用随机KD树算法对得到的多个特征数据执行预设次检查，得到初始匹配点集；
剔除初始匹配点集中次优匹配的点集，保留最优匹配的点集，得到匹配结果。
一种实施例中，使用RANSAC算法对匹配结果进行优化，获取点云变换矩阵，包括：
将匹配结果中匹配的关键点的二维坐标放入两个列表中，其中一个列表用于存放查询图像中的关键点坐标，另一个列表用于存放匹配图像中的关键点坐标；
使用RANSAC算法剔除列表中的错误匹配；
根据剔除了错误匹配的匹配结果获取点云变换矩阵。
一种实施例中，根据点云变换矩阵对目标对象的多个点云数据进行粗配准，包括：
根据点云变换矩阵采用透视变换算法实现多个点云数据的粗配准。
第二方面，本发明实施例提供一种点云粗配准装置，包括：
采集模块，用于使用多个采集设备在同一水平面上同时对目标对象进行点云采集，得到目标对象的多个点云数据且相邻采集设备得到的点云数据部分重叠；
投影模块，用于对多个点云数据分别进行离散化投影，得到各个点云数据对应的鸟瞰图；
检测模块，用于对得到的多张鸟瞰图分别进行二维图像尺度不变局部特征检测，得到各鸟瞰图对应的特征数据；
匹配模块，用于对得到的多个特征数据进行特征匹配，获取点云变换矩阵；
配准模块，用于根据点云变换矩阵对目标对象的多个点云数据进行粗配准。
第三方面，本发明实施例提供一种电子设备，包括：
至少一个处理器和存储器；
存储器存储计算机执行指令；
至少一个处理器执行存储器存储的计算机执行指令，使得至少一个处理器执行如第一方面任一项所述的点云粗配准方法。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现如第一方面任一项所述的点云粗配准方法。
本发明实施例提供的点云粗配准方法、装置及设备，通过使用多个采集设备在同一水平面上同时对目标对象进行点云采集，得到目标对象的多个点云数据且相邻采集设备得到的点云数据部分重叠；对多个点云数据分别进行离散化投影，得到各个点云数据对应的鸟瞰图；对得到的多张鸟瞰图分别进行二维图像尺度不变局部特征检测，得到各鸟瞰图对应的特征数据；对得到的多个特征数据进行特征匹配，获取点云变换矩阵；根据点云变换矩阵对目标对象的多个点云数据进行粗配准。通过离散化投影，将三维点云转换为二维鸟瞰图，在二维平面上进行特征提取、特征匹配等操作，将配准问题由三维降至二维，相较于三维空间而言降低了时间复杂度以及计算的空间复杂度，从而在根源上提高了匹配效率，缩短了匹配时间。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1为本发明一实施例提供的点云粗配准方法的流程图；
图2为本发明一实施例提供的鸟瞰图示意图；
图3为SIFT描述子的方向示意图；
图4为随机KD树的示意图；
图5为本发明一实施例提供的点云粗配准结果示意图；
图6为本发明一实施例提供的点云粗配准装置的结构示意图；
图7为本发明一实施例提供的电子设备的结构示意图。
通过上述附图，已示出本发明明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本发明构思的范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。
点云配准又叫点云拼接，总体思想是通过利用多个点云数据的特征信息，通过算法进行匹配识别点云数据重叠部分，再通过点云变换将本来属于一个坐标系下的点云数据变换到另一个坐标系下，从而完成恢复整个物体的原貌。原始的点云数据可以通过三维激光扫描设备采集，其点位信息可以包括三维坐标信息、反射强度信息等。通常情况下都是由多个设备从不同的角度同时对物体进行采集，因此一个传感器采集到的点云数据通常只包含了物体的部分信息，所以要想进行点云配准，相邻设备采集到的点云数据必须要有重叠部分。
为了提高点云粗配准的效率，缩短点云粗配准的耗时，提高配准的实时性，以满足对实时性要求较高的应用场景需求，本申请通过鸟瞰图将三维的配准问题降至二维，二维平面上的特征提取、特征匹配等操作相较于三维空间而言时间复杂度降低，从而在根源上提高了配准效率。下面将通过具体的实施例来对本申请所提供的方法进行进一步详细阐述。
图1为本发明一实施例提供的点云粗配准方法的流程图。如图1所示，本实施例提供的点云粗配准方法可以包括：
S101、使用多个采集设备在同一水平面上同时对目标对象进行点云采集，得到目标对象的多个点云数据且相邻采集设备得到的点云数据部分重叠。
本实施例中的目标对象例如可以是物体、场景等。为了实现点云配准，本实施例中保持采集内容有交集，保证有点云重叠，即相邻采集设备得到的点云数据部分重叠。
S102、对多个点云数据分别进行离散化投影，得到各个点云数据对应的鸟瞰图。
本实施例中通过对步骤S101中所获得的多个点云数据在XOY坐标平面上进行离散化投影得到点云鸟瞰图。
S103、对得到的多张鸟瞰图分别进行二维图像尺度不变局部特征检测，得到各鸟瞰图对应的特征数据。
通过对步骤S102中获得的鸟瞰图进行二维图像尺度不变特征转换(Scale-invariant feature transform，SIFT)局部特征检测，得到各鸟瞰图对应的特征数据。
S104、对得到的多个特征数据进行特征匹配，获取点云变换矩阵。
进一步地对步骤S103中得到的特征数据进行筛选、匹配，得到良好匹配的特征，并剔除其中的错误匹配，然后根据正确匹配结果生成点云变换矩阵。
S105、根据点云变换矩阵对目标对象的多个点云数据进行粗配准。
使用步骤S104中生成的点云变换矩阵将源点云变换为目标矩阵，完成粗配准。对雷达在同一水平面的不同位置上采集到的点云进行粗配准，由于各个点云在高度上的误差仅来自于不同雷达的光学中心位置差别，所以仅对点云的XY两个维度进行操作。
本实施例提供的点云粗配准方法，通过使用多个采集设备在同一水平面上同时对目标对象进行点云采集，得到目标对象的多个点云数据且相邻采集设备得到的点云数据部分重叠；对多个点云数据分别进行离散化投影，得到各个点云数据对应的鸟瞰图；对得到的多张鸟瞰图分别进行二维图像尺度不变局部特征检测，得到各鸟瞰图对应的特征数据；对得到的多个特征数据进行特征匹配，获取点云变换矩阵；根据点云变换矩阵对目标对象的多个点云数据进行粗配准。通过离散化投影，将三维点云转换为二维鸟瞰图，在二维平面上进行特征提取、特征匹配等操作，将配准问题由三维降至二维，相较于三维空间而言降低了时间复杂度以及计算的空间复杂度，从而在根源上提高了匹配效率，缩短了匹配时间。
在上述实施例的基础上，下面将进一步详细阐述如何创建各点云数据的鸟瞰图。在上述实施例的基础上，本实施例提供的点云粗配准方法中，对多个点云数据分别进行离散化投影，得到各个点云数据对应的鸟瞰图，包括：
S1021、在各点云数据中设定感兴趣区域并确定鸟瞰图中每个像素对应的实际尺度。
为了得到点云鸟瞰图，首先设定感兴趣区域(xmin：xmax，ymin：ymax，zmin：zmax)，并在该感兴趣区域内设置一个原点。然后，计算该原点在鸟瞰视角中的点云坐标值。接下来，将感兴趣区域内的所有点云的X和Y值减去原点对应的点云值，从而将区域内所有点云的X和Y值转换为正值。最后定义鸟瞰图中每个像素对应的实际尺度大小res。例如，可以设置一个像素表示感兴趣区域内0.1*0.1范围的实际尺寸。
S1022、根据像素与实际尺度的对应关系确定感兴趣区域内每个点云在鸟瞰图中的像素坐标。
根据步骤S1021中所确定的像素与实际尺度的对应关系，结合点云轴方向和图片轴方向的差异，计算出感兴趣区域内每个点云在鸟瞰图中的像素坐标。如果计算得到的像素坐标是小数，按照如下统一尺度进行取整：
式中：(x2D，y2D)是图像坐标，(x3D，y3D)是点云坐标，res指代的是尺度比例，xmin是感兴趣区域X轴最小值，ymin是感兴趣区域Y轴最小值。
S1023、根据每个鸟瞰图像素所对应的多个点云高度值的最大值以及检测范围的高度，确定鸟瞰图中各像素的像素值，得到各个点云数据对应的鸟瞰图。
由于鸟瞰图的分辨率只与像素和实际尺度的对应关系大小有关，因此在确定了点云到鸟瞰图的投影关系之后，需要计算鸟瞰图中每个像素的像素值，像素值代表的是实际点云在该像素位置上的高度信息。由于鸟瞰图像素和点云是一对多的关系，本实施例中将单个像素内点云高度值的最大值除以检测范围的高度，再将结果映射到0～255的范围内，具体可以按照如下表达式来确定像素值：
式中：Hi为俯视图第i个单元的高度值；Si为俯视图投影落在第i个单元的点集合；Hj为单元内第j个点的高度值；Hmin和Hmax分别为截取点云空间的最低高度和最高高度。
请参考图2，图2为本发明一实施例提供的鸟瞰图示意图。如图2所示，第一行是雷达采集到的原始点云数据在三维坐标系下的情况；第二行是模拟视角，将点云数据向XOY平面投影，根据人为制定的分辨率进行栅格化；第三行是将每个栅格中的点云的Z坐标的最大值按比例计算为像素值，从而将三维的点云转换为二维深度图。
本实施例提供的点云粗配准方法，在上述实施例的基础上，进一步地通过在各点云数据中设定感兴趣区域并确定鸟瞰图中每个像素对应的实际尺度；根据像素与实际尺度的对应关系确定感兴趣区域内每个点云在鸟瞰图中的像素坐标；根据每个鸟瞰图像素所对应的多个点云高度值的最大值以及检测范围的高度，确定鸟瞰图中各像素的像素值，提高了鸟瞰图的准确性，进而有助于提高点云粗配准的精度。
在上述任一实施例的基础上，下面将进一步详细阐述如何从鸟瞰图中提取特征数据，用于进行匹配。在上述实施例的基础上，本实施例提供的点云粗配准方法中，对得到的多张鸟瞰图分别进行二维图像尺度不变局部特征检测，得到各鸟瞰图对应的特征数据，具体可以包括：
S1031、利用高斯滤波函数对各鸟瞰图进行反复降阶采样。
首先进行尺度空间极值检测，具体的通过在所有尺度上搜索图像位置，利用高斯微分函数识别潜在的尺度和旋转不变的兴趣点。尺度空间L(x,y,σ)可以定义为尺度可变高斯函数G(x,y,σ)与原始图像I(x,y)的卷积运算，如式：
L(x,y,σ)＝I(x,y)*G(x,y,σ)
其中，G(x,y,σ)为高斯核函数；(x,y)指的是空间的坐标；L(x,y,σ)是图像的尺度空间；I(x,y)为原始图像；σ的大小反映了图像的平滑程度；*为卷积运算符。
对鸟瞰图采样利用高斯滤波函数进行反复降阶采样，可以直接获取和输出一系列尺寸大小不一致的梯形图像，即高斯金字塔。通过高斯金字塔每组内的图像相减，可以得到高斯差分金字塔。
S1032、将每个像素与其在图像域和尺度空间域内的相邻点进行比较，得到双重局部极值点。
为了找到高斯函数的极值点，需要将每个像素与其在图像域和尺度空间域内的相邻点进行比较。在图像二维空间中，每个像素与其8个相邻像素进行比较；在同一组尺度空间中，中心像素点与其相邻层的18个像素点进行比较。这样可以获得尺度空间和图像二维空间的双重局部极值点。将每个像素与其在图像域和尺度空间域内的相邻点进行比较，便可以得到双重局部极值点。
S1033、去除双重局部极值点中不稳定和误检测的极值点，得到稳定的极值点。
由于噪声和边缘可能导致高斯值的突变，需要进一步确认和筛选之前得到的局部极值点，去除不稳定和误检测的极值点。同时，还需要确定在下采样图像中获取的极值点在原始图像中的准确位置。通过去除双重局部极值点中不稳定和误检测的极值点，便可以得到稳定的极值点。
S1034、采用梯度求解来确定稳定的极值点的方向，得到各鸟瞰图对应的特征数据。
在得到稳定的极值点之后，然后确定其方向。关键点方向确定具体可以包括：通过在不同尺度空间上提取稳定的极值点，保证了尺度不变性。为了实现关键点对图像的旋转不变性，使用梯度求解来确定关键点的方向。定义L(x,y)为原图像空间函数，则任一关键点梯度幅值如下：
梯度方向如下：
关键点描述：关键点描述是将关键点及其周围对其有贡献的领域像素点用数学语言表示，是实现图像特征点匹配的关键步骤。通过对每个关键点周围区域的划分，并为每个子区域设定8个方向，构建一个128维向量作为SIFT描述子。每个向量代表关键点的描述。关键点描述子的构建使得特征点具备了位置、尺度和方向等固定的信息。
请参考图3，图3为SIFT描述子的方向示意图。如图3所示，对于每个关键点，构建了4*4*8维的向量用以计算其周围区域的梯度幅值和方向，并选择具有最大梯度幅值的方向作为主方向。此外，还可以选择相对梯度幅值较高的80％的方向作为辅方向，以提高算法的鲁棒性和特征匹配的稳定性。
本实施例提供的点云粗配准方法，在上述实施例的基础上，进一步地利用高斯滤波函数对各鸟瞰图进行反复降阶采样；将每个像素与其在图像域和尺度空间域内的相邻点进行比较，得到双重局部极值点；去除双重局部极值点中不稳定和误检测的极值点，得到稳定的极值点；采用梯度求解来确定稳定的极值点的方向，得到各鸟瞰图对应的特征数据，稳定的特征有助于提高点云匹配的鲁棒性和稳定性。
在上述任一实施例的基础上，下面将进一步详细阐述如何生成点云变换矩阵，用于进行点云配准。在上述实施例的基础上，本实施例提供的点云粗配准方法中，对得到的多个特征数据进行特征匹配，获取点云变换矩阵，具体可以包括：
S1041、采用FLANN匹配法对得到的多个特征数据进行特征匹配，得到匹配结果。
本实施例中可以首先采用随机KD树算法对得到的多个特征数据执行预设次检查，得到初始匹配点集。考虑到配准速率与计算成本的要求，可以略微降低检查次数。先使用五棵随机KD树索引算法，对每棵树执行50次检查，检查次数越多精度越高，但计算成本也就越高。请参考图4，图4为随机KD树的示意图。如图4所示，建立多棵随机KD树，从具有最高方差的Nd维中随机选取若干维度，用来做划分。在对随机KD森林进行搜索时候，所有的随机KD树将共享一个优先队列。
然后再剔除初始匹配点集中次优匹配的点集，保留最优匹配的点集，以得到匹配结果。具体的，可以应用乘数为0.7的劳氏比率检验剔除次优匹配的点集，仅保留最优匹配。
S1042、使用RANSAC算法对匹配结果进行优化，获取点云变换矩阵。
本实施例中使用RANSAC算法进行优化匹配结果，获取单应性点云变换矩阵。具体的，通过将步骤S1041得到的良好匹配的关键点的二维坐标，并把这些坐标放入浮点坐标对的两个列表中。一个列表包含查询图像中的关键点坐标，另一个列表包含场景中匹配的关键点坐标，使用RANSAC剔除错误匹配。根据对鸟瞰图进行SIFT特征提取并筛选出正确匹配后的结果，生成点云变换矩阵。
一种可选的实施方式中，使用RANSAC算法对匹配结果进行优化，获取点云变换矩阵，具体可以包括：将匹配结果中匹配的关键点的二维坐标放入两个列表中，其中一个列表用于存放查询图像中的关键点坐标，另一个列表用于存放匹配图像中的关键点坐标；使用RANSAC算法剔除列表中的错误匹配；根据剔除了错误匹配的匹配结果获取点云变换矩阵。
本实施例提供的点云粗配准方法，在上述实施例的基础上，进一步地采用FLANN匹配法对得到的多个特征数据进行特征匹配，得到匹配结果，并使用RANSAC算法对匹配结果进行优化，生成点云变换矩阵。准确的点云变换矩阵，有助于提高点云粗配准的准确性。
在上述任一实施例的基础上，下面将进一步详细阐述如何根据点云变换矩阵对目标对象的多个点云数据进行粗配准。在上述实施例的基础上，本实施例提供的点云粗配准方法中，可以根据点云变换矩阵采用透视变换算法实现多个点云数据的粗配准。
使用生成的点云变换矩阵将源点云变换为目标矩阵，完成配准。雷达在同一水平面的不同位置上采集到的点云进行粗配准，各个点云在高度上的误差仅来自于不同雷达的光学中心位置差别，所以仅对点云的X和Y两个维度进行操作。本实施例中采用透视变换实现粗配准，当多个雷达扫描物体时，每个雷达的点云都包含有关该物体一部分的信息，使用这一系列转换可以获得相同视角下的鸟瞰图像，便于配准和拼接。
记原始图像中的坐标为(u,v)，对应的齐次坐标为(U,V,W)，变换后图像的坐标为(x,y)。那么有：
同时二维坐标与三维坐标间的转换关系：
整理上述的矩阵方程式和对应关系求解二维坐标，结果如下：
上面仅代表一组特征点之间的对应关系，经过特征匹配后通常会有n组对应的点：(u1,v1)对应(x1,y1)，(u2,v2)对应(x2,y2)，……，(un,vn)对应(xn,yn)，那么可得到矩阵形式的方程组：
记为AT＝B，那么可得最小二乘解为：T＝(ATA)-1ATB，且当n＝4时得到的解是精确解，若n>4时，得到的解是最小二乘解。
此时求得的T即为透视变换的变换矩阵：
按照上述过程对点云进行操作，最后补全Z轴的信息即可完成点云粗配准。效果请参考图5，图5为本发明一实施例提供的点云粗配准结果示意图。如图5所示即为两个点云实现粗配准的效果。
综上所述，本申请所提供的点云粗配准方法，不仅运算效率高，而且计算成本降低。使用了鸟瞰图的技术，将三维的配准问题降维至二维，二维平面上的特征提取、特征匹配等操作相较于三维空间而言时间复杂度降低，从而在根源上提高了整体效率。拿本发明所用例子来看，源点云与目标点云的点云数据量基本在13万个左右，配准时间在0.5秒左右，算法运行速度可观。转为鸟瞰图的操作视为点云下采样的一种方式，降低了计算的空间复杂度。同时二维图像的特征搜索与匹配对比三维而言时间复杂度降低，使本发明方法对硬件处理器的需求降低，在使用CPU时也能满足需要，可在一定程度上降低成本。
图6为本发明一实施例提供的点云粗配准装置的结构示意图。如图6所示，本实施例提供的点云粗配准装置60可以包括：
采集模块601，用于使用多个采集设备在同一水平面上同时对目标对象进行点云采集，得到目标对象的多个点云数据且相邻采集设备得到的点云数据部分重叠；
投影模块602，用于对多个点云数据分别进行离散化投影，得到各个点云数据对应的鸟瞰图；
检测模块603，用于对得到的多张鸟瞰图分别进行二维图像尺度不变局部特征检测，得到各鸟瞰图对应的特征数据；
匹配模块604，用于对得到的多个特征数据进行特征匹配，获取点云变换矩阵；
配准模块605，用于根据点云变换矩阵对目标对象的多个点云数据进行粗配准。
本实施例的装置，可以用于执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
一种可选的实施方式中，投影模块602用于对多个点云数据分别进行离散化投影，得到各个点云数据对应的鸟瞰图，具体可以包括：
在各点云数据中设定感兴趣区域并确定鸟瞰图中每个像素对应的实际尺度；
根据像素与实际尺度的对应关系确定感兴趣区域内每个点云在鸟瞰图中的像素坐标；
根据每个鸟瞰图像素所对应的多个点云高度值的最大值以及检测范围的高度，确定鸟瞰图中各像素的像素值，得到各个点云数据对应的鸟瞰图。
一种可选的实施方式中，检测模块603用于对得到的多张鸟瞰图分别进行二维图像尺度不变局部特征检测，得到各鸟瞰图对应的特征数据，具体可以包括：
利用高斯滤波函数对各鸟瞰图进行反复降阶采样；
将每个像素与其在图像域和尺度空间域内的相邻点进行比较，得到双重局部极值点；
去除双重局部极值点中不稳定和误检测的极值点，得到稳定的极值点；
采用梯度求解来确定稳定的极值点的方向，得到各鸟瞰图对应的特征数据。
一种可选的实施方式中，匹配模块604用于对得到的多个特征数据进行特征匹配，获取点云变换矩阵，具体可以包括：
采用FLANN匹配法对得到的多个特征数据进行特征匹配，得到匹配结果；
使用RANSAC算法对匹配结果进行优化，获取点云变换矩阵。
一种可选的实施方式中，匹配模块604用于采用FLANN匹配法对得到的多个特征数据进行特征匹配，得到匹配结果，具体可以包括：
采用随机KD树算法对得到的多个特征数据执行预设次检查，得到初始匹配点集；
剔除初始匹配点集中次优匹配的点集，保留最优匹配的点集，得到匹配结果。
一种可选的实施方式中，匹配模块604用于使用RANSAC算法对匹配结果进行优化，获取点云变换矩阵，具体可以包括：
将匹配结果中匹配的关键点的二维坐标放入两个列表中，其中一个列表用于存放查询图像中的关键点坐标，另一个列表用于存放匹配图像中的关键点坐标；
使用RANSAC算法剔除列表中的错误匹配；
根据剔除了错误匹配的匹配结果获取点云变换矩阵。
一种可选的实施方式中，配准模块605用于根据点云变换矩阵对目标对象的多个点云数据进行粗配准，具体可以包括：
根据点云变换矩阵采用透视变换算法实现多个点云数据的粗配准。
本发明实施例还提供一种电子设备，请参见图7所示，本发明实施例仅以图7为例进行说明，并不表示本发明仅限于此。图7为本发明一实施例提供的电子设备的结构示意图。如图7所示，本实施例提供的电子设备70可以包括：存储器701、处理器702和总线703。其中，总线703用于实现各元件之间的连接。
存储器701中存储有计算机程序，计算机程序被处理器702执行时可以实现上述任一方法实施例的技术方案。
其中，存储器701和处理器702之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可以通过一条或者多条通信总线或信号线实现电性连接，如可以通过总线703连接。存储器701中存储有实现点云粗配准方法的计算机程序，包括至少一个可以软件或固件的形式存储于存储器701中的软件功能模块，处理器702通过运行存储在存储器701内的软件程序以及模块，从而执行各种功能应用以及数据处理。
存储器701可以是，但不限于，随机存取存储器(Random Access Memory，简称：RAM)，只读存储器(Read Only Memory，简称：ROM)，可编程只读存储器(ProgrammableRead-Only Memory，简称：PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，简称：EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，简称：EEPROM)等。其中，存储器701用于存储程序，处理器702在接收到执行指令后，执行程序。进一步地，上述存储器701内的软件程序以及模块还可包括操作***，其可包括各种用于管理***任务(例如内存管理、存储设备控制、电源管理等)的软件组件和/或驱动，并可与各种硬件或软件组件相互通信，从而提供其他软件组件的运行环境。
处理器702可以是一种集成电路芯片，具有信号的处理能力。上述的处理器702可以是通用处理器，包括中央处理器(Central Processing Unit，简称：CPU)、网络处理器(Network Processor，简称：NP)等。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。可以理解，图7的结构仅为示意，还可以包括比图7中所示更多或者更少的组件，或者具有与图7所示不同的配置。图7中所示的各组件可以采用硬件和/或软件实现。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行以实现上述任一方法实施例的技术方案。
本公开中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
本公开的保护范围不限于上述的实施例，显然，本领域的技术人员可以对本公开进行各种改动和变形而不脱离本公开的范围和精神。倘若这些改动和变形属于本公开权利要求及其等同技术的范围，则本公开的意图也包含这些改动和变形在内。
Claims (10)
1.一种点云粗配准方法，其特征在于，包括：
使用多个采集设备在同一水平面上同时对目标对象进行点云采集，得到所述目标对象的多个点云数据且相邻采集设备得到的点云数据部分重叠；
对所述多个点云数据分别进行离散化投影，得到各个点云数据对应的鸟瞰图；
对得到的多张鸟瞰图分别进行二维图像尺度不变局部特征检测，得到各鸟瞰图对应的特征数据；
对得到的多个特征数据进行特征匹配，获取点云变换矩阵；
根据所述点云变换矩阵对所述目标对象的多个点云数据进行粗配准。
2.根据权利要求1所述的方法，其特征在于，所述对所述多个点云数据分别进行离散化投影，得到各个点云数据对应的鸟瞰图，包括：
在各点云数据中设定感兴趣区域并确定鸟瞰图中每个像素对应的实际尺度；
根据像素与实际尺度的对应关系确定所述感兴趣区域内每个点云在鸟瞰图中的像素坐标；
根据每个鸟瞰图像素所对应的多个点云高度值的最大值以及检测范围的高度，确定鸟瞰图中各像素的像素值，得到各个点云数据对应的鸟瞰图。
3.根据权利要求1所述的方法，其特征在于，所述对得到的多张鸟瞰图分别进行二维图像尺度不变局部特征检测，得到各鸟瞰图对应的特征数据，包括：
利用高斯滤波函数对各鸟瞰图进行反复降阶采样；
将每个像素与其在图像域和尺度空间域内的相邻点进行比较，得到双重局部极值点；
去除所述双重局部极值点中不稳定和误检测的极值点，得到稳定的极值点；
采用梯度求解来确定所述稳定的极值点的方向，得到各鸟瞰图对应的特征数据。
4.根据权利要求1所述的方法，其特征在于，所述对得到的多个特征数据进行特征匹配，获取点云变换矩阵包括：
采用FLANN匹配法对得到的多个特征数据进行特征匹配，得到匹配结果；
使用RANSAC算法对所述匹配结果进行优化，获取点云变换矩阵。
5.根据权利要求4所述的方法，其特征在于，所述采用FLANN匹配法对得到的多个特征数据进行特征匹配，得到匹配结果，包括：
采用随机KD树算法对得到的多个特征数据执行预设次检查，得到初始匹配点集；
剔除所述初始匹配点集中次优匹配的点集，保留最优匹配的点集，得到匹配结果。
6.根据权利要求4所述的方法，其特征在于，所述使用RANSAC算法对所述匹配结果进行优化，获取点云变换矩阵，包括：
将所述匹配结果中匹配的关键点的二维坐标放入两个列表中，其中一个列表用于存放查询图像中的关键点坐标，另一个列表用于存放匹配图像中的关键点坐标；
使用RANSAC算法剔除所述列表中的错误匹配；
根据剔除了错误匹配的匹配结果获取点云变换矩阵。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述根据所述点云变换矩阵对所述目标对象的多个点云数据进行粗配准，包括：
根据所述点云变换矩阵采用透视变换算法实现多个点云数据的粗配准。
8.一种点云粗配准装置，其特征在于，包括：
采集模块，用于使用多个采集设备在同一水平面上同时对目标对象进行点云采集，得到所述目标对象的多个点云数据且相邻采集设备得到的点云数据部分重叠；
投影模块，用于对所述多个点云数据分别进行离散化投影，得到各个点云数据对应的鸟瞰图；
检测模块，用于对得到的多张鸟瞰图分别进行二维图像尺度不变局部特征检测，得到各鸟瞰图对应的特征数据；
匹配模块，用于对得到的多个特征数据进行特征匹配，获取点云变换矩阵；
配准模块，用于根据所述点云变换矩阵对所述目标对象的多个点云数据进行粗配准。
9.一种电子设备，其特征在于，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1-7任一项所述的点云粗配准方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-7任一项所述的点云粗配准方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311540389.4A CN117765039A (zh) | 2023-11-17 | 2023-11-17 | 点云粗配准方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311540389.4A CN117765039A (zh) | 2023-11-17 | 2023-11-17 | 点云粗配准方法、装置及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117765039A true CN117765039A (zh) | 2024-03-26 |
Family
ID=90318921
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311540389.4A Pending CN117765039A (zh) | 2023-11-17 | 2023-11-17 | 点云粗配准方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117765039A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118096524A (zh) * | 2024-04-26 | 2024-05-28 | 苏州杰锐思智能科技股份有限公司 | 一种键盘点云图像的拼接方法、装置及相关设备 |
-
2023
- 2023-11-17 CN CN202311540389.4A patent/CN117765039A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118096524A (zh) * | 2024-04-26 | 2024-05-28 | 苏州杰锐思智能科技股份有限公司 | 一种键盘点云图像的拼接方法、装置及相关设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | Feature detection and description for image matching: from hand-crafted design to deep learning | |
| Zhang et al. | Change detection between multimodal remote sensing data using Siamese CNN | |
| Xu et al. | Reconstruction of scaffolds from a photogrammetric point cloud of construction sites using a novel 3D local feature descriptor | |
| EP2491529B1 (en) | Providing a descriptor for at least one feature of an image | |
| Khoshelham | Extending generalized hough transform to detect 3d objects in laser range data | |
| JP2014081347A (ja) | ３ｄシーンにおける３ｄ物体の認識および姿勢決定のための方法 | |
| CN112712589A (zh) | 一种基于激光雷达和深度学习的植株3d建模的方法和*** | |
| Son et al. | A multi-vision sensor-based fast localization system with image matching for challenging outdoor environments | |
| CN110084743B (zh) | 基于多航带起始航迹约束的图像拼接与定位方法 | |
| Zhang et al. | Vehicle global 6-DoF pose estimation under traffic surveillance camera | |
| CN117765039A (zh) | 点云粗配准方法、装置及设备 | |
| CN110704652A (zh) | 基于多重注意力机制的车辆图像细粒度检索方法及装置 | |
| CN114219855A (zh) | 点云法向量的估计方法、装置、计算机设备和存储介质 | |
| CN113793370A (zh) | 三维点云配准方法、装置、电子设备及可读介质 | |
| CN114358133B (zh) | 一种基于语义辅助双目视觉slam检测回环帧的方法 | |
| Gupta et al. | Augmented reality system using lidar point cloud data for displaying dimensional information of objects on mobile phones | |
| CN116844129A (zh) | 多模态特征对齐融合的路侧目标检测方法、***及装置 | |
| CN111161348B (zh) | 一种基于单目相机的物***姿估计方法、装置及设备 | |
| US11468609B2 (en) | Methods and apparatus for generating point cloud histograms | |
| Huang et al. | Multimodal image matching using self similarity | |
| Li et al. | Road-network-based fast geolocalization | |
| US20230053952A1 (en) | Method and apparatus for evaluating motion state of traffic tool, device, and medium | |
| CN115239776B (zh) | 点云的配准方法、装置、设备和介质 | |
| CN116485856A (zh) | 一种基于语义分割的无人机图像地理配准方法及相关设备 | |
| CN117011481A (zh) | 构建三维地图的方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |