CN117456146A - 激光点云拼接方法、装置、介质和设备 - Google Patents

激光点云拼接方法、装置、介质和设备 Download PDF

Info

Publication number
CN117456146A
CN117456146A CN202311764435.9A CN202311764435A CN117456146A CN 117456146 A CN117456146 A CN 117456146A CN 202311764435 A CN202311764435 A CN 202311764435A CN 117456146 A CN117456146 A CN 117456146A
Authority
CN
China
Prior art keywords
point cloud
laser
coordinates
absolute
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311764435.9A
Other languages
English (en)
Other versions
CN117456146B (zh
Inventor
闫臻
吴俊�
毛勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huajian Technology Shenzhen Co ltd
Original Assignee
Huajian Technology Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huajian Technology Shenzhen Co ltd filed Critical Huajian Technology Shenzhen Co ltd
Priority to CN202311764435.9A priority Critical patent/CN117456146B/zh
Publication of CN117456146A publication Critical patent/CN117456146A/zh
Application granted granted Critical
Publication of CN117456146B publication Critical patent/CN117456146B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Software Systems (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种激光点云拼接方法、装置、介质和设备，旨在获取采集到的绝对定位坐标及目标物体的激光点云和全景图像；先基于绝对定位坐标及激光雷达与绝对定位设备之间的标定参数，确定激光雷达在不同采集位置处的绝对激光雷达坐标和激光点云在不同采集位置处的绝对坐标，并对激光点云进行粗匹配和粗拼接。再提取全景图像中的视觉点云，对激光点云和视觉点云进行配准，并根据激光点云的绝对坐标确定视觉点云的绝对坐标。最后提取公共区域的激光和视觉激光点云中的特征点进行激光和视觉特征点匹配，利用匹配结果实现精细拼接。本发明利用了绝对坐标信息同时结合了视觉点云的特征匹配，有效提高了在激光弱特征环境下的拼接精度和效率。

Description

激光点云拼接方法、装置、介质和设备
技术领域
本发明涉及激光点云处理技术领域，尤其是涉及一种激光点云拼接方法、装置、介质和设备。
背景技术
激光同步定位与地图构建（Simultaneous Localization and Mapping，SLAM）在许多领域，如自动驾驶、无人机、增强现实和机器人导航中具有广泛应用。在激光SLAM建图中，长时间的激光点云采集会导致时间漂移，因此需要将数据分块采集并进行拼接。同时，不同数据集中的相同点云在绝对坐标上存在差异，因为SLAM是相对坐标，因此需要进行配准。
传统的激光点云拼接算法通常通过手动拼接或者利用激光或视觉特征点进行配准。然而，在处理大场景数据时，这些传统方式的计算量较大，效率不高，并且可能因存在激光或视觉纹理较弱的区域，导致匹配精度和效果较差，从而造成误匹配的问题。
发明内容
基于此，有必要提供激光点云拼接方法、装置、介质和设备，以解决在处理大场景数据，效率不高，且匹配精度和效果较差的问题。
一种激光点云拼接方法，所述方法包括：
获取采集到的绝对定位坐标及目标物体的激光点云和全景图像；
基于绝对定位坐标及激光雷达与绝对定位设备之间的标定参数，确定激光雷达在不同采集位置处的绝对激光雷达坐标和激光点云在不同采集位置处的绝对坐标，并基于绝对激光雷达坐标对激光点云进行粗匹配和粗拼接；
提取全景图像中的视觉点云，基于激光雷达与全景相机之间的标定参数以及激光点云和视觉点云的公共特征点，对激光点云和视觉点云进行配准，并根据激光点云的绝对坐标确定视觉点云的绝对坐标；
在相邻两个数据集k、j的公共区域，提取激光点云中的几何特征点并对激光点云中的几何特征点进行特征匹配，且提取视觉点云中的几何特征点与纹理特征点并对视觉点云中的几何特征点与纹理特征点进行特征匹配，根据匹配结果确定综合位姿变换矩阵并进行精拼接。
在其中一个实施例中，提取激光点云中的几何特征点，包括：
将激光点云分割为预设段，且计算每段激光点云的曲率；其中，曲率的计算公式为：
上式中，指示目标点，/>指示在目标点预设范围内的近邻激光点云集，/>指示目标点的近邻点；
按照曲率大小对每段激光点云进行排序，并从非地面点中选取曲率最大的预设N个点作为目标物体几何特征点中的边缘点，选取曲率最小的预设N个点作为目标物体几何特征点中的平面点。
在其中一个实施例中，对激光点云中的几何特征点进行特征匹配，包括：
对当前数据集的边缘点，在另一数据集点云中搜索一对匹配点，建立点到线距离最小的约束，表示为：
上式中，指示当前数据集，j指示另一数据集；
对当前数据集的平面点，在另一数据集点云中搜索3个匹配点，建立点到面距离最小的约束，表示为：
基于几何特征点构建目标方程，表示为：
上式中，为两数据集间的位姿变换矩阵；
通过列文伯格-马夸尔特算法迭代优化目标方程，以对两数据集k、j间的几何特征点进行特征匹配，获取两数据集间的第一位姿变换矩阵Tr。
在其中一个实施例中，所述提取视觉点云中的几何特征点与纹理特征点并对视觉点云中的几何特征点与纹理特征点进行特征匹配，包括：
相邻数据集k、j公共区域的视觉点云中分别提取几何特征点与纹理特征点，并采用基于距离的特征匹配算法进行特征匹配，获取相邻数据集k、j间的第二位姿变换矩阵Tc。
在其中一个实施例中，所述根据匹配结果确定综合位姿变换矩阵并进行精拼接，包括：
根据第一位姿变换矩阵Tr和第二位姿变换矩阵Tc，计算综合位姿变换矩阵T，表示为：
上式中，，/>；
基于位姿变换矩阵T对相邻数据集k、j激光点云进行点云精拼接，计算并统计公共区域同名点云的拼接误差，通过调节参数，使得拼接误差的均方根误差rms最小。
在其中一个实施例中，基于绝对定位坐标及激光雷达与绝对定位设备之间的标定参数，确定激光雷达在不同采集位置处的绝对激光雷达坐标和激光点云在不同采集位置处的绝对坐标，并基于绝对激光雷达坐标对激光点云进行粗匹配和粗拼接，包括：
在每个采集位置处的激光点云集内，基于在采集激光点云时所同步采集的绝对定位坐标及激光雷达与绝对定位设备之间的标定参数，将相对激光雷达坐标和激光雷达的相对坐标转换为世界坐标系下所对应的绝对激光雷达坐标和绝对坐标，以得到不同采集位置处的绝对激光雷达坐标和绝对坐标；
基于不同采集位置处的绝对激光雷达坐标及对应采集位置处采集的激光点云进行特征提取、特征匹配、坐标变换和点云拼接，以实现粗匹配和粗拼接。
在其中一个实施例中，所述方法，还包括：
在对绝对定位设备进行标定时，获取采集到的绝对定位坐标作为参考数据，并使用标定工具进行绝对定位设备的内参标定，估计绝对定位设备的天线与预设固定点之间的旋转矩阵，并进行误差校正和参数调整，以实现绝对定位设备的外参标定；
在对激光雷达进行标定时，在已知位置和姿态下采集激光雷达对已知标定目标的扫描数据，记录标定目标的真实世界坐标，并使用标定工具进行激光雷达的内参标定，估计激光雷达相对于预设固定点的位置和方向，并进行误差校正和参数调整，以实现激光雷达的外参标定；
在对全景相机进行标定时，采集已知标定目标图像，记录已知标定目标的真实世界坐标，并使用标定工具进行全景相机的内参标定，估计全景相机相对于预设固定点的位置和方向，并进行误差校正和参数调整，以实现全景相机的外参标定。
一种激光点云拼接装置，所述装置包括：
数据采集模块，用于获取采集到的绝对定位坐标及目标物体的激光点云和全景图像；
粗匹配和粗拼接模块，用于基于绝对定位坐标及激光雷达与绝对定位设备之间的标定参数，确定激光雷达在不同采集位置处的绝对激光雷达坐标和激光点云在不同采集位置处的绝对坐标，并基于绝对激光雷达坐标对激光点云进行粗匹配和粗拼接；
提取全景图像中的视觉点云，基于激光雷达与全景相机之间的标定参数以及激光点云和视觉点云的公共特征点，对激光点云和视觉点云进行配准，并根据激光点云的绝对坐标确定视觉点云的绝对坐标；
精匹配和精拼接模块，用于在相邻两个数据集k、j的公共区域，提取激光点云中的几何特征点并对激光点云中的几何特征点进行特征匹配，且提取视觉点云中的几何特征点与纹理特征点并对视觉点云中的几何特征点与纹理特征点进行特征匹配，根据匹配结果确定综合位姿变换矩阵并进行精拼接。
一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述激光点云拼接方法的步骤：
一种激光点云拼接设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述激光点云拼接方法的步骤：
本发明提供了激光点云拼接方法、装置、介质和设备，包括获取采集到的绝对定位坐标及目标物体的激光点云和全景图像；先基于绝对定位坐标及激光雷达与绝对定位设备之间的标定参数，确定激光雷达在不同采集位置处的绝对激光雷达坐标和激光点云在不同采集位置处的绝对坐标，并对激光点云进行粗匹配和粗拼接，由于引入了绝对定位坐标，点云之间直接的相互关系就会与真实空间大致对应，从而可快速实现粗匹配和粗拼接。再提取全景图像中的视觉点云，对激光点云和视觉点云进行配准，并根据激光点云的绝对坐标确定视觉点云的绝对坐标。最后提取公共区域的激光和视觉激光点云中的特征点，进行激光和视觉特征点匹配，利用匹配结果实现精细拼接。由于利用了绝对坐标信息，同时结合了视觉点云的特征匹配，提高了在激光弱特征环境下的拼接精度，有效提高了激光点云拼接的效率和准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
其中：
图1为激光点云拼接方法的流程示意图；
图2为激光点云拼接装置的结构示意图；
图3为激光点云拼接设备的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
如图1所示，图1为一个实施例中激光点云拼接方法的流程示意图，本实施例中激光点云拼接方法提供的步骤包括：
S101，获取采集到的绝对定位坐标及目标物体的激光点云和全景图像。
具体的来说，绝对定位坐标可以是基于实时定位（Real-Time Kinematic，RTK）技术采集到的数据，该技术是一种高精度的全球定位***（Global Navigation SatelliteSystem ，GNSS）技术。它通过使用参考站和移动站之间的数据差异来提供关于绝对定位设备的高精度位置信息。
激光点云是由大量点构成的集合，每个点都有三维坐标（X、Y、Z）以及可能的属性信息（如颜色、强度等）。激光点云由激光雷达扫描获取，用于表示场景的三维结构。
全景图像是一种覆盖整个可见场景的图像，通常包括水平和垂直方向上的所有视角，由全景相机拍摄并拼接得到。
在一个具体实施例中，在获取上述数据之前，还需对采集设备进行标定，以确保数据的准确性：
在对绝对定位设备进行标定时，在已知位置停放车辆或机器人，获取采集到的绝对定位坐标作为参考数据，并使用标定工具（如ROS中的calibration工具包）进行绝对定位设备的内参标定，包括接收器位置、天线安装位置和姿态信息。同时估计绝对定位设备的天线与预设固定点（例如车辆底座）之间的旋转矩阵，并进行误差校正和参数调整，以实现绝对定位设备的外参标定。
在对激光雷达进行标定时，在已知位置和姿态下采集激光雷达对已知标定目标的扫描数据，记录标定目标的真实世界坐标，并使用标定工具进行激光雷达的内参标定，包括激光雷达的角度分辨率和偏移参数。同时估计激光雷达相对于预设固定点（例如车辆底座）的位置和方向，并进行误差校正和参数调整，以实现激光雷达的外参标定。
在对全景相机进行标定时，采集已知标定目标图像，记录已知标定目标的真实世界坐标，并使用标定工具（如OpenCV的相机标定工具）进行全景相机的内参标定，估计全景相机相对于预设固定点（例如车辆底座）的位置和方向，并进行误差校正和参数调整，以实现全景相机的外参标定。
在一个具体实施中，在获取到所需的采集数据之后，还对采集到的激光点云进行预处理，包括去除离群点和降采样，以减少数据量、提高匹配效率。
S102，基于绝对定位坐标及激光雷达与绝对定位设备之间的标定参数，确定激光雷达在不同采集位置处的绝对激光雷达坐标和激光点云在不同采集位置处的绝对坐标，并基于绝对激光雷达坐标对激光点云进行粗匹配和粗拼接。
在一个具体实施例中，在每个采集位置处的激光点云集内，基于在采集激光点云时所同步采集的绝对定位坐标及激光雷达与绝对定位设备之间的标定参数，将相对激光雷达坐标和激光雷达的相对坐标转换为世界坐标系下所对应的绝对激光雷达坐标和绝对坐标，以得到不同采集位置处的绝对激光雷达坐标和绝对坐标。这样做的目的是为了确保不同采集位置下的激光点云和激光雷达可以准确地对齐在同一个全局坐标系中，以便后续进行更精确的应用。
基于不同采集位置处的绝对激光雷达坐标及对应采集位置处采集的激光点云进行特征提取、特征匹配、坐标变换和点云拼接，以实现粗匹配和粗拼接。
本步骤在引入了绝对定位坐标后，可以获取到世界坐标系下不同采集位置处的绝对激光雷达坐标和激光点云的绝对坐标，因此，即使是不同时段采集的数据集，坐标系是统一的绝对坐标。在直接将点云按照该世界坐标系展开后，点云之间直接的相互关系就会与真实空间大致对应，从而可快速实现粗匹配和粗拼接。
S103，提取全景图像中的视觉点云，基于激光雷达与全景相机之间的标定参数以及激光点云和视觉点云的公共特征点，对激光点云和视觉点云进行配准，并根据激光点云的绝对坐标确定视觉点云的绝对坐标。
本步骤中从两种点云中提取一些具有代表性和区分性的点作为公共特征点，以表征两种点云之间的对应关系。这些公共特征点可以是几何特征，如边缘、角点、曲率等。接着通过寻找最优的旋转和平移变换，使得两种点云之间的公共特征点尽可能地重合，从而实现两种点云的对齐和融合。最后通过配准后的变换矩阵，将视觉点云的相对坐标转换为绝对坐标，即与激光点云在同一坐标系下的坐标。这样可以保证两种点云的一致性和准确性。
S104，在相邻两个数据集k、j的公共区域，提取激光点云中的几何特征点并对激光点云中的几何特征点进行特征匹配，且提取视觉点云中的几何特征点与纹理特征点并对视觉点云中的几何特征点与纹理特征点进行特征匹配，根据匹配结果确定综合位姿变换矩阵并进行精拼接。
在一个具体实施例中，提取激光点云中的几何特征点的步骤具体包括：为了保证特征点分布均匀，将每帧激光点云分割为预设段，其中具体数量可根据实际需求自行设定，且计算每段激光点云的曲率；其中，曲率的计算公式为：
，
上式中，指示目标点，/>指示在目标点预设范围内的近邻激光点云集，/>指示目标点的近邻点；
接着按照曲率大小对每段激光点云进行排序，先判断当前点是否被标记为地面点，并从非地面点中选取曲率最大的预设N个点作为目标物体几何特征点中的边缘点，选取曲率最小的预设N个点作为目标物体几何特征点中的平面点。
在一个具体实施例中，对激光点云中的几何特征点进行特征匹配，包括：先对边缘点采用点到线的特征匹配方法，具体的，对当前数据集的边缘点，在另一数据集中搜索一对匹配点/>，建立点到线距离最小的约束，表示为：
上式中，指示当前数据集，/>指示另一数据集；
再对平面点采用点到面的特征匹配方法，具体的，对当前数据集的平面点，在另一数据集中搜索3个匹配点/>，建立点到面距离最小的约束，表示为：
进一步的，基于几何特征点构建目标方程，表示为：
上式中，为两数据集间的位姿变换；
最后，通过列文伯格-马夸尔特（Levenberg-Marquardt Algorithm，L-M）算法迭代优化目标方程，以对两数据集k、j间的几何特征点进行特征匹配，获取两数据集间的第一位姿变换矩阵Tr。其中，L-M算法是一种非线性最小二乘问题的优化算法，用于解决参数估计和拟合问题。它结合了梯度下降和高斯-牛顿法的优点，可以高效地处理非线性优化问题。
在一个具体实施例中，提取视觉点云中的几何特征点与纹理特征点并对视觉点云中的几何特征点与纹理特征点进行特征匹配，包括：相邻数据集k、j公共区域的视觉点云中分别提取几何特征点与纹理特征点，并采用基于距离的特征匹配算法进行特征匹配，获取相邻数据集k、j间的第二位姿变换矩阵Tc。
本步骤中对于公共区域的视觉点云，分别提取几何特征点和纹理特征点。对于提取出的几何特征点和纹理特征点，采用基于距离的特征匹配算法进行特征匹配。基于距离的特征匹配算法是指根据特征点的描述向量之间的距离来判断特征点之间的相似性，常用的距离有欧氏距离、汉明距离、余弦距离等。通过特征匹配，可以获取相邻数据集k和j之间的第二位姿变换矩阵Tc，表示从数据集k到数据集j的旋转和平移变换。
在一个具体实施例中，根据匹配结果确定综合位姿变换矩阵并进行精拼接，包括：
根据第一位姿变换矩阵Tr和第二位姿变换矩阵Tc，计算综合位姿变换矩阵T，表示为：
上式中，，/>；
基于位姿变换矩阵T对相邻数据集k、j激光点云进行点云精拼接，计算并统计公共区域同名点云的拼接误差，通过调节参数，使得拼接误差的均方根误差rms最小。
上述激光点云拼接方法，包括获取采集到的绝对定位坐标及目标物体的激光点云和全景图像；先基于绝对定位坐标及激光雷达与绝对定位设备之间的标定参数，确定激光雷达在不同采集位置处的绝对激光雷达坐标和激光点云在不同采集位置处的绝对坐标，并对激光点云进行粗匹配和粗拼接，由于引入了绝对定位坐标，点云之间直接的相互关系就会与真实空间大致对应，从而可快速实现粗匹配和粗拼接。再提取全景图像中的视觉点云，对激光点云和视觉点云进行配准，并根据激光点云的绝对坐标确定视觉点云的绝对坐标。最后提取公共区域的激光和视觉激光点云中的特征点，进行激光和视觉特征点匹配，利用匹配结果实现精细拼接。由于利用了绝对坐标信息，同时结合了视觉点云的特征匹配，提高了在激光弱特征环境下的拼接精度，有效提高了激光点云拼接的效率和准确性。
在一个实施例中，如图2所示，提出了一种激光点云拼接装置，该装置包括：
数据采集模块201，用于获取采集到的绝对定位坐标及目标物体的激光点云和全景图像；
粗匹配和粗拼接模块202，用于基于绝对定位坐标及激光雷达与绝对定位设备之间的标定参数，确定激光雷达在不同采集位置处的绝对激光雷达坐标和激光点云在不同采集位置处的绝对坐标，并基于绝对激光雷达坐标对激光点云进行粗匹配和粗拼接；
精匹配和精拼接模块203，用于提取全景图像中的视觉点云，基于激光雷达与全景相机之间的标定参数以及激光点云和视觉点云的公共特征点，对激光点云和视觉点云进行配准，并根据激光点云的绝对坐标确定视觉点云的绝对坐标；
在相邻两个数据集k、j的公共区域，提取激光点云中的几何特征点并对激光点云中的几何特征点进行特征匹配，且提取视觉点云中的几何特征点与纹理特征点并对视觉点云中的几何特征点与纹理特征点进行特征匹配，根据匹配结果确定综合位姿变换矩阵并进行精拼接。
图3示出了一个实施例中激光点云拼接设备的内部结构图。如图3所示，该激光点云拼接设备包括通过***总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该激光点云拼接设备的非易失性存储介质存储有操作***，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现激光点云拼接方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行激光点云拼接方法。本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的激光点云拼接设备的限定，具体的激光点云拼接设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现如下步骤：基于绝对定位坐标及激光雷达与绝对定位设备之间的标定参数，确定激光雷达在不同采集位置处的绝对激光雷达坐标和激光点云在不同采集位置处的绝对坐标，并基于绝对激光雷达坐标对激光点云进行粗匹配和粗拼接；提取全景图像中的视觉点云，基于激光雷达与全景相机之间的标定参数以及激光点云和视觉点云的公共特征点，对激光点云和视觉点云进行配准，并根据激光点云的绝对坐标确定视觉点云的绝对坐标；在相邻两个数据集k、j的公共区域，提取激光点云中的几何特征点并对激光点云中的几何特征点进行特征匹配，且提取视觉点云中的几何特征点与纹理特征点并对视觉点云中的几何特征点与纹理特征点进行特征匹配，根据匹配结果确定综合位姿变换矩阵并进行精拼接。
一种激光点云拼接设备，包括存储器、处理器以及存储在该存储器中并可在该处理器上执行的计算机程序，该处理器执行该计算机程序时实现如下步骤：基于绝对定位坐标及激光雷达与绝对定位设备之间的标定参数，确定激光雷达在不同采集位置处的绝对激光雷达坐标和激光点云在不同采集位置处的绝对坐标，并基于绝对激光雷达坐标对激光点云进行粗匹配和粗拼接；提取全景图像中的视觉点云，基于激光雷达与全景相机之间的标定参数以及激光点云和视觉点云的公共特征点，对激光点云和视觉点云进行配准，并根据激光点云的绝对坐标确定视觉点云的绝对坐标；在相邻两个数据集k、j的公共区域，提取激光点云中的几何特征点并对激光点云中的几何特征点进行特征匹配，且提取视觉点云中的几何特征点与纹理特征点并对视觉点云中的几何特征点与纹理特征点进行特征匹配，根据匹配结果确定综合位姿变换矩阵并进行精拼接。
需要说明的是，上述激光点云拼接方法、装置、设备及计算机可读存储介质属于一个总的发明构思，激光点云拼接方法、装置、设备及计算机可读存储介质实施例中的内容可相互适用。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种激光点云拼接方法，其特征在于，所述方法包括：
获取采集到的绝对定位坐标及目标物体的激光点云和全景图像；
基于绝对定位坐标及激光雷达与绝对定位设备之间的标定参数，确定激光雷达在不同采集位置处的绝对激光雷达坐标和激光点云在不同采集位置处的绝对坐标，并基于绝对激光雷达坐标对激光点云进行粗匹配和粗拼接；
提取全景图像中的视觉点云，基于激光雷达与全景相机之间的标定参数以及激光点云和视觉点云的公共特征点，对激光点云和视觉点云进行配准，并根据激光点云的绝对坐标确定视觉点云的绝对坐标；
在相邻两个数据集k、j的公共区域，提取激光点云中的几何特征点并对激光点云中的几何特征点进行特征匹配，且提取视觉点云中的几何特征点与纹理特征点并对视觉点云中的几何特征点与纹理特征点进行特征匹配，根据匹配结果确定综合位姿变换矩阵并进行精拼接。
2.根据权利要求1所述的方法，其特征在于，提取激光点云中的几何特征点，包括：
将激光点云分割为预设段，且计算每段激光点云的曲率；其中，曲率的计算公式为：
上式中，指示目标点，/>指示在目标点预设范围内的近邻激光点云集，/>指示目标点的近邻点；
按照曲率大小对每段激光点云进行排序，并从非地面点中选取曲率最大的预设N个点作为目标物体几何特征点中的边缘点，选取曲率最小的预设N个点作为目标物体几何特征点中的平面点。
3.根据权利要求2所述的方法，其特征在于，对激光点云中的几何特征点进行特征匹配，包括：
对当前数据集的边缘点，在另一数据集点云中搜索一对匹配点/>，建立点到线距离最小的约束，表示为：
上式中，指示当前数据集，j指示另一数据集；
对当前数据集的平面点，在另一数据集点云中搜索3个匹配点，建立点到面距离最小的约束，表示为：
基于几何特征点构建目标方程，表示为：
上式中，为两数据集间的位姿变换矩阵；
通过列文伯格-马夸尔特算法迭代优化目标方程，以对两数据集k、j间的几何特征点进行特征匹配，获取两数据集间的第一位姿变换矩阵Tr。
4.根据权利要求3所述的方法，其特征在于，所述提取视觉点云中的几何特征点与纹理特征点并对视觉点云中的几何特征点与纹理特征点进行特征匹配，包括：
相邻数据集k、j公共区域的视觉点云中分别提取几何特征点与纹理特征点，并采用基于距离的特征匹配算法进行特征匹配，获取相邻数据集k、j间的第二位姿变换矩阵Tc。
5.根据权利要求4所述的方法，其特征在于，所述根据匹配结果确定综合位姿变换矩阵并进行精拼接，包括：
根据第一位姿变换矩阵Tr和第二位姿变换矩阵Tc，计算综合位姿变换矩阵T，表示为：
上式中，，/>；
基于位姿变换矩阵T对相邻数据集k、j激光点云进行点云精拼接，计算并统计公共区域同名点云的拼接误差，通过调节参数，使得拼接误差的均方根误差rms最小。
6.根据权利要求1所述的方法，其特征在于，基于绝对定位坐标及激光雷达与绝对定位设备之间的标定参数，确定激光雷达在不同采集位置处的绝对激光雷达坐标和激光点云在不同采集位置处的绝对坐标，并基于绝对激光雷达坐标对激光点云进行粗匹配和粗拼接，包括：
在每个采集位置处的激光点云集内，基于在采集激光点云时所同步采集的绝对定位坐标及激光雷达与绝对定位设备之间的标定参数，将相对激光雷达坐标和激光雷达的相对坐标转换为世界坐标系下所对应的绝对激光雷达坐标和绝对坐标，以得到不同采集位置处的绝对激光雷达坐标和绝对坐标；
基于不同采集位置处的绝对激光雷达坐标及对应采集位置处采集的激光点云进行特征提取、特征匹配、坐标变换和点云拼接，以实现粗匹配和粗拼接。
7.根据权利要求1所述的方法，其特征在于，所述方法，还包括：
在对绝对定位设备进行标定时，获取采集到的绝对定位坐标作为参考数据，并使用标定工具进行绝对定位设备的内参标定，估计绝对定位设备的天线与预设固定点之间的旋转矩阵，并进行误差校正和参数调整，以实现绝对定位设备的外参标定；
在对激光雷达进行标定时，在已知位置和姿态下采集激光雷达对已知标定目标的扫描数据，记录标定目标的真实世界坐标，并使用标定工具进行激光雷达的内参标定，估计激光雷达相对于预设固定点的位置和方向，并进行误差校正和参数调整，以实现激光雷达的外参标定；
在对全景相机进行标定时，采集已知标定目标图像，记录已知标定目标的真实世界坐标，并使用标定工具进行全景相机的内参标定，估计全景相机相对于预设固定点的位置和方向，并进行误差校正和参数调整，以实现全景相机的外参标定。
8.一种激光点云拼接装置，其特征在于，所述装置包括：
数据采集模块，用于获取采集到的绝对定位坐标及目标物体的激光点云和全景图像；
粗匹配和粗拼接模块，用于基于绝对定位坐标及激光雷达与绝对定位设备之间的标定参数，确定激光雷达在不同采集位置处的绝对激光雷达坐标和激光点云在不同采集位置处的绝对坐标，并基于绝对激光雷达坐标对激光点云进行粗匹配和粗拼接；
精匹配和精拼接模块，用于提取全景图像中的视觉点云，基于激光雷达与全景相机之间的标定参数以及激光点云和视觉点云的公共特征点，对激光点云和视觉点云进行配准，并根据激光点云的绝对坐标确定视觉点云的绝对坐标；
在相邻两个数据集k、j的公共区域，提取激光点云中的几何特征点并对激光点云中的几何特征点进行特征匹配，且提取视觉点云中的几何特征点与纹理特征点并对视觉点云中的几何特征点与纹理特征点进行特征匹配，根据匹配结果确定综合位姿变换矩阵并进行精拼接。
9.一种计算机可读存储介质，其特征在于，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行如权利要求1至7中任一项所述方法的步骤。
10.一种激光点云拼接设备，其特征在于，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行如权利要求1至7中任一项所述方法的步骤。
CN202311764435.9A 2023-12-21 2023-12-21 激光点云拼接方法、装置、介质和设备 Active CN117456146B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311764435.9A CN117456146B (zh) 2023-12-21 2023-12-21 激光点云拼接方法、装置、介质和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311764435.9A CN117456146B (zh) 2023-12-21 2023-12-21 激光点云拼接方法、装置、介质和设备

Publications (2)

Publication Number Publication Date
CN117456146A true CN117456146A (zh) 2024-01-26
CN117456146B CN117456146B (zh) 2024-04-12

Family

ID=89593234

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311764435.9A Active CN117456146B (zh) 2023-12-21 2023-12-21 激光点云拼接方法、装置、介质和设备

Country Status (1)

Country Link
CN (1) CN117456146B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107093210A (zh) * 2017-04-20 2017-08-25 北京图森未来科技有限公司 一种激光点云标注方法及装置
CN110473239A (zh) * 2019-08-08 2019-11-19 刘秀萍 一种三维激光扫描的高精度点云配准方法
US20210192788A1 (en) * 2019-12-18 2021-06-24 Motional Ad Llc Camera-to-lidar calibration and validation
CN114140539A (zh) * 2021-11-30 2022-03-04 建科公共设施运营管理有限公司 一种室内物体的位置获取方法和装置
CN116152310A (zh) * 2022-11-28 2023-05-23 武汉船舶通信研究所（中国船舶重工集团公司第七二二研究所） 基于多源融合的点云配准方法、***、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107093210A (zh) * 2017-04-20 2017-08-25 北京图森未来科技有限公司 一种激光点云标注方法及装置
US20180308283A1 (en) * 2017-04-20 2018-10-25 TuSimple Method and device of labeling laser point cloud
CN110473239A (zh) * 2019-08-08 2019-11-19 刘秀萍 一种三维激光扫描的高精度点云配准方法
US20210192788A1 (en) * 2019-12-18 2021-06-24 Motional Ad Llc Camera-to-lidar calibration and validation
CN114140539A (zh) * 2021-11-30 2022-03-04 建科公共设施运营管理有限公司 一种室内物体的位置获取方法和装置
CN116152310A (zh) * 2022-11-28 2023-05-23 武汉船舶通信研究所（中国船舶重工集团公司第七二二研究所） 基于多源融合的点云配准方法、***、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
胡加涛;吴晓红;何小海;王正勇;龚剑;: "一种基于几何特征由粗到细点云配准算法", 科学技术与工程, no. 05, 18 February 2020 (2020-02-18), pages 1948 - 1951 *

Also Published As

Publication number Publication date
CN117456146B (zh) 2024-04-12

Similar Documents

Publication Publication Date Title
CN110033489B (zh) 一种车辆定位准确性的评估方法、装置及设备
US9799139B2 (en) Accurate image alignment to a 3D model
US8059887B2 (en) System and method for providing mobile range sensing
CN105300362B (zh) 一种应用于rtk接收机的摄影测量方法
Moussa et al. An automatic procedure for combining digital images and laser scanner data
CN109949232B (zh) 图像与rtk结合的测量方法、***、电子设备及介质
CN112767461A (zh) 激光点云与序列全景影像自动配准方法
JP2006234703A (ja) 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム
Liu et al. A novel adjustment model for mosaicking low-overlap sweeping images
KR20230003803A (ko) 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법
JP2024527156A (ja) 最適輸送およびエピポーラ幾何学に基づく画像処理のためのシステムならびに方法
CN113947638A (zh) 鱼眼相机影像正射纠正方法
CN116295279A (zh) 一种基于无人机遥感的建筑测绘方法及无人机
Kang et al. An automatic mosaicking method for building facade texture mapping using a monocular close-range image sequence
Zhang et al. An overlap-free calibration method for LiDAR-camera platforms based on environmental perception
Habib et al. Linear features in photogrammetric activities
CN117456146B (zh) 激光点云拼接方法、装置、介质和设备
Deng et al. Automatic true orthophoto generation based on three-dimensional building model using multiview urban aerial images
Shin et al. Algorithms for multi‐sensor and multi‐primitive photogrammetric triangulation
Berveglieri et al. Multi-scale matching for the automatic location of control points in large scale aerial images using terrestrial scenes
Elaksher Automatic line matching across multiple views based on geometric and radiometric properties
CN117470280B (zh) 激光slam实时精度评估方法、装置、介质和设备
Zhang et al. Registration of CBERS-02B satellite imagery in quick GIS updating
Lee et al. Comparison of terrestrial laser scanner with digital aerial photogrammetry for extracting ridges in the rice paddies
Canaz et al. Photogrammetric features for the registration of terrestrial laser scans with minimum overlap

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant