CN117036447A - 基于多传感器融合的室内场景稠密三维重建方法及装置 - Google Patents
基于多传感器融合的室内场景稠密三维重建方法及装置 Download PDFInfo
- Publication number
- CN117036447A CN117036447A CN202310964130.6A CN202310964130A CN117036447A CN 117036447 A CN117036447 A CN 117036447A CN 202310964130 A CN202310964130 A CN 202310964130A CN 117036447 A CN117036447 A CN 117036447A
- Authority
- CN
- China
- Prior art keywords
- data
- odometer
- imu
- visual
- radar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000004927 fusion Effects 0.000 title claims abstract description 31
- 230000000007 visual effect Effects 0.000 claims abstract description 76
- 238000013507 mapping Methods 0.000 claims abstract description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 68
- 230000010354 integration Effects 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 206010034719 Personality change Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多传感器融合的室内场景稠密三维重建方法及装置，方法包括根据IMU数据得到IMU里程计；利用IMU数据对雷达数据进行校正，并根据相邻校正后的雷达数据得到雷达里程计；将IMU里程计作为初始化参数，根据视觉数据得到视觉初始位姿，并引入历史全局三维地图对视觉初始位姿进行优化得到视觉里程计；根据雷达数据和视觉数据提取稠密平面点云，转换雷达数据的点云和稠密平面点云得到三维模型，基于匹配雷达里程计和视觉里程计确定三维模型中各点云在视觉数据中的像素，将对应像素的像素值映射至三维模型上得到新的全局三维地图。本发明使用视觉数据、IMU数据和雷达数据，稳定有效地建立高精度室内场景全局三维地图。
Description
技术领域
本发明属于三维重建技术领域，具体涉及一种基于多传感器融合的室内场景稠密三维重建方法及装置。
背景技术
在智能控制应用领域，如无人机导航、自动驾驶汽车和机器人定位等，三维重建和环境感知是其发展的关键技术。现有的三维重建和环境感知方法通常依赖于单一类型的传感器，如视觉相机、IMU(惯性测量单元)或激光雷达。然而，单一类型的传感器往往存在局限性，如视觉相机在低光环境下性能下降、IMU在长时间运行中积累误差、激光雷达受到物体反射率的影响等。
现有技术如申请号为CN202211305636.8的中国专利文献，公开了一种三维场景重构的方法、装置、设备及存储介质，该方法获取目标场景的图像序列，图像序列包括多个连续图像组；基于当前图像组中的第一图像和第二图像，生成第一图像对应的光流估计图像；基于当前图像组中的第二图像和第三图像，生成第二图像对应的光流估计图像；基于第一图像、第二图像、第一图像对应的光流估计图像以及第二图像对应的光流估计图像进行场景构建，得到与当前图像组对应的构建场景。该方法在传统三维重建基础上，使用光流算法去除场景中的运动物体，但由于视觉受环境影响比较大，因此该方法应用场景具有一定局限性。
现有技术又如申请号为CN202211315512.8的中国专利文献，公开了一种三维场景重建方法、装置、设备及存储介质，该方法根据j个目标图像确定地形层；对至少一目标图像进行语义识别和像素深度估计，得到语义对象；将符合第一预设条件的语义对象作为第一语义对象，根据相机参数确定第一语义对象在地形层的矢量轮廓；将符合第二预设条件的语义对象作为第二语义对象，根据相机参数确定第二语义对象在地形层的建模位置；根据矢量轮廓、建模位置和地形层进行三维重建，得到所述室外场景的三维重建模型。通过自动生成地形层、第一语义对象和第二语义对象，以及自动提取第一语义对象在地形层的矢量轮廓和第二语义对象在地形层的建模位置，提高室外场景三维重建的效率。该方法主要用于室外场景，通过图像轮廓灯信息，确定三维场景环境的地形结构，由于该方法使用图像轮廓信息，使用特征通用性不强，很难应用于不同场景。
现有技术又如申请号为CN202211599959.2的中国专利文献，公开了一种三维场景重建、在线家装与商品获取方法、设备及介质。该方法以第一空间对象对应的图像为基础，通过检测图像中存在的交界线和消影点等2D视觉信息，基于这些2D视觉信息，结合交界线之间以及消影点之间存在的约束关系，得到第一空间对应的3D结构信息，即目标三维模型，在该目标三维模型中可体现第一空间对象对应的真实场景信息，有利于提高基于该三维模型的应用效果，例如在家装场景中，可以提高基于该三维模型的家装搭配效果。由于该方法主要针对室内建筑环境，使用几何结构信息进行三维重构，场景针对性比较强，很难使用于不同环境。
发明内容
本发明的目的在于提供一种基于多传感器融合的室内场景稠密三维重建方法，使用视觉数据、IMU数据和雷达数据，稳定有效地建立高精度室内场景全局三维地图。
为实现上述目的，本发明所采取的技术方案为：
一种基于多传感器融合的室内场景稠密三维重建方法，所述基于多传感器融合的室内场景稠密三维重建方法，包括：
采集雷达数据、IMU数据和视觉数据；
根据IMU数据得到IMU里程计；
利用IMU数据对雷达数据进行校正，并根据相邻校正后的雷达数据得到雷达里程计；
将IMU里程计作为初始化参数，根据视觉数据得到视觉初始位姿，并引入历史全局三维地图对视觉初始位姿进行优化得到视觉里程计；
根据雷达数据和视觉数据提取稠密平面点云，转换雷达数据的点云和稠密平面点云得到三维模型，基于匹配雷达里程计和视觉里程计确定所述三维模型中各点云在视觉数据中的像素，将对应像素的像素值映射至三维模型上得到新的全局三维地图。
以下还提供了若干可选方式，但并不作为对上述总体方案的额外限定，仅仅是进一步的增补或优选，在没有技术或逻辑矛盾的前提下，各可选方式可单独针对上述总体方案进行组合，还可以是多个可选方式之间进行组合。
作为优选，所述根据IMU数据得到IMU里程计，包括：
基于上一帧雷达里程计对应的IMU里程计或上一帧视觉里程计对应的IMU里程计，使用预积分算法得到预设各个时刻的IMU里程计。
作为优选，所述上一帧雷达里程计对应的IMU里程计或上一帧视觉里程计对应的IMU里程计，计算方法包括：
融合上一帧雷达里程计和通过预积分算法得到的对应时刻的IMU里程计，得到上一帧雷达里程计对应的IMU里程计；
或者，融合上一帧视觉里程计和通过预积分算法得到的对应时刻的IMU里程计，得到上一帧视觉里程计对应的IMU里程计。
作为优选，所述利用IMU数据对雷达数据进行校正，包括：
根据IMU数据对雷达数据中的每个点进行时间积分，得到每个点到雷达数据的结束时间的相对位姿变化，并基于相对位姿变化将雷达数据中的每个点投影至结束时间的坐标系上，完成雷达数据的校正。
作为优选，所述根据相邻校正后的雷达数据得到雷达里程计，包括：
提取校正后的雷达数据的特征；
将当前帧和上一帧的雷达数据的特征进行匹配，取匹配成功的点；
基于当前帧匹配成功的点和上一帧的雷达数据提取的平面特征，执行点到平面的残差计算算法，将点到平面的残差计算算法的计算结果作为观测值，IMU里程计作为预测值，使用迭代卡尔曼滤波算法进行迭代计算直到收敛，得到最后优化后的位姿结果作为雷达里程计。
作为优选，所述将IMU里程计作为初始化参数，根据视觉数据得到视觉初始位姿，包括：
获取当前帧图像和上一帧图像，并提取两帧图像的特征点；
在当前帧图像中，根据上一帧图像中已跟踪的特征点的位置搜索相应的特征点；
匹配上一帧的特征点和当前帧图像中搜索到的特征点，取匹配成功的特征点并更新位置信息；
将IMU里程计作为初始值，根据匹配成功的特征点通过BA优化算法来求解PNP问题得到视觉初始位姿。
作为优选，所述引入历史全局三维地图对视觉初始位姿进行优化得到视觉里程计，包括：
获取视觉初始位姿对应的色彩信息；
根据视觉初始位姿获取历史全局三维地图上对应位置的色彩信息；
根据获取的两个色彩信息，采用最小化光度误差算法得到视觉里程计。
作为优选，所述根据雷达数据和视觉数据提取平面点云，包括：
使用图像语义分割算法将视觉数据中属于同一平面的区域分割为同一类别；
利用点云平面检测算法找到雷达数据中属于同一平面的点，并取属于同一平面的点在对应类别的图像数据中对应的像素值；
针对雷达数据中属于同一平面的点，使用插值算法将稀疏的平面点云转化为稠密的平面点云。
作为优选，所述转换雷达数据的点云和稠密平面点云得到三维模型，包括：将雷达数据的点云和稠密平面点云中的所有点转换到全局坐标系下得到三维模型。
本发明提供的一种基于多传感器融合的室内场景稠密三维重建方法，与现有技术相比，具有以下有益效果：
(1)通过融合视觉数据、IMU数据和雷达数据，实现了更高精度和鲁棒性的环境感知。相较于仅使用单一类型的传感器的方法，本发明能够更有效地应对不同环境和条件下的挑战。
(2)使用平面点云的提取方式，无需使用稀疏的激光雷达点云，也能重建稠密的三维模型；使用统一的三维地图，确保了全局三维地图的一致性。在大规模场景中，本发明能够减少累积误差，提高重建结果的准确性；同时还有助于提高数据的利用率，相对现有算法而言，本发明使用较少的采集数据，可以重建稠密三维场景模型。
(3)本发明根据平面点云生成三维模型，并将纹理映射到模型上，这使得三维重建结果具有更丰富的视觉信息，有助于提高用户体验和实际应用价值。
本发明的目的之二在于提供一种基于多传感器融合的室内场景稠密三维重建装置，包括处理器以及存储有若干计算机指令的存储器，所述计算机指令被处理器执行时实现所述基于多传感器融合的室内场景稠密三维重建方法的步骤。
附图说明
图1为本发明的一种基于多传感器融合的室内场景稠密三维重建方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是在于限制本发明。
为了克服现有技术中的问题，本发明提出了一种基于视觉数据、IMU数据和雷达数据的三维重建方法，实现了更高精度和鲁棒性的三维场景重建。由于普通激光雷达的点云是稀疏的，而分辨率高的激光雷达往往价格高。为了提高普通激光雷达三维重建的精度和稠密度，本发明提出基于平面检测的三维重建算法，使用少量的数据就能达到较高的重建精度。
如图1所示，本发明提出的方法的核心思想是通过直接和间接融合三种传感器的数据，实现更高精度和鲁棒性的环境感知。具体来说，本发明包括以下步骤：
(1)传感器标定：分别对视觉—IMU、激光雷达—IMU进行标定，以IMU坐标系为参考，计算视觉相机和激光雷达相对IMU的外参矩阵。
(2)视觉数据获取：通过立体视觉相机获取环境的图像数据。
(3)IMU数据获取：通过IMU获取运动传感器数据，包括加速度、角速度和磁场强度等。
(4)雷达数据获取：通过激光雷达获取环境的点云数据，包括三维坐标和反射率信息。
(5)里程计估计：通过对雷达数据、视觉数据和IMU数据进行处理，得到基于激光雷达的里程计、基于视觉的里程计和基于IMU的里程计输出结果，基于目标的多类型里程计进行三维重建，得到的地图更具准确性和稳定性。
(5.1)针对IMU里程计：根据IMU数据得到IMU里程计。
前向传播：使用预积分算法，得到不同时刻的状态估计。具体的，本实施例基于上一帧雷达里程计对应的IMU里程计或上一帧视觉里程计对应的IMU里程计，使用预积分算法得到预设各个时刻的IMU里程计。这里的各个时刻应理解为后续计算过程中所需的特定时刻。
精度提高：本实施例融合视觉里程计和雷达里程计的状态估计结果，提高IMU状态估计的精度。具体为融合上一帧雷达里程计和通过预积分算法得到的对应时刻的IMU里程计，得到上一帧雷达里程计对应的IMU里程计；或者，融合上一帧视觉里程计和通过预积分算法得到的对应时刻的IMU里程计，得到上一帧视觉里程计对应的IMU里程计。
本实施例对每一帧IMU里程计进行优化，提高前向传播得到的状态估计值的精度，其中的融合算法可以是例如卡尔曼滤波算法，或者其他融合算法。并且通过预积分算法得到的对应时刻的IMU里程计中，预积分算法基于上上一帧的数据执行，对应时刻为上一帧雷达里程计所在时刻或上一帧视觉里程计所在时刻。
(5.2)针对雷达里程计：利用IMU数据对雷达数据进行校正，并根据相邻校正后的雷达数据得到雷达里程计。
数据预处理：对激光雷达采集的原始雷达数据进行预处理，以消除噪声和不需要的数据。预处理方法可以包括滤波、剔除过远或过近的点等操作。
运动补偿校正：在反向传播算法中，根据IMU数据对雷达数据中的每个点进行时间积分，得到每个点到当前帧雷达数据的结束时间的相对位姿变化，并基于相对位姿变化将雷达数据中的每个点投影至结束时间的坐标系上，完成雷达数据的校正。估计的相对姿态变化能够根据扫描中每个单独点的精确采样时间，将所有点投射到扫描结束时间，从而提高激光雷达在一个扫描周期内点云质量。
特征提取：在激光雷达数据中提取特征。对于3D点云数据，常见的特征包括平面、角点、边缘等。特征提取方法包括线段提取(如线段匹配、Split-and-Merge算法)、平面提取(如RANSAC算法)、关键点提取(如ISS(Intrinsic Shape Signatures)算法、Harris 3D算法)等。
特征匹配：将当前帧和上一帧的雷达数据中的特征进行匹配。可以使用描述子(如PFH、FPFH、SHOT等)来描述特征，并利用这些描述子进行特征匹配。为了提高匹配的准确性，可以采用RANSAC等鲁棒性算法来剔除错误匹配对，得到匹配成功的点。
状态估计：基于当前帧匹配成功的点和上一帧的雷达数据提取的平面特征，执行点到平面的残差计算算法(在点到平面的残差计算算法中首先定义点到平面的残差，然后使用LM算法来最小化残差向量得到计算结果，该计算过程为常规技术，本实施例不进行赘述)，将点到平面的残差计算算法的计算结果作为观测值，IMU里程计作为预测值，使用迭代卡尔曼滤波算法进行迭代计算直到收敛，得到最后优化后的位姿结果作为雷达里程计。
(5.3)针对视觉里程计：将IMU里程计作为初始化参数，根据视觉数据得到视觉初始位姿，并引入历史全局三维地图对视觉初始位姿进行优化得到视觉里程计。
初始化：事先对视觉相机进行标定，获取相机内参矩阵。之后，初始化视觉里程计时，从视觉相机捕获两帧图像，并通过一些预处理操作(如降噪、去畸变)来准备图像。
特征提取：在每一帧图像中，提取特征点(如角点、边缘等)。可以使用各种特征提取算法，例如SIFT算法、SURF算法、ORB算法、FAST算法等。
特征点搜索：在当前帧图像中，根据上一帧图像中已跟踪的特征点的位置，搜索相应的特征点。常用的特征点搜索方法有模板匹配、卡尔曼滤波等。
特征点匹配：匹配上一帧的特征点和当前帧图像中搜索到的特征点。可以利用特征描述子来计算特征点间的相似性，并选取最佳匹配。为了提高匹配的准确性，可以采用RANSAC等鲁棒性算法剔除错误匹配。
特征点更新：对于当前帧中已成功匹配的特征点，将其位置更新为当前帧图像中的位置。对于跟踪失败的特征点，可以将其从跟踪列表中移除，并在需要时重新检测新的特征点。
状态估计：将IMU里程计作为优化的初始值，根据匹配成功的特征点通过BA优化算法来求解PNP问题得到视觉初始位姿，具体的求解过程为常规技术，本实施例不进行赘述。
基于光度一致算法优化：最后根据建立的全局彩色地图，使用光度一致算法，提高状态估计的精度。具体基于两个色彩信息实现，获取视觉初始位姿在当前帧图像中对应的色彩信息，根据视觉初始位姿获取历史全局三维地图上对应位置的色彩信息，根据获取的两个色彩信息，采用最小化光度误差算法得到视觉里程计。
(6)基于平面检测算法的稠密点云生成：使用图像语义分割算法(例如FCN算法、U-net算法、SegNet算法、DeepLab算法等)将视觉数据中属于同一平面的区域分割为同一类别；利用点云平面检测算法(例如Hough Tranform算法等)找到雷达数据中属于同一平面的点，并取属于同一平面的点在对应类别的图像数据中对应的像素值。本实施例对两个检测的平面区域进行融合，提高检测精度；然后针对雷达数据中属于同一平面的点，使用插值算法得到空间其他点坐标，从而将稀疏的平面点云转化为稠密的平面点云，减少因为激光雷达扫描点云稀疏而产生空洞问题。
(7)全局三维地图构建：根据不同时刻的状态估计，将上一步得到的稠密的平面点云和雷达数据中的点云转换到全局坐标系下得到三维模型，并对三维模型进行降采样和平滑处理。同时基于匹配雷达里程计和视觉里程计确定三维模型中各点云在视觉数据中的像素，将对应像素的像素值映射至三维模型上得到新的全局三维地图。
本实施例分别计算出雷达和视觉采集时候位姿，然后根据两个数据采集时候的位姿，找到点云在视觉数据中对应的像素的RGB信息，从而对新增点云进行着色。这使得三维重建结果具有更丰富的视觉信息，有助于提高用户体验和实际应用价值。
本实施例基于多传感器数据的直接融合和间接融合，显著提高三维重建的精度和稳定性，具体陈述如下：
多传感器数据直接融合：在IMU的前向传播过程中，通过预积分得到不同时刻粗略状态估计，然后将估计的状态量送入雷达里程计算法中的反向传播，用于补偿由于运动导致的雷达点云失真。在雷达里程计的点到平面残差计算算法和视觉里程计的通过BA优化算法求解PNP问题中，两个算法结果和基于IMU的状态估计结果进行优化融合，得到精准的状态估计。
多传感器数据间接融合：基于视觉里程计和激光雷达里程计算法共同维护一个全局三维地图。利用激光雷达数据和视觉数据构建三维模型，同时利用视觉数据来为点云进行着色，还通过最小化帧到地图的光度误差来直接、有效地融合视觉数据，间接对多个传感器数据进行融合。
在另一个实施例中，本发明还提供了一种基于多传感器融合的室内场景稠密三维重建装置，包括处理器以及存储有若干计算机指令的存储器，所述计算机指令被处理器执行时实现所述基于多传感器融合的室内场景稠密三维重建方法的步骤。
关基于多传感器融合的室内场景稠密三维重建装置的具体限定可以参见上文中对于基于多传感器融合的室内场景稠密三维重建方法的限定，在此不再赘述。
存储器和处理器之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件互相之间可以通过一条或多条通讯总线或信号线实现电性连接。存储器中存储有可在处理器上运行的计算机程序，所述处理器通过运行存储在存储器内的计算机程序，从而实现本发明实施例中的方法。
其中，所述存储器可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器用于存储程序，所述处理器在接收到执行指令后，执行所述程序。
所述处理器可能是一种集成电路芯片，具有数据的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等。可以实现或者执行本发明实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于多传感器融合的室内场景稠密三维重建方法，其特征在于，所述基于多传感器融合的室内场景稠密三维重建方法，包括：
采集雷达数据、IMU数据和视觉数据；
根据IMU数据得到IMU里程计；
利用IMU数据对雷达数据进行校正，并根据相邻校正后的雷达数据得到雷达里程计；
将IMU里程计作为初始化参数，根据视觉数据得到视觉初始位姿，并引入历史全局三维地图对视觉初始位姿进行优化得到视觉里程计；
根据雷达数据和视觉数据提取稠密平面点云，转换雷达数据的点云和稠密平面点云得到三维模型，基于匹配雷达里程计和视觉里程计确定所述三维模型中各点云在视觉数据中的像素，将对应像素的像素值映射至三维模型上得到新的全局三维地图。
2.如权利要求1所述的基于多传感器融合的室内场景稠密三维重建方法，其特征在于，所述根据IMU数据得到IMU里程计，包括：
基于上一帧雷达里程计对应的IMU里程计或上一帧视觉里程计对应的IMU里程计，使用预积分算法得到预设各个时刻的IMU里程计。
3.如权利要求2所述的基于多传感器融合的室内场景稠密三维重建方法，其特征在于，所述上一帧雷达里程计对应的IMU里程计或上一帧视觉里程计对应的IMU里程计，计算方法包括：
融合上一帧雷达里程计和通过预积分算法得到的对应时刻的IMU里程计，得到上一帧雷达里程计对应的IMU里程计；
或者，融合上一帧视觉里程计和通过预积分算法得到的对应时刻的IMU里程计，得到上一帧视觉里程计对应的IMU里程计。
4.如权利要求1所述的基于多传感器融合的室内场景稠密三维重建方法，其特征在于，所述利用IMU数据对雷达数据进行校正，包括：
根据IMU数据对雷达数据中的每个点进行时间积分，得到每个点到雷达数据的结束时间的相对位姿变化，并基于相对位姿变化将雷达数据中的每个点投影至结束时间的坐标系上，完成雷达数据的校正。
5.如权利要求1所述的基于多传感器融合的室内场景稠密三维重建方法，其特征在于，所述根据相邻校正后的雷达数据得到雷达里程计，包括：
提取校正后的雷达数据的特征；
将当前帧和上一帧的雷达数据的特征进行匹配，取匹配成功的点；
基于当前帧匹配成功的点和上一帧的雷达数据提取的平面特征，执行点到平面的残差计算算法，将点到平面的残差计算算法的计算结果作为观测值，IMU里程计作为预测值，使用迭代卡尔曼滤波算法进行迭代计算直到收敛，得到最后优化后的位姿结果作为雷达里程计。
6.如权利要求1所述的基于多传感器融合的室内场景稠密三维重建方法，其特征在于，所述将IMU里程计作为初始化参数，根据视觉数据得到视觉初始位姿，包括：
获取当前帧图像和上一帧图像，并提取两帧图像的特征点；
在当前帧图像中，根据上一帧图像中已跟踪的特征点的位置搜索相应的特征点；
匹配上一帧的特征点和当前帧图像中搜索到的特征点，取匹配成功的特征点并更新位置信息；
将IMU里程计作为初始值，根据匹配成功的特征点通过BA优化算法来求解PNP问题得到视觉初始位姿。
7.如权利要求1所述的基于多传感器融合的室内场景稠密三维重建方法，其特征在于，所述引入历史全局三维地图对视觉初始位姿进行优化得到视觉里程计，包括：
获取视觉初始位姿对应的色彩信息；
根据视觉初始位姿获取历史全局三维地图上对应位置的色彩信息；
根据获取的两个色彩信息，采用最小化光度误差算法得到视觉里程计。
8.如权利要求1所述的基于多传感器融合的室内场景稠密三维重建方法，其特征在于，所述根据雷达数据和视觉数据提取平面点云，包括：
使用图像语义分割算法将视觉数据中属于同一平面的区域分割为同一类别；
利用点云平面检测算法找到雷达数据中属于同一平面的点，并取属于同一平面的点在对应类别的图像数据中对应的像素值；
针对雷达数据中属于同一平面的点，使用插值算法将稀疏的平面点云转化为稠密的平面点云。
9.如权利要求1所述的基于多传感器融合的室内场景稠密三维重建方法，其特征在于，所述转换雷达数据的点云和稠密平面点云得到三维模型，包括：将雷达数据的点云和稠密平面点云中的所有点转换到全局坐标系下得到三维模型。
10.一种基于多传感器融合的室内场景稠密三维重建装置，包括处理器以及存储有若干计算机指令的存储器，其特征在于，所述计算机指令被处理器执行时实现权利要求1至权利要求9中任意一项所述基于多传感器融合的室内场景稠密三维重建方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310964130.6A CN117036447A (zh) | 2023-08-01 | 2023-08-01 | 基于多传感器融合的室内场景稠密三维重建方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310964130.6A CN117036447A (zh) | 2023-08-01 | 2023-08-01 | 基于多传感器融合的室内场景稠密三维重建方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117036447A true CN117036447A (zh) | 2023-11-10 |
Family
ID=88640575
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310964130.6A Pending CN117036447A (zh) | 2023-08-01 | 2023-08-01 | 基于多传感器融合的室内场景稠密三维重建方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117036447A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117523105A (zh) * | 2023-11-24 | 2024-02-06 | 哈工大郑州研究院 | 激光雷达和多相机数据融合的三维场景重建方法 |
-
2023
- 2023-08-01 CN CN202310964130.6A patent/CN117036447A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117523105A (zh) * | 2023-11-24 | 2024-02-06 | 哈工大郑州研究院 | 激光雷达和多相机数据融合的三维场景重建方法 |
| CN117523105B (zh) * | 2023-11-24 | 2024-05-28 | 哈工大郑州研究院 | 激光雷达和多相机数据融合的三维场景重建方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110223348B (zh) | 基于rgb-d相机的机器人场景自适应位姿估计方法 | |
| CN108319655B (zh) | 用于生成栅格地图的方法和装置 | |
| CN109166149B (zh) | 一种融合双目相机与imu的定位与三维线框结构重建方法与*** | |
| WO2020223974A1 (zh) | 更新地图的方法及移动机器人 | |
| Huang | Review on LiDAR-based SLAM techniques | |
| US8199977B2 (en) | System and method for extraction of features from a 3-D point cloud | |
| CN110176032B (zh) | 一种三维重建方法及装置 | |
| CN110988912A (zh) | 自动驾驶车辆的道路目标与距离检测方法、***、装置 | |
| CN112634451A (zh) | 一种融合多传感器的室外大场景三维建图方法 | |
| CN107167826B (zh) | 一种自动驾驶中基于可变网格的图像特征检测的车辆纵向定位***及方法 | |
| CN108519102B (zh) | 一种基于二次投影的双目视觉里程计算方法 | |
| CN112752028B (zh) | 移动平台的位姿确定方法、装置、设备和存储介质 | |
| CN116255992A (zh) | 一种同时定位与建图的方法和装置 | |
| EP3293700A1 (en) | 3d reconstruction for vehicle | |
| CN112419497A (zh) | 基于单目视觉的特征法与直接法相融合的slam方法 | |
| CN115953535A (zh) | 三维重建方法、装置、计算设备和存储介质 | |
| CN117036447A (zh) | 基于多传感器融合的室内场景稠密三维重建方法及装置 | |
| CN114217665A (zh) | 一种相机和激光雷达时间同步方法、装置及存储介质 | |
| CN110349249B (zh) | 基于rgb-d数据的实时稠密重建方法及*** | |
| CN114898041A (zh) | 一种基于光度误差的改进icp方法 | |
| CN111899277A (zh) | 运动目标检测方法及装置、存储介质、电子装置 | |
| CN117367427A (zh) | 一种适用于室内环境中的视觉辅助激光融合IMU的多模态slam方法 | |
| CN114088103B (zh) | 车辆定位信息的确定方法和装置 | |
| CN111127474B (zh) | 机载LiDAR点云辅助的正射影像镶嵌线自动选取方法及*** | |
| Li et al. | An SLAM algorithm based on laser radar and vision fusion with loop detection optimization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |