CN113724379B - 融合图像与激光点云的三维重建方法及装置 - Google Patents

融合图像与激光点云的三维重建方法及装置 Download PDF

Info

Publication number
CN113724379B
CN113724379B CN202110773221.2A CN202110773221A CN113724379B CN 113724379 B CN113724379 B CN 113724379B CN 202110773221 A CN202110773221 A CN 202110773221A CN 113724379 B CN113724379 B CN 113724379B
Authority
CN
China
Prior art keywords
point cloud
depth feature
dimensional reconstruction
image data
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110773221.2A
Other languages
English (en)
Other versions
CN113724379A (zh
Inventor
李京
师晨辉
龚建华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Information Research Institute of CAS
Original Assignee
Aerospace Information Research Institute of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Information Research Institute of CAS filed Critical Aerospace Information Research Institute of CAS
Priority to CN202110773221.2A priority Critical patent/CN113724379B/zh
Publication of CN113724379A publication Critical patent/CN113724379A/zh
Application granted granted Critical
Publication of CN113724379B publication Critical patent/CN113724379B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供一种融合图像与激光点云的三维重建方法及装置，包括：获取通过激光雷达扫描得到的点云数据、通过相机获取的图像数据、以及点云数据与图像数据的对应关系，其中，激光雷达与相机安装在同一移动设备上，且经过联合标定；基于点云数据，得到移动设备的第一位姿信息；将图像数据输入轻量化网络，通过轻量化网络输出深度特征图，基于深度特征图，得到移动设备的第二位姿信息；判断第一位姿信息是否可用；若是，基于第一位姿信息与对应关系，完成三维重建；否则，基于第二位姿信息与对应关系，完成三维重建。本申请用以解决现有技术中三维重建过程耗时长、效率低的问题，实现快速重建三维场景。

Description

融合图像与激光点云的三维重建方法及装置
技术领域
本发明涉及计算机技术领域，尤其涉及一种融合图像与激光点云的三维重建方法及装置。
背景技术
同时定位与地图构建(Simultaneous Localization and Mapping，简称SLAM)技术逐渐突破了基于滤波器、小场景和像素匹配等传统计算方法的局限，向更加智能化的方向发展。目前SLAM技术依据传感器类型可分为激光雷达SLAM和视觉SLAM。激光雷达SLAM是利用激光雷达对目标对象进行实时的位姿计算，并生成密集点云，进行三维场景的快速重建，并支持增强现实的跟踪注册。视觉SLAM主要依赖于相机，价格低廉，而且易被部署在小型的智能移动终端，因此可被用在真正的跟踪注册任务中。
视觉SLAM利用提取的图像特征进行跟踪注册，在室内环境下具有较高的实时性和鲁棒性，位姿计算精度可达厘米级，且在已知和未知环境下都能够运行，具有较强的适用性。但是在户外场景下，视觉SLAM面临着光照变化、昼夜重定位难等问题，这些问题导致视觉SLAM的实时性、鲁棒性和位姿计算精度大大下降，制约着户外增强现实应用的发展。
随着深度学习的兴起和发展，深度局部特征表现出其出色的匹配能力，特别是在昼夜变化、季节变化等极端条件下，也能够提取到图像的深度局部特征。其中，提取深度局部特征的具体实现如下：
SuperPoint先在合成的数据集上训练MagicPoint网络，利用HomographicAdaptation技术提高MagicPoint的泛化能力，并用其推理产生的标签作为真实标签和单应变换技术来监督训练SuperPoint网络，它以整张图像为输入，同时输出图像关键点和局部描述子，产生的深度局部特征在光照变化的条件下也具有很强的匹配能力。D2-Net先利用CNN生成深度特征图，然后在深度特征图上执行深度局部特征检测任务，并将特征检测和描述符联合起来，设计联合损失函数进行训练，最终利用训练好的网络，提取深度局部特征。
但是，上述的深度局部特征的提取过程需要消耗大量的计算成本，使得深度局部特征的提取计算量大、耗时长、占用设备空间，进而导致整个三维重建过程耗时长、效率低等问题。
发明内容
本发明提供一种融合图像与激光点云的三维重建方法及装置，用以解决现有技术中三维重建过程耗时长、效率低的问题，实现快速重建三维场景。
本发明提供一种融合图像与激光点云的三维重建方法，包括：
获取通过激光雷达扫描得到的点云数据、通过相机获取的图像数据、以及所述点云数据与图像数据的对应关系，其中，所述激光雷达与所述相机安装在同一移动设备上，且经过联合标定；
基于所述点云数据，得到所述移动设备的第一位姿信息；将所述图像数据输入轻量化网络，通过所述轻量化网络输出深度特征图，基于所述深度特征图，得到所述移动设备的第二位姿信息，所述轻量化网络基于样本图像数据、教师网络、以及所述教师网络的输出结果训练得到；判断所述第一位姿信息是否可用；
若是，基于所述第一位姿信息与所述对应关系，完成三维重建；
否则，基于所述第二位姿信息与所述对应关系，完成三维重建。
根据本发明提供的一种融合图像与激光点云的三维重建方法，所述轻量化网络的构建过程，包括：
创建初始轻量化网络，并将复杂神经网络作为所述教师网络，将所述初始轻量化网络作为学生网络；
获取所述样本图像数据；
利用所述知识蒸馏方法，对所述初始轻量化网络执行以下训练过程：
将所述样本图像数据输入到教师网络，通过所述教师网络输出第一样本深度特征图；将所述样本图像数据输入到学生网络，通过所述学生网络输出第二样本深度特征图；基于所述第一样本深度特征图和所述第二样本深度特征图，计算训练误差；比较所述训练误差和预设阈值，直至所述训练误差小于所述预设阈值时，判定所述初始轻量化网络训练完成；
将训练完成的所述初始轻量化网络，作为所述轻量化网络。
根据本发明提供的一种融合图像与激光点云的三维重建方法，所述基于所述第一样本深度特征图和所述第二样本深度特征图，计算训练误差，包括：
计算所述第一样本深度特征图与所述第二样本深度特征图的第一误差；
计算所述第二样本深度特征图与预设深度特征图的第二误差；
基于所述第一误差和所述第二误差，获得所述训练误差。
根据本发明提供的一种融合图像与激光点云的三维重建方法，所述基于所述深度特征图，得到所述移动设备的第二位姿信息，包括：
将当前帧深度特征图输入至特征检测器，通过所述特征检测器输出深度特征点；
基于当前帧深度特征图，获取前N帧深度特征图作为局部窗口，所述N为大于或等于2的整数；
在所述局部窗口中，匹配当前帧深度特征图对应的深度特征点，与前N帧深度特征图对应的深度特征点，得到匹配成功的目标深度特征点；
基于所述目标深度特征点，确定所述第二位姿信息。
根据本发明提供的一种融合图像与激光点云的三维重建方法，所述基于所述深度特征图，得到所述移动设备的第二位姿信息之后，还包括：
利用光束法平差，对所述第二位姿信息进行处理。
根据本发明提供的一种融合图像与激光点云的三维重建方法，判断所述第一位姿信息是否可用；若是，基于所述第一位姿信息与所述对应关系，完成三维重建；否则，基于所述第二位姿信息与所述对应关系，完成三维重建，包括：
基于所述第一位姿信息，拼接所述点云数据；
计算拼接后的点云数据与预设点云数据的拼接误差；
判断所述拼接误差是否小于预设拼接误差；
若是，判定所述第一位姿信息可用，基于所述第一位姿信息与所述对应关系，拼接所述点云数据和所述图像数据，以完成三维重建；
否则，判定所述第一位姿信息不可用，基于所述第二位姿信息与所述对应关系，拼接所述点云数据和所述图像数据，以完成三维重建。
根据本发明提供的一种融合图像与激光点云的三维重建方法，所述对应关系的获取过程，包括：
利用黑白网格标定板对所述相机的内参数进行标定，得到相机内参数矩阵；
标定所述激光雷达与所述相机的相对位姿，得到所述激光雷达与所述相机的标定矩阵；
基于所述标定矩阵，将所述点云数据映射到所述图像数据中，得到第一映射关系；
基于所述相机内参数矩阵，将所述图像数据映射到所述点云数据中，得到第二映射关系；
通过所述第一映射关系和所述第二映射关系，得到所述对应关系。
本发明还提供一种融合图像与激光点云的三维重建装置，包括：
获取模块，用于获取通过激光雷达扫描得到的点云数据、通过相机获取的图像数据、以及所述点云数据与图像数据的对应关系，其中，所述激光雷达与所述相机安装在同一移动设备上，且经过联合标定；
获得模块，用于基于所述点云数据，得到所述移动设备的第一位姿信息；将所述图像数据输入轻量化网络，通过所述轻量化网络输出深度特征图，基于所述深度特征图，得到所述移动设备的第二位姿信息，所述轻量化网络基于样本图像数据、教师网络、以及所述教师网络的输出结果训练得到；
判断模块，用于判断所述第一位姿信息是否可用，若是，执行第一重建模块，否则，执行第二重建模块；
所述第一重建模块，用于基于所述第一位姿信息与所述对应关系，完成三维重建；
所述第二重建模块，用于基于所述第二位姿信息与所述对应关系，完成三维重建。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述的融合图像与激光点云的三维重建方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的融合图像与激光点云的三维重建方法的步骤。
本发明提供的融合图像与激光点云的三维重建方法及装置，通过获取通过激光雷法扫描得到的点云数据、通过相机获取的图像数据、以及点云数据与图像数据的对应关系，其中，激光雷达与相机安装在同一移动设备上，且经过联合标定；基于获取的点云数据，得到移动设备的第一位姿信息；将图像数据输入到轻量化网络，通过轻量化网络输出深度特征图，基于该深度特征图，得到移动设备的第二位姿信息，其中，轻量化网络基于样本图像数据、教师网络、以及所述教师网络的输出结果训练得到，本发明采用轻量化网络处理图像数据，利用了轻量化网络自身结构紧凑、存储空间占用少、网络参数复杂度较低的特性，因此，本发明能够有效的提高图像数据的处理速度，缩短数据处理时长。
进一步的，本发明判断第一位姿信息是否可用，当第一位姿信息可用时，基于第一位姿信息和所述对应关系，完成三维重建，当第一位姿信息不可用时，基于第二位姿信息和所述对应关系，完成三维重建，可见，本发明通过利用点云数据和图像数据并行处理的方式进行三维场景的重建，当通过点云数据得到的位姿信息不可用时，根据通过图像数据得到的位姿信息，完成点云数据和图像数据的拼接，实现了点云数据匹配与图像数据匹配的相互融合，进而，提高图像数据与点云数据连续帧之间的匹配能力与速率，以及位姿的计算精度，提高了激光雷达与相机组合的鲁棒性、实时性和精准性，有效的解决了由于外部环境因素的影响，导致三维场景重建失败的问题。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的三维重建方法的流程示意图之一；
图2是本发明提供的三维重建方法的流程示意图之二；
图3是本发明提供的三维重建方法的流程示意图之三；
图4是本发明提供的轻量化网络结构示意图之一；
图5是本发明提供的轻量化网络结构示意图之二；
图6是本发明提供的三维重建方法的流程示意图之四；
图7是本发明提供的三维重建方法的流程示意图之五；
图8是本发明提供的三维重建方法的流程示意图之六；
图8-1是本发明提供的特征点匹配示意图之一；
图8-2是本发明提供的特征点匹配示意图之二；
图8-3是本发明提供的特征点匹配示意图之三；
图8-4是本发明提供的三维重建结构示意图；
图9是本发明提供的三维重建装置的结构示意图；
图10是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图8-4描述本发明的融合图像与激光点云的三维重建方法。
本发明实施例提供了一种融合图像与激光点云的三维重建方法，该发明可以应用在移动终端设备，例如，手机、平板、机器人、汽车等，也可以应用在服务器中。下面，以该终端设备为手机为例进行说明，但需要说明的是仅为举例说明，并不用于对本发明的保护范围进行限定。本发明实施例中的一些其他说明，也是举例说明，并不用于对本发明的保护范围进行限定，之后便不再一一说明。该方法的具体实现如图1所示：
步骤101，获取通过激光雷达扫描得到的点云数据、通过相机获取的图像数据、以及点云数据与图像数据的对应关系。
其中，激光雷达与相机安装在同一移动设备上，且经过联合标定。
一个具体实施例中，对应关系的获取过程具体如图2所示：
步骤201，利用黑白网格标定板对相机的内参数进行标定，得到相机内参数矩阵。
具体的，首先获取相机的内参数，利用黑白网格标定板对相机的内参数进行标定，得到相机内参数矩阵。
步骤202，标定激光雷达与相机的相对位姿，得到激光雷达与相机的标定矩阵。
步骤203，基于标定矩阵，将点云数据映射到图像数据中，得到第一映射关系。
步骤204，基于相机内参数矩阵，将图像数据映射到点云数据中，得到第二映射关系。
步骤205，通过第一映射关系和第二映射关系，得到对应关系。
一个具体实施例中，轻量化网络的构建过程如图3所示：
步骤301，创建初始轻量化网络，并将复杂神经网络作为教师网络，将初始轻量化网络作为学生网络。
其中，复杂神经网络为结构复杂、计算步骤繁杂的神经网络。例如，D2-Net网络。该教师网络为预先使用大量的样本图像数据对原始复杂神经网络训练的得到。通过教师网络训练初始轻量化网络时，选择Adam作为优选器，学习率为10-3，权重变量w1和w2初始化为0，batch size为1，经过45个epoch训练后得到轻量化网络。
具体的，如图4所示，轻量化网络包括：第一卷积层401，轻量化卷积神经网络(MobileNetV2)的扩展模块402，Ghost模块403，以及第二卷积层404。其中，第一卷积层中包括：卷积层、BatchNorm和ReLU。其中，主干网选取MobileNet V2的前面一部分，第一卷积层401使用传统卷积层，后面采用反向残差块(Inverted Residual Block)结构，分辨率乘子(resolution multiplier)设置为0.75，expand系数设置为6。探测头首先经过一个Ghost模块403。再通过一个pointwise卷积，最后经过L2 Norm将特征图在通道维度上变为单位向量。
具体的，如图5所示，该轻量化网络的输入图像可以为RGB三通道的彩色图像(3*W*H)，第一卷积层401进行24,3*3,2卷积处理，将处理结果传输给MobileNetV2的扩展模块402；MobileNetV2的扩展模块402依次进行多次卷积处理，包括：164,3*3,1、24,3*3,2、24,3*3,1、24,3*3,2、48,3*3,1、96,3*3,1，将处理结果传输给Ghost模块403；Ghost模块403进行256,3*3,1的卷积处理，并将处理结果传输给第二卷积层404；第二卷积层404进行512,1*1,1卷积处理，最后经过归一化处理，输出512*W/8*H/8的深度特征图。
本发明构建轻量化网络，利用轻量化网络自身结构紧凑、网络参数复杂度较低的特性，降低了数据处理的复杂度，能够有效的提高图像数据的处理速度，提高用户体验。
进一步的，将深度特征图输入至特征检测器中，输出关键点和描述子。其中，描述子包括：正描述子和负描述子。其中，深度特征图有多个通道为Dk(k＝1,2,3…,512)，关键点的位置为(i,j)，则每个候选描述子为Di,j。特征检测器提取的特征点应满足两个条件：①在Dk上，
Figure GDA0003621402400000091
为局部最大值；②在Di,j上，
Figure GDA0003621402400000092
为最大值。
步骤302，获取样本图像数据。
具体的，整个训练过程需要大量的样本图像数据，因此，可以预先准备各个场景的样本图像数据进行训练使用，以使最终的轻量化网络的输出结果精确度更高。
步骤303，利用知识蒸馏方法，对初始轻量化网络执行以下训练过程：将样本图像数据输入到教师网络，通过教师网络输出第一样本深度特征图；将样本图像数据输入到学生网络，通过学生网络输出第二样本深度特征图；基于第一样本深度特征图和第二样本深度特征图，计算训练误差；比较训练误差和预设阈值，直至训练误差小于预设阈值时，判定初始轻量化网络训练完成。一个具体实施例中，训练误差的具体计算过程如图6所示：
步骤601，计算第一样本深度特征图与第二样本深度特征图的第一误差。
具体的，第一误差的计算参见公式(1)：
Figure GDA0003621402400000101
其中，L1为第一误差，dt为第一样本深度特征图，ds为第二样本深度特征图。
步骤602，计算第二样本深度特征图与预设深度特征图的第二误差。
具体的，第二误差的计算参见公式(2)
Figure GDA0003621402400000102
其中，L2为第二误差，
m(c)为triplet margin ranking损失，p(c)为正描述子距离，n(c)为负描述子距离，sq为轻量化网络输出结果的深度特征图，sc为预设深度特征图，c某一描述子匹配对，C为所有的描述子匹配对。
步骤603，基于第一误差和第二误差，获得训练误差。
具体的，训练误差的计算参见公式(3)
Figure GDA0003621402400000103
其中，w1和w2为权重变量。
步骤304，将训练完成的初始轻量化网络，作为轻量化网络。
本发明采用知识蒸馏的方法，训练轻量化网络，对初始轻量化网络进行压缩，使得训练完成的初始轻量化网络占用更少的存储空间，能够有效地节省移动终端的存储空间。另外，本发明在减小模型权重、提高特征点提取运行效率的同事，也提高了在光照变化下位姿信息计算的鲁棒性。
步骤102，基于点云数据，得到移动设备的第一位姿信息；将图像数据输入轻量化网络，通过轻量化网络输出深度特征图，基于深度特征图，得到移动设备的第二位姿信息。
其中，位姿信息包括：移动设备的位置信息和姿态信息。该第一位姿信息和第二位姿信息为同一时刻得到的移动设备的位姿信息。第一位姿信息是通过点云数据得到的位姿信息，第二位姿信息是通过图像数据得到的位姿信息。
其中，轻量化网络基于样本图像数据、教师网络、以及所述教师网络的输出结果训练得到。具体的，在获取到通过激光雷达扫描得到的点云数据后，对点云数据进行预处理操作，其中，预处理操作包括：统计滤波、去燥处理、以及体素滤波降采样处理中的至少一种。其中，体素滤波降采样处理为利用体素滤波器对点云数据进行降采样处理。
针对进行预处理操作后的点云数据，利用迭代最近点算法(Iterative ClosestPoint，简称ICP)，计算相邻帧的点云数据之间的位置姿态，以得到移动设备的第一位姿信息。
一个具体实施例中，第二位姿信息的确定过程具体如图7所示：
步骤701，将当前帧深度特征图输入至特征检测器，通过特征检测器输出深度特征点。
具体的，深度特征点包括关键点和描述子，其中，关键点用来表示深度特征点在深度特征图中的位置，描述子用来表示关键点的朝向和周围像素信息。其中，相同的深度特征点描述子相似，因此通过描述子判断两个深度特征点是否为同一特征点。
步骤702，基于当前帧深度特征图，获取前N帧深度特征图作为局部窗口。
其中，N为大于或等于2的整数。
步骤703，在局部窗口中，匹配当前帧深度特征图对应的深度特征点，与前N帧深度特征图对应的深度特征点，得到匹配成功的目标深度特征点。
具体的，利用ICP算法，匹配当前帧深度特征图对应的深度特征点，以提高外界环境因素处于昼夜变化、季节变化等极端状况下，特征点的匹配速率。
步骤704，基于目标深度特征点，确定第二位姿信息。
具体的，EPnP算法是一种非迭代的PnP算法。基于关键点和描述子，利用EPnP算法，确定第二位姿信息。
一个具体实施例中，由于移动设备在运动过程中，会持续累积位置误差，导致了相机轨迹和构建的三维场景与真实值的偏大较大的问题，因此，需要在间隔一定帧数之后，利用光束法平差对第二姿态信息进行优化处理。
具体的，在全局优化前需要对当前帧深度特征图和与其相连的关键帧深度特征图进行位姿调整，完成位姿调整后还需调整这些关键帧对应到的深度特征点。移动设备在持续运行过程中，会产生大量第二位姿信息和深度特征点的信息。由于数据量比较大，数据处理比较耗时，因此，采用本质图对第二位姿信息进行全局优化。本质图只包括关键帧对应的第二位姿信息以及关键帧间位姿约束边和回环检测获得的位姿约束边，优化本质图时第一个关键帧的位姿保持固定。设定Tj与Ti为位姿图内二个临近关键帧的位姿，
Figure GDA0003621402400000121
为两者的相对位姿变换，即为图模型的位姿约束边，定义该边的误差函数参见公式(4)：
eij＝ln(Tij -1TiTj -1) (4)
位姿图优化问题也属于最小二乘的问题，优化目标是所有的第二位姿信息，假定所有边的集合为ε，则位姿图总体优化目标函数参见公式(5)：
Figure GDA0003621402400000131
其中
Figure GDA0003621402400000132
为位姿图中边的信息矩阵。
当关键帧位姿优化调整后，再调整其他帧的位姿，最终获得全局一致的三维场景。
具体的，在优化第二位姿信息之后，获取目标深度特征点对应的点云数据和目标深度特征点对应的图像数据，基于对应关系，将第一位姿信息转化为激光雷达对应的位姿信息，进而拼接转化后的点云数据和图像数据，完成三维重建。
步骤104，判断第一位姿信息是否可用，若是，执行步骤105，否则，执行步骤106。
步骤105，基于第一位姿信息与对应关系，完成三维重建。
步骤106，基于第二位姿信息与对应关系，完成三维重建。
基于所述第一位姿信息，拼接所述点云数据；
计算拼接后的点云数据与预设点云数据的拼接误差；
一个具体实施例中，判断拼接误差是否小于预设拼接误差；若是，判定第一位姿信息可用，基于第一位姿信息与对应关系，拼接点云数据和图像数据，以完成三维重建；否则，判定第一位姿信息不可用，基于第二位姿信息与对应关系，拼接点云数据和图像数据，以完成三维重建。
其中，将点云数据与图像数据的RGB值拼接，以完成三维重建。
下面，通过图8对本发明进行具体说明：
具体的，以两条线程为例进行说明，其中，第一线程为主线程，第二线程为辅助线程，两条线程同时进行，相辅相成。
第一线程运行中：
步骤8101，获取通过激光雷达扫描得到的点云数据。
步骤8102，对获取的点云数据进行统计滤波去燥。
步骤8103，对进行统计滤波去燥后的点云数据，进行体素滤波降采样处理，得到最终的点云数据。
步骤8104，利用ICP算法，拼接最终的点云数据。
步骤8105，计算拼接后的点云数据与预设点云数据的拼接误差。
步骤8106，判断拼接误差是否大于预设拼接误差，若是，融合第二线程，否则，执行步骤8107。
步骤8107，确定移动设备的位姿信息，完成三维场景重建。
此时，第二线程也在运行中：
步骤8201，获取通过相机获取的图像数据。
步骤8202，获取深度特征图，以及深度特征点。
步骤8203，利用EPnP算法，计算当前帧图像原始位姿信息。
步骤8204，利用光束法平差，优化原始位姿信息。
步骤8205，得到位姿信息。
步骤8206，利用获取的对应关系，实现点云数据和图像数据的转换。
下面，通过图8-1、图8-2、图8-3展示，在利用本发明进行三维重建时，不受光照变化、昼夜变化的影响，实现深度特征点的成功匹配。其中，在图8-1、图8-2、图8-3中左侧为白天，右侧为晚上，图中的线段用于连接指示提取的相同深度特征点，利用深度特征点，进行图像的匹配。
通过图8-4展示，在利用本发明进行三维重建后，不受光照变化、昼夜变化的影响，实现三维重建的重建。其中，在图8-4中左侧为白天，右侧为晚上，可见无论是白天还是晚上同一场景的三维重建结果是一致的。
本发明提供的融合图像与激光点云的三维重建方法，通过获取通过激光雷法扫描得到的点云数据、通过相机获取的图像数据、以及点云数据与图像数据的对应关系，其中，激光雷达与相机安装在同一移动设备上，且经过联合标定；基于获取的点云数据，得到移动设备的第一位姿信息；将图像数据输入到轻量化网络，通过轻量化网络输出深度特征图，基于该深度特征图，得到移动设备的第二位姿信息，其中，轻量化网络基于样本图像数据、教师网络、以及所述教师网络的输出结果训练得到，本发明采用轻量化网络处理图像数据，利用了轻量化网络自身结构紧凑、存储空间占用少、网络参数复杂度较低的特性，因此，本发明能够有效的提高图像数据的处理速度，缩短数据处理时长。
进一步的，本发明判断第一位姿信息是否可用，当第一位姿信息可用时，基于第一位姿信息和所述对应关系，完成三维重建，当第一位姿信息不可用时，基于第二位姿信息和所述对应关系，完成三维重建，可见，本发明通过利用点云数据和图像数据并行处理的方式进行三维场景的重建，当通过点云数据得到的位姿信息不可用时，根据通过图像数据得到的位姿信息，完成点云数据和图像数据的拼接，实现了点云数据匹配与图像数据匹配的相互融合，进而，提高图像数据与点云数据连续帧之间的匹配能力与速率，以及位姿的计算精度，提高了激光雷达与相机组合的鲁棒性、实时性和精准性，有效的解决了由于外部环境因素的影响，导致三维场景重建失败的问题。
下面对本发明提供的融合图像与激光点云的三维重建装置进行描述，下文描述的融合图像与激光点云的三维重建装置与上文描述的融合图像与激光点云的三维重建方法可相互对应参照。
本发明提供了一种融合蒸图像与激光点云的三维重建装置，具体如图9所示：
获取模块901，用于获取通过激光雷达扫描得到的点云数据、通过相机获取的图像数据、以及点云数据与图像数据的对应关系，其中，激光雷达与相机安装在同一移动设备上，且经过联合标定；
获得模块902，用于基于点云数据，得到移动设备的第一位姿信息；将图像数据输入轻量化网络，通过轻量化网络输出深度特征图，基于深度特征图，得到移动设备的第二位姿信息，轻量化网络基于样本图像数据、教师网络、以及所述教师网络的输出结果训练得到；
判断模块903，用于判断第一位姿信息是否可用，若是，执行第一重建模块，否则，执行第二重建模块；
第一重建模块904，用于基于第一位姿信息与对应关系，完成三维重建；
第二重建模块905，用于基于第二位姿信息与对应关系，完成三维重建。
图10示例了一种电子设备的实体结构示意图，如图10所示，该电子设备可以包括：处理器(processor)1001、通信接口(Communications Interface)1002、存储器(memory)1003和通信总线1004，其中，处理器1001，通信接口1002，存储器1003通过通信总线1004完成相互间的通信。处理器1001可以调用存储器1003中的逻辑指令，以执行融合图像与激光点云的三维重建方法，该方法包括：获取通过激光雷达扫描得到的点云数据、通过相机获取的图像数据、以及点云数据与图像数据的对应关系，其中，激光雷达与相机安装在同一移动设备上，且经过联合标定；基于点云数据，得到移动设备的第一位姿信息；将图像数据输入轻量化网络，通过轻量化网络输出深度特征图，基于深度特征图，得到移动设备的第二位姿信息，轻量化网络基于样本图像数据、教师网络、以及所述教师网络的输出结果训练得到；判断第一位姿信息是否可用；若是，基于第一位姿信息与对应关系，完成三维重建；否则，基于第二位姿信息与对应关系，完成三维重建。
此外，上述的存储器1003中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的融合图像与激光点云的三维重建方法，该方法包括：获取通过激光雷达扫描得到的点云数据、通过相机获取的图像数据、以及点云数据与图像数据的对应关系，其中，激光雷达与相机安装在同一移动设备上，且经过联合标定；基于点云数据，得到移动设备的第一位姿信息；将图像数据输入轻量化网络，通过轻量化网络输出深度特征图，基于深度特征图，得到移动设备的第二位姿信息，轻量化网络基于样本图像数据、教师网络、以及所述教师网络的输出结果训练得到；判断第一位姿信息是否可用；若是，基于第一位姿信息与对应关系，完成三维重建；否则，基于第二位姿信息与对应关系，完成三维重建。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的融合图像与激光点云的三维重建方法，该方法包括：获取通过激光雷达扫描得到的点云数据、通过相机获取的图像数据、以及点云数据与图像数据的对应关系，其中，激光雷达与相机安装在同一移动设备上，且经过联合标定；基于点云数据，得到移动设备的第一位姿信息；将图像数据输入轻量化网络，通过轻量化网络输出深度特征图，基于深度特征图，得到移动设备的第二位姿信息，轻量化网络基于样本图像数据、教师网络、以及所述教师网络的输出结果训练得到；判断第一位姿信息是否可用；若是，基于第一位姿信息与对应关系，完成三维重建；否则，基于第二位姿信息与对应关系，完成三维重建。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种融合图像与激光点云的三维重建方法，其特征在于，包括：
获取通过激光雷达扫描得到的点云数据、通过相机获取的图像数据、以及所述点云数据与图像数据的对应关系，其中，所述激光雷达与所述相机安装在同一移动设备上，且经过联合标定；
基于所述点云数据，得到所述移动设备的第一位姿信息；将所述图像数据输入轻量化网络，通过所述轻量化网络输出深度特征图，基于所述深度特征图，得到所述移动设备的第二位姿信息，所述轻量化网络通过知识蒸馏方法训练得到，其中，所述轻量化网络基于样本图像数据、教师网络、以及所述教师网络的输出结果训练得到；
判断所述第一位姿信息是否可用；
若是，基于所述第一位姿信息与所述对应关系，完成三维重建；
否则，基于所述第二位姿信息与所述对应关系，完成三维重建。
2.根据权利要求1所述的融合图像与激光点云的三维重建方法，其特征在于，所述轻量化网络的构建过程，包括：
创建初始轻量化网络，并将复杂神经网络作为所述教师网络，将所述初始轻量化网络作为学生网络；
获取所述样本图像数据；
利用所述知识蒸馏方法，对所述初始轻量化网络执行以下训练过程：
将所述样本图像数据输入到教师网络，通过所述教师网络输出第一样本深度特征图；将所述样本图像数据输入到学生网络，通过所述学生网络输出第二样本深度特征图；基于所述第一样本深度特征图和所述第二样本深度特征图，计算训练误差；比较所述训练误差和预设阈值，直至所述训练误差小于所述预设阈值时，判定所述初始轻量化网络训练完成；
将训练完成的所述初始轻量化网络，作为所述轻量化网络。
3.根据权利要求2所述的融合图像与激光点云的三维重建方法，其特征在于，所述基于所述第一样本深度特征图和所述第二样本深度特征图，计算训练误差，包括：
计算所述第一样本深度特征图与所述第二样本深度特征图的第一误差；
计算所述第二样本深度特征图与预设深度特征图的第二误差；
基于所述第一误差和所述第二误差，获得所述训练误差。
4.根据权利要求1-3任一项所述的融合图像与激光点云的三维重建方法，其特征在于，所述基于所述深度特征图，得到所述移动设备的第二位姿信息，包括：
将当前帧深度特征图输入至特征检测器，通过所述特征检测器输出深度特征点；
基于当前帧深度特征图，获取前N帧深度特征图作为局部窗口，所述N为大于或等于2的整数；
在所述局部窗口中，匹配当前帧深度特征图对应的深度特征点，与前N帧深度特征图对应的深度特征点，得到匹配成功的目标深度特征点；
基于所述目标深度特征点，确定所述第二位姿信息。
5.根据权利要求4所述的融合图像与激光点云的三维重建方法，其特征在于，所述基于所述深度特征图，得到所述移动设备的第二位姿信息之后，还包括：
利用光束法平差，对所述第二位姿信息进行处理。
6.根据权利要求1-3任一项所述的融合图像与激光点云的三维重建方法，其特征在于，判断所述第一位姿信息是否可用；若是，基于所述第一位姿信息与所述对应关系，完成三维重建；否则，基于所述第二位姿信息与所述对应关系，完成三维重建，包括：
基于所述第一位姿信息，拼接所述点云数据；
计算拼接后的点云数据与预设点云数据的拼接误差；
判断所述拼接误差是否小于预设拼接误差；
若是，判定所述第一位姿信息可用，基于所述第一位姿信息与所述对应关系，拼接所述点云数据和所述图像数据，以完成三维重建；
否则，判定所述第一位姿信息不可用，基于所述第二位姿信息与所述对应关系，拼接所述点云数据和所述图像数据，以完成三维重建。
7.根据权利要求1-3任一项所述的融合图像与激光点云的三维重建方法，其特征在于，所述对应关系的获取过程，包括：
利用黑白网格标定板对所述相机的内参数进行标定，得到相机内参数矩阵；
标定所述激光雷达与所述相机的相对位姿，得到所述激光雷达与所述相机的标定矩阵；
基于所述标定矩阵，将所述点云数据映射到所述图像数据中，得到第一映射关系；
基于所述相机内参数矩阵，将所述图像数据映射到所述点云数据中，得到第二映射关系；
通过所述第一映射关系和所述第二映射关系，得到所述对应关系。
8.一种融合图像与激光点云的三维重建装置，其特征在于，包括：
获取模块，用于获取通过激光雷达扫描得到的点云数据、通过相机获取的图像数据、以及所述点云数据与图像数据的对应关系，其中，所述激光雷达与所述相机安装在同一移动设备上，且经过联合标定；
获得模块，用于基于所述点云数据，得到所述移动设备的第一位姿信息；将所述图像数据输入轻量化网络，通过所述轻量化网络输出深度特征图，基于所述深度特征图，得到所述移动设备的第二位姿信息，所述轻量化网络基于样本图像数据、教师网络、以及所述教师网络的输出结果训练得到；
判断模块，用于判断所述第一位姿信息是否可用，若是，执行第一重建模块，否则，执行第二重建模块；
所述第一重建模块，用于基于所述第一位姿信息与所述对应关系，完成三维重建；
所述第二重建模块，用于基于所述第二位姿信息与所述对应关系，完成三维重建。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述的融合图像与激光点云的三维重建方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的融合图像与激光点云的三维重建方法的步骤。
CN202110773221.2A 2021-07-08 2021-07-08 融合图像与激光点云的三维重建方法及装置 Active CN113724379B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110773221.2A CN113724379B (zh) 2021-07-08 2021-07-08 融合图像与激光点云的三维重建方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110773221.2A CN113724379B (zh) 2021-07-08 2021-07-08 融合图像与激光点云的三维重建方法及装置

Publications (2)

Publication Number Publication Date
CN113724379A CN113724379A (zh) 2021-11-30
CN113724379B true CN113724379B (zh) 2022-06-17

Family

ID=78673149

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110773221.2A Active CN113724379B (zh) 2021-07-08 2021-07-08 融合图像与激光点云的三维重建方法及装置

Country Status (1)

Country Link
CN (1) CN113724379B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023164845A1 (zh) * 2022-03-02 2023-09-07 深圳市大疆创新科技有限公司 三维重建方法、装置、***及存储介质
TWI817540B (zh) * 2022-06-07 2023-10-01 鴻海精密工業股份有限公司 深度圖像獲取方法、電子設備及計算機可讀存儲媒體
CN117237544B (zh) * 2023-11-13 2024-01-26 天津云圣智能科技有限责任公司 一种训练数据的生成方法、装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109671119A (zh) * 2018-11-07 2019-04-23 中国科学院光电研究院 一种基于slam的室内定位方法及装置
CN111160533A (zh) * 2019-12-31 2020-05-15 中山大学 一种基于跨分辨率知识蒸馏的神经网络加速方法
CN111739144A (zh) * 2020-06-19 2020-10-02 天津大学 一种基于深度特征光流的同时定位和建图的方法及装置
CN111814683A (zh) * 2020-07-09 2020-10-23 北京航空航天大学 一种基于语义先验和深度学习特征的鲁棒视觉slam方法
CN111915727A (zh) * 2020-07-09 2020-11-10 苏州索亚机器人技术有限公司 基于深度学习的agv新型slam***
CN112734906A (zh) * 2020-12-30 2021-04-30 华东师范大学 一种基于知识蒸馏的超声或ct医学影像的三维重建方法
CN113066168A (zh) * 2021-04-08 2021-07-02 云南大学 一种多视图立体网络三维重建方法及***

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105678748B (zh) * 2015-12-30 2019-01-15 清华大学 三维监控***中基于三维重构的交互式标定方法和装置
CN109003325B (zh) * 2018-06-01 2023-08-04 杭州易现先进科技有限公司 一种三维重建的方法、介质、装置和计算设备
CN108898630B (zh) * 2018-06-27 2020-12-15 清华-伯克利深圳学院筹备办公室 一种三维重建方法、装置、设备和存储介质
US10832084B2 (en) * 2018-08-17 2020-11-10 Nec Corporation Dense three-dimensional correspondence estimation with multi-level metric learning and hierarchical matching
CN114445562A (zh) * 2022-02-17 2022-05-06 北京大甜绵白糖科技有限公司 三维重建方法及装置、电子设备和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109671119A (zh) * 2018-11-07 2019-04-23 中国科学院光电研究院 一种基于slam的室内定位方法及装置
CN111160533A (zh) * 2019-12-31 2020-05-15 中山大学 一种基于跨分辨率知识蒸馏的神经网络加速方法
CN111739144A (zh) * 2020-06-19 2020-10-02 天津大学 一种基于深度特征光流的同时定位和建图的方法及装置
CN111814683A (zh) * 2020-07-09 2020-10-23 北京航空航天大学 一种基于语义先验和深度学习特征的鲁棒视觉slam方法
CN111915727A (zh) * 2020-07-09 2020-11-10 苏州索亚机器人技术有限公司 基于深度学习的agv新型slam***
CN112734906A (zh) * 2020-12-30 2021-04-30 华东师范大学 一种基于知识蒸馏的超声或ct医学影像的三维重建方法
CN113066168A (zh) * 2021-04-08 2021-07-02 云南大学 一种多视图立体网络三维重建方法及***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"A Survey on Deep Learning for Localization and Mapping:Towards the Age of Spatial Machine Intelligence";Changhao Chen et al.;《arXiv》;20200629;全文 *
"Distilling Knowledge From a Deep Pose Regressor Network";Muhamad Risqi U. Saputra et al.;《arXiv》;20190802;全文 *
"视觉同时定位与建图方法综述";朱东林等;《通信技术》;20210331;全文 *

Also Published As

Publication number Publication date
CN113724379A (zh) 2021-11-30

Similar Documents

Publication Publication Date Title
CN113724379B (zh) 融合图像与激光点云的三维重建方法及装置
CN110427877B (zh) 一种基于结构信息的人体三维姿态估算的方法
CN110163213B (zh) 基于视差图和多尺度深度网络模型的遥感图像分割方法
CN112464912B (zh) 基于YOLO-RGGNet的机器人端人脸检测方法
CN115345866B (zh) 一种遥感影像中建筑物提取方法、电子设备及存储介质
CN111696196A (zh) 一种三维人脸模型重建方法及装置
CN114140623A (zh) 一种图像特征点提取方法及***
CN111553845A (zh) 一种基于优化的三维重建的快速图像拼接方法
CN111368733B (zh) 一种基于标签分布学习的三维手部姿态估计方法、存储介质及终端
CN114677479A (zh) 一种基于深度学习的自然景观多视图三维重建方法
CN114170290A (zh) 图像的处理方法及相关设备
CN113591528A (zh) 文档矫正方法、装置、计算机设备和存储介质
CN111914596B (zh) 车道线检测方法、装置、***及存储介质
CN114663880A (zh) 基于多层级跨模态自注意力机制的三维目标检测方法
CN114998610A (zh) 一种目标检测方法、装置、设备及存储介质
CN113112547A (zh) 机器人及其重定位方法、定位装置及存储介质
CN117152228A (zh) 基于通道自注意力机制的自监督图像深度估计方法
CN116128919A (zh) 基于极线约束的多时相图像异动目标检测方法及***
CN115841602A (zh) 基于多视角的三维姿态估计数据集的构建方法及装置
CN115239776A (zh) 点云的配准方法、装置、设备和介质
CN110059651B (zh) 一种相机实时跟踪注册方法
CN114972451A (zh) 一种基于旋转不变的SuperGlue匹配的遥感影像配准方法
CN111899284A (zh) 一种基于参数化esm网络的平面目标跟踪方法
CN113112522A (zh) 基于可变形卷积和模板更新的孪生网络目标跟踪的方法
Wu et al. Spatio-temporal fish-eye image processing based on neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant