CN110163915B - 一种多rgb-d传感器的空间三维扫描方法及装置 - Google Patents

一种多rgb-d传感器的空间三维扫描方法及装置 Download PDF

Info

Publication number
CN110163915B
CN110163915B CN201910281532.XA CN201910281532A CN110163915B CN 110163915 B CN110163915 B CN 110163915B CN 201910281532 A CN201910281532 A CN 201910281532A CN 110163915 B CN110163915 B CN 110163915B
Authority
CN
China
Prior art keywords
sensor
rgb
dimensional
feature matching
sensors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910281532.XA
Other languages
English (en)
Other versions
CN110163915A (zh
Inventor
汤圣君
李游
李晓明
黄正东
王伟玺
贺彪
赵志刚
郭仁忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201910281532.XA priority Critical patent/CN110163915B/zh
Publication of CN110163915A publication Critical patent/CN110163915A/zh
Application granted granted Critical
Publication of CN110163915B publication Critical patent/CN110163915B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供的一种多RGB‑D传感器的空间三维扫描方法及装置，通过选取多个RGB‑D传感器搭建多RGB‑D传感器测图***；所述多RGB‑D传感器测图***获取图像数据帧序列；获取所述图像数据帧序列中含有的特征匹配点，根据所述特征匹配点构建多RGB‑D传感器姿态更新方程，利用所述多RGB‑D传感器姿态更新方程得到传感器轨迹；根据所述传感器轨迹建立回环概率模型，并优化传感器轨迹；通过闭环检测与全局优化解决了多RGB‑D传感器SLAM的关键难点，提高了鲁棒性；联合图像数据帧序列与所述优化后的传感器轨迹构建室内三角网模型，所述三角网模型通过Octomap算法优化得到三维点云或Octomap多尺度地图。

Description

一种多RGB-D传感器的空间三维扫描方法及装置
技术领域
本发明涉及计算机视觉领域，尤其涉及的是一种多RGB-D传感器的空间三维扫描方法及装置。
背景技术
目前，在视觉领域中，单一传感器的视觉SLAM扩展到多传感器协同SLAM是提升传感器追踪鲁棒性的重要技术手段，在多RGB-D传感器联合SLAM方面，提出采用双Kinect2联合的方式来实现室内三维测图，研究结果表明，双RGB-D传感器联合测图可有效提升传感器追踪精度，并可获取更精细的室内三维信息，但是目前的多RGB-D传感器***存在问题，首先忽略了SLAM累积误差，其次该双RGB-D传感器测图***未集成闭环检测方案，且忽略了传感器同步不准确造成的误差累积问题。
因此，现有技术还有待于改进和发展。
发明内容
鉴于上述现有技术的不足，本发明提供了一种多RGB-D传感器的空间三维扫描方法及装置，旨在构建多RGB-D传感器联合测图***，探究混合多视角下二三维视觉特征与三维几何特征的传感器姿态更新模型构建方法，突破多RGB-D传感器SLAM关键技术难点，力争破解传统单RGB-D传感器SLAM技术低鲁棒性困境。
本发明的技术方案如下：
一种多RGB-D传感器的空间三维扫描方法，所述方法包括以下步骤：
A、选取多个RGB-D传感器搭建多RGB-D传感器测图***；所述多RGB-D传感器测图***获取图像数据帧序列；
B、获取所述图像数据帧序列中含有的特征匹配点，根据所述特征匹配点构建多RGB-D传感器姿态更新方程，利用所述多RGB-D传感器姿态更新方程得到传感器轨迹；
C、根据所述传感器轨迹建立回环概率模型，基于所述回环概率模型对传感器轨迹进行全局优化，得到优化后的传感器轨迹；
D、联合图像数据帧序列与所述优化后的传感器轨迹构建室内三角网模型，所述三角网模型通过Octomap算法优化得到三维点云或Octomap多尺度地图。
可选的，所述步骤A还包括：
A1、通过RGB-D传感器内外方位校正方法、无重叠视角的多RGB-D传感器测图***外方位半自动校正方法和深度传感器测量误差校正方法联合校正所述测图***的参数。
可选的，所述无重叠视角多RGB-D传感器测图***外方位半自动校正方法包括：
预先通过全站仪获取的棋盘角点三维点集、全站仪所在坐标系和各RGB-D传感器坐标系；
根据所述多RGB-D传感器测图***中的传感器布局，在多个RGB-D传感器视角及测量范围内的三维结构上附着棋盘图案；
所述多个RGB-D传感器同步采集单帧图像，自动提取对应的棋盘角点序列，并映射到深度图像中获取对应的三维点集；
根据最小二乘原理，依次进行全站仪坐标系与各RGB-D传感器坐标系之间的坐标变换，得到全站仪坐标系与各RGB-D传感器坐标系之间的坐标变换关系，根据所述坐标变换关系将所述三维控制点集转换到各RGB-D传感器坐标系下实现校正。
可选的，所述特征匹配点包括二三维视觉特征匹配点以及三维几何特征匹配点。
可选的，所述步骤B包括：
B1、提取所述图像数据帧序列的关键帧；
B2、通过所述关键帧的点特征匹配得到二三维视觉特征匹配点；
B3、通过局部三维空间块的描述子建立局部3D数据的对应关系，获取三维几何特征匹配点；
B4、通过最小化二三维视觉特征匹配点的重投影误差与三维几何特征匹配点的距离误差构建多RGB-D传感器姿态更新方程。
可选的，所述步骤C中根据所述传感器轨迹建立回环概率模型的步骤包括：
C11、采用运动度量的方法，比较关键帧之间的位置和朝向筛选出阈值内的候选关键帧；
C12、采用词袋模型对所述候选关键帧与当前关键帧进行闭环检测，获取闭环概率；
C13、对多次检测的闭环概率归一化处理，构建多次检测结果的回环概率模型。
可选的，所述步骤C中所述基于所述回环概率模型对传感器轨迹进行全局优化的步骤包括：
C21、构建用于降低传感器追踪误差累积的全局实时平差网得到全局优化的传感器轨迹；
所述全局实时平差网，包括：回环运动矩阵优化、全局平差网构建、运动模型自由度定权和实时平差。
一种多RGB-D传感器的空间三维扫描装置，包括：由多个RGB-D传感器搭建的多RGB-D传感器测图***和与所述RGB-D测图***相连接的数据处理***；
所述多RGB-D传感器测图***，用于获取图像数据帧序列；
所述数据处理***包括：获取传感器轨迹模块、优化传感器轨迹模块、三维点云或Octomap多尺度地图生成模块；
所述获取传感器轨迹模块，用于获取所述图像数据帧序列中含有的特征匹配点，根据所述特征匹配点构建多RGB-D传感器姿态更新方程，利用所述多RGB-D传感器姿态更新方程得到传感器轨迹；
所述优化传感器轨迹模块，用于根据所述传感器轨迹建立回环概率模型，基于所述回环概率模型对传感器轨迹进行全局优化，得到优化后的传感器轨迹；
所述三维点云或Octomap多尺度地图生成模块，用于联合图像数据帧序列与所述优化后的传感器轨迹构建室内三角网模型，所述三角网模型通过Octomap算法优化得到三维点云或Octomap多尺度地图。
可选的，所述获取传感器轨迹模块包括多RGB-D传感器姿态更新单元；
所述多RGB-D传感器姿态更新单元，用于提取所述图像数据帧序列的关键帧；通过所述关键帧的点特征匹配得到二三维视觉特征匹配点；通过局部三维空间块的描述子建立局部3D数据的对应关系，获取三维几何特征匹配点；通过最小化二三维视觉特征匹配点的重投影误差与三维几何特征匹配点的距离误差构建多RGB-D传感器姿态更新方程。
可选的，所述优化传感器轨迹模块包括回环概率模型构建单元；
所述回环概率模型构建单元，用于采用运动度量的方法，比较关键帧之间的位置和朝向筛选出阈值内的候选关键帧；采用词袋模型对所述候选关键帧与当前关键帧进行闭环检测，获取闭环概率；对多次检测的闭环概率归一化处理，构建多次检测结果的回环概率模型。
本发明提供的一种多RGB-D传感器的空间三维扫描方法及装置，所述方法包括：选取多个RGB-D传感器搭建多RGB-D传感器测图***；所述多RGB-D传感器测图***获取图像数据帧序列；获取所述图像数据帧序列中含有的特征匹配点，根据所述特征匹配点构建多RGB-D传感器姿态更新方程，利用所述多RGB-D传感器姿态更新方程得到传感器轨迹；根据所述传感器轨迹建立回环概率模型，基于所述回环概率模型对传感器轨迹进行全局优化，得到优化后的传感器轨迹；联合图像数据帧序列与所述优化后的传感器轨迹构建室内三角网模型，所述三角网模型通过Octomap算法优化得到三维点云或Octomap多尺度地图，解决了多RGB-D传感器SLAM的关键难点，提高了鲁棒性。
附图说明
图1为本发明所述多RGB-D传感器的空间三维扫描方法的步骤流程图；
图2为本发明所述无重叠视角的多RGB-D传感器测图***外方位半自动校正方法示意图；
图3(a)为本发明所述多RGB-D传感器测图***的图像观测的示意图；
图3(b)为本发明所述多RGB-D传感器测图***的姿态更新的示意图；
图4为本发明所述建立回环概率模型的方法步骤流程图；
图5是本发明一个实施例的步骤流程图；
图6是本发明所述多RGB-D传感器的空间三维扫描装置的结构框图。
具体实施方式
本发明提供一种多RGB-D传感器的空间三维扫描方法及装置，为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
一种多RGB-D传感器的空间三维扫描方法，请参阅图1，所述方法包括以下步骤：
S1、选取多个RGB-D传感器搭建多RGB-D传感器测图***；所述多RGB-D传感器测图***获取图像数据帧序列；
综合分析多种RGB-D传感器测距机制(结构光、TOF)、可视角度、量测范围及便携性等特性，选取适当的设备组合和配置方式搭建多RGB-D传感器测图***，在一个多RGB-D传感器测图***中可以有n个RGB-D传感器。
可选的，所述步骤S1还包括：
S11、通过RGB-D传感器内外方位校正方法、无重叠视角的多RGB-D传感器测图***外方位半自动校正方法和深度传感器测量误差校正方法联合校正所述测图***的参数。
针对所述多RGB-D传感器测图***，分别从视觉与深度传感器内外方位校正、重叠视角的多RGB-D传感器测图***外方位半自动校正方法以及深度传感器测量误差校正三个方面完成多RGB-D传感器测图***参数获取及误差校正。
具体的，所述无重叠视角多RGB-D传感器测图***外方位半自动校正方法包括：
预先通过全站仪获取的棋盘角点三维点集、全站仪所在坐标系和各RGB-D传感器坐标系；
根据所述多RGB-D传感器测图***中的传感器布局，在多个RGB-D传感器视角及测量范围内的三维结构上附着棋盘图案；
所述多个RGB-D传感器同步采集单帧图像，自动提取对应的棋盘角点序列，并映射到深度图像中获取对应的三维点集；
根据最小二乘原理，依次进行全站仪坐标系与各RGB-D传感器坐标系之间的坐标变换，得到全站仪坐标系与各RGB-D传感器坐标系之间的坐标变换关系，根据所述坐标变换关系将所述三维控制点集转换到各RGB-D传感器坐标系下实现校正。
在一个多RGB-D传感器测图***中，RGB-D传感器之间的信号干扰是重要考虑因素，当不同的传感器采用相同或者相近波段进行深度测量时，相互之间容易造成信号干扰，降低传感器测图精度。因此本发明采用了多视角无重叠方式构建多RGB-D传感器测图***，提出了无重叠视角的多RGB-D传感器测图***外方位半自动校正方法，参照图2，具体描述如下：
a、根据多RGB-D传感器测图***中的传感器布局，在传感器C1,C2,C3…Cn视角及测量范围内的三维结构上附着棋盘图案，所有棋盘角点三维坐标采用全站仪提前获取，获取的棋盘角点三维点集为
Figure GDA0002033630430000071
Figure GDA0002033630430000072
记全站仪所在坐标系为WK；
b、传感器C1,C2,C3…Cn同步采集单帧图像，自动提取对应棋盘角点，并将所述棋盘角点映射到深度图像中获取对应的三维点集，记作
Figure GDA0002033630430000073
c、根据最小二乘原理，全站仪坐标系WK与传感器C1坐标系WC1之间的坐标变换关系T1可以通过最小化方程获取，见公式(1)
Figure GDA0002033630430000074
根据全站仪坐标系WK与传感器C1坐标系WC1之间的坐标变换关系T1，可以将所有全站仪获取的棋盘角点三维点集PK转换到WC1坐标系下，将转换后的棋盘角点三维点集记为
Figure GDA0002033630430000075
公式(2)示出了全站仪获取的棋盘角点三维点集PK与WC1坐标系的变换关系T1 *；
Figure GDA0002033630430000076
其中A为1～n的集合。
e、根据最小二乘原理，获取传感器Ci提取的三维点集
Figure GDA0002033630430000077
与经过坐标变换后的棋盘角点三维点集
Figure GDA0002033630430000078
之间的相对变换，由于PK′所在坐标系与Wc1一致，如公式(3)所示经过适合的矩阵变换即可计算出传感器Ci与传感器C1间的相对变换关系Ti1，Ti1 *表示是通过最小二乘法获取的Ci与传感器C1间的相对变换关系。
Figure GDA0002033630430000079
为保证计算结果的准确性，一方面需保证单帧校正数据中包含足够的控制点，且具有丰富的几何特征，另一方面将采用不同传感器作为基准传感器，获取最优变换。
S2、获取所述图像数据帧序列中含有的特征匹配点，根据所述特征匹配点构建多RGB-D传感器姿态更新方程，利用所述多RGB-D传感器姿态更新方程得到传感器轨迹。
与传统的单RGB-D传感器仅采用两帧数据帧用于姿态更新不同，多RGB-D传感器测图***的姿态更新涉及到多视角观测值融合问题。
多视角观测值融合的传感器追踪包含关键帧检测方法和多维多视角观测值混合优化的姿态更新算法两部分内容。两者相辅相成，前者可为传感器追踪提供可靠、高质量的数据帧，关键帧检测将采用图像模糊度、数据帧基线以及特征点匹配率进行约束；多维多视角观测值混合优化的姿态更新算法将采用局部最小二乘平差的方式最小化相邻关键帧间多维视觉匹配点与几何匹配点混合重投影误差，实现传感器姿态更新。
具体的，请参阅图3(a)，多RGB-D传感器可从多个视角获取图像观测值，在不同位置下，潜在的图像观测值不仅仅存在于同一传感器相邻数据帧中，同时可能存在于不同传感器相邻数据帧中。
具体的，所述特征匹配点包括二三维视觉特征匹配点以及三维几何特征匹配点。
请参阅图3(b)，为了实现多RGB-D传感器测图***的姿态更新，本发明拟采用多维多视角观测值混合优化的姿态更新算法；其核心思想是在传感器数据帧高精度同步的基础上，获取相邻数据帧集合内所有的视觉图像二三维特征匹配点以及三维集合特征匹配点，将所有的特征点统一到Wc1坐标***，构建多RGB-D传感器姿态更新方程。
具体的，所述步骤S2包括：
S21、提取所述图像数据帧序列的关键帧；
S22、通过所述关键帧的点特征匹配得到二三维视觉特征匹配点；进而根据观测值深度信息的有效性划分为2D观测值、2D-3D观测值与3D观测值；
S23、通过局部三维空间块的描述子建立局部3D数据的对应关系，获取三维几何特征匹配点；
S24、通过最小化二三维视觉特征匹配点的重投影误差与三维几何特征匹配点的距离误差构建多RGB-D传感器姿态更新方程。
具体的，多维多视角观测值混合优化的姿态更新代价函数可由公式(4)表示：
Figure GDA0002033630430000091
其中，KL为相邻关键帧集合，
Figure GDA0002033630430000092
为所有视觉图像关键帧中获取的二维视觉特征匹配点集，
Figure GDA0002033630430000093
为视觉图像关键帧中获取的三维视觉特征匹配点集，后者可从深度图像中获取到有效的深度值；L代表传感器序号，可从1～n的数值。D为深度关键帧获取的三维几何特征匹配点集。Obj为Tukey biweight目标函数，用以增强算法的鲁棒性。
Figure GDA0002033630430000094
分别为二维视觉特征匹配点和三维视觉特征匹配点的重投影误差，可由公式(5)和公式(6)得到：
Figure GDA0002033630430000095
Figure GDA0002033630430000096
Figure GDA0002033630430000097
为特征点量测噪声，σL2，L3为重投影误差标准差，
Figure GDA0002033630430000098
为几何特征匹配点深度误差，
Figure GDA0002033630430000099
和σD分别对应于几何匹配点深度量测噪声以及误差标准差，i,j也代表传感器序号，可从1～n的数值。最后通过最小化
Figure GDA00020336304300000910
迭代优化关键帧姿态和三维视觉特征匹配点集中的三维坐标以及几何特征匹配点深度值，由公式(7)可得到传感器C1的姿态更新eu1：
Figure GDA0002033630430000101
由于其它传感器与C1存在固定不变的相对变换关系，因此可获取同样的姿态更新eu1，更新后的传感器姿态可表示为公式(8)：
Eci′＝Ti1·eu1·Ec1 (8)
S3、根据所述传感器轨迹建立回环概率模型，基于所述回环概率模型对传感器轨迹进行全局优化，得到优化后的传感器轨迹；
基于投票策略的回环检测方案本质是将当前位置下获取的RGB-D传感器的数据帧集合，与其他关键数据帧进行比较，判断是否回到经过的位置。值得注意的是，本发明涉及的回环检测与单个RGB-D传感器回环检测方法相比存在以下特点：
多RGB-D传感器带来更大数据量，采用纯迭代搜索方式需要耗费大量的时间和空间，因此采用多级检索的方式降低回环搜索复杂度。
多RGB-D传感器测量同一时间产生多帧数据，多个数据帧同一时刻回环检测结果不一致，融合多次检测建立回环概率模型，确定是否闭环。
具体的，本发明采用基于投票策略的回环检测策略，采用基于词袋模型和运动度量联合搜索方法，请参阅图4，该方法分为一级检索，二级检索和回环概率确定三个部分。
具体的，所述步骤S3中根据所述传感器轨迹建立回环概率模型的步骤包括：
S311、采用运动度量的方法，比较关键帧之间的位置和朝向筛选出阈值内的候选关键帧；
一级检索是采用运动度量的方式，其核心在于比较帧与帧之间的位置和朝向是否在一定阈值内。位置上，先对传感器不同时间的位置建立KDTree索引，对当前关键帧位置进行最邻近查询，获取所在邻近范围内的关键数据帧；其次采用角度度量也就是数据帧的朝向进一步筛选出候选关键帧。
S312、采用词袋模型对所述候选关键帧与当前关键帧进行闭环检测，获取闭环概率；
二级检索是采用特征词袋模型，在一级检索的基础上很大程度的降低了回环的搜索范围，因此采用特征词袋模型进行二级检索，将候选关键帧与当前关键帧采用词袋模型进行闭环检测，获取闭环概率。
S313、对多次检测的闭环概率归一化处理，构建多次检测结果的回环概率模型。
考虑到同一时刻多个传感器数据帧在一级和二级检索中都可能检测到闭环，且检测回环得到的概率不一定相同，因此需要对多次检测结果进行归一化，构建多次检测结果的回环概率模型。
具体的，所述步骤S3中所述基于所述回环概率模型对传感器轨迹进行全局优化的步骤包括：
S321、构建用于降低传感器追踪误差累积的全局实时平差网得到全局优化的传感器轨迹；
所述全局实时平差网，包括：回环运动矩阵优化、全局平差网构建、运动模型自由度定权和实时平差。
全局实时平差网构建用于降低传感器追踪误差累积，包括回环运动矩阵优化、全局平差网构建、运动模型自由度定权、实时平差四个部分。
S4、联合图像数据帧序列与所述优化后的传感器轨迹构建室内三角网模型，所述三角网模型通过Octomap算法优化得到三维点云或Octomap多尺度地图。
首先基于possion算法构建室内三角网模型，联合图像数据帧序列与传感器轨迹实现三角网纹理映射；其次基于Octomap算法优化三维点云结构，构建Octomap多尺度地图，供机器人或无人机等三维空间导航。最终进行多RGB-D传感器测图***软硬件适配集成。
为了更清楚的理解本发明提供的一种多RGB-D传感器的空间三维扫描方法，参阅图5。
K1、搭建多RGB-D传感器测图***，并对其参数进行校正；
校正具体有视觉与深度传感器内外方位校正、无重叠视角的多RGB-D外方位半自动校正和深度传感器测量误差校正；
K2、构建多RGB-D传感器姿态更新方程，实现传感器追踪；
首先提取关键帧，采用混合要素约束的关键帧检测方法，通过图像模糊检测，基线约束，特种点约束对关键帧进行约束；
其次采用多维多视角观测值联合姿态更新算法，通过数据帧实时高精度同步，二三维特征点分类匹配点提取，多视角观测值索引构建，局部重投影误差最小二乘优化构建多RGB-D传感器姿态更新方程，实现传感器追踪，得到传感器轨迹。
K3、建立回环概率模型，优化传感器轨迹；
通过基于词袋模型回环索引构建和运动度量下的回环索引构建，建立基于投票策略的回环概率模型，基于建立的回环概率模型对传感器轨迹进行全局实时平差与轨迹优化，包括，回环运动矩阵优化、全局平差网构建、回环约束自由度定权和实时平差，得到优化后的传感器轨迹。
K4、室内三角网重构与Octomap生成；
根据优化后的传感器轨迹联合图像数据帧序列，重构室内三角网模型，三角网模型通过Octomap算法优化得到三维点云或Octomap多尺度地图，可供机器人或无人机等三维空间导航。最终进行多RGB-D传感器测图***软硬件适配集成。
基于上述方法实施例，本发明还提供一种多RGB-D传感器的空间三维扫描装置，
一种多RGB-D传感器的空间三维扫描装置，请参阅图6，包括：由多个RGB-D传感器搭建的多RGB-D传感器测图***10和与所述RGB-D测图***相连接的数据处理***20；
所述多RGB-D传感器测图***10，用于获取图像数据帧序列；
所述数据处理***20包括：获取传感器轨迹模块201、优化传感器轨迹模块202、三维点云或Octomap多尺度地图生成模块203；
所述获取传感器轨迹模块201，用于获取所述图像数据帧序列中含有的特征匹配点，根据所述特征匹配点构建多RGB-D传感器姿态更新方程，利用所述多RGB-D传感器姿态更新方程得到传感器轨迹；
所述优化传感器轨迹模块202，用于根据所述传感器轨迹建立回环概率模型，基于所述回环概率模型对传感器轨迹进行全局优化，得到优化后的传感器轨迹；
所述三维点云或Octomap多尺度地图生成模块203，用于联合图像数据帧序列与所述优化后的传感器轨迹构建室内三角网模型，所述三角网模型通过Octomap算法优化得到三维点云或Octomap多尺度地图。
可选的，所述获取传感器轨迹模块201包括多RGB-D传感器姿态更新单元；
所述多RGB-D传感器姿态更新单元，用于提取所述图像数据帧序列的关键帧；通过所述关键帧的点特征匹配得到二三维视觉特征匹配点；通过局部三维空间块的描述子建立局部3D数据的对应关系，获取三维几何特征匹配点；通过最小化二三维视觉特征匹配点的重投影误差与三维几何特征匹配点的距离误差构建多RGB-D传感器姿态更新方程。
可选的，所述优化传感器轨迹模块202包括回环概率模型构建单元；
所述回环概率模型构建单元，用于采用运动度量的方法，比较关键帧之间的位置和朝向筛选出阈值内的候选关键帧；采用词袋模型对所述候选关键帧与当前关键帧进行闭环检测，获取闭环概率；对多次检测的闭环概率归一化处理，构建多次检测结果的回环概率模型。
综上所述，本发明提供的一种多RGB-D传感器的空间三维扫描方法及装置，所述方法包括：选取多个RGB-D传感器搭建多RGB-D传感器测图***；所述多RGB-D传感器测图***获取图像数据帧序列；获取所述图像数据帧序列中含有的特征匹配点，根据所述特征匹配点构建多RGB-D传感器姿态更新方程，利用所述多RGB-D传感器姿态更新方程得到传感器轨迹；根据所述传感器轨迹建立回环概率模型，基于所述回环概率模型对传感器轨迹进行全局优化，得到优化后的传感器轨迹；联合图像数据帧序列与所述优化后的传感器轨迹构建室内三角网模型，所述三角网模型通过Octomap算法优化得到三维点云或Octomap多尺度地图，解决了多RGB-D传感器SLAM的关键难点，提高了鲁棒性。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (2)

1.一种多RGB-D传感器的空间三维扫描方法，其特征在于，所述方法包括以下步骤：
A、选取多个RGB-D传感器搭建多RGB-D传感器测图***；所述多RGB-D传感器测图***获取图像数据帧序列；其中，所述多RGB-D传感器测图***采用多级检索的方式；
B、获取所述图像数据帧序列中含有的特征匹配点，根据所述特征匹配点构建多RGB-D传感器姿态更新方程，利用所述多RGB-D传感器姿态更新方程得到传感器轨迹；
C、根据所述传感器轨迹建立回环概率模型，基于所述回环概率模型对传感器轨迹进行全局优化，得到优化后的传感器轨迹；
D、联合图像数据帧序列与所述优化后的传感器轨迹构建室内三角网模型，所述三角网模型通过Octomap算法优化得到三维点云或Octomap多尺度地图；
步骤A还包括：
A1、通过RGB-D传感器内外方位校正方法、无重叠视角的多RGB-D传感器测图***外方位半自动校正方法和深度传感器测量误差校正方法联合校正所述测图***的参数；
所述无重叠视角多RGB-D传感器测图***外方位半自动校正方法包括：
预先通过全站仪获取的棋盘角点三维点集、全站仪所在坐标系和各RGB-D传感器坐标系；
根据所述多RGB-D传感器测图***中的传感器布局，在多个RGB-D传感器视角及测量范围内的三维结构上附着棋盘图案；
所述多个RGB-D传感器同步采集单帧图像，自动提取对应的棋盘角点序列，并映射到深度图像中获取对应的三维点集；
根据最小二乘原理，依次进行全站仪坐标系与各RGB-D传感器坐标系之间的坐标变换，得到全站仪坐标系与各RGB-D传感器坐标系之间的坐标变换关系，根据所述坐标变换关系将全站仪获取的三维点集转换到各RGB-D传感器坐标系下实现校正；
步骤B包括：
B1、提取所述图像数据帧序列的关键帧；
B2、通过所述关键帧的点特征匹配得到二三维视觉特征匹配点；
B3、通过局部三维空间块的描述子建立局部3D数据的对应关系，获取三维几何特征匹配点；
B4、通过最小化二三维视觉特征匹配点的重投影误差与三维几何特征匹配点的距离误差构建多RGB-D传感器姿态更新方程；
所述步骤B1中，采用混合要素约束的关键帧检测方法，通过图像模糊检测，基线约束，特种点约束对所述关键帧进行约束；
所述步骤C中根据所述传感器轨迹建立回环概率模型的步骤包括：
C11、采用运动度量的方法，比较关键帧之间的位置和朝向筛选出阈值内的候选关键帧；
C12、采用词袋模型对所述候选关键帧与当前关键帧进行闭环检测，获取闭环概率；
C13、对多次检测的闭环概率归一化处理，构建多次检测结果的回环概率模型;
所述步骤C中，所述基于所述回环概率模型对传感器轨迹进行全局优化的步骤包括：
C21、构建用于降低传感器追踪误差累积的全局实时平差网得到全局优化的传感器轨迹；
所述全局实时平差网，包括：回环运动矩阵优化、全局平差网构建、运动模型自由度定权和实时平差。
2.一种多RGB-D传感器的空间三维扫描装置，其特征在于，包括：由多个RGB-D传感器搭建的多RGB-D传感器测图***和与所述RGB-D测图***相连接的数据处理***；其中，所述多RGB-D传感器测图***采用多级检索的方式；
所述多RGB-D传感器测图***，用于获取图像数据帧序列，还用于通过RGB-D传感器内外方位校正方法、无重叠视角的多RGB-D传感器测图***外方位半自动校正方法和深度传感器测量误差校正方法联合校正所述测图***的参数；所述无重叠视角多RGB-D传感器测图***外方位半自动校正方法包括：预先通过全站仪获取的棋盘角点三维点集、全站仪所在坐标系和各RGB-D传感器坐标系；根据所述多RGB-D传感器测图***中的传感器布局，在多个RGB-D传感器视角及测量范围内的三维结构上附着棋盘图案；所述多个RGB-D传感器同步采集单帧图像，自动提取对应的棋盘角点序列，并映射到深度图像中获取对应的三维点集；根据最小二乘原理，依次进行全站仪坐标系与各RGB-D传感器坐标系之间的坐标变换，得到全站仪坐标系与各RGB-D传感器坐标系之间的坐标变换关系，根据所述坐标变换关系将全站仪获取的三维点集转换到各RGB-D传感器坐标系下实现校正；
所述数据处理***包括：获取传感器轨迹模块、优化传感器轨迹模块、三维点云或Octomap多尺度地图生成模块；
所述获取传感器轨迹模块，用于获取所述图像数据帧序列中含有的特征匹配点，根据所述特征匹配点构建多RGB-D传感器姿态更新方程，利用所述多RGB-D传感器姿态更新方程得到传感器轨迹；
所述优化传感器轨迹模块，用于根据所述传感器轨迹建立回环概率模型，基于所述回环概率模型对传感器轨迹进行全局优化，得到优化后的传感器轨迹；
所述三维点云或Octomap多尺度地图生成模块，用于联合图像数据帧序列与所述优化后的传感器轨迹构建室内三角网模型，所述三角网模型通过Octomap算法优化得到三维点云或Octomap多尺度地图；
所述获取传感器轨迹模块包括多RGB-D传感器姿态更新单元；
所述多RGB-D传感器姿态更新单元，用于提取所述图像数据帧序列的关键帧；通过所述关键帧的点特征匹配得到二三维视觉特征匹配点；通过局部三维空间块的描述子建立局部3D数据的对应关系，获取三维几何特征匹配点；通过最小化二三维视觉特征匹配点的重投影误差与三维几何特征匹配点的距离误差构建多RGB-D传感器姿态更新方程；
所述多RGB-D传感器姿态更新单元中，采用混合要素约束的关键帧检测方法，通过图像模糊检测，基线约束，特种点约束对所述图像数据帧序列的关键帧进行约束；
所述优化传感器轨迹模块包括回环概率模型构建单元；
所述回环概率模型构建单元，用于采用运动度量的方法，比较关键帧之间的位置和朝向筛选出阈值内的候选关键帧；采用词袋模型对所述候选关键帧与当前关键帧进行闭环检测，获取闭环概率；对多次检测的闭环概率归一化处理，构建多次检测结果的回环概率模型;
所述优化传感器轨迹模块中，所述基于所述回环概率模型对传感器轨迹进行全局优化的步骤包括：
构建用于降低传感器追踪误差累积的全局实时平差网得到全局优化的传感器轨迹；
所述全局实时平差网，包括：回环运动矩阵优化、全局平差网构建、运动模型自由度定权和实时平差。
CN201910281532.XA 2019-04-09 2019-04-09 一种多rgb-d传感器的空间三维扫描方法及装置 Active CN110163915B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910281532.XA CN110163915B (zh) 2019-04-09 2019-04-09 一种多rgb-d传感器的空间三维扫描方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910281532.XA CN110163915B (zh) 2019-04-09 2019-04-09 一种多rgb-d传感器的空间三维扫描方法及装置

Publications (2)

Publication Number Publication Date
CN110163915A CN110163915A (zh) 2019-08-23
CN110163915B true CN110163915B (zh) 2021-07-13

Family

ID=67639163

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910281532.XA Active CN110163915B (zh) 2019-04-09 2019-04-09 一种多rgb-d传感器的空间三维扫描方法及装置

Country Status (1)

Country Link
CN (1) CN110163915B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110675418B (zh) * 2019-09-26 2023-04-18 深圳市唯特视科技有限公司 一种基于ds证据理论的目标轨迹优化方法
CN113447014A (zh) * 2021-08-30 2021-09-28 深圳市大道智创科技有限公司 室内移动机器人、建图方法、定位方法以及建图定位装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109360245A (zh) * 2018-10-26 2019-02-19 魔视智能科技(上海)有限公司 无人驾驶车辆多相机***的外参数标定方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3144898A1 (en) * 2015-09-17 2017-03-22 Thomson Licensing Method and system for determination of intrinsic images from two dimensional images in a video sequence
CN106595659A (zh) * 2016-11-03 2017-04-26 南京航空航天大学 城市复杂环境下多无人机视觉slam的地图融合方法
CN106709947B (zh) * 2016-12-20 2020-06-19 西安交通大学 一种基于rgbd相机的三维人体快速建模***
CN107507235B (zh) * 2017-08-31 2020-11-10 山东大学 一种基于rgb-d设备采集的彩色图像和深度图像的配准方法
CN108090958B (zh) * 2017-12-06 2021-08-27 上海阅面网络科技有限公司 一种机器人同步定位和地图构建方法和***
CN108958232A (zh) * 2017-12-07 2018-12-07 炬大科技有限公司 一种基于深度视觉的移动扫地机器人slam装置及算法
CN108564616B (zh) * 2018-03-15 2020-09-01 中国科学院自动化研究所 快速鲁棒的rgb-d室内三维场景重建方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109360245A (zh) * 2018-10-26 2019-02-19 魔视智能科技(上海)有限公司 无人驾驶车辆多相机***的外参数标定方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Visual SLAM using Multiple RGB-D Cameras;Shaowu Yang 等;《IEEE Conference on Robotics and Biomimetics》;20151231;论文摘要，第3-5节 *
多视图像增强的RGB-D室内高精度三维测图方法;汤圣君;《中国博士学位论文全文数据库信息科技辑》;20170815;论文第4章 *
室内移动机器人RGB-D SLAM算法研究;张米令;《中国优秀硕士学位论文全文数据库信息科技辑》;20190115;论文第4章 *

Also Published As

Publication number Publication date
CN110163915A (zh) 2019-08-23

Similar Documents

Publication Publication Date Title
WO2021233029A1 (en) Simultaneous localization and mapping method, device, system and storage medium
Sarlin et al. Back to the feature: Learning robust camera localization from pixels to pose
WO2019170164A1 (zh) 基于深度相机的三维重建方法、装置、设备及存储介质
CN107392964B (zh) 基于室内特征点和结构线结合的室内slam方法
Paya et al. A state‐of‐the‐art review on mapping and localization of mobile robots using omnidirectional vision sensors
Clipp et al. Parallel, real-time visual SLAM
CN109993113A (zh) 一种基于rgb-d和imu信息融合的位姿估计方法
CN112894832A (zh) 三维建模方法、装置、电子设备和存储介质
WO2021004416A1 (zh) 一种基于视觉信标建立信标地图的方法、装置
CN110125928A (zh) 一种基于前后帧进行特征匹配的双目惯导slam***
CN109509230A (zh) 一种应用于多镜头组合式全景相机的slam方法
CN104732518A (zh) 一种基于智能机器人地面特征的ptam改进方法
CN103106688A (zh) 基于双层配准方法的室内三维场景重建方法
CN110136202A (zh) 一种基于ssd与双摄像头的多目标识别与定位方法
CN104966063A (zh) 基于gpu与cpu协同计算的矿井多摄像机视频融合方法
CN111060924A (zh) 一种slam与目标跟踪方法
CN113506342B (zh) 一种基于多相机全景视觉的slam全向回环校正方法
CN112784873A (zh) 一种语义地图的构建方法及设备
CN112767546B (zh) 移动机器人基于双目图像的视觉地图生成方法
CN111860651B (zh) 一种基于单目视觉的移动机器人半稠密地图构建方法
CN110163915B (zh) 一种多rgb-d传感器的空间三维扫描方法及装置
CN116222543B (zh) 用于机器人环境感知的多传感器融合地图构建方法及***
CN113313659A (zh) 一种多机协同约束下高精度图像拼接方法
CN112833892A (zh) 一种基于轨迹对齐的语义建图方法
Zhang LILO: A novel LiDAR–IMU SLAM system with loop optimization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant