CN109636897A - 一种基于改进RGB-D SLAM的Octomap优化方法 - Google Patents

一种基于改进RGB-D SLAM的Octomap优化方法 Download PDF

Info

Publication number
CN109636897A
CN109636897A CN201811405883.9A CN201811405883A CN109636897A CN 109636897 A CN109636897 A CN 109636897A CN 201811405883 A CN201811405883 A CN 201811405883A CN 109636897 A CN109636897 A CN 109636897A
Authority
CN
China
Prior art keywords
point
octomap
point cloud
rgb
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811405883.9A
Other languages
English (en)
Other versions
CN109636897B (zh
Inventor
罗笑南
邓春贵
钟艳如
李芳�
汪华登
李媛
李一媛
刘忆宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin University of Electronic Technology
Original Assignee
Guilin University of Electronic Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin University of Electronic Technology filed Critical Guilin University of Electronic Technology
Priority to CN201811405883.9A priority Critical patent/CN109636897B/zh
Publication of CN109636897A publication Critical patent/CN109636897A/zh
Application granted granted Critical
Publication of CN109636897B publication Critical patent/CN109636897B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/005Tree description, e.g. octree, quadtree
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于改进RGB‑D SLAM的Octomap优化方法,其特征在于,包括如下步骤:1)构造最小误差函数优化RGB‑D SLAM室内定位***相机位姿,获得点云图;2)使用K维树进行点云组织;4)计算平均K‑最近领距离;5)定义异常值并从点云图中删除;6)建立Octomap地图。这种方法能去除Octomap地图中的稀疏异常值,能提高Octomap地图的准确性和紧凑性并减少内存消耗。

Description

一种基于改进RGB-D SLAM的Octomap优化方法
技术领域
本发明涉及RGB-D SLAM室内定位***相机位姿优化和Octomap地图构建的室内定位技术领域,具体是一种基于改进深度图像映射的(RGB+Depth Map simultaneouslocalization and mapping,简称RGB-D SLAM)的基于八叉树的高效概率三维映射框架(Efficient Probabilistic3D Mapping Framework Based on Octrees,简称Octomap)优化方法。
背景技术
目前世界各国对移动机器人的技术研究已经上升到一个新的阶段,而同时定位和映射(SLAM)又是当前机器人技术中最重要的主题之一。自主机器人的可移动性使其代替人类从事危险的任务成为现实,在各种复杂、危险的环境中通过对自身行为的自主规划、自我学习等方式实现对周围环境的主动感知和理解。对于移动机器人,映射是不同导航任务不可或缺的先决条件。它提供了对本地化,防撞和路径规划至关重要的环境模型。在目前比较成熟的技术中有多种地图可供选择,如度量图,拓扑图,点云图,占用图等,也有2D和3D的应用区别。2D地图不足以使机器人在三维空间中移动。因此,构建丰富的环境3D地图是自动移动机器人的关键任务。
随着RGB-D相机尤其是Microsoft Kinect相机的出现,3D地图更容易构建。3D点云图在Visual SLAM中很常见,它已被用于多种3D SLAM***。RGB-D***不仅可以获取场景的彩色图像信息,而且还能获取到场景精确的深度信息,但是RGB-D***所获取的点云图非常稀疏,误差较大而且需要大量的内存资源,无法满足实时要求。
OctoMap是使用基于八叉树的映射框架,能够实现紧凑的3D地图,并且可以使用不用的分辨率进行地图表示,大大节省内存空间。然而,具有稀疏异常值的OctoMap是不可避免的,这可能是由于人类的存在以及传感器的误差而产生。使用原始OctoMap进行机器人导航,稀疏异常值将影响障碍物识别、路径规划,从而影响整个导航任务。
发明内容
本发明的目的是针对现有技术的不足,而提供一种基于改进RGB-D SLAM的Octomap优化方法。这种方法能去除Octomap地图中的稀疏异常值,能提高Octomap地图的准确性和紧凑性并减少内存消耗。
实现本发明目的的技术方案是:
一种基于改进RGB-D SLAM的Octomap优化方法,与现有技术不同处在于,包括如下方法:
1)构造最小误差函数优化RGB-D SLAM室内定位***相机位姿,获得点云图:在RGB-D SLAM***获取点云过程中,对相机位姿估计进行优化,依据图优化理论,通过3D-3D模型,在特征点匹配时建立最小误差模型,过程如下:相邻关键帧FK和Fk+1,提取它们的特征点并匹配它们的描述符,得到两个特征点集Sk={s1 k,s2 k,...,sn k}和Sk+1={s1 k+1,s2 k+1,...,sn k+1},结合给定图像深度的深度信息,得到3D特征点集Xk={x1 k,x2 k,...,xn k}和相机内部参数为C,利用下述公式(1)可求得旋转矩阵R和平移向量t为:
其中d1 k,d1 k+1分别表示关键帧FK和Fk+1对应特征点的深度;
构造每个点的最小误差函数为公式(2):
整合得到全局优化函数公式(3):
其中n表示特征点索引,T表示矩阵转置,最后使用g2o框架对点云图进行优化,得到全局点云图;
2)使用K维树进行点云组织:初始点云没有任何拓扑,需要以某种形式组织,使用K维树对点云进行组织,K维树是稀疏异常值处理的下一步基础,K维树使用垂直于每个坐标轴的平面来逐步穿过区域,组织点云后,每个点对应于二叉树的节点;
3)为点云设置K值:依据需要为点云设置K值,用于作下一步K最近邻距离计算;
4)计算平均K-最近领距离:K近邻的平均距离用公式(4)计算:
其中n为点索引,得出每个点的平均K最近邻距离dn,再依据每个点的平均距离计算出全局平均距离μ和标准差σ,计算依据为公式(5):
其中m为点索引;
5)定义异常值并从点云图中删除:依据统计理论,假设平均距离μ和标准差σ服从高斯分布,平均距离在特定范围之外的点可以被定义为异常值并从点云图中删除,因此设置一个置信区间[c1,c2]为公式(6):
其中α是比例因子,用于调整范围的大小,α的值取决于近邻分析的大小,在置信区间之外的点将被定义为奇异值并从点云图中删除;
6)建立Octomap地图:结合步骤4)和步骤5)调用Octomap库把点云地图转换为Octomap地图,Octomap是基于八叉树的映射框架,通过树结构有效地处理体素,从而产生紧凑的存储器表示,提高准确性。
与现有技术相比,本技术方案的有益效果:
构造最小误差函数优化RGB-D SLAM室内定位***相机位姿,减少在点云获取时的误差,缩短了点云获取时间,K-最近邻和高斯分布相结合,去除Octomap地图中的稀疏异常值,提高Octomap地图的准确性和紧凑性并减少内存消耗。
这种方法能去除Octomap地图中的稀疏异常值,能提高Octomap地图的准确性和紧凑性并减少内存消耗。
附图说明
图1为实施例的方法流程示意图;
图2改进RGB-D SLAM的Octomap优化方法结构示意图。
具体实施方式
下面结合附图和实施例对本发明内容作进一步的说明,但不是对本发明的限定。
实施例:
参照图1,一种基于改进RGB-D SLAM的Octomap优化方法,与现有技术不同处在于,包括如下方法:
1)构造最小误差函数优化RGB-D SLAM室内定位***相机位姿,获得点云图:在RGB-D SLAM***获取点云过程中,对相机位姿估计进行优化,依据图优化理论,通过3D-3D模型,在特征点匹配时建立最小误差模型,过程如下:相邻关键帧FK和Fk+1,提取它们的特征点并匹配它们的描述符,得到两个特征点集Sk={s1 k,s2 k,...,sn k}和Sk+1={s1 k+1,s2 k+1,...,sn k+1},结合给定图像深度的深度信息,得到3D特征点集Xk={x1 k,x2 k,...,xn k}和Xk+1={x1 k +1,x2 k+1,...,xn k+1},相机内部参数为C,利用下述公式(1)可求得旋转矩阵R和平移向量t为:
其中d1 k,d1 k+1分别表示关键帧FK和Fk+1对应特征点的深度;
构造每个点的最小误差函数为公式(2):
整合得到全局优化函数公式(3):
其中n表示特征点索引,T表示矩阵转置,最后使用g2o框架对点云图进行优化,得到全局点云图;
2)使用K维树进行点云组织:初始点云没有任何拓扑,需要以某种形式组织,使用K维树对点云进行组织,K维树是稀疏异常值处理的下一步基础,K维树使用垂直于每个坐标轴的平面来逐步穿过区域,组织点云后,每个点对应于二叉树的节点;
3)为点云设置K值:依据需要为点云设置K值,用于作下一步K最近邻距离计算;
4)计算平均K-最近领距离:K近邻的平均距离用公式(4)计算:
其中n为点索引,得出每个点的平均K最近邻距离dn,再依据每个点的平均距离计算出全局平均距离μ和标准差σ,计算依据为公式(5):
其中m为点索引;
5)定义异常值并从点云图中删除:依据统计理论,假设平均距离μ和标准差σ服从高斯分布,平均距离在特定范围之外的点可以被定义为异常值并从点云图中删除,因此设置一个置信区间[c1,c2]为公式(6):
其中α是比例因子,用于调整范围的大小,α的值取决于近邻分析的大小,在置信区间之外的点将被定义为奇异值并从点云图中删除;
6)建立Octomap地图:结合步骤4)和步骤5)调用Octomap库把点云地图转换为Octomap地图,Octomap是基于八叉树的映射框架,通过树结构有效地处理体素,从而产生紧凑的存储器表示,提高准确性。
如图2所示,本实施例通过构造最小误差函数优化RGB-D SLAM室内定位***相机位姿,减少迭代次数,提高***获取点云速度和精度;使用K-最近邻和高斯分布相结合的方法去除点云图中的异常稀疏值,进一步提高点云图的精度;再将点云图转化为内存消耗更小,精确度更高,更紧凑的Octomap地图。

Claims (1)

1.一种基于改进RGB-D SLAM的Octomap优化方法,其特征在于,包括如下步骤:
1)构造最小误差函数优化RGB-D SLAM室内定位***相机位姿,获得点云图:在RGB-DSLAM***获取点云过程中,对相机位姿估计进行优化,依据图优化理论,通过3D-3D模型,在特征点匹配时建立最小误差模型,过程如下:相邻关键帧FK和Fk+1,提取它们的特征点并匹配它们的描述符,得到两个特征点集Sk={s1 k,s2 k,...,sn k}和Sk+1={s1 k+1,s2 k+1,...,sn k+1},结合给定图像深度的深度信息,得到3D特征点集Xk={x1 k,x2 k,...,xn k}和Xk+1={x1 k+1,x2 k +1,...,xn k+1},相机内部参数为C,利用下述公式(1)可求得旋转矩阵R和平移向量t为:
其中d1 k,d1 k+1分别表示关键帧FK和Fk+1对应特征点的深度;
构造每个点的最小误差函数为公式(2):
整合得到全局优化函数公式(3):
其中n表示特征点索引,T表示矩阵转置,最后使用g2o框架对点云图进行优化,得到全局点云图;
2)使用K维树进行点云组织:使用K维树对点云进行组织,K维树使用垂直于每个坐标轴的平面来逐步穿过区域,每个点对应于二叉树的节点;
3)为点云设置K值:依据需要为点云设置K值;
4)计算平均K-最近领距离:K近邻的平均距离用公式(4)计算:
其中n为点索引,得出每个点的平均K最近邻距离dn,再依据每个点的平均距离计算出全局平均距离μ和标准差σ,计算依据为公式(5):
其中m为点索引;
5)定义异常值并从点云图中删除:假设平均距离μ和标准差σ服从高斯分布,平均距离在特定范围之外的点可以被定义为异常值并从点云图中删除,因此设置一个置信区间[c1,c2]为公式(6):
其中α是比例因子,用于调整范围的大小,α的值取决于近邻分析的大小,在置信区间之外的点将被定义为奇异值并从点云图中删除;
6)建立Octomap地图:结合步骤4)和步骤5)调用Octomap库把点云地图转换为Octomap地图。
CN201811405883.9A 2018-11-23 2018-11-23 一种基于改进RGB-D SLAM的Octomap优化方法 Active CN109636897B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811405883.9A CN109636897B (zh) 2018-11-23 2018-11-23 一种基于改进RGB-D SLAM的Octomap优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811405883.9A CN109636897B (zh) 2018-11-23 2018-11-23 一种基于改进RGB-D SLAM的Octomap优化方法

Publications (2)

Publication Number Publication Date
CN109636897A true CN109636897A (zh) 2019-04-16
CN109636897B CN109636897B (zh) 2022-08-23

Family

ID=66069128

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811405883.9A Active CN109636897B (zh) 2018-11-23 2018-11-23 一种基于改进RGB-D SLAM的Octomap优化方法

Country Status (1)

Country Link
CN (1) CN109636897B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110264563A (zh) * 2019-05-23 2019-09-20 武汉科技大学 一种基于orbslam2的八叉树建图方法
CN110807818A (zh) * 2019-10-29 2020-02-18 北京影谱科技股份有限公司 基于关键帧的rgb-dslam方法和装置
US11875534B2 (en) * 2022-03-02 2024-01-16 Guangdong University Of Technology Pose estimation method for unmanned aerial vehicle based on point line and plane feature fusion

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101067557A (zh) * 2007-07-03 2007-11-07 北京控制工程研究所 适用于自主移动车辆的环境感知的单目视觉导航方法
CN106940186A (zh) * 2017-02-16 2017-07-11 华中科技大学 一种机器人自主定位与导航方法及***
CN107590827A (zh) * 2017-09-15 2018-01-16 重庆邮电大学 一种基于Kinect的室内移动机器人视觉SLAM方法
CN107909612A (zh) * 2017-12-01 2018-04-13 驭势科技(北京)有限公司 一种基于3d点云的视觉即时定位与建图的方法与***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101067557A (zh) * 2007-07-03 2007-11-07 北京控制工程研究所 适用于自主移动车辆的环境感知的单目视觉导航方法
CN106940186A (zh) * 2017-02-16 2017-07-11 华中科技大学 一种机器人自主定位与导航方法及***
CN107590827A (zh) * 2017-09-15 2018-01-16 重庆邮电大学 一种基于Kinect的室内移动机器人视觉SLAM方法
CN107909612A (zh) * 2017-12-01 2018-04-13 驭势科技(北京)有限公司 一种基于3d点云的视觉即时定位与建图的方法与***

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
ENDRES F等: "3-D Mapping With an RGB-D Camera", 《IEEE TRANSACTIONS ON ROBOTICS》 *
李策等: "基于相对坐标ICP的室内场景三维重建算法", 《兰州理工大学学报》 *
蔡军等: "基于Kinect的改进移动机器人视觉SLAM", 《智能***学报》 *
赵矿军: "基于RGB-D摄像机的室内三维彩色点云地图构建", 《哈尔滨商业大学学报(自然科学版)》 *
陈劭等: "移动机器人RGB-D视觉SLAM算法", 《农业机械学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110264563A (zh) * 2019-05-23 2019-09-20 武汉科技大学 一种基于orbslam2的八叉树建图方法
CN110807818A (zh) * 2019-10-29 2020-02-18 北京影谱科技股份有限公司 基于关键帧的rgb-dslam方法和装置
US11875534B2 (en) * 2022-03-02 2024-01-16 Guangdong University Of Technology Pose estimation method for unmanned aerial vehicle based on point line and plane feature fusion

Also Published As

Publication number Publication date
CN109636897B (zh) 2022-08-23

Similar Documents

Publication Publication Date Title
CN109685842B (zh) 一种基于多尺度网络的稀疏深度稠密化方法
CN106296812B (zh) 同步定位与建图方法
CN111060924B (zh) 一种slam与目标跟踪方法
CN114399554B (zh) 一种多相机***的标定方法及***
CN113269837B (zh) 一种适用于复杂三维环境的定位导航方法
CN109598754B (zh) 一种基于深度卷积网络的双目深度估计方法
CN111899328B (zh) 一种基于rgb数据与生成对抗网络的点云三维重建方法
CN110717983A (zh) 一种基于背包式三维激光点云数据的建筑物立面三维重建方法
CN108303710A (zh) 基于三维激光雷达的无人机多场景定位建图方法
CN109345574A (zh) 基于语义点云配准的激光雷达三维建图方法
CN107358629B (zh) 一种基于目标识别的室内建图与定位方法
CN109636897A (zh) 一种基于改进RGB-D SLAM的Octomap优化方法
CN115032648B (zh) 一种基于激光雷达密集点云的三维目标识别与定位方法
CN107153831A (zh) 智能终端的定位方法、***及智能终端
CN115564926A (zh) 基于影像建筑物结构学习的三维面片模型构建方法
CN116222577B (zh) 闭环检测方法、训练方法、***、电子设备及存储介质
Shivakumar et al. Real time dense depth estimation by fusing stereo with sparse depth measurements
CN112907573A (zh) 一种基于3d卷积的深度补全方法
CN110967020B (zh) 一种面向港口自动驾驶的同时制图与定位方法
CN106931978B (zh) 自动构建路网的室内地图生成的方法
CN113487631B (zh) 基于lego-loam的可调式大角度探测感知及控制方法
CN113256696B (zh) 基于自然场景的激光雷达和相机的外参标定方法
JP2023079022A (ja) 情報処理装置及び情報生成方法
CN111198563B (zh) 一种用于足式机器人动态运动的地形识别方法及***
CN117132737A (zh) 一种三维建筑模型构建方法、***及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant