CN110887487B - 一种室内同步定位与建图方法 - Google Patents

一种室内同步定位与建图方法 Download PDF

Info

Publication number
CN110887487B
CN110887487B CN201911114074.7A CN201911114074A CN110887487B CN 110887487 B CN110887487 B CN 110887487B CN 201911114074 A CN201911114074 A CN 201911114074A CN 110887487 B CN110887487 B CN 110887487B
Authority
CN
China
Prior art keywords
mobile platform
rgb
point
image
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911114074.7A
Other languages
English (en)
Other versions
CN110887487A (zh
Inventor
吴斌
甄海朋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201911114074.7A priority Critical patent/CN110887487B/zh
Publication of CN110887487A publication Critical patent/CN110887487A/zh
Application granted granted Critical
Publication of CN110887487B publication Critical patent/CN110887487B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开了一种室内同步定位与建图方法，所采用的移动平台包括移动平台主体，在其上固定有计算机，用于采集环境图像的RGDB‑D相机，通信模块，可扩展传感器接口以及动力***,计算机作为移动平台的控制核心，运行SLAM算法程序，处理RGDB‑D相机或其他传感器捕获的环境信息并通过动力***控制移动平台主体，其特征在于，室内SLAM算法验证移动平台采用两种运行模式，其一为通过优化SLAM算法数据处理量实现的，在单板计算机上运行的离线模式；其二为藉由通信模块实现：利用移动平台采集环境信息并在远程服务器端运行SLAM算法，实现处理、信息采集的双线程在线模式。

Description

一种室内同步定位与建图方法
技术领域
本发明属于室内导航领域，尤其涉及一种基于嵌入式平台的同时定位与建图方法。
背景技术
在室内机器人领域，由于GPS信号在室内环境较弱，当前主流的室内导航方案是采用SLAM(Simultaneous Localization And Mapping,同时定位与地图构建)算法。
当前主流SLAM算法采用相机或激光雷达采集室内环境信息，在未知环境中进行定位并同步建立环境地图模型。
相较于传统的GPS定位，SLAM方法不需要人工设计的环境地图，可以使机器人自主感知未知环境，在构建环境地图的同时实现定位功能。SLAM需要处理大量环境信息，对计算资源需求很大，因此现有SLAM算法大多基于个人电脑开发运行，无法适应计算资源紧缺的嵌入式设备。采集高精度的环境信息需要昂贵的激光雷达、IMU等传感器，实现不同的SLAM算法需要使用不同的硬件平台。
发明内容
针对现有室内导航技术的缺陷，本发明旨在提供一种室内同步定位与建图方法，解决现有的算法验证平台成本高以及由计算量引起的环境适应性差的问题。为了解决上述问题，本发明公开以下技术方案：
一种室内同步定位与建图方法，所采用的移动平台包括移动平台主体，在其上固定有计算机，用于采集环境图像的RGDB-D相机，通信模块，可扩展传感器接口以及动力***,计算机作为移动平台的控制核心，运行SLAM算法程序，处理RGDB-D相机或其他传感器捕获的环境信息并通过动力***控制移动平台主体，其特征在于，室内SLAM算法验证移动平台采用两种运行模式，其一为通过优化SLAM算法数据处理量实现的，在单板计算机上运行的离线模式；其二为藉由通信模块实现：利用移动平台采集环境信息并在远程服务器端运行SLAM算法，实现处理、信息采集的双线程在线模式；
(1)离线模式如下：
通过安装在所述移动平台上的RGB-D深度相机，对所述移动平台周围环境进行实时拍摄采样，得到实时环境的RGB图像与对应的深度图像；
对获得的RGB图像做初步处理，计算图像像素梯度，滤除像素梯度不明显的像素点，保留具有明显梯度的像素点；
对空间中一点映射在相邻两帧RGB图像的两个像素点，分别计算其亮度值，并将其相减得到该空间点在两帧RGB图像上的光度误差；
设同一空间点在各帧RGB图像中具有相同的灰度值，利用该不变量优化所述各梯度明显像素点的光度误差，从而获得相邻两帧RGB图像对应的相机位置与姿态；
将RGB-D深度相机拍摄得到的环境RGB图像与深度图像融合，得到像素点的三维坐标值，将其***到地图中，构建环境稀疏地图；
移动平台在未知环境中根据所得实时地图与自身定位进行避障导航.
(2)在线模式：
RGB-D深度相机对周围环境进行拍摄，将拍摄获得的RGB图像与对应的深度图像通过所述通信模块传向个人电脑；
运行于所述个人电脑的服务端程序对移动平台传来的图像进行处理；
提取每帧RGB图像的Oriented FAST关键点，计算关键点的BRIEF描述子；
对相邻两帧RGB图像的BRIEF描述子进行匹配，并计算匹配点之间的距离，当匹配点之间的距离大于设定阈值时，即认为是一组错误匹配，滤除该组匹配点；
将处理过的RGB图像与其对应的深度图像融合，获得匹配点的三维坐标；
对RGB-D深度相机的缺失深度信息的3D-2D匹配点对使用PnP(Perspective-n-Point)进行求解，对深度信息完整的3D-3D匹配点对使用ICP(Iterative Closest Point,迭代最近点)进行求解，经PnP或ICP求解得到相机的位置与姿态信息；
根据计算所得相机位置与姿态信息，将匹配点对转化为三维点云，将三维点云拼接为稠密地图；
对所得点云地图进行滤波处理，获得稠密环境地图；
根据计算得到的位置与地图信息，服务端程序发出运动指令，通过通信模块传回安装在所述移动平台主体上的计算机，计算机根据收到的指令控制进行避障导航。
本发明公开了一种基于单板计算机的室内移动平台与一种适用于移动平台的自主建图与同步定位方法。本发明公开的基于单板式计算机的移动平台体积小巧，适用于狭窄的室内环境，移动平台上层托板的三个传感器扩展接口可扩展多种传感器，长方形相机支架可支持市面上的长方形RGB-D深度相机、双目相机，可扩展性高。可以根据解决方案需要，灵活选择传感器与相机种类，使得移动平台具有高算法适用性。本发明所述移动平台采用可扩展模块降低了造价成本。本发明所述方案可选择离线模式与在线模式两种运行模式。离线模式直接运行于移动平台上的单板计算机，没有采用计算量巨大的特征点作为图像匹配方法，而是采用了基于灰度不变原理的直接法对相邻两帧图像进行匹配，使得计算量对于计算资源紧张的单板计算机也能达到实时性的要求。在线模式通过5G蜂窝通信模块的高速上传、下载速率将移动平台采集的环境信息传输至运行于个人电脑上的服务端算法程序，移动平台作为信息采集与运动指令执行装置，远程个人电脑作为算法运行平台，借助个人电脑的丰富的计算资源运行更为复杂的算法程序，建立稠密地图实现更精确的定位与建图功能。
附图说明
图1是本发明实施例中一种室内移动平台定位与建图方法的原理图；
图2是移动平台前视图；
图3是移动平台右视图；
图4是移动平台上视图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
如图1所示本发明公开了一种基于单板计算机的室内自主定位与同步建图移动平台。
所述移动平台包括移动平台主体与环境交互***两部分。所述移动平台主体采用下层托板、中层托板、上层托板构成三层竖直结构，各层托板均通过碳纤支柱连接，支柱高度可根据各层实际使用空间大小进行调节。中层托板1/3处装有单板计算机托板，用于固定所用单板计算机。上层托板前方有相机支架，用于安装长方形结构的RGDB-D相机与双目相机。
如图2所示，所述环境交互***包括动力***、核心控制***、传感器***。所述动力***包括安装在下层托板两侧前1/3处的两个伺服电机2，每个电机上装有橡胶防滑车轮3，下层托板后1/3处装有万向轮1，使移动平台转向时得以保持稳定。所述核心控制***位于中层托板，由方形托板支架固定的单板计算机4，运行控制算法程序，并控制伺服电机运动。所述传感器***包括RGB-D深度相机6、5G蜂窝通信模块10，如图3所示，三个可编程LED7、12、13及三个可扩展传感器接口8、9、11。
特别的，安装于长方形相机支架上的RGB-D深度相机6根据具体使用的算法可以更换为长方形双目相机。
特别的，三个可扩展传感器接口8、9、11根据算法需要可使用IMU、加速度传感器、陀螺仪、电子罗盘、热释电传感器等多种传感器。
特别的，三个可编程LED 7、12、13可根据算法需要进行控制，显示算法运行状态。
特别的，连接支柱5采用旋锁结构，可根据需要调节高度，从而控制中层托板与上层托板之间的距离，尽可能减小移动平台的体积，使其适应室内狭小空间。
本发明公开一种基于此室内移动平台的室内定位与同时建图方法。
如图1所示，移动平台可切换离线模式与在线模式两种运行状态。离线模式是通过采用基于灰度不变原理的直接法运行在单板计算机上的，实现实时定位与建图功能；在线模式是通过5G蜂窝通信模块的高数据传输速率实现的，利用移动平台采集环境信息，同时在远程服务器端运行SLAM算法，通过5G蜂窝通信模块在移动平台与远程服务端进行数据交互，从而实现在移动平台上运行复杂的算法程序。
离线模式步骤如下：
通过安装在所述移动平台上的RGB-D深度相机，对所述移动平台周围环境进行实时拍摄采样，得到实时环境的RGB图像与对应的深度图像。
对获得的RGB图像做初步处理，计算图像像素梯度，滤除像素梯度不明显的像素点，保留具有明显梯度的像素点。
对空间中一点映射在相邻两帧RGB图像的两个像素点，分别计算其亮度值，并将其相减得到该空间点在两帧RGB图像上的光度误差。
假设同一空间点在各帧RGB图像中具有相同的灰度值，利用该不变量优化所述各梯度明显像素点的光度误差，从而获得相邻两帧RGB图像对应的相机位置与姿态。
将RGB-D深度相机拍摄得到的环境RGB图像与深度图像融合，得到像素点的三维坐标值，将其***到地图中，从而构建出实时更新的环境稀疏地图。
仅处理具有明显像素梯度的像素点，使得CPU运算量大大降低，算法可以在低功耗、计算资源紧张的单板计算机上实时运行。
移动平台在未知环境中根据所得实时地图与自身定位可进行避障导航。所述运动控制***通过控制两侧伺服电机差速运转，使移动平台实现转向运动，根据上述步骤构建的未知环境地图及自身的实时位置，所述控制***可控制移动平台自行避障、导航。
在线模式步骤如下：
所述RGB-D深度相机连续对周围环境进行拍摄，将拍摄获得的RGB图像与对应的深度图像通过所述5G蜂窝通信模块传向个人电脑，利用5G蜂窝通信1Gbps的下载速度，10Gbps的上传速度，数据交换过程可视为无延迟。
运行于所述个人电脑的服务端程序对移动平台传来的图像进行处理。
提取每帧RGB图像的Oriented FAST关键点，计算关键点的BRIEF描述子。
对相邻两帧RGB图像的BRIEF描述子进行匹配，并计算匹配点之间的距离，当匹配点之间的距离大于设定阈值时，即认为是一组错误匹配，滤除该组匹配点。
将处理过的RGB图像与其对应的深度图像融合，获得匹配点的三维坐标。
由于RGB-D深度相机存在一定拍摄失误的几率，存在某些RGB图像没有与之对应的深度图像，即两张匹配图像只有一张有三维坐标，对缺失深度信息的3D-2D匹配点对使用PnP(Perspective-n-Point)进行求解，对深度信息完整的3D-3D匹配点对使用ICP(Iterative Closest Point,迭代最近点)进行求解。经PnP或ICP求解可以得到相机的位置与姿态信息。
根据计算所得相机位置与姿态信息，将匹配点对转化为三维点云，将三维点云拼接为稠密地图。
对所得点云地图进行滤波处理，获得信息丰富、表面特征清晰的稠密环境地图。
根据计算得到的位置与地图信息，服务端程序发出运动指令，通过5G蜂窝通信模块传回安装在所述移动平台上的单板计算机。单板计算机根据收到的指令控制安装在所述移动平台下层托板两侧的私服电机差速运转，实现前进、后退、转弯等运动，准确躲避障碍，导航至目标位置。

Claims (1)

1.一种室内同步定位与建图方法，所采用的移动平台包括移动平台主体，在其上固定有计算机，用于采集环境图像的RGB-D相机，通信模块，可扩展传感器接口以及动力***,计算机作为移动平台的控制核心，运行SLAM算法程序，处理RGB-D相机或其他传感器捕获的环境信息并通过动力***控制移动平台主体，其特征在于，室内SLAM算法验证移动平台采用两种运行模式，其一为通过优化SLAM算法数据处理量实现的，在单板计算机上运行的离线模式；其二为藉由通信模块实现：利用移动平台采集环境信息并在远程服务器端运行SLAM算法，实现处理、信息采集的双线程在线模式；
（1）离线模式如下：
通过安装在所述移动平台上的RGB-D深度相机，对所述移动平台周围环境进行实时拍摄采样，得到实时环境的RGB图像与对应的深度图像；
对获得的RGB图像做初步处理，计算图像像素梯度，滤除像素梯度不明显的像素点，保留具有明显梯度的像素点；
对空间中一点映射在相邻两帧RGB图像的两个像素点，分别计算其亮度值，并将其相减得到该空间点在两帧RGB图像上的光度误差；
设同一空间点在各帧RGB图像中具有相同的灰度值，据此优化所述各梯度明显像素点的光度误差，从而获得相邻两帧RGB图像对应的相机位置与姿态；
将RGB-D深度相机拍摄得到的环境RGB图像与深度图像融合，得到像素点的三维坐标值，将其***到地图中，构建环境稀疏地图；
移动平台在未知环境中根据所得实时地图与自身定位进行避障导航；
（2）在线模式：
RGB-D深度相机对周围环境进行拍摄，将拍摄获得的RGB图像与对应的深度图像通过所述通信模块传向个人电脑；
运行于所述个人电脑的服务端程序对移动平台传来的图像进行处理；
提取每帧RGB图像的Oriented FAST关键点，计算关键点的BRIEF描述子；
对相邻两帧RGB图像的BRIEF描述子进行匹配，并计算匹配点之间的距离，当匹配点之间的距离大于设定阈值时，即认为是一组错误匹配，滤除该组匹配点；
将处理过的RGB图像与其对应的深度图像融合，获得匹配点的三维坐标；
对RGB-D深度相机的缺失深度信息的3D-2D匹配点对使用PnP（Perspective-n-Point）进行求解，对深度信息完整的3D-3D匹配点对使用ICP（Iterative Closest Point, 迭代最近点）进行求解，经PnP或ICP求解得到相机的位置与姿态信息；
根据计算所得相机位置与姿态信息，将匹配点对转化为三维点云，将三维点云拼接为稠密地图；
对所得点云地图进行滤波处理，获得稠密环境地图；
根据计算得到的位置与地图信息，服务端程序发出运动指令，通过通信模块传回安装在所述移动平台主体上的计算机，计算机根据收到的指令控制进行避障导航。
CN201911114074.7A 2019-11-14 2019-11-14 一种室内同步定位与建图方法 Active CN110887487B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911114074.7A CN110887487B (zh) 2019-11-14 2019-11-14 一种室内同步定位与建图方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911114074.7A CN110887487B (zh) 2019-11-14 2019-11-14 一种室内同步定位与建图方法

Publications (2)

Publication Number Publication Date
CN110887487A CN110887487A (zh) 2020-03-17
CN110887487B true CN110887487B (zh) 2023-04-18

Family

ID=69747556

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911114074.7A Active CN110887487B (zh) 2019-11-14 2019-11-14 一种室内同步定位与建图方法

Country Status (1)

Country Link
CN (1) CN110887487B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112113565A (zh) * 2020-09-22 2020-12-22 温州科技职业学院 一种农业温室环境的机器人定位***

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103175470A (zh) * 2013-03-01 2013-06-26 天津大学 基于线结构光视觉传感器的基准球定位测量方法
CN103926933A (zh) * 2014-03-29 2014-07-16 北京航空航天大学 一种无人飞行器室内同时定位与环境建模方法
CN103926927A (zh) * 2014-05-05 2014-07-16 重庆大学 一种室内移动机器人双目视觉定位与三维建图方法
CN104851094A (zh) * 2015-05-14 2015-08-19 西安电子科技大学 一种基于rgb-d的slam算法的改进方法
CN106296812A (zh) * 2016-08-18 2017-01-04 宁波傲视智绘光电科技有限公司 同步定位与建图方法
CN107160395A (zh) * 2017-06-07 2017-09-15 中国人民解放军装甲兵工程学院 地图构建方法及机器人控制***
CN107709928A (zh) * 2015-04-10 2018-02-16 欧洲原子能共同体由欧洲委员会代表 用于实时建图与定位的方法和装置
CN108303099A (zh) * 2018-06-14 2018-07-20 江苏中科院智能科学技术应用研究院 基于三维视觉slam的无人机室内自主导航方法
CN109387204A (zh) * 2018-09-26 2019-02-26 东北大学 面向室内动态环境的移动机器人同步定位与构图方法
CN109579847A (zh) * 2018-12-13 2019-04-05 歌尔股份有限公司 同步定位与地图构建中关键帧提取方法、装置和智能设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103175470A (zh) * 2013-03-01 2013-06-26 天津大学 基于线结构光视觉传感器的基准球定位测量方法
CN103926933A (zh) * 2014-03-29 2014-07-16 北京航空航天大学 一种无人飞行器室内同时定位与环境建模方法
CN103926927A (zh) * 2014-05-05 2014-07-16 重庆大学 一种室内移动机器人双目视觉定位与三维建图方法
CN107709928A (zh) * 2015-04-10 2018-02-16 欧洲原子能共同体由欧洲委员会代表 用于实时建图与定位的方法和装置
CN104851094A (zh) * 2015-05-14 2015-08-19 西安电子科技大学 一种基于rgb-d的slam算法的改进方法
CN106296812A (zh) * 2016-08-18 2017-01-04 宁波傲视智绘光电科技有限公司 同步定位与建图方法
CN107160395A (zh) * 2017-06-07 2017-09-15 中国人民解放军装甲兵工程学院 地图构建方法及机器人控制***
CN108303099A (zh) * 2018-06-14 2018-07-20 江苏中科院智能科学技术应用研究院 基于三维视觉slam的无人机室内自主导航方法
CN109387204A (zh) * 2018-09-26 2019-02-26 东北大学 面向室内动态环境的移动机器人同步定位与构图方法
CN109579847A (zh) * 2018-12-13 2019-04-05 歌尔股份有限公司 同步定位与地图构建中关键帧提取方法、装置和智能设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
RGB-D and Magnetic Sequence-based Graph SLAM with Kidnap Recovery;Hyungjin Kim et al.;《2018 18th International Conference on Control, Automation and Systems (ICCAS)》;20181213;第276-285页 *
基于Kinect2.0的三维视觉同步定位与地图构建;王龙辉 等;《中国体视学与图像分析》;20170930;第276-285页 *
面向室内动态环境的半直接法RGB-D SLAM算法;高成强 等;《机器人》;20190531;第41卷(第3期);第372-383页 *

Also Published As

Publication number Publication date
CN110887487A (zh) 2020-03-17

Similar Documents

Publication Publication Date Title
CN110262546B (zh) 一种隧道智能无人机巡检方法
CN106017463B (zh) 一种基于定位传感装置的飞行器定位方法
CN109029417B (zh) 基于混合视觉里程计和多尺度地图的无人机slam方法
CN110068335B (zh) 一种gps拒止环境下无人机集群实时定位方法及***
JP2022019642A (ja) マルチセンサ融合に基づく測位方法及び装置
CN103926933A (zh) 一种无人飞行器室内同时定位与环境建模方法
WO2017004799A1 (en) Camera configuration on movable objects
CN111156998A (zh) 一种基于rgb-d相机与imu信息融合的移动机器人定位方法
CN108536145A (zh) 一种使用机器视觉进行智能跟随的机器人***及运行方法
CN106168805A (zh) 基于云计算的机器人自主行走的方法
CN105182992A (zh) 无人机的控制方法、装置
CN102190081B (zh) 基于视觉的飞艇定点鲁棒控制方法
CN106708048A (zh) 机器人的天花板图像定位方法和***
CN108062111A (zh) 一种多旋翼无人机自主避障装置和避障方法
CN111324945B (zh) 传感器方案确定方法、装置、设备及存储介质
CN111077907A (zh) 一种室外无人机的自主定位方法
CN110794844A (zh) 自动驾驶方法、装置、电子设备及可读存储介质
CN114923477A (zh) 基于视觉与激光slam技术的多维度空地协同建图***和方法
CN115933718A (zh) 一种融合全景slam与目标识别的无人机自主飞行技术方法
CN114719848A (zh) 基于视觉与惯性导航信息融合神经网络的无人机高度估算方法
CN110887487B (zh) 一种室内同步定位与建图方法
CN210198395U (zh) 无人机与无人车协作导航***
CN214409706U (zh) 一种基于机器视觉的室内无人机定位***
CN114897935B (zh) 基于虚拟相机的无人机对空中目标物的追踪方法及***
CN111696155A (zh) 一种基于单目视觉的多传感融合机器人定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant