CN107356252B - 一种融合视觉里程计与物理里程计的室内机器人定位方法 - Google Patents
一种融合视觉里程计与物理里程计的室内机器人定位方法 Download PDFInfo
- Publication number
- CN107356252B CN107356252B CN201710408258.9A CN201710408258A CN107356252B CN 107356252 B CN107356252 B CN 107356252B CN 201710408258 A CN201710408258 A CN 201710408258A CN 107356252 B CN107356252 B CN 107356252B
- Authority
- CN
- China
- Prior art keywords
- robot
- odometer
- physical
- pose
- closed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000000007 visual effect Effects 0.000 title claims abstract description 17
- 238000001514 detection method Methods 0.000 claims abstract description 15
- 238000009825 accumulation Methods 0.000 claims abstract description 7
- 230000008859 change Effects 0.000 claims abstract description 7
- 239000002245 particle Substances 0.000 claims abstract description 6
- 230000008569 process Effects 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 4
- 230000033001 locomotion Effects 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 5
- 230000004927 fusion Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
- G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开了一种融合视觉里程计与物理里程计的室内机器人定位方法，通过采集的图像提取ORB特征进行图像匹配、相机位姿估计、闭环检测精确定位机器人。本发明加入了视觉传感器在已知环境中对机器人进行闭环检测，以此消除基于粒子滤波的物理里程计在全局中的累计误差，把里程计的全局误差变为了阶段性的累加，并在此基础上构建了闭合的地图。本发明融合视觉里程计后有效解决物理里程计误差累计问题，能使机器人在已知环境中进行自定位和精确重定位，且增加的运算量不大，能保证效率和实时性，精度满足室内导航需求，是现阶段解决大环境下机器人定位不准的有效方法。
Description
技术领域
本发明涉及室内移动机器人自主定位精度的方法，具体涉及一种融合视觉里程计与物理里程计的室内机器人定位方法。
背景技术
在自主移动机器人智能导航技术的相关研究中，机器人在未知环境下的同时定位与地图构建(SLAM)技术作为关键性的技术，兼具工程和学术上的双重价值，已然成为近二十年来该领域的研究热点。在这种趋势下，学者们提出了多种解决SLAM问题的方法，也应用了多种传感器来解决SLAM中的环境感知问题。
SLAM技术首先要解决的问题是选择适当的传感器***来实现机器人实时定位。实际应用中，基于激光雷达这类在测距范围和方位角上都具有较高精确度的传感器是人们优先选用的传感器，同时还需要使用红外线、超声波、IMU、视觉传感器、里程计等多种传感器来辅助定位以提供定位精度。然而，多传感器融合一直是SLAM界的技术难点，目前能有效融合并产品化的SLAM方法基本没有。对于室内移动机器人，考虑到实际的使用场景以及现今的发展状况，除了使用激光雷达和物理里程计，再加入视觉里程计来提高定位精度，是目前室内移动机器人SLAM技术真正产品化阶段最优的解决方案。
现有技术通过改进的蒙特卡洛粒子滤波和物理里程计的定位方法能满足机器人在室内结构简单且面积不大的环境中，然而物理里程计是通过两个时间段的位移增量来进行计算，它只考虑局部运动，因此误差会不断叠加累计，直到漂移过大，无法消除，尤其在轮子打滑或者倾斜时会导致定位误差更大。
发明内容
有鉴于此，本发明提供了一种融合视觉里程计与物理里程计的室内机器人定位方法，通过采集的图像提取ORB特征进行图像匹配、相机位姿估计、闭环检测精确定位机器人。
一种融合视觉里程计与物理里程计的室内机器人定位方法，该方法实现的步骤如下：
步骤1、采用相机获取彩色和深度图像；
步骤2、对得到的连续两幅图像提取ORB特征，计算每个orb特征点的描述子，通过相邻图像间的特征匹配，估计相机位姿变化；
步骤3、在机器人移动过程中，选取相邻几帧图像中共同的特征点最多、匹配最好的图像为关键帧，同时保存每个关键帧所对应的机器人轨迹和激光数据；
步骤4、当机器人移动到已知环境中，首先在离线训练的BoW词典中寻找与当前帧匹配的特征点，重定位机器人，然后通过TF计算机器人当前位姿，最后把闭环检测重定位的机器人位姿信息以ros的消息机制发布出去；
步骤5、根据扩展卡尔曼滤波器，订阅闭环检测的视觉里程计消息和AMCL粒子滤波实时定位的机器人位姿优化得到机器人精确的实时位姿，以此消除物理里程计累计的全局误差；其中，每一次局部闭环检测，都能消除机器人物理里程计的累计误差，使得全局误差始终处于阶段性的累加；
步骤6、最终当机器人回到初始位置时，全局的闭环检测，会优化整个运动轨迹和所有关键帧的位姿，再利用保存的激光数据构建栅格地图，完成整个同时定位与地图构建的流程。
进一步地，所述估计相机位姿变化的步骤是：1)结合深度图像，得到有效特征点处的深度信息；2)根据特征点的orb特征和深度值进行匹配，RANSAC算法剔除错误点对；3)求得相邻图像间的旋转矩阵R和平移矩阵T，估计相机的位姿变换。
有益效果：
本发明加入了视觉传感器在已知环境中对机器人进行闭环检测，以此消除基于粒子滤波的物理里程计在全局中的累计误差，把里程计的全局误差变为了阶段性的累加，并在此基础上构建了闭合的地图。与传统的SLAM方法相比，本发明融合视觉里程计后有效解决物理里程计误差累计问题，能使机器人在已知环境中进行自定位和精确重定位，且增加的运算量不大，能保证效率和实时性，精度满足室内导航需求，是现阶段解决大环境下机器人定位不准的有效方法。
附图说明
图1为本发明的融合定位方法流程图；
图2为本发明融合视觉里程计和物理里程计的定位过程示意图。
具体实施方式
下面结合附图并举实施例，对本发明进行详细描述。
如附图1和2所示，本发明提供了一种
步骤1、采用华硕的深度相机Xtion获取彩色和深度图像；
步骤2、对得到的连续两幅图像提取ORB特征，计算每个orb特征点的描述子，通过相邻图像间的特征匹配，估计相机位姿变化：1)结合深度图像，得到有效特征点处的深度信息；2)根据特征点的orb特征和深度值进行匹配，RANSAC算法剔除错误点对；3)求得相邻图像间的旋转矩阵R和平移矩阵T，估计相机的位姿变换；
步骤3、在机器人移动过程中，选取相邻几帧图像中共同的特征点最多、匹配最好的图像为关键帧，同时保存每个关键帧所对应的机器人轨迹和激光数据；
步骤4、当机器人移动到已知环境中，首先在离线训练的BoW词典中寻找与当前帧匹配的特征点，重定位机器人，然后通过TF计算机器人当前位姿，最后把闭环检测重定位的机器人位姿信息以ros的消息机制发布出去；
步骤5、根据扩展卡尔曼滤波器，订阅闭环检测的视觉里程计消息和AMCL粒子滤波实时定位的机器人位姿优化得到机器人精确的实时位姿，以此消除物理里程计累计的全局误差；其中，每一次局部闭环检测，都能消除机器人物理里程计的累计误差，使得全局误差始终处于阶段性的累加；
步骤6、最终当机器人回到初始位置时，全局的闭环检测，会优化整个运动轨迹和所有关键帧的位姿，再利用保存的激光数据构建栅格地图，完成整个同时定位与地图构建的流程。
采用本方法构建出的闭合地图实际宽为86.4m，高为38.4m。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (1)
1.一种融合视觉里程计与物理里程计的室内机器人定位方法，其特征在于，该方法实现的步骤如下：
步骤1、采用相机获取彩色和深度图像；
步骤2、对得到的连续两幅图像提取ORB特征，计算每个orb特征点的描述子，通过相邻图像间的特征匹配，估计相机位姿变化，估计相机位姿变化的步骤是：1)结合深度图像，得到有效特征点处的深度信息；2)根据特征点的orb特征和深度值进行匹配，RANSAC算法剔除错误点对；3)求得相邻图像间的旋转矩阵R和平移矩阵T，估计相机的位姿变换；
步骤3、在机器人移动过程中，选取相邻几帧图像中共同的特征点最多、匹配最好的图像为关键帧，同时保存每个关键帧所对应的机器人轨迹和激光数据；
步骤4、当机器人移动到已知环境中，首先在离线训练的BoW词典中寻找与当前帧匹配的特征点，重定位机器人，然后通过TF计算机器人当前位姿，最后把闭环检测重定位的机器人位姿信息以ros的消息机制发布出去；
步骤5、根据扩展卡尔曼滤波器，订阅闭环检测的视觉里程计消息和AMCL粒子滤波实时定位的机器人位姿优化得到机器人精确的实时位姿，以此消除物理里程计累计的全局误差；其中，每一次局部闭环检测，都能消除机器人物理里程计的累计误差，使得全局误差始终处于阶段性的累加；
步骤6、最终当机器人回到初始位置时，全局的闭环检测，会优化整个运动轨迹和所有关键帧的位姿，再利用保存的激光数据构建栅格地图，完成整个同时定位与地图构建的流程。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710408258.9A CN107356252B (zh) | 2017-06-02 | 2017-06-02 | 一种融合视觉里程计与物理里程计的室内机器人定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710408258.9A CN107356252B (zh) | 2017-06-02 | 2017-06-02 | 一种融合视觉里程计与物理里程计的室内机器人定位方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107356252A CN107356252A (zh) | 2017-11-17 |
| CN107356252B true CN107356252B (zh) | 2020-06-16 |
Family
ID=60271649
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710408258.9A Expired - Fee Related CN107356252B (zh) | 2017-06-02 | 2017-06-02 | 一种融合视觉里程计与物理里程计的室内机器人定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107356252B (zh) |
Families Citing this family (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107092264A (zh) * | 2017-06-21 | 2017-08-25 | 北京理工大学 | 面向银行厅堂环境的服务机器人自主导航与自动充电方法 |
| CN108958232A (zh) * | 2017-12-07 | 2018-12-07 | 炬大科技有限公司 | 一种基于深度视觉的移动扫地机器人slam装置及算法 |
| CN108247647B (zh) * | 2018-01-24 | 2021-06-22 | 速感科技（北京）有限公司 | 一种清洁机器人 |
| CN110360999B (zh) * | 2018-03-26 | 2021-08-27 | 京东方科技集团股份有限公司 | 室内定位方法、室内定位***和计算机可读介质 |
| CN108931245B (zh) * | 2018-08-02 | 2021-09-07 | 上海思岚科技有限公司 | 移动机器人的局部自定位方法及设备 |
| CN111060101B (zh) * | 2018-10-16 | 2022-06-28 | 深圳市优必选科技有限公司 | 视觉辅助的距离slam方法及装置、机器人 |
| CN111322993B (zh) * | 2018-12-13 | 2022-03-04 | 杭州海康机器人技术有限公司 | 一种视觉定位方法和装置 |
| CN109658445A (zh) * | 2018-12-14 | 2019-04-19 | 北京旷视科技有限公司 | 网络训练方法、增量建图方法、定位方法、装置及设备 |
| CN109633664B (zh) * | 2018-12-29 | 2023-03-28 | 南京理工大学工程技术研究院有限公司 | 基于rgb-d与激光里程计的联合定位方法 |
| CN109813334B (zh) * | 2019-03-14 | 2023-04-07 | 西安工业大学 | 基于双目视觉的实时高精度车辆里程计算方法 |
| CN110221607A (zh) * | 2019-05-22 | 2019-09-10 | 北京德威佳业科技有限公司 | 一种夹抱式车辆存取agv的控制***及控制方法 |
| CN110196044A (zh) * | 2019-05-28 | 2019-09-03 | 广东亿嘉和科技有限公司 | 一种基于gps闭环检测的变电站巡检机器人建图方法 |
| CN110274597B (zh) * | 2019-06-13 | 2022-09-16 | 大连理工大学 | 一种解决室内机器人任意点启动时“粒子绑架”问题的方法 |
| CN110333513B (zh) * | 2019-07-10 | 2023-01-10 | 国网四川省电力公司电力科学研究院 | 一种融合最小二乘法的粒子滤波slam方法 |
| CN110472585B (zh) * | 2019-08-16 | 2020-08-04 | 中南大学 | 一种基于惯导姿态轨迹信息辅助的vi-slam闭环检测方法 |
| CN110648354B (zh) * | 2019-09-29 | 2022-02-01 | 电子科技大学 | 一种动态环境下的slam方法 |
| CN111076733B (zh) * | 2019-12-10 | 2022-06-14 | 亿嘉和科技股份有限公司 | 一种基于视觉与激光slam的机器人室内建图方法及*** |
| CN111337943B (zh) * | 2020-02-26 | 2022-04-05 | 同济大学 | 一种基于视觉引导激光重定位的移动机器人定位方法 |
| CN111862163B (zh) * | 2020-08-03 | 2021-07-23 | 湖北亿咖通科技有限公司 | 一种轨迹优化方法及装置 |
| CN112450820B (zh) * | 2020-11-23 | 2022-01-21 | 深圳市银星智能科技股份有限公司 | 位姿优化方法、移动机器人及存储介质 |
| CN112596064B (zh) * | 2020-11-30 | 2024-03-08 | 中科院软件研究所南京软件技术研究院 | 激光与视觉融合的一体化室内机器人全局定位方法 |
| CN113052906A (zh) * | 2021-04-01 | 2021-06-29 | 福州大学 | 基于单目相机与里程计的室内机器人定位方法 |
| CN113203419B (zh) * | 2021-04-25 | 2023-11-10 | 重庆大学 | 基于神经网络的室内巡检机器人校正定位方法 |
| CN113238554A (zh) * | 2021-05-08 | 2021-08-10 | 武汉科技大学 | 一种基于激光与视觉融合slam技术的室内导航方法及*** |
| CN113777615B (zh) * | 2021-07-19 | 2024-03-29 | 派特纳(上海)机器人科技有限公司 | 室内机器人的定位方法、***及清洁机器人 |
| CN113808270B (zh) * | 2021-09-28 | 2023-07-21 | 中国科学技术大学先进技术研究院 | 基于网联的无人驾驶测试环境地图搭建方法及*** |
| CN114440892B (zh) * | 2022-01-27 | 2023-11-03 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于拓扑地图和里程计的自定位方法 |
| CN117452429B (zh) * | 2023-12-21 | 2024-03-01 | 江苏中科重德智能科技有限公司 | 基于多线激光雷达的机器人定位方法及*** |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105045263A (zh) * | 2015-07-06 | 2015-11-11 | 杭州南江机器人股份有限公司 | 一种基于Kinect的机器人自定位方法 |
| CN105953785A (zh) * | 2016-04-15 | 2016-09-21 | 青岛克路德机器人有限公司 | 机器人室内自主导航的地图表示方法 |
| CN106052674A (zh) * | 2016-05-20 | 2016-10-26 | 青岛克路德机器人有限公司 | 一种室内机器人的slam方法和*** |
| CN106780699A (zh) * | 2017-01-09 | 2017-05-31 | 东南大学 | 一种基于sins/gps和里程计辅助的视觉slam方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9148650B2 (en) * | 2012-09-17 | 2015-09-29 | Nec Laboratories America, Inc. | Real-time monocular visual odometry |
-
2017
- 2017-06-02 CN CN201710408258.9A patent/CN107356252B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105045263A (zh) * | 2015-07-06 | 2015-11-11 | 杭州南江机器人股份有限公司 | 一种基于Kinect的机器人自定位方法 |
| CN105953785A (zh) * | 2016-04-15 | 2016-09-21 | 青岛克路德机器人有限公司 | 机器人室内自主导航的地图表示方法 |
| CN106052674A (zh) * | 2016-05-20 | 2016-10-26 | 青岛克路德机器人有限公司 | 一种室内机器人的slam方法和*** |
| CN106780699A (zh) * | 2017-01-09 | 2017-05-31 | 东南大学 | 一种基于sins/gps和里程计辅助的视觉slam方法 |
Non-Patent Citations (1)
| Title |
|---|
| A HIGH EFFICIENT 3D SLAM ALGORITHM BASED ON PCA;施尚杰等;《The 6th Annual IEEE International Conference on Cyber Technology in Automation，Control， and Intelligent Systems(cyber)》;20160330;第109-114页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107356252A (zh) | 2017-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107356252B (zh) | 一种融合视觉里程计与物理里程计的室内机器人定位方法 | |
| CN109211241B (zh) | 基于视觉slam的无人机自主定位方法 | |
| CN108051002B (zh) | 基于惯性测量辅助视觉的运输车空间定位方法及*** | |
| CN113781582B (zh) | 基于激光雷达和惯导联合标定的同步定位与地图创建方法 | |
| CN109186606B (zh) | 一种基于slam和图像信息的机器人构图及导航方法 | |
| CN106840148B (zh) | 室外作业环境下基于双目摄像机的可穿戴式定位与路径引导方法 | |
| CN106017463B (zh) | 一种基于定位传感装置的飞行器定位方法 | |
| CN110243358A (zh) | 多源融合的无人车室内外定位方法及*** | |
| WO2020038285A1 (zh) | 车道线的定位方法和装置、存储介质、电子装置 | |
| CN103412565B (zh) | 一种具有全局位置快速估计能力的机器人定位方法 | |
| CN103680291A (zh) | 基于天花板视觉的同步定位与地图绘制的方法 | |
| CN109282808B (zh) | 用于桥梁三维巡航检测的无人机与多传感器融合定位方法 | |
| WO2017008454A1 (zh) | 一种机器人的定位方法 | |
| WO2021109167A1 (zh) | 三维激光建图方法及*** | |
| CN112833892B (zh) | 一种基于轨迹对齐的语义建图方法 | |
| CN105987697B (zh) | 一种直角弯下Mecanum轮式AGV导航定位方法及*** | |
| CN112254729A (zh) | 一种基于多传感器融合的移动机器人定位方法 | |
| CN111260751B (zh) | 基于多传感器移动机器人的建图方法 | |
| CN113238554A (zh) | 一种基于激光与视觉融合slam技术的室内导航方法及*** | |
| Li et al. | A binocular MSCKF-based visual inertial odometry system using LK optical flow | |
| CN116429116A (zh) | 一种机器人定位方法及设备 | |
| Khoshelham et al. | Vehicle positioning in the absence of GNSS signals: Potential of visual-inertial odometry | |
| Chen et al. | Trajectory optimization of LiDAR SLAM based on local pose graph | |
| CN104359482A (zh) | 基于lk光流算法的视觉导航方法 | |
| Yang et al. | Simultaneous estimation of ego-motion and vehicle distance by using a monocular camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200616 |