CN107909614B - 一种gps失效环境下巡检机器人定位方法 - Google Patents
一种gps失效环境下巡检机器人定位方法 Download PDFInfo
- Publication number
- CN107909614B CN107909614B CN201711126117.4A CN201711126117A CN107909614B CN 107909614 B CN107909614 B CN 107909614B CN 201711126117 A CN201711126117 A CN 201711126117A CN 107909614 B CN107909614 B CN 107909614B
- Authority
- CN
- China
- Prior art keywords
- inspection robot
- measurement unit
- positioning
- positioning method
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Manipulator (AREA)
- Gyroscopes (AREA)
Abstract
本发明公开了一种GPS失效环境下巡检机器人定位方法,该定位方法为:利用两个单目摄像头和惯性测量单元进行紧耦合,通过两个单目摄像头的位置关系利用三角法计算出特征点的具体坐标,采用预积分计算出两个相邻视觉帧之间的惯性测量单元数据,通过视觉和惯性测量单元的数据融合进行初始化,采用非线性优化计算出巡检机器人精确位姿。通过本发明能够提高巡检机器人的定位精度和鲁棒性,达到在GPS失效环境下精确定位的效果。
Description
技术领域
本发明涉及巡检机器人定位领域,尤其涉及一种GPS失效环境下巡检机器人定位方法。
背景技术
随着科学技术的进步,巡检机器人在工业、军事等领域的应用越来越广泛。在很多情况下,巡检机器人的作业空间的信息是复杂未知的。巡检机器人想要实现自主导航、目标识别、自动避障等功能,其精确定位显着尤为重要。传统的定位方法大多以GPS、北斗等全球卫星定位为主,但普通的GPS传感器定位精度较低,无法满足巡检机器人精确定位。虽然差分GPS在室外定位精度较高,但是价格高昂同时无法在室内、树丛、煤矿井下巷道这些GPS失效环境下工作。
伴随计算机视觉、图像处理技术发展的同时,机器视觉方法通过感知环境进行导航定位在机器人定位导航中得到广泛应用。视觉定位方法的原理是,通过安装在机器人身上的摄像机实时采集运动过程中的图像,并从图像中提取相关信息,进而判断并计算机器入的运行姿态和轨迹,最终实现导航和定位。然而视觉传感器容易受到光照的影响,同时在曝光较强、低亮度等情况下定位容易丢失。除此之外,单纯的单目视觉传感器没有尺度信息,无法感知机器人所处周围环境深度,并且在机器人原地转弯时特征丢失,容易导致机器人定位失效。
巡检机器人使用惯性测量单元定位发展较早,惯性定位是利用惯性测量单元测量的线加速度和旋转角速率来计算载体的六自由度定位信息。载体的角速率通过陀螺仪测量,主要用于计算机器人的旋转矩阵,并且提供载体坐标系和导航坐标系的转化关系;载体的线加速度通过加速度计测量,通过对得到的加速度积分求解机器人的速度信息和位移信息,最后通过将机器人六自由度信息转换到导航坐标系中完成定位。然而单纯的惯性重复路径定位误差累计较大,并且无法进行有效的回环检测。除此之外,因惯性测量单元随机游走等性质,在巡检机器人加速度变化较大时会产生大量迟滞误差。
为此,本发明现提出一种GPS失效环境下巡检机器人定位方法。
发明内容
为了克服现有技术中存在的不足,本发明提供一种GPS失效环境下巡检机器人定位方法,通过此方法提高巡检机器人的定位精度和鲁棒性,达到在GPS失效环境下精确定位的效果。
为实现上述目的,本发明采用的技术方案为:
一种GPS失效环境下巡检机器人定位方法,该定位方法为:利用两个单目摄像头和惯性测量单元进行紧耦合,通过两个单目摄像头的位置关系利用三角法计算出特征点的具体坐标,采用预积分计算出两个相邻视觉帧之间的惯性测量单元数据,通过视觉和惯性测量单元的数据融合进行初始化,采用非线性优化计算出巡检机器人精确位姿。
优选的是,该定位方法具体包括以下步骤:
步骤一、初始化巡检机器人的状态x0,校正巡检机器人左摄像头、右摄像头、惯性测量单元的时间,巡检机器人左摄像头、右摄像头、惯性测量单元的时间的初始时间t0保持一致;
步骤三、对左、右摄像头采集图像数据进行特征提取,对惯性测量单元采集数据进行预积分,通过图像数据中的特征和惯性测量单元预积分的数据进行融合,初始化整个定位***;
步骤四、步骤三中定位***初始化成功后,采用滑动窗口对将融合的数据导入滑动窗口,根据回环数据库进行回环检测;
步骤五、采用非线性优化优化整个窗口中的数据,确定巡检机器人实时位姿;
步骤六、将步骤四中关键帧中的特征点存储至回环数据库,更新回环数据库;
步骤七、存储巡检机器人运行轨迹,利用关键帧特征点构建特征点地图。
优选的是,在步骤二中图像中的特征点集合表达为特征点为{C1,...,Cn},当Ck在两个摄像头时,在左摄像头的像素值为(uL,vL),在左摄像头的像素值为(uR,vR),此时ck=(uL,vL,uR);因为通过图像校正,vL=vR;当Ck在单个摄像头时,ck=(uL,vL)或ck=(uR,vR)。
优选的是,在步骤三中中滑动窗口中导入的数据为:
χ=[x0,x1,...,xn,λ0,...,λm];
其中,xk是第k帧图像下巡检机器人的状态,包括位姿速度在世界坐标系下的旋转在巡检机器人坐标系下的惯性测量单元加速度计零偏陀螺仪的零偏n为滑动窗口的关键帧数量;m为在滑动窗口中所有图像观测的特征点数量;λl为第l个特征点在初次观测时的逆深度值。
优选的是,在步骤三中惯性测量单元测量值为:
优选的是,在步骤三中惯性测量单元测量值预积分为:
优选的是,在步骤四中需要估计的变量为:
优选的是,在步骤五中最小化惯性测量单元陀螺仪零偏误差:
其中,B为滑动窗口中所有帧的集合。
优选的是,巡检机器人摄像头采集频率fc∈[20,200],n∈N,惯性测量单元采集频率为fi∈[200,2000],n∈N,并且fi=hfc,h∈N。
优选的是,回环检测滑动窗关键帧数量n的范围为n∈[5,11],n∈N。
本发明有益效果:
本发明提供的一种GPS失效环境下巡检机器人定位方法,采用两个单目摄像头和惯性测量单元进行紧耦合的方法,能够获取巡检机器人所处环境的尺度信息。通过两个单目摄像头的位置关系利用三角法计算出特征点的具体坐标,采用预积分计算出两个相邻视觉帧之间的惯性测量单元数据。通过视觉和惯性测量单元的数据融合进行初始化,采用非线性优化计算出巡检机器人精确位姿,通过回环检测提高定位精度,达到在GPS失效环境下巡检机器人准确定位。
附图说明
图1为本发明的方法示意图;
图2为本发明的左摄像头、右摄像头、惯性测量单元坐标系示意图;
图3为本发明的惯性测量单元预积分示意图;
图4为本发明的左摄像头初始化采集图;
图5为本发明的右摄像头初始化采集图;
图6为本发明的左摄像头、右摄像头数据三角化深度图;
图7为本发明的左摄像头室内采集图;
图8为本发明的右摄像头室内采集图;
图9为本发明的的左、右摄像头室内数据三角化深度图;
图10为本发明的定位效果图。
具体实施方式
以下结合附图,通过具体实施例对本发明作进一步的说明。
如图1、图2、图3所示,一种GPS失效环境下巡检机器人定位方法,包括以下步骤:
步骤一、初始化巡检机器人的状态x0,校正巡检机器人左摄像头、右摄像头、惯性测量单元的时间,巡检机器人左摄像头、右摄像头、惯性测量单元的时间的初始时间t0保持一致。
在步骤一中(·)w代表世界坐标系;(·)b代表融合惯性测量单元的坐标系,同时也是巡检机器人坐标系;(·)cl为左摄像头坐标系,(·)cr为右摄像头坐标系;四元数q来表示旋转;bk是在第k帧图像对应巡检机器人的坐标,blk是第k帧图像对应左摄像头的坐标,brk是第k帧图像对应左摄像头的坐标;左摄像头和右摄像头采集频率均为fc,惯性测量单元采集频率为fi。
在步骤中图像中的特征点集合表达为特征点为{C1,...,Cn},当Ck在两个摄像头时,在左摄像头的像素值为(uL,vL),在左摄像头的像素值为(uR,vR),此时ck=(uL,vL,uR);因为通过图像校正,vL=vR;当Ck在单个摄像头时,ck=(uL,vL)或ck=(uR,vR)。
步骤三、对左、右摄像头采集图像数据进行特征提取,对惯性测量单元采集数据进行预积分,通过图像数据中的特征和惯性测量单元预积分的数据进行融合,初始化整个定位***。
在步骤三中滑动窗口中导入的数据为:
χ=[x0,x1,...,xn,λ0,...,λm]
其中xk是第k帧图像下巡检机器人的状态,包括位姿速度在世界坐标系下的旋转在巡检机器人坐标系下的惯性测量单元加速度计零偏陀螺仪的零偏n为滑动窗口的关键帧数量;m为在滑动窗口中所有图像观测的特征点数量。λl为第l个特征点在初次观测时的逆深度值。
在步骤三中惯性测量单元测量值为:
在步骤三中惯性测量单元测量值预积分为:
步骤四、步骤三中定位***初始化成功后,采用滑动窗口对将融合的数据导入滑动窗口,根据回环数据库进行回环检测。
在步骤四中需要估计的变量为:
步骤五、采用非线性优化优化整个窗口中的数据,确定巡检机器人实时位姿;
在步骤五中最小化惯性测量单元陀螺仪零偏误差:
步骤六、将步骤四中关键帧中的特征点存储至回环数据库,更新回环数据库。
步骤七、存储巡检机器人运行轨迹,利用关键帧特征点构建特征点地图。
如图4、图5所示,给出了一优选实施例,分别为左摄像头、右摄像头的室外初始化采集图,通过三角法得出如图6所示的三角化深度图。
如图7、图8所示,给出了另一优选实施例,分别为左摄像头、右摄像头的室内初始化采集图,通过三角法得出如图9所示的三角化深度图。
如图10所示,给出了通过本发明的一种GPS失效环境下巡检机器人定位方法得出的定位效果图。
本发明提供的一种GPS失效环境下巡检机器人定位方法,采用两个单目摄像头和惯性测量单元进行紧耦合的方法,能够获取巡检机器人所处环境的尺度信息。通过两个单目摄像头的位置关系利用三角法计算出特征点的具体坐标,采用预积分计算出两个相邻视觉帧之间的惯性测量单元数据。通过视觉和惯性测量单元的数据融合进行初始化,采用非线性优化计算出巡检机器人精确位姿,通过回环检测提高定位精度,达到在GPS失效环境下巡检机器人准确定位。
以上仅是本发明的优选实施方式,应当指出:对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (8)
1.一种GPS失效环境下巡检机器人定位方法,其特征在于,该定位方法为:利用两个单目摄像头和惯性测量单元进行紧耦合,通过两个单目摄像头的位置关系利用三角法计算出特征点的具体坐标,采用预积分计算出两个相邻视觉帧之间的惯性测量单元数据,通过视觉和惯性测量单元的数据融合进行初始化,采用非线性优化计算出巡检机器人精确位姿;
该定位方法具体包括以下步骤:
步骤一、初始化巡检机器人的状态x0,校正巡检机器人左摄像头、右摄像头、惯性测量单元的时间,巡检机器人左摄像头、右摄像头、惯性测量单元的时间的初始时间t0保持一致;
步骤三、对左、右摄像头采集图像数据进行特征提取,对惯性测量单元采集数据进行预积分,通过图像数据中的特征和惯性测量单元预积分的数据进行融合,初始化整个定位***;
步骤四、步骤三中定位***初始化成功后,采用滑动窗口对将融合的数据导入滑动窗口,根据回环数据库进行回环检测;
步骤五、采用非线性优化优化整个窗口中的数据,确定巡检机器人实时位姿;
步骤六、将步骤四中关键帧中的特征点存储至回环数据库,更新回环数据库;
步骤七、存储巡检机器人运行轨迹,利用关键帧特征点构建特征点地图。
7.根据权利要求1所述的一种GPS失效环境下巡检机器人定位方法,其特征在于,巡检机器人摄像头采集频率fc∈[20,200],n∈N,惯性测量单元采集频率为fi∈[200,2000],n∈N,并且fi=hfc,h∈N。
8.根据权利要求1所述的一种GPS失效环境下巡检机器人定位方法,其特征在于,回环检测滑动窗关键帧数量n的范围为n∈[5,11]。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711126117.4A CN107909614B (zh) | 2017-11-13 | 2017-11-13 | 一种gps失效环境下巡检机器人定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711126117.4A CN107909614B (zh) | 2017-11-13 | 2017-11-13 | 一种gps失效环境下巡检机器人定位方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107909614A CN107909614A (zh) | 2018-04-13 |
CN107909614B true CN107909614B (zh) | 2021-02-26 |
Family
ID=61845445
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711126117.4A Active CN107909614B (zh) | 2017-11-13 | 2017-11-13 | 一种gps失效环境下巡检机器人定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107909614B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109506642B (zh) * | 2018-10-09 | 2021-05-28 | 浙江大学 | 一种机器人多相机视觉惯性实时定位方法及装置 |
CN109459039B (zh) * | 2019-01-08 | 2022-06-21 | 湖南大学 | 一种医药搬运机器人的激光定位导航***及其方法 |
CN110044354B (zh) * | 2019-03-28 | 2022-05-20 | 东南大学 | 一种双目视觉室内定位与建图方法及装置 |
CN110488842B (zh) * | 2019-09-04 | 2020-11-03 | 湖南大学 | 一种基于双向内核岭回归的车辆轨迹预测方法 |
CN111121767B (zh) * | 2019-12-18 | 2023-06-30 | 南京理工大学 | 一种融合gps的机器人视觉惯导组合定位方法 |
CN111307146B (zh) * | 2020-03-02 | 2023-07-18 | 北京航空航天大学青岛研究院 | 一种基于双目相机和imu的虚拟现实头戴显示设备定位*** |
CN112464432B (zh) * | 2020-10-27 | 2024-05-14 | 江苏大学 | 一种基于双速数值积分结构的惯性预积分的优化方法 |
CN112444246B (zh) * | 2020-11-06 | 2024-01-26 | 北京易达恩能科技有限公司 | 高精度的数字孪生场景中的激光融合定位方法 |
CN113910224B (zh) * | 2021-09-30 | 2023-07-21 | 达闼科技(北京)有限公司 | 机器人跟随的方法、装置及电子设备 |
CN114088087B (zh) * | 2022-01-21 | 2022-04-15 | 深圳大学 | 无人机gps-denied下高可靠高精度导航定位方法和*** |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105411490A (zh) * | 2015-10-26 | 2016-03-23 | 曾彦平 | 移动机器人的实时定位方法及移动机器人 |
CN105953796A (zh) * | 2016-05-23 | 2016-09-21 | 北京暴风魔镜科技有限公司 | 智能手机单目和imu融合的稳定运动跟踪方法和装置 |
CN106681353A (zh) * | 2016-11-29 | 2017-05-17 | 南京航空航天大学 | 基于双目视觉与光流融合的无人机避障方法及*** |
WO2017091008A1 (ko) * | 2015-11-26 | 2017-06-01 | 삼성전자주식회사 | 이동 로봇 및 그 제어 방법 |
CN107036594A (zh) * | 2017-05-07 | 2017-08-11 | 郑州大学 | 智能电站巡检智能体的定位与多粒度环境感知技术 |
CN107193279A (zh) * | 2017-05-09 | 2017-09-22 | 复旦大学 | 基于单目视觉和imu信息的机器人定位与地图构建*** |
CN107246868A (zh) * | 2017-07-26 | 2017-10-13 | 上海舵敏智能科技有限公司 | 一种协同导航定位***及导航定位方法 |
-
2017
- 2017-11-13 CN CN201711126117.4A patent/CN107909614B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105411490A (zh) * | 2015-10-26 | 2016-03-23 | 曾彦平 | 移动机器人的实时定位方法及移动机器人 |
WO2017091008A1 (ko) * | 2015-11-26 | 2017-06-01 | 삼성전자주식회사 | 이동 로봇 및 그 제어 방법 |
CN105953796A (zh) * | 2016-05-23 | 2016-09-21 | 北京暴风魔镜科技有限公司 | 智能手机单目和imu融合的稳定运动跟踪方法和装置 |
CN106681353A (zh) * | 2016-11-29 | 2017-05-17 | 南京航空航天大学 | 基于双目视觉与光流融合的无人机避障方法及*** |
CN107036594A (zh) * | 2017-05-07 | 2017-08-11 | 郑州大学 | 智能电站巡检智能体的定位与多粒度环境感知技术 |
CN107193279A (zh) * | 2017-05-09 | 2017-09-22 | 复旦大学 | 基于单目视觉和imu信息的机器人定位与地图构建*** |
CN107246868A (zh) * | 2017-07-26 | 2017-10-13 | 上海舵敏智能科技有限公司 | 一种协同导航定位***及导航定位方法 |
Non-Patent Citations (2)
Title |
---|
Monocular Visual–Inertial State Estimation With Online Initialization and Camera–IMU Extrinsic Calibration;Zhenfei Yang 等;《IEEE TRANSACTIONS ON AUTOMATION SCIENCE AND ENGINEERING》;20170131;第14卷(第1期);39-51 * |
基于非线性优化的单目视觉/惯性组合导航算法;程传奇 等;《中国惯性技术学报》;20171031;第25卷(第5期);摘要,正文第1.3,2,3.1,4节 * |
Also Published As
Publication number | Publication date |
---|---|
CN107909614A (zh) | 2018-04-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107909614B (zh) | 一种gps失效环境下巡检机器人定位方法 | |
CN106679648B (zh) | 一种基于遗传算法的视觉惯性组合的slam方法 | |
CN108827315B (zh) | 基于流形预积分的视觉惯性里程计位姿估计方法及装置 | |
CN111156998B (zh) | 一种基于rgb-d相机与imu信息融合的移动机器人定位方法 | |
CN111024066B (zh) | 一种无人机视觉-惯性融合室内定位方法 | |
CN108052103B (zh) | 基于深度惯性里程计的巡检机器人地下空间同时定位和地图构建方法 | |
CN110044354A (zh) | 一种双目视觉室内定位与建图方法及装置 | |
Heo et al. | EKF-based visual inertial navigation using sliding window nonlinear optimization | |
CN111795686B (zh) | 一种移动机器人定位与建图的方法 | |
CN109540126A (zh) | 一种基于光流法的惯性视觉组合导航方法 | |
CN110726406A (zh) | 一种改进的非线性优化单目惯导slam的方法 | |
CN108846857A (zh) | 视觉里程计的测量方法及视觉里程计 | |
CN110388919B (zh) | 增强现实中基于特征图和惯性测量的三维模型定位方法 | |
CN114526745A (zh) | 一种紧耦合激光雷达和惯性里程计的建图方法及*** | |
CN208323361U (zh) | 一种基于深度视觉的定位装置及机器人 | |
Zhang et al. | Vision-aided localization for ground robots | |
CN115371665B (zh) | 一种基于深度相机和惯性融合的移动机器人定位方法 | |
CN114529576A (zh) | 一种基于滑动窗口优化的rgbd和imu混合跟踪注册方法 | |
CN116184430B (zh) | 一种激光雷达、可见光相机、惯性测量单元融合的位姿估计算法 | |
CN112179373A (zh) | 一种视觉里程计的测量方法及视觉里程计 | |
Lin et al. | A sparse visual odometry technique based on pose adjustment with keyframe matching | |
CN115183762A (zh) | 一种机场仓库内外建图方法、***、电子设备及介质 | |
Khoshelham et al. | Vehicle positioning in the absence of GNSS signals: Potential of visual-inertial odometry | |
Xian et al. | Fusing stereo camera and low-cost inertial measurement unit for autonomous navigation in a tightly-coupled approach | |
CN114690229A (zh) | 一种融合gps的移动机器人视觉惯性导航方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |