CN114119752A - 基于gnss和视觉的室内外衔接的机器人定位方法 - Google Patents

Abstract

本发明提供了基于GNSS和视觉的室内外衔接的机器人定位方法，属于配网工程现场移动机器人定位导航领域。本发明在机器人操作***上使用，机器人操作***上解析GNSS数据，根据GNSS状态判断机器人所处环境，如机器人处在室外，则采用GNSS和视觉里程计融合定位，如机器人在室内，则以视觉传感器估计的视觉里程计作为机器人的位姿。在室内外局部环境中，通过导向标签模板匹配结果为机器人运动做出决策，并在运动途中，使用机器人操作***检测二维码形式的定位标签为机器人提供精确的定位信息。本发明在配网工程现场室内外局部环境达到移动机器人分米级定位精度，并实现了在配网工程现场室内外局部环境自适应导航。

Description

基于GNSS和视觉的室内外衔接的机器人定位方法

技术领域

本发明属于配网工程现场移动机器人定位导航领域，具体涉及基于GNSS和视觉的室内外衔接的机器人定位方法。

背景技术

现有的机器人导航方法包括：视觉导航和卫星导航。

视觉导航的视觉传感器设备简单、成本低、经济性好、应用范围较广，同时计算机硬件的发展为高吞吐量的数据处理提供了支持。但是，在视觉导航中光照变化、目标运动等因素给图像处理带来噪声，同时特征点误匹配产生误差以及误差累计，导致机器人运动过程中定位精度逐渐下降，甚至可能在运动过程中由于图像中的特征点不足而导致定位丢失。因此，单一的视觉传感器无法完成移动机器人的定位。与此同时，视觉导航在室内外的定位效果常常会有较大差距。

全球卫星导航技术(GNSS)在室外空旷地区可以提供最高厘米级的定位精度，但在城市中，由于特殊的人工环境，例如：平整的路面、高大的建筑物等，常常使得接收机在接到卫星信号的同时，也接收到周围环境反射的卫星信号，从而产生多路径误差。对于多路径效应误差的处理方法很多，但目前并没有完全消除的方法。在遮挡比较严重的情况下，特别是室内环境，甚至接收不到卫星信号，卫星定位彻底失效。

目前，关于GNSS和视觉的组合导航方法，主要是GNSS和视觉SLAM融合。对于GNSS和视觉SLAM融合，常常通过两者单独运动估计的松耦合和合并两者状态进行总体状态估计的紧耦合两种方法对二者进行不同程度的融合。另外，还有关于图像处理辅助GNSS和视觉里程计融合的方法，一般是针对结构化道路而进行的，通过对车道线这样的路径标识进行图像处理判断大体误差，进而采用不同的方法对GNSS和视觉里程计进行融合。

对于GNSS和视觉SLAM融合的方法而言，无论是松耦合还是紧耦合，对于室内外情况下移动机器人的导航定位都能达到较好的效果，但是视觉SLAM框架包括前端视觉里程计、后端优化、回环检测和建图四个部分，是运算密集型的算法，运行过程中CPU负荷大，因此其对CPU的依赖程度高。另外，环境的场景相似度对回环检测影响较大，当场景相似度过高，可能导致***错误闭环，影响机器人的导航定位。

在机器人的自适应导航上，一般需要构建出全局或局部地图。一方面，视觉SLAM无法直接建成栅格地图用于机器人自主导航；另一方面，视觉构建栅格地图，需要稠密立体匹配，再将稠密空间点云降维处理，最后通过二值贝叶斯滤波器实现建图，对GPU和CUP要求较高，在嵌入式上应用常常实时性难以满足。

发明内容

为了克服上述现有技术存在的不足，本发明提供了基于GNSS和视觉的室内外衔接的机器人定位方法。

为了实现上述目的，本发明提供如下技术方案：

基于GNSS和视觉的室内外衔接的机器人定位方法，包括以下步骤：

当无法获取机器人位置真值时，通过GNSS信号和视觉传感器的输出图像判断机器人的位姿和速度，根据机器人的位姿和速度进行机器人定位；否则，通过机器人操作***识别周边二维码形式的定位标签获取机器人位置真值，利用位置真值覆盖估计信息，进行重定位。

优选的，所述通过GNSS信号和视觉传感器的输出图像判断机器人的位姿和速度，根据机器人的位姿和速度进行机器人定位的步骤包括：

通过GNSS信号判断机器人的位姿、速度；

对视觉传感器的输出图像进行特征匹配获得机器人位姿；

通过机器人操作***对GNSS信号和视觉传感器的输出信号进行时间戳同步；

通过机器人操作***融合GNSS信号判断的机器人的位姿、速度和通过视觉传感器获得机器人位姿信息，获得机器人位姿和速度估计信息，利用估计信息对机器人定位。

优选的，所述通过GNSS信号判断机器人的位姿、速度的步骤包括：

解析GNSS的GPGGA语句信息，获取GNSS状态和使用卫星数量；

当GNSS状态为0且使用卫星数量为00，判定机器人在室内；当GNSS状态为1或2且使用卫星数量不小于04，判定机器人在室外，当接收到GNSS定位数据时，判定机器人所处环境有信号，否则判定机器人所处环境无信号；

当机器人在室外且信号良好，利用GNSS信息计算机器人的位姿、速度，包括以下步骤：

设定机器人运动过程中的起始点为s₀，任意时刻机器人运动过程中连续两点为s_n和s_n+1，s_n和s_n+1之间的时间间隔为t_n,n+1，s_n的经纬度为(lons_n,lats_n)，s_n+1的经纬度为(lons_n+1,lats_n+1)；

s_n和s_n+1之间的距离d_n,n+1表示如下，

其中，R为地球平均半径；

s_n+1相对于s_n的方位角θ_n表示如下，

设定s₀为坐标系原点，以正北方向为坐标系的x轴建立遵循右手定则的GNSS坐标系；

通过任意连续两点之间的距离和方位角估计任意时刻机器人位姿如下，

通过任意连续两点之间的距离、方位角和时间间隔估计任意时刻机器人速度如下：

其中，v_x为机器人在GNSS坐标系x轴方向的运动速度，v_y为机器人在GNSS坐标系y轴方向的运动速度，ω为机器人在GNSS坐标系运动的角速度。

优选的，所述对视觉传感器的输出图像进行特征匹配获得机器人位姿的步骤包括：

检测获得多个ORB角点；计算每个ORB角点方向；计算每个ORB角点的描述子；

对相邻两帧图像中的ORB角点通过描述子进行暴力匹配，获得成功匹配的2d路标点；

利用opencv中SGBM算法，获取输出图像的视差图；

对视差图中像素值非零的像素点进行深度计算，获得深度图；

通过深度图和2d路标点获取匹配的3d路标点；

通过SVD分解3d路标点获取机器人位姿。

优选的，

所述检测获得ORB角点的步骤包括：

设定阈值t，假设输出图像上任一个像素点p的亮度为I_p；

以每个一个像素点为圆心，以r为半径画圆；

取每个圆上均匀分布的r+1个像素，设定该r+1个像素中任一个像素的亮度为I；

当任一个圆上满足|I-I_p|<t的像素点数目小于r，则该圆的圆心所在的像素点不是ORB角点；否则，对该圆上的所有像素点进行判断，当任一个圆上满足|I-I_p|<t的连续像素点的数目大于等于r²，则该圆的圆心所在的像素点是ORB角点，否则，则该圆的圆心所在的像素点不是ORB角点；

所述计算ORB角点方向的步骤包括：

对每个ORB角点，取以该ORB角点为圆心，半径为R的图像块A，计算图像块A的矩，

其中0<p<1,0<q<1；x为图像块A上的一个像素点的横坐标，y为图像块A上的一个像素点的z纵坐标，I(x,y)为坐标在(x,y)处像素点的灰度值；

通过图像块A的矩计算图像块A的质心，

连接每个图像块的几何中心和质心得到向量，将该向量的方向定义为每个ORB角点的方向，表示为，

α＝tan^-12(c_y,c_x)＝tan^-12(m₀₁,m₁₀)

其中，c_y表示向量的纵坐标，c_x表示向量的横坐标；

所述计算每个ORB角点的描述子的步骤包括：

以每个ORB角点为中心设定邻域窗口；

在每邻域窗口中任取128对像素点，通过下式计算每对像素点对应的特征向量，

其中，p(x)<p(y)分别为一对像素点中两个像素点的像素值；

每个ORB角点所在领域窗口中128对像素点对应的特征向量即为该ORB角点的描述子。

优选的，所述对相邻两帧图像中的ORB角点通过描述子进行暴力匹配的步骤包括：

在相邻的每两帧图像中，计算一张图像的每一个ORB角点与另一张图像中的所有每一个ORB角点的汉明距离；

判定相邻的两帧图像中，汉明距离最近的点为两帧图像中的匹配点；

剔除所有匹配点中汉明距离大于两倍最小汉明距离的匹配点；

利用opencv中SGBM算法，获取输出图像的视差图。

优选的，通过下式对视差图中像素值非零的像素点进行深度计算：

其中，Z为像素点深度，d为像素点视差，b为双目基线长度，f为相机焦距。

优选的，所述通过SVD分解3d路标点获取机器人位姿的步骤包括：

通过深度图和2d路标点获取任意两个时刻匹配的两组3d路标点，

P＝{p₁,…,p_n}

P′＝{p₁′,…,p_n′}

将两组3d路标点之间存在的坐标变换表示如下，

其中，R和t分别为任意两个时刻相机的旋转矩阵和平移向量；

将两组3d路标点配对，每对路标点p_i和p_i′之间存在的误差表示为，

e_i＝p_i-(Rp_i′+t)

通过每对3d路标点p_i和p_i′的误差对其构造最小二乘问题，

采用SVD算法对最小二乘问题求解获得最优的旋转矩阵和平移向量，其中SVD算法表示如下，

最优的旋转矩阵表示如下，

R＝UV^T

最优的平移向量表示如下，

t＝p-RP′

其中，

q_i＝p_i-p

q_i′＝p_i′-p′

通过每个时刻相机的旋转矩阵和平移向量进行机器人位姿估计。

优选的，还包括以下步骤：根据定位信息，利用机器人的导引标签模板指引机器人运动。

优选的，所述利用机器人的导引标签模板指引机器人运动的步骤包括：

获得输出图像的ROI图像；

创建ROI图像和模板图像的图像金字塔；

利用图像金字塔获取输出图和模板图像的相似性度量；根据相似性度量判断最匹配的模板图像；

根据模板图像的导引标签指引机器人运动；其中，导引标签信息包括：平移、转动、停止和掉头；

所述创建ROI图像和模板图像的图像金字塔的步骤如下：

创建ROI图像和模板图像对应的4层金字塔图像；

对4层金字塔图像进行降采样；

取5×5的卷积核K，遍历降采样后的4层金字塔图像的每个像素，进行均值平滑滤波，其中卷积核K表示如下，

所述利用图像金字塔获取输出图和模板图像的相似性度量；根据相似性度量判断最匹配的模板图像的步骤包括：

设定阈值；

利用归一化相关系数的相似性度量准则，计算每个模板图像与ROI图像的相似性值，

其中，I₁为模板图像，I₂为ROI图像，u₁为图像I₁的均值，u₂为图像I₂的均值，x为一个图像内像素点的值；

将归一化相关系数的相似度最高且大于阈值的模板图像作为最匹配的模板图像。

本发明提供的基于GNSS和视觉的室内外衔接的机器人定位方法具有以下有益效果：本发明通过定位标签实现精准重定位，消除传感器估计误差随着时间推移增大的现象，在室内外不同场景下实现高精度快速定位，为机器人导航***提供可靠基础，此外，能在室内转向室外或由室外进入室内环境时自适应的切换导航***，并利用导引标签实现自主导航，为机器人在室内外局部安全区域规划出一条安全路径，实现局部导航。

附图说明

为了更清楚地说明本发明实施例及其设计方案，下面将对本实施例所需的附图作简单地介绍。下面描述中的附图仅仅是本发明的部分实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1的基于GNSS和视觉的室内外衔接的机器人定位方法的流程图；

图2为本发明实施例1的对视觉传感器的输出图像进行特征匹配获得机器人位姿的流程图；

图3为本发明实施例1的利用机器人的导引标签模板指引机器人运动的流程图。

具体实施方式

为了使本领域技术人员更好的理解本发明的技术方案并能予以实施，下面结合附图和具体实施例对本发明进行详细说明。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

实施例1

本发明应用ROS框架，基于室内与室外GNSS信号的不同，通过检测卫星接收数量判断机器人是处于室内或是室外，以此为基础通过GNSS和视觉松耦合方式实现室内室外自适应局部重定位的功能。

参阅图1，本发明提供了基于GNSS和视觉的室内外衔接的机器人定位方法，包括以下步骤：当无法获取机器人位置真值时，通过GNSS信号和视觉传感器的输出图像判断机器人的位姿和速度，根据机器人的位姿和速度进行机器人定位；否则，通过机器人操作***识别周边二维码形式的定位标签获取机器人位置真值，利用位置真值覆盖估计信息，进行重定位。

具体的，通过GNSS信号和视觉传感器的输出图像判断机器人的位姿和速度，根据机器人的位姿和速度进行机器人定位的步骤包括：通过GNSS信号判断机器人的位姿、速度；对视觉传感器的输出图像进行特征匹配获得机器人位姿；通过机器人操作***对GNSS信号和视觉传感器的输出信号进行时间戳同步；通过机器人操作***融合GNSS信号判断的机器人的位姿、速度和通过视觉传感器获得机器人位姿信息，获得机器人位姿和速度估计信息，利用估计信息对机器人定位；据定位信息，利用机器人的导引标签模板指引机器人运动。

具体的，信号判断机器人的位姿、速度的步骤包括：解析GNSS的GPGGA语句信息，获取GNSS状态和使用卫星数量；当GNSS状态为0且使用卫星数量为00，判定机器人在室内；当GNSS状态为1或2且使用卫星数量不小于04，判定机器人在室外，当接收到GNSS定位数据时，判定机器人所处环境有信号，否则判定机器人所处环境无信。机器人在室外且信号良好，利用GNSS信息计算机器人的位姿、速度。

利用GNSS信息计算机器人的位姿、速度包括下步骤：设定机器人运动过程中的起始点为s₀，任意时刻机器人运动过程中连续两点为s_n和s_n+1，s_n和s_n+1之间的时间间隔为t_n,n+1，s_n的经纬度为(lons_n,lats_n)，s_n+1的经纬度为(lons_n+1,lats_n+1)。

s_n和s_n+1之间的距离d_n,n+1表示如下，

其中，R为地球平均半径。

s_n+1相对于s_n的方位角θ_n表示如下，

设定s₀为坐标系原点，以正北方向为坐标系的x轴建立遵循右手定则的GNSS坐标系；通过任意连续两点之间的距离和方位角估计任意时刻机器人位姿如下，

通过任意连续两点之间的距离、方位角和时间间隔估计任意时刻机器人速度如下：

其中，v_x为机器人在GNSS坐标系x轴方向的运动速度，v_y为机器人在GNSS坐标系y轴方向的运动速度，ω为机器人在GNSS坐标系运动的角速度。

参阅图2，对视觉传感器的输出图像进行特征匹配获得机器人位姿的步骤包括：检测获得多个ORB角点；计算每个ORB角点方向；计算每个ORB角点的描述子；对相邻两帧图像中的ORB角点通过描述子进行暴力匹配，获得成功匹配的2d路标点；利用opencv中SGBM算法，获取输出图像的视差图；对视差图中像素值非零的像素点进行深度计算，获得深度图；通过深度图和2d路标点获取匹配的3d路标点；通过SVD分解3d路标点获取机器人位姿。

具体的，检测获得ORB角点的步骤包括：设定阈值t，假设输出图像上任一个像素点p的亮度为I_p；以每个一个像素点为圆心，以r为半径画圆；取每个圆上均匀分布的r+1个像素，设定该r+1个像素中任一个像素的亮度为I；当任一个圆上满足|I-I_p|<t的像素点数目小于r，则该圆的圆心所在的像素点不是ORB角点；否则，对该圆上的所有像素点进行判断，当任一个圆上满足|I-I_p|<t的连续像素点的数目大于等于r²，则该圆的圆心所在的像素点是ORB角点，否则，则该圆的圆心所在的像素点不是ORB角点。

具体的，计算ORB角点方向的步骤包括：对每个ORB角点，取以该ORB角点为圆心，半径为R的图像块A，计算图像块A的矩，

其中0<p<1,0<q<1；x为图像块A上的一个像素点的横坐标，y为图像块A上的一个像素点的z纵坐标，I(x,y)为坐标在(x,y)处像素点的灰度值。

通过图像块A的矩计算图像块A的质心，

连接每个图像块的几何中心和质心得到向量，将该向量的方向定义为每个ORB角点的方向，表示为，

α＝tan^-12(c_y,c_x)＝tan^-12(m₀₁,m₁₀)

其中，c_y表示向量的纵坐标，c_x表示向量的横坐标。

具体的，计算每个ORB角点的描述子的步骤包括：以每个ORB角点为中心设定邻域窗口；在每邻域窗口中任取128对像素点，通过下式计算每对像素点对应的特征向量，

其中，p(x)<p(y)分别为一对像素点中两个像素点的像素值；每个ORB角点所在领域窗口中128对像素点对应的特征向量即为该ORB角点的描述子。

具体的，对相邻两帧图像中的ORB角点通过描述子进行暴力匹配的步骤包括：在相邻的每两帧图像中，计算一张图像的每一个ORB角点与另一张图像中的所有每一个ORB角点的汉明距离；判定相邻的两帧图像中，汉明距离最近的点为两帧图像中的匹配点；剔除所有匹配点中汉明距离大于两倍最小汉明距离的匹配点；利用opencv中SGBM算法，获取输出图像的视差图。

具体的，通过下式对视差图中像素值非零的像素点进行深度计算：

其中，Z为像素点深度，d为像素点视差，b为双目基线长度，f为相机焦距。

在本实施例中，通过SVD分解3d路标点获取机器人位姿的步骤包括：通过深度图获得任意两个时刻的两组路标点，

P＝{p₁,…,p_n}

P′＝{p₁′,…,p_n′}

将两组路标点之间存在的坐标变换表示如下，

其中，R和t分别为任意两个时刻相机的旋转矩阵和平移向量。

将两组路标点配对，每对路标点p_i和p_i′之间存在的误差表示为，

e_i＝p_i-(Rp_i′+t)

通过每对路标点p_i和p_i′的误差对其构造最小二乘问题，

采用SVD算法对最小二乘问题求解获得最优的旋转矩阵和平移向量，其中SVD算法表示如下，

最优的旋转矩阵表示如下，

R＝UV^T

最优的平移向量表示如下，

t＝p-RP′

其中，

q_i＝p_i-p

q_i′＝p_i′-p′

通过每个时刻相机的旋转矩阵和平移向量进行机器人位姿估计。

参阅图3，利用机器人的导引标签模板指引机器人运动的步骤包括：获得输出图像的ROI图像；创建ROI图像和模板图像的图像金字塔；利用图像金字塔获取输出图和模板图像的相似性度量；根据相似性度量判断最匹配的模板图像；根据模板图像的导引标签指引机器人运动；其中，导引标签信息包括：平移、转动、停止和掉头。

进一步的，创建ROI图像和模板图像的图像金字塔的步骤如下：创建ROI图像和模板图像对应的4层金字塔图像；对4层金字塔图像进行降采样；取5×5的卷积核K，遍历降采样后的4层金字塔图像的每个像素，进行均值平滑滤波，其中卷积核K表示如下，

具体的，利用图像金字塔获取输出图和模板图像的相似性度量；根据相似性度量判断最匹配的模板图像的步骤包括：设定阈值；利用归一化相关系数的相似性度量准则，计算每个模板图像与ROI图像的相似性值，

其中，I₁为模板图像，I₂为ROI图像，u₁为图像I₁的均值，u₂为图像I₂的均值，x为一个图像内像素点的值；将归一化相关系数的相似度最高且大于阈值的模板图像作为最匹配的模板图像。

机器人主要由运动底盘和运动控制***构成，在激光、视觉、IMU、GNSS辅助下实现自主定位和导航。例如：通过判断卫星信号确定室内场景，并在其它传感器的帮助下实现自主定位导航，当由室内转向室外时，接收到卫星信号，利用本发明的基于GNSS和视觉的室内外衔接的机器人定位方法自动切换到室外导航，并在标签的引导下实现自主导航。在不同场景下的定位准确且导航精度有显著提高。

以上实施例仅为本发明较佳的具体实施方式，本发明的保护范围不限于此，任何熟悉本领域的技术人员在本发明披露的技术范围内，可显而易见地得到的技术方案的简单变化或等效替换，均属于本发明的保护范围。

Claims (10)

1.基于GNSS和视觉的室内外衔接的机器人定位方法，其特征在于，包括以下步骤：

当无法获取机器人位置真值时，通过GNSS信号和视觉传感器的输出图像判断机器人的位姿和速度，根据机器人的位姿和速度进行机器人定位；

否则，通过机器人操作***识别周边二维码形式的定位标签获取机器人位置真值，利用位置真值覆盖估计信息，进行重定位。

2.权利要求1所述的基于GNSS和视觉的室内外衔接的机器人定位方法，其特征在于，所述通过GNSS信号和视觉传感器的输出图像判断机器人的位姿和速度，根据机器人的位姿和速度进行机器人定位的步骤包括：

通过GNSS信号判断机器人的位姿、速度；

对视觉传感器的输出图像进行特征匹配获得机器人位姿；

通过机器人操作***对GNSS信号和视觉传感器的输出信号进行时间戳同步；

通过机器人操作***融合GNSS信号判断的机器人的位姿、速度和通过视觉传感器获得机器人位姿信息，获得机器人位姿和速度估计信息，利用估计信息对机器人定位。

3.根据权利要求2所述的基于GNSS和视觉的室内外衔接的机器人定位方法，其特征在于，所述通过GNSS信号判断机器人的位姿、速度的步骤包括：

解析GNSS的GPGGA语句信息，获取GNSS状态和使用卫星数量；

当GNSS状态为0且使用卫星数量为00，判定机器人在室内；当GNSS状态为1或2且使用卫星数量不小于04，判定机器人在室外，当接收到GNSS定位数据时，判定机器人所处环境有信号，否则判定机器人所处环境无信号；

当机器人在室外且信号良好，利用GNSS信息计算机器人的位姿、速度，包括以下步骤：

设定机器人运动过程中的起始点为s₀，任意时刻机器人运动过程中连续两点为s_n和s_n+1，s_n和s_n+1之间的时间间隔为t_n，n+1，s_n的经纬度为(lons_n，lats_n)，s_n+1的经纬度为(lons_n+1，lats_n+1)；

s_n和s_n+1之间的距离d_n，n+1表示如下，

其中，R为地球平均半径；

s_n+1相对于s_n的方位角θ_n表示如下，

设定s₀为坐标系原点，以正北方向为坐标系的x轴建立遵循右手定则的GNSS坐标系；

通过任意连续两点之间的距离和方位角估计任意时刻机器人位姿如下，

通过任意连续两点之间的距离、方位角和时间间隔估计任意时刻机器人速度如下：

其中，v_x为机器人在GNSS坐标系x轴方向的运动速度，v_y为机器人在GNSS坐标系y轴方向的运动速度，ω为机器人在GNSS坐标系运动的角速度。

4.根据权利要求2所述的基于GNSS和视觉的室内外衔接的机器人定位方法，其特征在于，所述对视觉传感器的输出图像进行特征匹配获得机器人位姿的步骤包括：

检测获得多个ORB角点；计算每个ORB角点方向；计算每个ORB角点的描述子；

对相邻两帧图像中的ORB角点通过描述子进行暴力匹配，获得成功匹配的2d路标点；

利用opencv中SGBM算法，获取输出图像的视差图；

对视差图中像素值非零的像素点进行深度计算，获得深度图；

通过深度图和2d路标点获取匹配的3d路标点；

通过SVD分解3d路标点获取机器人位姿。

5.根据权利要求4所述的基于GNSS和视觉的室内外衔接的机器人定位方法，其特征在于，所述检测获得ORB角点的步骤包括：

设定阈值t，假设输出图像上任一个像素点p的亮度为I_p；

以每个一个像素点为圆心，以r为半径画圆；

取每个圆上均匀分布的r+1个像素，设定该r+1个像素中任一个像素的亮度为I；

当任一个圆上满足|I-I_p|＜t的像素点数目小于r，则该圆的圆心所在的像素点不是ORB角点；否则，对该圆上的所有像素点进行判断，当任一个圆上满足|I-I_p|＜t的连续像素点的数目大于等于r²，则该圆的圆心所在的像素点是ORB角点，否则，则该圆的圆心所在的像素点不是ORB角点；

所述计算ORB角点方向的步骤包括：

对每个ORB角点，取以该ORB角点为圆心，半径为R的图像块A，计算图像块A的矩，

其中0＜p＜1，0＜q＜1；x为图像块A上的一个像素点的横坐标，y为图像块A上的一个像素点的z纵坐标，I(x，y)为坐标在(x，y)处像素点的灰度值；

通过图像块A的矩计算图像块A的质心，

连接每个图像块的几何中心和质心得到向量，将该向量的方向定义为每个ORB角点的方向，表示为，

α＝tan^-12(c_y，c_x)＝tan^-12(m₀₁，m₁₀)

其中，c_y表示向量的纵坐标，c_x表示向量的横坐标；

所述计算每个ORB角点的描述子的步骤包括：

以每个ORB角点为中心设定邻域窗口；

在每邻域窗口中任取128对像素点，通过下式计算每对像素点对应的特征向量，

其中，p(x)＜p(y)分别为一对像素点中两个像素点的像素值；

每个ORB角点所在领域窗口中128对像素点对应的特征向量即为该ORB角点的描述子。

6.根据权利要求4所述的基于GNSS和视觉的室内外衔接的机器人定位方法，其特征在于，所述对相邻两帧图像中的ORB角点通过描述子进行暴力匹配的步骤包括：

在相邻的每两帧图像中，计算一张图像的每一个ORB角点与另一张图像中的所有每一个ORB角点的汉明距离；

判定相邻的两帧图像中，汉明距离最近的点为两帧图像中的匹配点；

剔除所有匹配点中汉明距离大于两倍最小汉明距离的匹配点；

利用opencv中SGBM算法，获取输出图像的视差图。

7.根据权利要求4所述的基于GNSS和视觉的室内外衔接的机器人定位方法，其特征在于，通过下式对视差图中像素值非零的像素点进行深度计算：

其中，Z为像素点深度，d为像素点视差，b为双目基线长度，f为相机焦距。

8.根据权利要求4所述的基于GNSS和视觉的室内外衔接的机器人定位方法，其特征在于，所述通过SVD分解3d路标点获取机器人位姿的步骤包括：

通过深度图和2d路标点获取任意两个时刻匹配的两组3d路标点，

P＝{p₁，…，p_n}

P′＝{p₁′，...，p_n′}

将两组3d路标点之间存在的坐标变换表示如下，

其中，R和t分别为任意两个时刻相机的旋转矩阵和平移向量；

将两组3d路标点配对，每对路标点p_i和p_i′之间存在的误差表示为，

e_i＝p_i-(Rp_i′+t)

通过每对3d路标点p_i和p_i′的误差对其构造最小二乘问题，

采用SVD算法对最小二乘问题求解获得最优的旋转矩阵和平移向量，其中SVD算法表示如下，

最优的旋转矩阵表示如下，

R＝UV^T

最优的平移向量表示如下，

t＝p-RP′

其中，

q_i＝p_i-p

q_i′＝p_i′-p′

通过每个时刻相机的旋转矩阵和平移向量进行机器人位姿估计。

9.根据权利要求1所述的基于GNSS和视觉的室内外衔接的机器人定位方法，其特征在于，还包括以下步骤：根据定位信息，利用机器人的导引标签模板指引机器人运动。

10.根据权利要求9所述的基于GNSS和视觉的室内外衔接的机器人定位方法，其特征在于，所述利用机器人的导引标签模板指引机器人运动的步骤包括：

获得输出图像的ROI图像；

创建ROI图像和模板图像的图像金字塔；

利用图像金字塔获取输出图和模板图像的相似性度量；根据相似性度量判断最匹配的模板图像；

根据模板图像的导引标签指引机器人运动；其中，导引标签信息包括：平移、转动、停止和掉头；

所述创建ROI图像和模板图像的图像金字塔的步骤如下：

创建ROI图像和模板图像对应的4层金字塔图像；

对4层金字塔图像进行降采样；

取5×5的卷积核K，遍历降采样后的4层金字塔图像的每个像素，进行均值平滑滤波，其中卷积核K表示如下，

所述利用图像金字塔获取输出图和模板图像的相似性度量；根据相似性度量判断最匹配的模板图像的步骤包括：

设定阈值；

利用归一化相关系数的相似性度量准则，计算每个模板图像与ROI图像的相似性值，

其中，I₁为模板图像，I₂为ROI图像，u₁为图像I₁的均值，u₂为图像I₂的均值，x为一个图像内像素点的值；

将归一化相关系数的相似度最高且大于阈值的模板图像作为最匹配的模板图像。

Images