CN110827353A

CN110827353A - 一种基于单目摄像头辅助的机器人定位方法

Info

Publication number: CN110827353A
Application number: CN201910994961.1A
Authority: CN
Inventors: 孟庆浩; 郑文键
Original assignee: Tianjin University
Current assignee: Tianjin University
Priority date: 2019-10-18
Filing date: 2019-10-18
Publication date: 2020-02-21
Anticipated expiration: 2039-10-18
Also published as: CN110827353B

Abstract

本发明涉及一种基于单目摄像头辅助的机器人定位方法，包括下列步骤步骤：建立神经网络模型进行图像特征提取：搭建训练网络，使用光照变化，视点变化的图像序列进行训练，得到神经网络模型，通过特征点提取，使得之后的图像识别、匹配，应对光照变化，视角变化有更强的鲁棒性；图片标识存储并与地图坐标对应：在机器人运动环境中，每隔一段距离粘贴图片标识，并提供与图片标识对应的地图下的二维坐标，建立目标点坐标字典，存储矫正机器人定位误差的图片标识的二维坐标，图片标识的高度信息由测量获得，这样就可以得到图片的三维坐标，将图片标识和三维坐标进行存储，建立图片标识库；图片标识的识别；通过寻优算法获取机器人正对图片标识位置；机器人位姿确定。

Description

一种基于单目摄像头辅助的机器人定位方法

技术领域

本发明涉及移动机器人自主定位领域，特别是涉及一种基于单目摄像头辅助移动机器人定位的方法。

背景技术

移动机器人定位是在现实环境下实现自主运动的前提。移动机器人需要依靠传感器实现对自身位置和姿态(简称位姿)和外部环境信息的感知，只有准确地知道自身和环境的信息，机器人才能在现实环境下完成人类给定的任务。

机器人在朝着目标导航的过程中，估计的位姿会随时间漂移产生误差，能精确定位是机器人到达目标点的关键。机器人位姿，通常用旋转矩阵和平移矩阵表示，由Perspective-N-Point(PNP)和三角测量法得出，如果相邻两帧图像转角过大，使用PNP和三角测量法求解时，由于只有旋转没有平移量，这样会出现自由度退化，退化的自由度由噪声数据替代，从而会造成跟踪丢失和位姿估计失败。专利201611021300.3(基于单目视觉的移动机器人导航控制方法)，使用单目摄像头对整个运动环境中的图像进行采集，并使用尺度不变特征变换(scale-invariantfeaturetransform,SIFT)算法进行特征提取和匹配。为获得机器人位姿信息，需要构建整个运动环境的图像信息作为地图，数据过于庞大。另外SIFT即使在普通电脑上也不能确保实时运行，使用单目摄像头的目的是为了降低成本，但是对处理器性能的依赖，无疑会大幅度增加成本，未免得不偿失。专利201710172646.1(一种基于单目视觉和二维码路标的室内自主导航方法)提出了一种基于单目摄像头和二维码导航的方法，类似于地面铺设轨道的寻迹小车，只能根据视野内的标签作为路标点确定下一步的移动，在实际使用中，由于光线变化和二维码积灰等状况的存在，使得准确性并不可靠。专利201610701388.7(一种基于单目摄像头的平面导航***及方法)提出由一系列图片按特定规律排列组合用于机器人定位，而该方案存储整个运动环境中的图片，计算图像数据过大，使用不方便。专利201811508706.3(一种基于图像识别的定位方法及装置)提出了一种使用门牌号进行定位的方法，通过把拍摄的门牌号图像进行存储，之后通过特征匹配寻找门牌号进行定位。该方案过于依赖门牌号，而且不同建筑物的门牌差异很大，此外这种通过识别图像具体内容来获取信息的方法，受光照等环境因素影响，而且进行图像识别有一定的难度，实际使用中并不可靠。

发明内容

本发明的目的在于提供一种基于单目摄像头辅助的机器人定位方法，解决在已有地图情况下，室内机器人在长时间运动，由编码器、陀螺仪带来的定位误差以及单目摄像头受光照变化等因素造成的识别误差。本发明通过在环境中每隔一段距离粘贴图片作为标识，将粘贴的图片标识进行特征点提取，存储图片的特征信息。机器人携带摄像头观测到粘贴图片的位置处，进行图片特征点匹配、识别，并与图片库数据进行匹配，通过图片标识在库内图像的特征匹配率与机器人是否识别图片进行关联，而不需识别图片具体内容。之后使用多视图几何，利用机器人与图片标识的相对位姿对机器人的位姿进行求解。本发明的技术方案如下：

一种基于单目摄像头辅助的机器人定位方法，包括下列步骤步骤：

(1)建立神经网络模型进行图像特征提取

搭建训练网络，使用光照变化，视点变化的图像序列进行训练，得到神经网络模型，通过特征点提取，使得之后的图像识别、匹配，应对光照变化，视角变化有更强的鲁棒性。

(2)图片标识存储并与地图坐标对应

在机器人运动环境中，每隔一段距离粘贴图片标识，并提供与图片标识对应的地图下的二维坐标，建立目标点坐标字典，存储矫正机器人定位误差的图片标识的二维坐标，图片标识的高度信息由测量获得，这样就可以得到图片的三维坐标，将图片标识和三维坐标进行存储，建立图片标识库；

(3)图片标识的识别

当机器人运动到图片标识附近，使用神经网络算法进行特征点提取和特征匹配，然后通过图片标识与图片库内图像的特征匹配率的高低判断是否识别图像；

(4)通过寻优算法获取机器人正对图片标识位置

使用二叉堆中的小根堆寻优算法获取机器人与图片标识的最短距离，作为机器人处于图片标识正前方的判据；深度信息由三角测距法获得，机器人经过图片标识过程中，不断地使用三角测距并计算距离均值，将新测得的均值作为一个元素加入二叉树的最后一个位置，向上和父节点进行比较，如果比父节点小就进行交换，一直比较到根节点，从而计算出机器人与图片标识的最近位置，获取机器人正对图片标识位置；

(5)机器人位姿确定。

优选地，步骤(3)判断图像是否被识别的方法如下：通过设置匹配到的特征点阀值对图片是否识别进行判定，剔除匹配率低、采样点不足的图片标识，而特征匹配率高于一定阀值则认为图片标识被识别。

步骤(5)中，使用最小化重投影误差作为评分标准，分别通过对极几何算法、单应性矩阵和PNP算法计算机器人位姿，将计算出的机器人位姿作为目标函数优化的初值，使用最小化重投影误差的大小作为算法精度的评分标准，将误差小的算法计算出的位姿结果作为真实值，从而获取准确的机器人位姿。

本发明主要优点及特色体现在如下几个方面：

1、本发明通过在机器人运动环境中粘贴图片标识用作定位标志，比使用门牌号或者二维码有更加丰富的特征信息，识别速度和准确率更高。由于使用神经网络算法进行图像特征提取，不受光照变化和相机视角影响，有更强的鲁棒性。

2、本发明与基于门牌号识别等需要识别图片具体内容的方法不同，本发明通过图片标识与图片库内图像的特征匹配率的高低代表机器人是否识别图片，通过设置阀值确定识别准确率，这样可以提升图片识别效率以及准确率。

3、本发明提出了一种机器人处于图片标识正前方的判据。将相邻两帧多对匹配点的三角测距结果均值作为一次的测距结果。在机器人移动过程中不断获取测距均值，通过不断比较来获得最短距离。以此获取机器人与图片标识的最短距离，作为机器人处于图片正前方的判据。避免了传统的图像处理方法，极大地提高了计算速度以及计算的准确性。

附图说明

图1为本发明实施例中传统视觉中使用SIFT在极限光照下定位效果。

图2为本发明实施例中适用深度卷积网络在极限光照下的定位效果。

图3为本发明实施例中传统视觉中使用SIFT在视角强旋转下的定位效果。

图4为本发明实施例中使用深度学习算法在视角强旋转下的定位效果。

图5为本发明实施例中将机器人视野内的图片标识与图片标识库内的图像进行特征匹配。

图6为本发明实施例中用特征匹配率阀值来判断图片标识是否被识别。

图7为本发明实施例中机器人运动过程中高于阀值被识别图片标识。

图8为本发明实施例中机器人利用图片标识进行定位的流程图。

具体实施方式

本发明提出了一种基于单目摄像头进行定位的方法，通过在机器人运动环境中每隔一段距离粘贴图片作为标识，使用深度学习与传统算法相结合对图片标识进行识别，这里的识别是指图片标识与图片库内图片特征点匹配率达到一定阈值。本方案通过对贴在环境中的图片标识与图像库中内图像进行特征匹配而非对图片的具体内容进行处理，实现对标识的识别。在定位过程中提出了一种判断机器人处于图片标识正前方的判据。可有效地解决光照变化以及视角旋转造成的识别误差，减小了里程计累积误差造成的定位偏差。本发明主要包含以下三个方面：

1、图片标识的特征提取

首先采集环境中同一地点，不同光照不同角度的图片作为一个序列，对多个地点进行该操作，可以获得多个图片的数字图像序列。为了使神经网络对光照有更强的鲁棒性，在网络训练过程中对训练的图像序列进行亮度调节。之后进行随机剪切、旋转、扭曲、缩放等操作扩充数据集，对相同图像训练的结果进行合成，提高图像分类的丰富性。本发明通过使用神经网络算法进行特征点提取，使得之后的图像识别、匹配，应对光照变化，视角变化有更强的鲁棒性。图1到图4是使用神经网络算法与传统算法进行特征匹配的效果对比。另外，本发明并不需要识别图片具体内容，而是通过图片标识与图片库内图像的特征匹配率的高低代表机器人是否识别图像，图5为当前图片标识与图片库内的图像进行匹配的情况。此外，通过设置特征点匹配率阀值，剔除匹配率低、采样点不足的图片标识，如图6、图7所示。而特征匹配率高于一定阀值则认为图片标识被识别。

2、获取图片标识与机器人正对位置

本发明通过获取机器人与图片标识的最短距离，作为机器人处于图片标识正前方的判据。由于使用的是单目摄像头，深度信息可以由三角测距法获得。为了使深度信息更加准确而且不增加计算量，取匹配的特征点个数的阀值为50个，将每对点的三角测距结果求均值并进行存储。机器人经过图片标识过程中，不断的使用三角测距算法并计算距离均值。将新测得的均值作为一个元素加入二叉树的最后一个位置，向上和父节点进行比较，如果比父节点小就进行交换，一直比较到根节点。这样可以快速地计算出机器人与图片标识的最近位置，此时机器人与其在图片标识所处平面的投影的连线和图片标识在地面的投影的连线是垂直的，所以该最近位置是正对图片标识的。

3、机器人位姿确定

图片标识向地面投影的二维坐标可以由地图获得，三维坐标可以由测量获得，机器人的高度和相机云台角度是已知的，这样就可以使用图像信息计算机器人位姿。为了更加准确地计算机器人位姿，提出使用最小化重投影误差作为评分标准。分别通过对极几何算法、单应性矩阵和PNP算法计算机器人位姿，将计算出的机器人位姿作为目标函数优化的初值，使用最小化重投影误差的大小作为算法精度的评分标准，将误差小的算法计算出的位姿结果作为真实值，从而实时获取最准确的运算结果。

下面结合实施例及附图详细说明。实施例是以本发明所述技术方案为前提进行的具体实施，给出了详细的实施方式和过程。但本申请的权利要求保护范围不受限于下述实施例的描述。

使用的机器人平台包括编码器，惯性导航单元(IMU)，单目摄像头，舵机云台，工控机等，使用差速轮结构，并加入改进的悬挂***，实现减震，从而提高机器人运动的稳定性，降低运动过程中抖动带来的误差和摄像头识效率问题。本方案通过在机器人运动环境中每隔一段距离粘贴图片标识，用来解决已知环境地图的重定位问题。具体操作可以分为如下步骤：

1、搭建神经网络模型进行图像特征提取

首先搭建一个类似VGG-16的训练网络。该网络的大小为64-64-128-128-256-256-256-512-512-512-512。由11个3×3的卷积层，3个全连接层，每两层有一个池化层组成。使用光照变化，视点变化的图像序列进行训练。先将数据集进行处理，通过OpenCV将同一场景图像进行任意的亮度变换，生成具有光照变化的图像序列。构建图像处理接口对数据集内的图像序列进行随机剪切、旋转、扭曲、缩放等操作扩充数据集，生成具有视点变化的图像序列。对数据集内的图像序列进行扩充，对相同图像训练的结果进行合成，提高图像分类的丰富性。然后将该网络用于后续的机器人定位任务。

2、图片标识存储并与地图坐标对应

在机器人运动环境中，每隔一段距离粘贴图片标识，并提供与图片标识对应的地图下的二维坐标，建立目标点坐标字典，dst₁-dst_n为n个图片标识的坐标点。point用来表示坐标函数，x,y代表坐标信息。如下式(1)-(4)，存储矫正机器人定位误差的图片标识的二维坐标。

dst₁＝(point(x₁，y₁，z)) (1)

dst₂＝(point(x₂，y₂，z)) (2)

dst₃＝(point(x₃，y₃，z)) (3)

dst_n＝(point(x_n，y_n,z)，) (4)

图片标识的高度信息由测量获得，这样就可以得到图片的三维坐标。将图片标识和三维坐标进行存储，建立一个图片标识库。

2、图片标识的识别

在上一步获得了图片标识和对应的三维坐标，当机器人运动到图片标识附近，使用神经网络算法进行特征点提取和特征匹配。然后通过图片标识与图片库内图像的特征匹配率的高低判断机器人是否识别图像，图5为当前图片标识与图片库内的图像进行匹配的情况。此外，通过设置匹配到的特征点阀值对图片是否识别进行判定，如图6、图7所示，这样就可以剔除匹配率低、采样点不足的图片标识，而特征匹配率高于一定阀值则认为图片标识被识别。

3、通过寻优算法获取机器人正对图片标识位置

使用二叉堆中的小根堆寻优算法获取机器人与图片标识的最短距离，作为机器人处于图片标识正前方的判据。通过神经网络算法进行特征提取，已经可以获得具有很强鲁棒性的特征点。由于使用的是单目摄像头，深度信息可以由三角测距法获得。为了使深度信息更加准确而且不增加计算量，取匹配的特征点个数阀值为50个，将每对点的三角测距结果求均值并进行存储。机器人经过图片标识过程中，不断地使用三角测距并计算距离均值。将新测得的均值作为一个元素加入二叉树的最后一个位置，向上和父节点进行比较，如果比父节点小就进行交换，一直比较到根节点。这样可以快速地计算出机器人与图片标识的最近位置，此时机器人与其在图片标识所处平面的投影连线和图片标识在地面的投影连线是垂直的，所以该最近位置是正对图片标识的。

4、图片标识向地面投影的二维坐标可以由地图获得，三维坐标可以由测量获得，机器人的高度和相机云台角度是已知的，这样就可以使用图片标识信息计算机器人位姿。为了更加准确地计算机器人位姿，本发明提出了使用最小化重投影误差最为评分标准。分别通过对极几何算法，单应性矩阵以及PNP算法计算机器人位姿，将计算出的机器人位姿作为目标函数优化的初值，使用最小化重投影误差作为算法精度的评分标准，将误差小的算法计算出的位姿结果作为真实值，从而实时获取最准确的运算结果。机器人利用图片标识进行定位的整体流程如图8所示。

本发明的实质性特点在于：

1.单目摄像头辅助机器人定位算法流程的三个步骤：第一步，使用神经网络算法对图片标识的特征点进行提取，可实现在极限光照变化以及视角变化的情况下实现图像特征提取以及图像匹配；通过设置匹配到的特征点阀值剔除匹配率低、采样点不足的图片标识，从而对图片是否被识别进行判定，而特征匹配率高于一定阀值则认为图片标识被识别。第二步，使用寻优算法获取图像与机器人正对位置。第三步，机器人位姿确定。

2.本发明使用二叉堆中的小根堆寻优算法获取机器人与图片标识的最短距离，作为机器人处于图像正前方的判据。通过神经网络算法进行特征提取，已经可以获得具有很强鲁棒性的特征点。由于使用的是单目摄像头，深度信息可以由三角测距法获得。为了使深度信息更加准确而且不增加计算量，取匹配的特征点阀值不少于50个，将每对点的三角测距结果求均值并进行存储。机器人经过图片标识过程中，不断的使用三角测距算法并计算距离均值。将新测得的均值作为一个元素加入二叉树的最后一个位置，向上和父节点进行比较，如果比父节点小就进行交换，一直比较到根节点。这样可以快速的计算出机器人与图片标识的最近位置，此时机器人与其在图片标识所处平面的投影的连线和图片标识在地面的投影的连线是垂直的，所以该最近位置是正对图片标识的。

Claims

1.一种基于单目摄像头辅助的机器人定位方法，包括下列步骤步骤：

(1)建立神经网络模型进行图像特征提取

(2)图片标识存储并与地图坐标对应

(3)图片标识的识别

(4)通过寻优算法获取机器人正对图片标识位置

(5)机器人位姿确定。

2.根据权利要求1所述的方法，其特征在于，步骤(3)判断图像是否被识别的方法如下：通过设置匹配到的特征点阀值对图片是否识别进行判定，剔除匹配率低、采样点不足的图片标识，而特征匹配率高于一定阀值则认为图片标识被识别。

3.根据权利要求1所述的方法，其特征在于，步骤(5)中，使用最小化重投影误差作为评分标准，分别通过对极几何算法、单应性矩阵和PNP算法计算机器人位姿，将计算出的机器人位姿作为目标函数优化的初值，使用最小化重投影误差的大小作为算法精度的评分标准，将误差小的算法计算出的位姿结果作为真实值，从而获取准确的机器人位姿。