CN1569558A - 基于图像表现特征的移动机器人视觉导航方法 - Google Patents

Abstract

一种基于图像表现特征的移动机器人的视觉导航方法，包括步骤：移动机器人自动检测自然标识物；对当前图像与场景样本库中的图像进行匹配，以确定当前位置。本发明设计的基于视觉的移动机器人的导航***，解决了以前基于各种传感器方法的导航***带来的各种硬件难题，适合于在超声波、激光、红外等传统导航方式较难适应的非结构场景的环境下，进行移动机器人的自定位。本导航方法将场景标识物检测和场景图像表现分析相结合，避免了对场景标识的精确分割和定位过程，充分地发挥了计算机对于图像处理的优势，较好地解决了传统导航领域的一些难题。

Description

基于图像表现特征的移动机器人的视觉导航方法

技术领域

本发明涉及移动机器人的视觉导航，特别是结合自然标识物法和基于图像表现特征法的移动机器人的视觉导航方法。

背景技术

经过几十年的迅速发展，机器人领域已经越来越***化、成熟化。各种类型的机器人已经越来越广泛的应用于现代工业、军事、航天、医疗、交通、服务以及人类生活的许多领域。而智能移动型机器人作为机器人研究领域的一个重要而典型的研究方向，越来越受到国内外研究机构的重视，成为当今机器人工业界的一个活跃的分支。近年来国内外的许多工业智能移动机器人的技术有了很大的发展，而西方各国又投入了更多的经费，用于研制应用于社会服务和人类生活领域的各种类型的服务型智能移动机器人。

移动机器人导航技术是智能移动机器人领域的一个重要研究方向，也是智能移动机器人的一项关键技术。在过去的几十年中，国际国内有大量的科技工作者致力于移动机器人导航技术的研究，对很多关键导航技术问题，如多传感器融合导航、机器人自定位、场景模型建立、障碍检测及路径规划等等，取得了长足的进步和较清晰的认识。在某些特定的工业应用领域，移动机器人导航技术已获得了实际应用。

计算机视觉作为模仿生物视觉的一种技术，它的生物机理到现在仍然不是很清楚，很多心理学家，生理学家和认知学家一直在努力的探讨和研究这个问题，并且做着把脑认知方面的研究向计算机应用方面进行转化的努力。作为计算机视觉的一个应用，移动机器人的导航研究在引入视觉信息后有了很大的发展，解决了很多以前使用传统传感器很难解决的问题，对于在超声波、激光和红外等传统导航方式并不是很适合的非结构场景的自然环境下，利用视觉传感器解决移动机器人的自定位问题有较大优势。利用视觉的方法具有探测距离远，环境特征较好识别等特点，可以充分的发挥图像处理和模式识别领域已有成果的优势，使得一些在非结构环境下的机器人自定位问题开始逐步走向解决。虽然到目前为止世界上还没有一个通用的基于计算机视觉的机器人自定位算法，但是已经有几个很成功的限定条件环境下的机器人自定位***。

计算机视觉理论目前在智能移动机器人应用方面的研究虽然已经有了很大的发展，但是还不是很成熟，它的利用主要在几个方面：首先是在二维图像上，即图像理解；其次是立体视觉，即利用两幅对应的场景图，或一个场景的图像系列进行信息的提取；还有就是近几年研究的比较多的光流场技术。虽然视觉传感器可以为机器人***提供大量有用的信息，但是由于现有的大部分算法所需要的计算时间量很大，远不能满足实际***的需要，所以必须在精度和速度之间取得平衡。基于视觉的方法虽然比较接近自然，但现今的算法基本上是基于结构化环境和人工路标的，人为约束较多，如何找到合适的算法来实现更自然的表达，是当今视觉导航研究的一个重要研究趋势。

发明内容

本发明的目的是提出一种基于视觉的移动机器人的导航方法，即通过移动机器人的视觉传感器——摄像头，获取机器人所处位置的场景图像，再根据已经构建好的场景地图，在已知初始位置和目标位置的情况下，完成基于视觉的导航任务。

为实现上述目的，一种基于图像表现特征的移动机器人的视觉导航方法，包括步骤：

移动机器人自动检测自然标识物；

对当前图像与样本库中的图像进行匹配，以确定当前位置。

本发明设计的基于视觉的移动机器人的导航***，解决了以前基于各种传感器方法的导航***带来的各种硬件难题，适合于在超声波、激光、红外等传统导航方式较难适应的非结构场景的环境下，进行移动机器人的自定位问题。利用视觉方法具有探测距离远，较好识别环境特征等特点，可以充分的发挥计算机视觉中图像处理的优势，从而解决传统导航领域的一些难题。

附图说明

图1为消失点形成示意图；

图2为基于消失点的自然标识物的检测，其中，

(a)，(d)，(g)为输入的实际场景图像，

(b)，(e)，(h)为输入图像经过边缘检测处理后的图像，

(c)为检测图像的消失点和消失线，

(f)为基于消失点方法检测场景中的门、柱子等自然标识物，

(i)为基于消失点方法检测拐角等自然标识物；

图3为基于图像表现特征的自定位结果，其中图示中的i表示该图像在样本图像库中的编号，d表示索引图与库中相似图之间的距离；

图4为拓扑式导航地图。

具体实施方式

在目前，基于视觉的移动机器人的导航技术研究中，主要针对三个方面：自定位；地图的构建与路径规划；障碍物的检测和躲避。其中自定位是导航技术的关键。比如确定初始位置、目标位置以及移动过程中的实时位置都是自定位，也就是要知道一个问题：“我在哪里？”本发明就是针对导航技术中的关键问题，提出的一种新颖、快速、有效的基于视觉的自定位方法，并据此再提出一种适用于此定位方法的场景地图的构造方法，从而达到完成移动机器人基于视觉的导航目的。

现在比较常用的利用视觉的自定位方法可分为两种：利用标识物识别法和场景图像识别法。所谓标识物法，就是在工作场景中有一些人工的标识物(比如箭头，图形等等)或者非人工的自然标识物(比如门，窗，拐角，柱子，灯等等)，将这些标识物从场景图像中分割出来，对其进行识别来确定位置。而所谓场景图像识别法，就是利用采集到的工作环境中的场景图，将场景图像的全局表现作为特征进行匹配识别，从而完成自定位。

当我们将发明的应用领域确定为一个非结构环境下的室内场景时，我们对人是如何在这种环境下快速准确的确定自己的位置产生了兴趣。我们发现，当一个人行走在一个没有人工标识的室内环境中的时候，每当遇到一些明显的、感兴趣的环境特征标识物，比如门、拐角或柱子等，就会停下来，然后再注意一些具体的场景信息，比如门上的号码；拐角处不同方向的场景；门、柱子周围的物体或场景特征等等，以此来记忆或者判断自己所处的位置。而人们往往对门、柱子、拐角之间的不能够提供场景特征信息的墙等等并不感兴趣，往往都是快速通过。现实也证明大部分这些无特征信息的墙在实际场景中对于定位和导航来说也是无意义的。

我们可以看出，人类在定位问题上还是更多的利用的是对环境中的标识物的识别来快速准确的进行自定位的，这是由于人们能够快速准确的将标识物从场景图像中分割出来，而且不易受到位移、旋转、缩放等因素的影响。而标识物法的优点就是快速、准确、效率高。然而对于计算机视觉而言，快速准确的将有价值的标识物从复杂的背景图中分割出来是一个难点。但是人类对场景图像拥有的全局表现特征，如颜色、形状、边缘、纹理等信息，不具有很强的辨识能力。对于很多非结构环境下，往往缺少各种人工或自然标识物。这种情况下，只有通过对场景图的全局表现特征的识别来进行自定位。计算机由于在数字化和计算能力等方面具有突出的优势，可以比较容易的通过分析图像全局纹理表现的方法来进行位置图像识别，以实现自定位功能。然而，大多数的基于全局表现特征的方法都是实时的或者以一定的频率在工作状态中采集场景图像，以此图像进行识别，即使是对于行驶在我们在上一段所提到的没有特征信息的场景中也是如此，这样大大提高了机器人的工作量，降低了工作效率。

我们提出的方法尽量地将标识物法和基于图像全局表现的方法两种方法的优势相结合。我们可以从人的自定位过程发现，一般有价值的需要自定位的地点多在门、拐角、柱子等自然标识物附近，而这些自然标识物往往是可以通过对其边缘、颜色或者灰度等特征的分析快速地检测出来。为了避免将这些自然标识物准确快速的从背景图像中分割出来，并进一步加以识别所造成的困难，我们只是将这些标识物检测出来，并不加以识别等进一步的分析，这一过程就会简单快速准确的多。然后再对这些标识物附近的场景进行场景图像采集，对这些场景图像运用基于图像的全局表现法加以识别。这样我们也避免了对于每一时刻的图像都要和样本库中的图像进行匹配识别的计算冗余，而只需将有定位意义的重点位置上的场景图像和样本库中的图像进行匹配识别，从而大大提高了自定位的工作效率。

我们的方法分为学习和工作两个过程。在学习过程中，让机器人多次无人工控制的自由行驶在工作环境中，实时的采集图像，检测出门、拐角、柱子等标识物，每当检测出标识物时，停止于标识物，大量采集标识物周围的场景图，分类建立样本库。在工作过程中，机器人以一定的频率采集图像，只进行标识物检测，当检测到标识物的时候，再对当前图像与样本库中的图像进行匹配，根据最佳匹配结果，确定当前位置。

下面详细给出该发明技术方案中所涉及的各个细节问题的说明：

1.基于消失点法的自然标识物检测技术

正如前面我们所说，为了发挥自然标识物法快速准确的优势，同时避免由于对标识物的分割和识别带来的错误，我们在第一步中通过对自然标识物(如门，柱子，拐角等)的检测，进行初步的定位，而并不对标识物进行识别。在移动机器人自身的摄像头获取的前进方向上场景图像中，检测自然标识物，每当检测到标识物后，再进行第二步的精确自定位，得到与已构建的场景地图中相匹配的位置信息。

我们的工作场景是室内非结构环境中的走廊，在走廊中实现地点识别。因此，如何通过视觉快速准确的在走廊中检测出门、立柱、拐角等标识物是我们这个视觉导航***的重要一步。在我们的***中，视觉是通过一个安装在机器人平台上的普通摄像机作为视觉传感器的，所采集到的图像都为机器人移动方向上的正面普通场景图像。因此，我们在这里采用基于消失点的方法来依靠视觉实现在走廊中的标识物的检测。所谓消失点，是空间中一组平行线的透视相交点，见附图一，它对平移具有一定的稳定性，所以对于机器人导航有很大的参考价值。消失点是与透视变换相关联的。我们首先定义坐标系：原点在摄像机的光心，Z轴与光轴重合，图像平面在Z＝f(焦距)处。

L是一条三维空间中的一条直线，P₀＝(x₀，y₀，z₀)是直线上的一点。L的方程可表示为v＝v₀+λv_d，其中v_d＝(a，b，c)^t。把直线上的一点P_n投影到图像平面上得到P_i。其中P_i＝(x_i，y_i，z_i)，z_i＝f；

$x_i=\left(f\frac{x_0+\mathrm{\λa}}{z_0+\mathrm{\λc}}\right)$

$y_i=\left(f\frac{y_0+\mathrm{\λb}}{z_0+\mathrm{\λc}}\right)$

                z_i＝f当λ趋向于无穷远时，我们就可忽略P₀＝(x₀，y₀，z₀)从而P_i逼近消失点V₁＝(x₁，y₁，z₁)。

即：

$x_1=\underset{\mathrm{\λ}\→\∞}{\lim }f\left(\frac{x_0+\mathrm{\λa}}{z_0+\mathrm{\λc}}\right)=f\left(\frac{a}{c}\right)$

$y_1=\underset{\mathrm{\λ}\→\∞}{\lim }f\left(\frac{y_0+\mathrm{\λb}}{z_0+\mathrm{\λc}}\right)=f\left(\frac{b}{c}\right)$

                z₁＝f

在这里我们假定c≠0，即直线不平行于图像平面。如果c＝0，则消失点在欧氏平面上不存在。从公式里可以看出一组平行线只有一个消失点，这个消失点只跟这组直线的方向有关而和直线的空间位置无关。

因此，在走廊环境中墙壁和地面相交出来的两条平行边在透视平面图上相交于一点，即消失点，而这两条平行边构成了两条消失线。而像门、柱子等特征标识物都会形成垂直线，与消失线相交；或者在拐角处墙壁与地面形成的水平线与消失线相交。所有这些由垂直线或水平线与消失线相交而得的焦点都可作为我们进行标识物检测的特征点，见附图二。当检测到这些特征点即自然标识物的时候，机器人才将当前采集到的实时图像进行自定位处理。

2.基于图像表现特征的自定位技术

在室内环境下，我们在检测到有定位意义的标识物后，才对标识物附近采集到的场景图像进行自定位处理，我们用的是一种基于图像的全局表现特征识别方法。我们将图像全局表现的颜色、灰度、梯度、边缘和纹理等信息进行融合，定义一个多维直方图。每一幅图像用一个多维直方图对其全局表现特征进行描述。其中多维直方图中特征值的选取依赖于机器人以及机器人工作环境所能获取的图像特征，并且，这些特征值具有提取速度快，易计算，存储量小等优点，以利于实现机器人在工作状态下的实时自定位。我们提出了如下几种特征函数，用来描述一幅场景图像全局信息：

COLOR：用来描述图像的颜色特征函数，我们可以选取在标准的RGB色彩空间或HSV色度空间。在本发明中，我们应用的是归一化的RGB颜色空间。

ZC：用来描述每一像素点邻域范围内的边密度的函数。

TEX：从纹理角度给出的一个像素点邻域范围内的统计度量函数。

GM：该像素点的梯度值，用以描述像素点邻域范围内某一方向上灰度值的变化。

RANK：描述图像中局部灰度极值点的统计函数。

根据实际要求和需要，我们利用以上的这些特征值或者其中的部分特征值构成一个多维的直方图。多维直方图中的每一维表现了图像中的一类全局信息特征，而一类特征向量中每个信息的值是整个图像中具有该特征值的像素点的数量。由此，如果我们选定s个特征来表述一个图像的全局信息，我们就需要建立一个s维的直方图，其中假设这s类特征中的第t个特征有n_t个可能的取值。那么在这个s维的直方图中每一个确定的信息的值表示该图像中拥有该确定元组特征值的像素点的个数。而整个直方图的大小为

在根据需要构建了所需的多维直方图来描述一幅图像的全局表现特征信息后，如何将当前图像的多维直方图与样本库里的候选多维直方图进行匹配是下一个重要的步骤。

样本库里的每一个候选多维直方图已经对应于确定的位置，我们只需要将工作状态下实时获取的当前位置的场景图像的多维直方图与样本库中的每一个候选直方图进行匹配，最佳的匹配结果所对应的候选位置即被认定为当前所在位置。所以我们需要一个能够评判两个直方图之间的相似程度的函数。

为了寻找到一个适合我们的最好的匹配方法，我们对多种bin-by-bin和cross-bin的直方图匹配法进行了试探，最后我们选择了均衡性和稳定性好，并且对于噪声干扰和直方图维数大小具有较强的鲁棒性的Jeffrey公式： $d(I,J)=\underset{k}{\mathrm{\Σ}}(i_k\log \frac{i_k}{m_k}+j_k\log \frac{j_k}{m_k}),$ 其中 $m_k=\frac{i_k+j_k}{2},$ I和J是两个不同图像的直方图，I＝{i_k}，J＝{j_k}。

我们可以从这个公式得到两个直方图之间的相似距离d，只有当d的数值小于我们设定好的一个阈值a的时候，我们才认为在当前直方图和候选直方图之间具有相似性。而最具有相似性的最佳匹配结果帮助我们确定了当前的位置。在附图三中，我们展示了几个运用此方法进行自定位的实验结果。

3.基于自然标识物检测的主动式拓扑地图的构造技术

任何一个自动行走机器人都必须有一个工作场景的地图——导航地图，在这个导航地图中，包含两种信息，一种是机器人可能涉及的位置，比如通道，房间里各个位置，只要是机器人能走到的位置都应该标注出来；第二种信息是与这些位置环境相对应的路标，这种信息是可以为机器人识别的，在定位时，机器人首先辨识路标，然后对应的识别出当前位置。导航地图的构建是移动机器人导航***技术中十分重要的一个环节，一个导航图的好坏直接影响导航的结果，准确、清晰、高效的地图，可以大大减轻工作量，在识别路标时既没有冗余过程，又具有一定的鲁棒性，才能使导航***顺利的完成任务。大部分室内移动机器人的导航图采用网格结构或基于图的描述。

在本发明中，我们设计了一种拓扑式地图，见附图四。这种拓扑式地图是由多个相互连接的节点组成，其中每个节点对应于实际工作场景中各个不同的有待于进行自定位工作的场景位置，连接节点与节点之间的连线，对应于实际工作场景中连接不同位置之间的实际路径。而对于这样一个拓扑式导航地图的构建，本发明采用了基于自然标识物检测的主动构造方法。也就是说，我们通过让移动机器人主动的在工作场景中检测自然标识物，来构建导航地图上的各个节点，使之准确高效的对应于实际工作场景中各个有待于进行自定位工作的位置。具体的实施方法是：在学习训练阶段，由机器人自动的在工作场景中进行巡航，巡航的同时，运用我们在第一步提出的简单快速易行的自然标识物检测的方法对工作场景中的自然标识物进行检测。每一个被移动机器人主动检测到的标识物即被相映的在导航的图上定义为一个节点。而最后所有的节点将按照实际工作场景中所对应位置之间的实际路径关系用线段连接起来。

运用这种方法的优势是可以非常简单的构建一个准确、高效的导航地图，而且构建过程中并不需要对实际工作场景进行几何测量这样繁重的工作。同时，由于在这样的一个拓扑式的导航地图上，相互连接的节点对应于实际工作场景中相邻的位置，所以，根据这样的导航地图和已知上一时刻机器人所处的确定位置后，在根据导航图进行当前位置定位识别的时候，就不需要在整个场景图像样本数据库中进行全局搜索，而只需要根据已知的上一时刻的已知位置，在导航图中对相对应的节点所连接的其他几个节点所对应的场景图像样本数据库进行局部搜索。这样就可以有效地提高自定位过程的速度和效率，同时自定位的准确性也大大的得到了提高。

综上所述，本发明所提出的基于视觉的导航***，和目前已有的视觉导航***比较起来具有以下比较明显的优势：

1.将标识物法和图像识别法相结合起来的自定位方法继承了两种方法所具有的简单易行、准确率高、速度快、鲁棒性强和***模块化的优点。

2.本发明的自定位方法较之已有的基于标识物法的导航***，避免了标识物法中，容易受到标识物分割困难、识别率低的不利影响。

3.本发明的自定位方法较之已有的基于图像识别法的导航***，具有实时性好、简单、计算量小、准确率高的优点。

4.本发明的导航地图构造法，提出了一种主动式的拓扑式导航地图的构造法，这种导航地图的构造法较之其他已有的导航地图构造法，更加简单易行、准确率高、工作效率高、鲁棒性强，并且十分有利于自定位功能的快速准确的实现。

Claims (8)

1.一种基于图像表现特征的移动机器人的视觉导航方法，包括步骤：

移动机器人自动检测自然标识物；

对当前图像与样本库中的图像进行匹配，以确定当前位置。

2.按权利要求1所述的方法，其特征在于所述的检测自然标识物包括步骤：

对由摄像头获取到的场景图像进行前期图像处理；

计算每一幅图像中的消失点，并得出相应的两条消失线；

通过边缘提取获取自然标识物的边缘线段；

计算这些自然标识物的垂直或者水平的边缘线段与消失线的交点，并根据相应的交点进行标识物检测。

3.按权利要求1所述的方法，其特征在于所述的自然标识物包括门、柱子或拐角等。

4.按权利要求1所述的方法，其特征在于所述的对当前图像与样本库中的图像进行匹配包括步骤：

对获取的当前场景图像进行前期图像处理；

选取不同的描述图像表现特征的特征函数；

根据所选定的全局表现特征构建多维直方图来对图像进行全局表现特征的描述；

依据当前图像获得的多维直方图与已有的场景图像样本库中的各个样本进行匹配。

5.按权利要求4所述的方法，其特征在于所述不同的特征函数包括：COLOR函数、ZC函数、TEX函数、GM函数或RANK函数。

6.按权利要求4所述的方法，其特征在于还包括评判两个直方图之间相似度的函数。

7.按权利要求6所述的方法，其特征在于所述评判函数是下列公式： $d(I,J)=\underset{k}{\mathrm{\Σ}}(i_k\log \frac{i_k}{m_k}+j_k\log \frac{j_k}{m_k}),$ 其中 $m_k=\frac{i_k+j_k}{2},$ I和J是两个不同图像的直方图，I＝{l_k}，J＝{J_k}。

8.按权利要求1所述的方法，其特征在于还包括每一个被移动机器人主动检测到的标识物在导航的图上定义为一个节点，而最后所有的节点将按照实际工作场景中所对应位置之间的实际路径关系用线段连接起来，构建成为一个拓扑式导航地图。

Images