CN102044079A - 考虑比例跟踪图像补丁的方法和设备 - Google Patents

Abstract

提供了一种考虑比例跟踪图像补丁的方法和设备。可根据预定比例不变指数(SII)将注册的图像补丁划分成比例不变的图像补丁和比例变化的图像补丁。如果图像内的注册的图像补丁是比例不变的图像补丁，则通过调整注册的图像补丁的位置来跟踪比例不变的图像补丁；如果注册的图像补丁是比例变化的图像补丁，则通过调整注册的图像补丁的位置和比例来跟踪比例变化的图像补丁。因此，可执行更准确的跟踪。

Description

考虑比例跟踪图像补丁的方法和设备

本申请要求于2009年10月9日在韩国知识产权局提交的第10-2009-0096196号韩国专利申请的优先权，该申请完全公开于此以资参考。

技术领域

下面的描述涉及使用图像的机器人定位。

背景技术

广泛地来说，机器人是自己能够做任务的自治机器。机器人的有用性可归功于其在极端情况下或在对人危险的区域中的工作性能。具体地讲，可行走和清洁房子的移动机器人正变得越来越受欢迎。

这种移动机器人具有包括定位的多种功能。移动机器人可基于从安装在移动机器人上的相机捕获的图像来定位它自己。同时定位和地图创建(SLAM)是移动机器人使用的典型技术，以基于图像跟踪其当前位置。

SLAM允许通过在初始图像中注册特征点并跟踪与注册的特征点相应的图像在后续图像中的位置，基于在图像帧之间特征点的位置关系，来找到机器人的位置。

为了找到机器人的位置，需要在图像帧之间跟踪特征点的位置。通常通过当特征点初始被注册时存储特征点周围的特定区域的图像补丁(imagepatch)，并在后续帧中定位存储的图像补丁，来跟踪特征点。

发明内容

下面的描述涉及一种考虑比例(scale)跟踪图像补丁的方法和设备，所述方法和设备能够执行图像补丁的更准确的跟踪，并缩短跟踪时间。

因此，在一个一般方面，提供了一种图像补丁***，所述图像补丁***包括：比例不变指数(SII)计算单元，对注册的图像补丁计算SII，基于与比例改变有关的像素值改变定义所述SII；比例特性确定单元，如果SII小于阈值，则比例特性确定单元将注册的图像补丁确定为比例不变的图像补丁；如果SII不小于所述阈值，则比例特性确定单元将注册的图像补丁确定为比例变化的图像补丁。

所述图像补丁***还可包括：图像补丁跟踪单元，如果注册的图像补丁被确定为比例不变的图像补丁，则图像补丁跟踪单元调整注册的图像补丁的位置以在接收的图像内跟踪注册的图像补丁；如果注册的图像补丁被确定为比例变化的图像补丁，则图像补丁跟踪单元调整注册的图像补丁的位置和尺寸以在接收的图像内跟踪注册的图像补丁。

SII可被定义为每个比例参考点的最小均方像素值改变。

在另一个一般方面，提供了一种考虑比例跟踪图像补丁的方法，所述方法包括：对注册的图像补丁计算比例不变指数(SII)，基于与比例改变有关的像素值改变定义所述SII；如果SII小于阈值，则将注册的图像补丁确定为比例不变的图像补丁；如果SII不小于所述阈值，则将注册的图像补丁确定为比例变化的图像补丁。

计算SII的步骤可包括：在注册的图像补丁内设置至少一个比例参考点；对每个比例参考点计算与比例改变有关的均方像素值改变，并选择计算结果中的最小值作为比例不变指数。

所述方法还可包括：如果注册的图像补丁被确定为比例不变的图像补丁，则调整注册的图像补丁的位置以在接收的图像内跟踪注册的图像补丁；如果注册的图像补丁被确定为比例变化的图像补丁，则调整注册的图像补丁的位置和尺寸以在接收的图像内跟踪注册的图像补丁。

从下面详细的描述、附图和权利要求，其他特征和方面将是清楚的。

附图说明

图1是根据本发明示例性实施例的机器人定位***的框图。

图2示出根据本发明示例性实施例的比例不变的图像补丁。

图3示出根据本发明示例性实施例的比例变化的图像补丁。

图4是根据本发明示例性实施例的图像补丁***的框图。

图5示出根据本发明示例性实施例的比例不变指数(SII)。

图6示出根据本发明示例性实施例获取的图像。

图7是根据本发明示例性实施例的考虑比例跟踪图像补丁的方法的流程图。

在整个附图和详细描述中，用相同的标号表示元件、特征和结构，在附图中，为了清晰和方便，可放大一些元件的大小和比例。

具体实施方式

提供了下面的详细描述，以帮助读者获得对这里描述的方法、设备和/或***的全面理解。对本领域的普通技术人员而言，这里描述的***、设备和/或方法的各种改变、修改和等同物将自我暗示。参照附图的下面的描述提供了根据本发明实施例的装置和方法的说明性的示例。这种描述仅仅是为了说明的目的，而不是为了限制的目的。为了增强清晰和简要，将省略对已知功能和结构的描述。

图1是根据本发明示例性实施例的机器人定位***的框图。

机器人定位***100可包括：成像单元101、特征点提取单元102、补丁注册单元103、存储器104、补丁跟踪单元105和位置计算单元106。

当机器人到处移动以执行特定任务时，成像单元101以规则间隔捕获机器人周围的图像。例如，成像单元101可通过检测前方物体反射的光，并将光转换成数字信号，来获取前向图像。为此，成像单元101可包括图像传感器(例如，CCD(电荷耦合装置)图像传感器或CMOS(互补金属氧化物半导体)传感器)和图像处理模块，所述图像处理模块从自图像传感器接收的输出产生二维(2D)图像。

特征点提取单元102从自成像单元101获取的图像中提取特征点。例如，特征点提取单元102可使用Harris角点检测(Harris corner detection)从图像中提取对象的角点作为特征点。

补丁注册单元103将图像补丁注册到存储器104。图像补丁可以是与提取的特征点周围的区域相应的部分图像。

补丁跟踪单元105在从成像单元101获取的图像内跟踪注册的图像补丁。例如，当机器人到处移动时，在机器人的先前位置获取的图像可能与在机器人的当前位置获取的图像不同。补丁跟踪单元105可从在当前位置获取的图像中提取与在先前位置注册的图像补丁基本相同的图像补丁。

如果在当前位置获取的图像中找到了注册的图像补丁，则位置计算单元106在注册的图像补丁和提取的图像补丁之间匹配特征点，以计算机器人的位置。可通过使用算法(例如，基于扩展的Kalman滤波器(EKF)或基于粒子的同时定位和地图创建(SLAM))来计算机器人的位置。

在当前实施例中，当在图像内跟踪注册的图像补丁时，补丁跟踪单元105可根据注册的图像补丁的比例特性来仅调整图像补丁的位置或调整图像补丁的位置和比例，以扫描图像。可将图像补丁的比例特性划分成比例不变和比例变化。

例如，对于比例变化的图像补丁，可使用自由度为2的参数(例如，x坐标变量和y坐标变量)来跟踪图像补丁；对于比例变化的图像补丁，可使用自由度为3的参数(例如，x坐标变量、y坐标变量和比例变量)来跟着图像补丁。

图2示出根据本发明示例性实施例的比例不变的图像补丁。

参照图2，比例不变的图像补丁表示在从图像补丁201中的比例参考点202按比例放大或按比例缩小之前和之后图像的形状基本保持相同的图像补丁。比例参考点202可被定义为用于按比例放大或按比例缩小的参考点。图像补丁201内的任何点都可被设置为比例参考点202。

从图2可看出，当图像补丁201关于比例参考点202被放大成图像补丁203时，放大的图像补丁203与原始的图像补丁201在形状上基本相同。如果比例参考点202被设置为不同点，则放大的图像补丁203可与原始的图像补丁201在形状上不同。然而，如果图像补丁关于至少一个比例参考点202在形状上没有改变，则可认为该图像补丁是比例不变的图像补丁。

如果注册的图像补丁是如图2所示的比例不变的图像补丁，则补丁跟踪单元105(参看图1)可通过简单地调整图像补丁的位置来跟踪图像补丁。

图3示出根据本发明示例性实施例的比例变化的图像补丁。

参照图3，比例变化的图像补丁表示在从图像补丁301中的比例参考点302按比例放大或按比例缩小之前和之后图像的形状改变的图像补丁。比例参考点302可被定义为用于按比例放大或按比例缩小的参考点。图像补丁301内的任何点都可被设置为比例参考点302。

从图3可看出，尽管在图像补丁301内的任何点设置比例参考点302，但放大的图像补丁303与原始的图像补丁301在形状上不同。

如果注册的图像补丁是图3中显示的比例变化的图像补丁，则补丁跟踪单元105(参看图1)可通过调整图像补丁的位置和比例来跟踪图像补丁。

图4是根据本发明示例性实施例的图像补丁***的框图。

图像补丁***400可包括比例不变指数(SII)计算单元401、比例特性确定单元402和图像补丁跟踪单元403。

SII计算单元401计算注册的图像补丁的比例不变指数。比例不变指数与注册的图像补丁的比例特性有关，指示与比例改变有关的图像改变。可基于与比例改变有关的图像补丁的像素值的均方强度改变(mean of squaredintensity，MSI)来定义SII。MSI可根据图像补丁内的比例参考点的位置而改变。SII可以是关于每个比例参考点计算的MSI值中的最小值。这将在下面详细描述。

比例特性确定单元402基于计算的SII确定注册的图像补丁的比例特性。例如，比例特性确定单元402可将计算的SII与预定阈值(例如，大约800～1000)进行比较，并将注册的图像补丁确定为比例不变的图像补丁或比例变化的图像补丁。如果SII小于所述阈值，则将注册的图像补丁确定为如图2所示的比例不变的图像补丁。如果SII不小于所述阈值，则将注册的图像补丁确定为如图3所示的比例变化的图像补丁。

图像补丁跟踪单元403基于注册的图像补丁的比例特性在接收的图像内跟踪注册的图像补丁。例如，图像补丁跟踪单元403可基于Lucas-Kanade算法在图像内定位注册的图像补丁。在这种情况下，如果注册的图像补丁是比例不变的图像补丁，则调整注册的图像补丁的位置，以跟踪注册的图像补丁；如果注册的图像补丁是比例变化的图像补丁，则调整注册的图像补丁的位置和比例，以跟踪注册的图像补丁。

图5示出根据本发明示例性实施例的比例不变指数(SII)。

将参照图5描述计算SII的方法。

如下定义MSI：

$\mathrm{MSI}=\frac{1}{n}{\mathrm{\Σ}}_{i=1}^n{(x_i\frac{\∂T}{\∂x}\left(X_i\right)+y_i\frac{\∂T}{\∂y}\left(X_i\right))}^2...\left(1\right)$

其中，X_i＝(x_i，y_i)，n：补丁的像素数。

在等式1中，将MSI定义为与比例改变有关的图像补丁501的均方强度改变。术语强度可表示图像补丁501的每个像素值。

在等式1中，通过将比例参考点设置为图像补丁501的中心点502来确定MSI。然而，如果将比例参考点设置为与图像补丁501的中心点502不同的点，则MSI可改变。

因此，可考虑比例参考点如下定义MSI：

$\mathrm{MSI}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{((x_i-x_0)\frac{\∂T}{\∂x}\left(x_i\right)+(y_i-y_0)\frac{\∂T}{\∂y}\left(x_i\right))}^2...\left(2\right)$

在等式2中，术语x₀和y₀表示比例参考点。即，在等式2中，可根据比例参考点计算多个MSI。在这种情况下，可将SII定义为最小的MSI，SII如下所示：

$\mathrm{SII}=\underset{x_0,y_0}{\min }\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{((x_i-x_0)\frac{\∂T}{\∂x}\left(x_i\right)+(y_i-y_0)\frac{\∂T}{\∂y}\left(x_i\right))}^2...\left(3\right)$

在等式3中，可通过使用下面的线性最小二乘法来找到SII：

$\mathrm{SII}=\frac{1}{n}{(J_i{x}_0-J_s)}^T(J_i{x}_0-J_s)$

$x_0={\left(J_i^T{J}_i\right)}^{-1}{J}_i^T{J}_s$

其中， $J_i=\left[\begin{array}{cc}\frac{\∂T}{\∂x}\left(x_1\right)& \frac{\∂T}{\∂y}\left(x_1\right)\\ \frac{\∂T}{\∂x}\left(x_2\right)& \frac{\∂T}{\∂y}\left(x_2\right)\\ .& .\\ .& .\\ .& .\\ \frac{\∂T}{\∂x}\left(x_n\right)& \frac{\∂T}{\∂y}\left(x_n\right)\end{array}\right]$ $J_s=\left[\begin{array}{c}{x}_1\frac{\∂T}{\∂x}\left(x_1\right)+y_1\frac{\∂T}{\∂y}\left(x_1\right)\\ x_2\frac{\∂T}{\∂x}\left(x_2\right)+y_2\frac{\∂T}{\∂y}\left(x_2\right)\\ .\\ .\\ .\\ x_n\frac{\∂T}{\∂x}\left(x_n\right)+y_n\frac{\∂T}{\∂y}\left(x_n\right)\end{array}\right]...\left(4\right)$

这样，通过使用对每个注册的图像补丁计算SII，可将每个注册的图像补丁的特性确定为比例不变或比例变化。

图6示出根据本发明示例性实施例获取的图像。

在计算了SII并对注册的图像补丁确定了比例特性之后，图像补丁跟踪单元403在图像601内跟踪注册的图像补丁602。

如果注册的图像补丁602是比例不变的图像补丁(即，如果SII小于阈值)，则图像补丁跟踪单元403将x和y坐标变量设置为用于跟踪的参数，并使用所述参数来在图像601中定位注册的图像补丁602。例如，可使用自由度为2的参数来跟踪比例不变的图像补丁。

如果注册的图像补丁602是比例变化的图像补丁(即，如果SII不小于阈值)，则图像补丁跟踪单元403将比例变量s以及x和y坐标变量设置为用于跟踪的参数，并使用所述参数来在图像601中定位注册的图像补丁602。例如，可使用自由度为3的参数来跟踪比例变化的图像补丁。

图7是根据本发明示例性实施例的图像补丁跟踪方法的流程图。

参照图7和图4，在操作701，SII计算单元401对注册的图像补丁计算SII。SII指示与比例改变有关的图像改变。在这种情况下，可使用上面提到的等式1至等式4和图5的方法。

在操作702，比例特性确定单元402将计算的SII与阈值进行比较，以确定注册的图像补丁的比例特性。对于8比特灰度图像，所述阈值可以是大约800至1000。

作为比较的结果，如果SII小于所述阈值，则在操作703，比例特性确定单元402将注册的图像补丁确定为比例不变的图像补丁。在操作704，在改变图像补丁(所述图像补丁被确定为比例不变的图像补丁)的位置的同时，图像补丁跟踪单元403跟踪注册的图像补丁。

如果SII不小于所述阈值，则在操作705，比例特性确定单元402将注册的图像补丁确定为比例变化的图像补丁。在操作706，在改变图像补丁(所述图像补丁被确定为比例变化的图像补丁)的位置和比例的同时，图像补丁跟踪单元403跟踪注册的图像补丁。

可将本发明实现为计算机可读记录介质中的计算机可读代码。计算机可读记录介质包括存储有计算机可读数据的所有类型的记录介质。

计算机可读记录介质的示例包括ROM、RAM、CD-ROM、磁带、软盘和光学数据存储器。此外，记录介质还可按载波(例如，互联网传输)的形式被实现。另外，计算机可读记录介质可经网络分布于计算机***，在所述计算机***中，计算机可读代码可按分布式方式被存储和执行。用于实现本发明的功能程序、计算机可读代码和代码段可容易地被本领域的计算机程序员推知。

从以上描述清楚的是，由于可确定图像补丁的比例特性，并可根据比例特性适当地设置用于跟踪图像补丁的参数，所以可执行更成功和准确的跟踪，并缩短操作时间。

以上已经描述了多个示例性实施例。然而，将理解可进行各种修改。例如，如果以不同的顺序执行描述的技术，和/或如果描述的***、架构、装置或电路中的部件以不同的方式组合和/或被其他部件或其等同物替换或补充，则可实现合适的结果。因此，其他实现在权利要求的范围内。

Claims (8)

1.一种图像补丁***，包括：

比例不变指数SII计算单元，对注册的图像补丁计算SII，基于与比例改变有关的像素值改变来定义所述SII；

比例特性确定单元，如果SII小于阈值，则比例特性确定单元将注册的图像补丁确定为比例不变的图像补丁，如果SII不小于所述阈值，则比例特性确定单元将注册的图像补丁确定为比例变化的图像补丁。

2.如权利要求1所述的图像补丁***，其中，与比例改变有关的像素值改变根据比例参考点的位置而变化，其中所述比例参考点被定义为用于按比例放大或按比例缩小注册的图像补丁的参考点，SII被定义为每个比例参考点的均方像素值改变的最小值。

3.如权利要求2所述的图像补丁***，其中，SII计算单元在注册的图像补丁内设置至少一个比例参考点，对每个比例参考点计算与比例改变有关的均方像素值改变，并选择计算结果中的最小的一个作为比例不变指数。

4.如权利要求1所述的图像补丁***，还包括：图像补丁跟踪单元，如果注册的图像补丁被确定为比例不变的图像补丁，则图像补丁跟踪单元调整注册的图像补丁的位置以在接收的图像内跟踪注册的图像补丁；如果注册的图像补丁被确定为比例变化的图像补丁，则图像补丁跟踪单元调整注册的图像补丁的位置和比例以在接收的图像内跟踪注册的图像补丁。

5.一种考虑比例跟踪图像补丁的方法，包括：

对注册的图像补丁计算比例不变指数SII，基于与比例改变有关的像素值改变来定义所述SII；

如果SII小于阈值，则将注册的图像补丁确定为比例不变的图像补丁，如果SII不小于所述阈值，则将注册的图像补丁确定为比例变化的图像补丁。

6.如权利要求5所述的方法，其中，与比例改变有关的像素值改变根据比例参考点的位置而变化，其中所述比例参考点被定义为用于按比例放大或按比例缩小注册的图像补丁的参考点，SII被定义为每个比例参考点的最小均方像素值改变。

7.如权利要求6所述的方法，其中，计算SII的步骤包括：

在注册的图像补丁内设置至少一个比例参考点；

对每个比例参考点计算与比例改变有关的均方像素值改变，并选择计算结果中最小的一个作为比例不变指数。

8.如权利要求5所述的方法，所述方法还包括：

如果注册的图像补丁被确定为比例不变的图像补丁，则调整注册的图像补丁的位置以在接收的图像内跟踪注册的图像补丁；

如果注册的图像补丁被确定为比例变化的图像补丁，则调整注册的图像补丁的位置和比例以在接收的图像内跟踪注册的图像补丁。

Images