CN103179335B

CN103179335B - 对象跟踪装置

Info

Publication number: CN103179335B
Application number: CN201210309383.1A
Authority: CN
Inventors: 杉尾淳; 杉尾淳一
Original assignee: Renesas Electronics Corp
Current assignee: Renesas Electronics Corp
Priority date: 2011-09-01
Filing date: 2012-08-28
Publication date: 2017-12-12
Anticipated expiration: 2032-08-28
Also published as: CN103179335A; US9208579B2; JP5746937B2; KR20130025346A; JP2013054429A; US20140328514A1; US20130058525A1; US8811669B2

Abstract

本发明涉及对象跟踪装置。在对象跟踪装置中，搜索区域设定单元基于先前时间点处的帧图像中的对象区域、先前时间点处的帧图像中的缩放中心坐标以及在先前时间点处的帧图像的缩放比例因子与当前时间点处的帧图像的缩放比例因子之间的比来设定当前时间点处的帧图像中的对象的搜索区域。规格化单元将包括在当前时间点处的帧图像内的对象的搜索区域的图像规格化到固定尺寸。匹配单元在规格化的搜索区域的图像中搜索与模板图像类似的对象区域。

Description

对象跟踪装置

相关申请的交叉引用

将2011年9月1日提交的日本专利申请No.2011-190583的公开内容（包括说明书、附图以及摘要）通过参考全部并入在本申请中。

技术领域

本发明涉及对象跟踪装置。

背景技术

在这些年中的装备光学照相机的装置中，对象（诸如预先登记的人脸图像）被跟踪以便输出供自动聚焦等目的之用的关于对象的位置信息。

在日本专利申请公开No.2008-287648和日本专利申请公开No.2001-243476中公开了在由于照相机变焦的变化而改变对象尺寸的情况下允许跟踪对象的技术。

在日本专利申请公开No.2008-287648中，为了跟踪尺寸变化的对象，将拍摄的图像与放大或缩小作为基准的模板图像以修改比例因子（scaling factor）的多个模板图像进行匹配。

在日本专利申请公开No.2001-243476中，根据缩放（zoom）比例因子从放大或缩小作为基准的模板图像的多个模板图像中选择模板图像，以用于将被选择的模板图像与拍摄的图像进行匹配。

发明内容

然而，日本专利申请公开No.2008-287648具有如下的问题，即为了满足尺寸变化的对象的跟踪必须进行与模板图像的匹配，导致处理负荷的增大。

在日本专利申请公开No.2001-243476中，虽然由于根据缩放比例因子将照相机图像与单个模板图像进行匹配而可以比日本专利申请公开No.2008-287648中更多地增大速度，但是必须以多个比例因子产生和存储模板图像。此外，在通过缩放而放大拍摄的图像的情况下，因为使用了像素数量增大的模板图像，所以匹配花费时间。

因此，本发明的一个目的是，提供即使目标对象的尺寸由于缩放而变化也能够高速地高度精确地跟踪目标对象的对象跟踪装置。

根据本发明实施例的一种对象跟踪装置是跟踪包括在帧图像内的对象的对象跟踪装置，所述对象跟踪装置包括：存储单元，被配置为存储作为跟踪目标的对象的模板图像；图像输入单元，被配置为按时间序列接收帧图像；搜索区域设定单元，被配置为在当前时间点处的帧图像的缩放比例因子与先前时间点处的帧图像的缩放比例因子不同时，基于先前时间点处的帧图像中的对象区域、先前时间点处的帧图像中的缩放中心坐标以及在先前时间点处的帧图像的缩放比例因子与当前时间点处的帧图像的缩放比例因子之间的比来设定当前时间点处的帧图像中的对象的搜索区域；规格化单元，被配置为将包括在当前时间点处的帧图像内的对象的搜索区域的图像规格化到固定尺寸；以及匹配单元，被配置为在规格化的搜索区域的图像中搜索与模板图像类似的对象区域。

根据本发明的实施例，即使目标对象的尺寸由于缩放而变化，也能够高速地高度精确地跟踪目标对象。

附图说明

根据在下文中给出的详细描述和附图，本发明将变得完全被理解，在附图中：

图1是示出根据本发明实施例的数字式照相机的示例性配置的框图；

图2是示出根据第一实施例的对象跟踪装置的配置的图；

图3A和图3B是说明在当前时间点处的帧图像的缩放比例因子与先前时间点处的帧图像的缩放比例因子相同的情况下在当前时间点处的帧图像的搜索区域的图；

图4A和图4B是说明在当前时间点处的帧图像的缩放比例因子与先前时间点处的帧图像的缩放比例因子不同的情况下在当前时间点处的帧图像的搜索区域的图；

图5是说明规格化的示例的图；

图6是示出根据第一实施例的对象跟踪处理的操作过程的流程图；

图7是示出根据第二实施例的对象跟踪装置的配置的图；

图8A是示出第i个帧图像的图；

图8B是示出第(i+1)个帧图像的图；

图9A是示出第(i+1)个帧图像的图；

图9B是示出第(i+2)个帧图像的图；

图10是示出根据第二实施例的对象跟踪处理的操作过程的流程图；以及

图11是示出图10中的步骤S402中的返回处理的过程的流程图。

具体实施方式

在下文中，将参考附图描述本发明的实施例。

第一实施例

1、数字式静态照相机

图1是示出根据本发明实施例的数字式照相机的示例性配置的框图。在本发明的实施例中，采用和描述人脸作为待检测和跟踪的对象的示例。然而，根据本发明实施例的方法不限于人脸，并且该方法能够被用于检测和跟踪其它对象。

参考图1，该数字式照相机具有半导体装置。该半导体装置包括照相机I/F（接口）1001、CPU（中央处理单元）1002、SDRAM（同步动态随机访问存储器）1003、ROM（只读存储器）1004、用户操纵单元I/F 1005、LCD I/F 1007、卡I/F 1008、对象检测器1006以及对象跟踪装置1009。这些组件通过总线1010来彼此耦接。对象检测器1006和对象跟踪装置1009形成图像处理装置1011。

照相机I/F 1001被耦接到照相机传感器，其中照相机I/F 1001接收由照相机传感器拍摄的图像并且将图像写在通过SDRAM 1003或卡I/F 1008耦接的未示出的SD存储卡等上。

CPU 1002执行存储在SDRAM 1003或ROM 1004中的程序以便控制整个***。CPU1002将存储在SDRAM 1003中的表示人脸（对象）的位置的信息从照相机I/F 1001发送到照相机的成像***以用于聚焦。此外，CPU 1002根据从对象检测器1006和对象跟踪装置1009发送的表示人脸（对象）的位置的信息来将表示人脸的位置的图形形状（矩形等）发送到LCDI/F 1007。

ROM 1004存储用于检测对象和跟踪对象的数据。

用户操纵单元I/F 1005被耦接到未示出的快门按钮等。当快门按钮被按压时，用户操纵单元I/F 1005通过中断等通知CPU 1002快门按钮被按压。当CPU 1002接收到中断请求时，CPU 1002控制照相机I/F 1001以将由照相机传感器拍摄的图像存储在SDRAM 1003等中。此外，在用户操纵未示出的缩放开关等来改变缩放比例因子的情况下，缩放比例因子通过用户操纵单元I/F 1005被发送给CPU 1002。

LCD I/F 1007被耦接到未示出的LCD面板来例如控制LCD上的显示。LCD I/F 1007将由照相机传感器拍摄的图像显示在LCD上作为预览。此外，LCD I/F 1007将从CPU 1002发送的表示人脸（对象）的位置的图形形状叠加在拍摄的图像上。

卡I/F 1008与外部记录介质（诸如SD存储卡）耦接，以便从记录介质读取数据并且将数据写在记录介质上。

对象检测器1006从由照相机传感器拍摄并且从照相机I/F 1001输入的图像中检测人脸（对象），并且将表示人脸（对象）的位置的信息存储在SDRAM 1003中。对象检测器1006将检测到的对象的区域登记作为模板。

对象跟踪装置1009在由照相机传感器拍摄并且从照相机I/F1001输入的图像中跟踪在对象检测器1006处检测到的人脸（对象），并且将表示人脸（对象）的位置的信息存储在SDRAM 1003中。对象跟踪装置1009在拍摄的图像中搜索与在对象检测器处获得的模板类似的区域以用于跟踪对象。对象跟踪装置1009接收从CPU 1002发送的搜索范围比例因子K、缩放比例因子以及缩放中心坐标。对象跟踪装置1009从对象检测器1006接收跟踪目标的对象的对象区域和模板图像。

2、配置

图2是示出根据第一实施例的对象跟踪装置的配置的图。

参考图2，该对象跟踪装置1009包括图像输入单元2、参数输入单元3、对象区域输入单元4、对象区域设定单元6、模板输入单元5、模板登记单元7、模板存储单元8、搜索区域设定单元9、规格化单元10、以及匹配单元11。

图像输入单元2从照相机I/F 1001以预定的帧率接收用于搜索作为跟踪目标的对象的帧图像。在用户将被摄体缩放（放大或缩小）的情况下，图像输入单元2接收缩放后的帧图像。

参数输入单元3从CPU 1002接收搜索范围比例因子K的输入。此外，在用户将被摄体缩放从而导致当前时间点处的帧图像的缩放比例因子从先前时间点处的帧图像的缩放比例因子开始改变的情况下，参数输入单元3从CPU 1002接收缩放比例因子以及缩放中心坐标。

模板输入单元5接收从对象检测器输出的跟踪目标的对象的模板图像。

模板存储单元8存储跟踪目标的对象的模板图像。模板登记单元7将输入到模板输入单元5的模板图像存储在模板存储单元8中作为初始模板。模板登记单元7利用在匹配单元11处确定的对象区域的图像更新模板存储单元8中的模板图像。

对象区域输入单元4从对象检测器接收表示作为跟踪目标的对象区域的信息。

对象区域设定单元6将输入到对象区域输入单元4的对象区域设定为初始对象区域。对象区域设定单元6将在匹配单元11处作为与模板图像类似的对象区域搜索到的对象区域设定为新的对象区域。

在当前时间点处的帧图像的缩放比例因子与先前时间点处的帧图像的缩放比例因子相同的情况下，搜索区域设定单元9将包括先前时间点处的帧图像中的对象区域并且为该对象区域的搜索范围比例因子K倍大的区域（基准区域）设定为当前时间点处的帧图像中的对象区域。

在当前时间点处的帧图像的缩放比例因子与先前时间点处的帧图像的缩放比例因子不同的情况下，搜索区域设定单元9寻找基准区域，并且将其中基于先前时间点处的帧图像中的缩放中心坐标以及在先前时间点处的帧图像的缩放比例因子与当前时间点处的帧图像的缩放比例因子之间的比来缩放（放大或缩小）基准区域的区域设定为当前时间点处的帧图像中的对象的搜索区域。

规格化单元10将当前时间点处的帧图像中的对象的搜索区域的图像规格化到固定尺寸，以便产生规格化的搜索图像。

匹配单元11在规格化的搜索图像中搜索与存储在模板存储单元8中的模板图像类似的区域，并且在发现相似度为预定值或更大的部分的情况下，匹配单元11确定该部分作为当前帧中的对象区域，并且向CPU 1002输出表示该区域的信息。这里，对于相似度，可以使用例如在两个图像的像素值之间的绝对差的倒数或者在其之间的互相关。

在未发现相似度为预定值或更大的部分的情况下，匹配单元11指示对象检测器再次检测对象。

3、搜索区域的示例

图3A和图3B是说明在当前时间点处的帧图像的缩放比例因子与先前时间点处的帧图像的缩放比例因子相同的情况下在当前时间点处的帧图像的搜索区域的图。

图3A是示出在先前时间点处的帧图像的图。在帧图像201中，假设左上处的坐标为O(0，0)，右上处的坐标为A(DX，0)，左下处的坐标为B(0，DY)，并且右下处的坐标为C(DX，DY)。

在先前时间点处的帧中检测到的对象区域202的位置被定义如下。中心坐标处于M(X1，Y1)，左上处的坐标处于D(X1-ax，Y1-ay)，右上处的坐标处于E(X1+ax，Y1-ay)，左下处的坐标为F(X1-ax，Y1+ay)，并且右下处的坐标处于G(X1+ax，Y1+ay)。

图3B是示出在当前时间点处的帧图像的图。在帧图像203中，如与先前时间点处的帧类似的，左上处的坐标为O(0，0)，右上处的坐标为A(DX，0)，左下处的坐标为B(0，DY)，并且右下处的坐标为C(DX，DY)。当前时间点处的帧图像中的搜索区域204的位置如下。

中心坐标处于M(X1，Y1)，左上处的坐标处于H(X1-ax’，Y1-ay’)，右上处的坐标处于I(X1+ax’，Y1-ay’)，左下处的坐标处于J(X1-ax’，Y1+ay’)，并且右下处的坐标处于K(X1+ax’，Y1+ay’)。这里，ax’=K×ax并且ay’=K×ay。K为搜索范围比例因子。

因此，在当前时间点处的帧图像的缩放比例因子与先前时间点处的帧图像的缩放比例因子相同的情况下，在当前时间点处的帧中的搜索区域被设定为其中H、I、J和K为顶点的矩形区域（基准区域）204。该矩形区域204是包括先前时间点处的帧图像中的对象区域202并且为对象区域202的K倍大的区域。

图4A和图4B是说明在当前时间点处的帧图像的缩放比例因子与先前时间点处的帧图像的缩放比例因子不同的情况下在当前时间点处的帧图像的搜索区域的图。

图4A是示出在先前时间点处的帧图像的图。在帧图像201中，假设左上处的坐标为O(0，0)，右上处的坐标为A(DX，0)，左下处的坐标为B(0，DY)，并且右下处的坐标为C(DX，DY)。

这里，假设位置L(X0，Y0)为缩放中心坐标，在先前时间点处的帧图像的缩放比例因子与当前时间点处的帧图像的缩放比例因子之间的比为ZR，照相机被变焦为将在先前时间点处的帧图像中的其中P、Q、R、S为顶点的矩形区域205放大到当前时间点处的帧图像的整个区域。这里，P的位置处于(X0-EX/2，Y0-EY/2)，Q的位置处于(X0+EX/2，Y0-EY/2)，R的位置处于(X0-EX/2，Y0+EY/2)，并且S的位置处于(X0+EX/2，Y0+EY/2)。缩放比例因子比ZR=DX/EX=DY/EY。例如，在先前时间点处的照相机的缩放比例因子为2而当前时间点处的照相机的缩放比例因子为4的情况下，缩放比例因子比ZR为2(=4/2)。在缩放比例因子被增大即区域被放大的情况下，缩放比例因子比ZR大于1，而在缩放比例因子被减小即区域被缩小的情况下，缩放比例因子比ZR小于1。

图4B是示出在当前时间点处的帧图像的图。在帧图像206中，如与先前时间点处的帧类似的，左上处的坐标为O(0，0)，右上处的坐标为A(DX，0)，左下处的坐标为B(0，DY)，并且右下处的坐标为C(DX，DY)。

此外，先前时间点处的缩放中心L移动到表示照相机图像的中心的位置L’，其为帧图像206的中心。

先前时间点处的帧中检测到的对象区域202在其中中心处于M’并且D’、E’、F’、G’为顶点的矩形区域207中被移动并且缩放。这里，M’的位置处于(XP，YP)，其中XP=DX/2+ZR×(X1-X0)并且YP=DY/2+ZR×(Y1-Y0)。D’的位置处于(XP-ax×ZR，YP-ay×ZR)，E’的位置处于(XP+ax×ZR，YP-ay×ZR)，F’的位置处于(XP-ax×ZR，YP+ay×ZR)，并且G’的位置处于(XP+ax×ZR，YP+ay×ZR)。

搜索区域208的位置被设定为其中中心处于M’并且H’、I’、J’和K’为顶点的矩形区域208。

这里，M’的位置处于(XP，YP)，H’的位置处于(XP-ax’×ZR，YP-ay’×ZR)，I’的位置处于(XP+ax’×ZR，YP-ay’×ZR)，J’的位置处于(XP-ax’×ZR，YP+ay’×ZR)，并且K’的位置处于(XP+ax’×ZR，YP+ay’×ZR)。这里，ax’=K×ax，ay’=K×ay，并且K是搜索范围比例因子。

因此，在当前时间点处的帧图像的缩放比例因子与先前时间点处的帧图像的缩放比例因子不同的情况下，在当前时间点处的帧中的搜索区域被设定为其中H’、I’、J’和K’为顶点的矩形区域208。

该矩形区域208是包括先前时间点处的帧图像中的对象区域202被缩放的区域207并且为该对象区域207的K倍大的区域。此外，矩形区域208是其中在当前时间点处的帧图像的缩放比例因子与先前时间点处的帧图像的缩放比例因子相同的情况下当前时间点处的帧图像中的搜索区域（图3B中的区域204）基于先前时间点处的帧图像中的缩放中心坐标L以及缩放比例因子比ZR被缩放（放大或者缩小）的区域。

4、规格化的示例

图5是说明规格化的示例的图。

在图5中，规格化单元10从帧图像提取搜索区域303的图像。如图4B所示，在当前时间点处的帧图像的缩放比例因子与先前时间点处的帧图像的缩放比例因子不同的情况下，提取的图像在横向方向上的像素的数量为2×ax’×ZR，而在垂直方向上的像素的数量为2×ay’×ZR。

规格化单元10放大或者缩小所提取的图像到固定尺寸以便产生规格化的搜索图像304。如图5中所示出的，假设在固定尺寸中，横向方向上的像素的数量为XS，而在垂直方向上的像素的数量为YS。在规格化单元10放大图像的情况下，规格化单元10执行例如诸如内插之类的处理，而在规格化单元10缩小图像的情况下，规格化单元10执行例如诸如抽取之类的处理。

5、操作

图6是示出根据第一实施例的对象跟踪处理的操作过程的流程图。

参考图6，首先，对象区域输入单元4从对象检测器接收表示作为跟踪目标的对象区域的信息。对象区域设定单元6将从对象检测器输出的对象区域设定为初始对象区域（步骤S101）。

随后，模板登记单元7将从对象检测器输出的目标对象的图像作为初始模板存储在模板存储单元8中（步骤S102）。

随后，图像输入单元2从照相机I/F接收当前时间点处的帧图像（步骤S103）。

随后，在参数输入单元3从CPU 1002接收缩放比例因子和缩放中心坐标（在步骤S104中为是）的情况下，搜索区域设定单元9因为当前时间点处的帧图像的缩放比例因子与先前时间点处的帧图像的缩放比例因子不同而寻找包括先前时间点处的帧图像中的对象区域并且为对象区域的预定倍数大的区域（基准区域），并且将其中基准区域基于先前时间点处的帧图像中的缩放中心坐标以及在先前时间点处的帧图像的缩放比例因子与当前时间点处的帧图像的缩放比例因子之间的比而被缩放（放大或缩小）的区域设定为当前时间点处的帧图像中的对象的搜索区域（步骤S105）。

另一方面，在参数输入单元3没有从CPU 1002接收缩放比例因子和缩放中心坐标（在步骤S104中为否）的情况下，搜索区域设定单元9将包括先前时间点处的帧图像中的对象区域并且为对象区域的预定倍数大的基准区域设定为当前时间点处的帧图像中的对象区域，因为当前时间点处的帧图像的缩放比例因子与先前时间点处的帧图像的缩放比例因子相同（步骤S106）。

随后，规格化单元10将当前时间点处的帧图像中的对象的搜索区域的图像规格化到固定尺寸，以便产生规格化的搜索图像（步骤S107）。

随后，匹配单元11在规格化的搜索图像中搜索与存储在模板存储单元8中的模板图像类似的区域，并且定位相似度为预定值或更大的部分。

在匹配单元11找到相似度为预定值或更大的部分的情况下，也就是说，在匹配成功（在步骤S108中为是）的情况下，匹配单元11确定找到的部分作为当前帧中的对象区域，并且向CPU 1002输出表示该区域的信息（步骤S109）。

对象区域设定单元6将在匹配单元11处确定的对象区域设定为新的对象区域（步骤S110）。

模板登记单元7利用在匹配单元11处确定的对象区域的图像来更新模板存储单元8中的模板图像（步骤S111）。

其后，回到步骤S103，从输入后续的帧图像的处理开始重复这些处理。

在匹配单元11未找到相似度为预定值或更大的部分的情况下，也就是说，在匹配不成功（在步骤S108中为否）的情况下，匹配单元11指示对象检测器再次检测对象（步骤S112）。

6、效果

如上所述，在本实施例中，即使在缩放处理中输入的帧图像的比例因子改变，也可以考虑到目标对象的尺寸以及目标对象的位置的改变而使用缩放比例因子和缩放中心坐标来设定搜索区域。因此，与模板图像进行匹配是不必要的。

此外，在本实施例中，搜索区域的图像被缩小到一定尺寸的规格化的图像以用于与模板进行匹配，使得可以防止由如现有技术处理中那样地放大模板图像以用于匹配而引起的处理时间被延长。

第二实施例

在跟踪目标对象中，对于跟踪的目标对象有时由放大而引起离开到帧图像的画面外。在现有技术中，由于一旦出画面的目标对象不存在于帧图像中，因此关于目标对象的位置信息不被存储。其后，即使在目标对象再次被框在帧图像中的情况下，对象也不能被跟踪，因为没有关于作为用于开始跟踪处理的基准的位置的信息（换句话说，关于在搜索区域的中心的对象检测区域的信息）。因此，在现有技术中，在跟踪目标对象出画面的情况下，跟踪处理被停止以便再次检测对象是不可避免的。

图7是示出根据第二实施例的对象跟踪装置的配置的图。以下是图7中的对象跟踪装置51的与图2中的对象跟踪装置1009不同的点。

在搜索区域设定单元29处设定的对象的搜索区域的全部或者一部分未被包括在当前时间点处的帧图像中的情况下，保持单元28保持设定的对象的搜索区域。

图8A是示出第i个帧图像的图。图8B是示出第(i+1)个帧图像的图。

在第i个帧图像601中，假设缩放中心为L1，并且其中缩放比例因子比为ZR1的放大后的图像为第(i+1)个帧图像603。这里，ZR1>1。

如图8B所示，在其中M’为中心并且H’、I’、J’和K’为顶点的搜索区域605跑到帧图像603之外的情况下，保持单元28保持M’、H’、I’、J’和K’的坐标。M’的位置处于(XP，YP)，H’的位置处于(XP-ax’×ZR1，YP-ay’×ZR1)，I’的位置处于(XP+ax’×ZR1，YP-ay’×ZR1)，J’的位置处于(XP-ax’×ZR1，YP+ay’×ZR1)，并且K’的位置处于(XP+ax’×ZR1，YP+ay’×ZR1)。其中XP=DX/2+ZR1×(X1-X0)并且YP=DY/2+ZR1×(Y1-Y0)。

在当前时间点处的帧图像的缩放比例因子与先前时间点处的帧图像的缩放比例因子不同的情况下，如果保持单元28保持先前时间点处的帧图像中的对象的搜索区域，则搜索区域设定单元29将基于保持的对象的搜索区域、先前时间点处的帧图像中的缩放中心坐标以及在先前时间点处的帧图像的缩放比例因子与当前时间点处的帧图像的缩放比例因子之间的比而缩放（放大或缩小）的区域设定为当前时间点处的帧图像中的对象的搜索区域。

图9A是示出第(i+1)个帧图像的图。图9B是示出第(i+2)个帧图像的图。

在第(i+1)个帧图像603中，假设缩放中心为L2并且其中缩放比例因子比为ZR2的缩小后的图像为第(i+2)个帧图像610。这里，ZR2<1。

搜索区域设定单元29使用保持在保持单元28处的M’、H’、I’、J’和K’的位置、缩放中心坐标L2(X0’，Y0’)以及缩放比例因子比ZR2来寻找其中M”为中心并且H”、I”、J”和K”为顶点的对象的搜索区域612。

M”的位置处于(XP’，YP’)，H”的位置处于(XP’-ax’×ZR1×ZR2，YP’-ay’×ZR1×ZR2)，I”的位置处于(XP’+ax’×ZR1×ZR2，YP’-ay’×ZR1×ZR2)，J”的位置处于(XP’-ax’×ZR1×ZR2，YP’+ay’×ZR1×ZR2)，并且K”的位置处于(XP’+ax’×ZR1×ZR2，YP’+ay’×ZR1×ZR2)。其中XP’=DX/2+ZR2×(XP-X0’)，以及YP’=DY/2+ZR2×(YP-Y0’)。

1、操作

图10是示出根据第二实施例的对象跟踪处理的操作过程的流程图。

参考图10，首先，对象区域输入单元4从对象检测器接收表示作为跟踪目标的对象区域的信息。对象区域设定单元6将从对象检测器输出的对象区域设定为初始对象区域（步骤S101）。

随后，在参数输入单元3从CPU 1002接收缩放比例因子和缩放中心坐标（在步骤S104中为是）的情况下，搜索区域设定单元29因为当前时间点处的帧图像的缩放比例因子与先前时间点处的帧图像的缩放比例因子不同而寻找包括先前时间点处的帧图像中的对象区域并且为对象区域的预定倍数大的区域（基准区域），并且将其中基准区域基于先前时间点处的帧图像中的缩放中心坐标以及在先前时间点处的帧图像的缩放比例因子与当前时间点处的帧图像的缩放比例因子之间的比而被缩放（放大或缩小）的区域设定为当前时间点处的帧图像中的对象的搜索区域（步骤S105）。

在设定的搜索区域的全部或者一部分跑到当前时间点处的帧图像之外（在步骤S401中为是）的情况下，执行稍后描述的返回处理（步骤S402）。

另一方面，在参数输入单元3没有从CPU 1002接收缩放比例因子和缩放中心坐标（在步骤S104中为否）的情况下，搜索区域设定单元29将包括先前时间点处的帧图像中的对象区域并且为对象区域的预定倍数大的基准区域设定为当前时间点处的帧图像中的对象区域，因为当前时间点处的帧图像的缩放比例因子与先前时间点处的帧图像的缩放比例因子相同（步骤S106）。

2、返回处理

图11是示出图10中的步骤S402中的返回处理的过程的流程图。

首先，保持单元28存储表示设定的搜索区域的信息（步骤S501）。

图像输入单元2从照相机I/F接收后续的时间点处的帧图像（步骤S502）。

在参数输入单元3从CPU 1002接收缩放比例因子和缩放中心坐标（在步骤S503中为是）的情况下，搜索区域设定单元29基于存储的在先前时间点处的帧图像中的对象搜索区域、先前时间点处的帧图像中的缩放中心坐标以及在先前时间点处的帧图像的缩放比例因子与当前时间点处的帧图像的缩放比例因子之间的比来将缩放（放大或缩小）的区域设定为当前时间点处的帧图像中的对象的搜索区域，因为当前时间点处的帧图像的缩放比例因子与先前时间点处的帧图像的缩放比例因子不同（步骤S504）。

在设定的搜索区域的全部或者一部分跑到当前时间点处的帧图像之外（在步骤S505中为是）的情况下，重复从步骤S501开始的处理。

3、效果

如上所述，根据第二实施例，即使跟踪目标对象由放大而引起离开到帧图像的画面外，出画面的对象的搜索区域也被保持并且用于设定后续的帧中的搜索区域，使得可以继续跟踪对象。

请注意，在本实施例中的图11中的步骤S505中为是的情况下，处理总是回到步骤S501。然而，在图11中的返回处理继续持续预定时间段或更长的情况下，或者在从步骤S501到S505的循环继续持续预定次数的情况下，在其中返回处理被结束以便使得对象检测器再次检测对象的这种配置可以是可能的。

此时公开的实施例在所有点方面是示例而不应该以限制性的方式被考虑。本发明的范围由所附的权利要求描述，不是由在前的说明书描述，其包括在等同于所附权利要求的意思和范围中的全部修改和改变。

Claims

1.一种对象跟踪装置，跟踪包括在帧图像内的对象，所述对象跟踪装置包括：

存储单元，被配置为存储作为跟踪目标的对象的模板图像；

图像输入单元，被配置为按时间序列接收帧图像；

搜索区域设定单元，被配置为在当前时间点处的帧图像的缩放比例因子与先前时间点处的帧图像的缩放比例因子不同时，基于先前时间点处的帧图像中的对象区域、先前时间点处的帧图像中的缩放中心坐标以及在先前时间点处的帧图像的缩放比例因子与当前时间点处的帧图像的缩放比例因子之间的比来设定当前时间点处的帧图像中的对象的搜索区域；

规格化单元，被配置为将包括在当前时间点处的帧图像内的对象的搜索区域的图像规格化到固定尺寸；以及

匹配单元，被配置为在规格化的搜索区域的图像中搜索与模板图像的相似度为预定值或更大的对象区域。

2.根据权利要求1所述的对象跟踪装置，

其中搜索区域设定单元将如下的区域设定为当前时间点处的帧图像中的对象的搜索区域：该区域为通过将基准区域根据缩放中心坐标以及在先前时间点处的帧图像的缩放比例因子与当前时间点处的帧图像的缩放比例因子之间的比进行缩放而获得的区域，其中该基准区域包括先前时间点处的帧图像中的对象区域并且是所述对象区域的预定倍数大。

3.根据权利要求1所述的对象跟踪装置，包括：

保持单元，被配置为当在搜索区域设定单元处设定的对象的搜索区域的全部或者一部分未被包括在当前时间点处的帧图像中时，保持所设定的对象的搜索区域，

其中在经过一个时间点之后，在当前时间点处的帧图像的缩放比例因子与先前时间点处的帧图像的缩放比例因子不同时，搜索区域设定单元使用在保持单元处保持的对象的搜索区域来设定当前时间点处的帧图像中的对象的搜索区域。

4.根据权利要求1所述的对象跟踪装置，还包括：

登记单元，被配置为将从对象检测器输出的目标对象的图像存储在存储单元中作为模板图像，所述对象检测器从帧图像中检测到所述目标对象。

5.根据权利要求4所述的对象跟踪装置，

其中登记单元利用在当前时间点处的对象区域的图像来更新存储单元中的模板图像，其中所述在当前时间点处的对象区域的图像是在匹配单元处作为与模板图像的相似度为预定值或更大的图像而被搜索出来的。

6.根据权利要求1所述的对象跟踪装置，

其中当不能搜索出与模板图像的相似度为预定值或更大的区域时，匹配单元指示对象检测器检测对象。