CN100369487C - 物体检测装置、物体检测服务器以及物体检测方法 - Google Patents

Abstract

本发明提供一种物体检测装置，包括：标签通信部(12)，其接收从安放在作为检测对象的人(P)上的信息标签(11)发送的标签信息；属性参照部(15)，其利用标签信息中所包含的ID，参照属性存储部(16)，得到人(P)的身高等的属性信息；对象检测部(14)，利用此属性信息，特定从摄像部(13)得到的图像中人(P)的位置和姿势等。

Description

物体检测装置、物体检测服务器以及物体检测方法

技术领域

本发明涉及一种对于人和物体等给定的检测对象，从图像中检测其正确的位置和姿势等的技术。

背景技术

在专利文件1中记载了随着发送器的靠近对监视摄像机的朝向和变焦进行控制的技术。具体地说，给成为监视对象的人带上发送ID编码的电波发送器，在禁止进入的区域内设置检测发送器的靠近的天线，当用天线检测到发送器靠近时，从多个监视摄像机中，自动地选择可能拍摄天线位置附近的监视摄像机，将所选择的摄像机的影像在监视监控器上显示。另外，将发送器具有的ID编码经由天线读出，利用此ID编码事先对应的人的身高，进行监视摄像机的朝向的设定和变焦的设定。

近年随着因特网的普及，开始利用将监视摄像机与因特网相连，进行影像的传送的监视***。这样的***与采用专用线的***相比，成本低，而且监视摄像机的设置容易。但是，即使这样的***也仍然需要监控影像的操作员。因此，今后不仅只要自动地拍摄监视对象，还期望能自动地从图像中提取有用的信息的技术。

另外，由于近来的机器人技术的进步，帮助人们生活的家庭内机器人有望实现上述功能。这样的机器人必须具备检测其自身的周围环境，根据周围环境采取相应的行动的功能。例如：为了在家庭内移动以及对于人和物体进行适当的操作，机器人必须能够正确地检测周围的人和物体的位置、姿势以及活动。如果不能这样的话，就不能正确地进行移动和工作，也就谈不上对人们的生活提供帮助。

随着手持电影摄影机、数字摄像机、带有摄像机的手持电话机等的携带型摄影设备的普及，即使对于不擅长拍摄的使用者来说，也有望能对被拍摄体恰当地拍摄。因此，正确地检测拍摄对象的位置等就变得很重要。

但是以往的技术，对于这样的要求来说却很困难。即在上述技术中，随着发送器的接近，只能选择拍摄检测对象的摄像机，却不能获得在拍摄的图像中，检测对象在那里，采取什么样的姿势这样详细的信息。另外，因为使用天线特定位置，所以位置信息中会产生比较大的误差(数米～十几米)，即在检测对象附近还有其它人时，在图像中识别两人是困难的。

以往，有几种只采用图像处理从摄像机图像中进行物体检测的技术被熟知，但其大多数都是在非常严格限定的条件下才能使用的，在人们日常生活的环境下产生误检测的情况很多，其适用困难。其原因在于，摄像机自身的动态范围的限制、检测对象以外的各种物体和背景的存在、还有随着日照和照明的变化，即使是同一场所的同一对象，其图像也会产生各种各样的变化等。

人的视觉机构能活用根据经验所获得的大量知识和规则，即使在变化较大的环境下也能够进行正确的检测，但要使装置和人获得同样的知识和规则，在现阶段还是非常困难的。另外对这样的处理，大量的处理量和存储器是必要的，这样会带来处理时间和成本的上升这样的问题。

专利文献1：特开平9-46694号公报。

发明内容

鉴于上述问题，本发明的目的在于提供一种物体检测技术，能够在图像中，将检测对象的位置和姿势等精度良好地而且不需要大量的处理量地检测出。

本发明，作为一种物体检测方法，包括：摄像步骤，拍摄至少包含多个移动体的图像；标签通信步骤，接收标签信息，该标签信息从所述多个移动体中给定对象所附带的信息标签发送，至少包含所述信息标签的位置信息；和对象检测步骤，利用在所述标签通信步骤所接收的标签信息，取得所述图像中的所述信息标签的位置信息，参照所取得的位置信息，进行图像处理，由此在所述图像中，检测所述给定对象。所述对象检测步骤包括：决定第一候选区域的步骤，采用所述标签信息，取得所述图像中的所述信息标签的位置信息，根据所取得的位置信息，决定有可能包含所述给定对象的第一候选区域；决定第二候选区域的步骤，采用图像处理，决定有可能包含所述图像中的所述移动体的第二候选区域；图像分离步骤，参照所述第一候选区域和所述第二候选区域，决定在所述图像中有可能包含所述给定对象的部分图像区域；和图像识别步骤，在由所述图像分离步骤所决定的部分图像区域中，进行所述给定对象的检测。

由此，对象检测部在由摄像部所拍摄的图像中检测给定对象时，利用由该给定对象附带的信息标签发送的标签信息。即不能从图像中获得的信息能够从标签信息中得到，或者能够基于标签信息进行参照，能将这些在图像处理中活用。因此，不需要大量的处理量，能够从图像中精度良好地检测出给定对象。

在有关上述本发明的物体检测方法中，优选，所述图像分离步骤，根据所述第一候选区域和所述第二候选区域之间重叠的区域，决定在所述图像中有可能包含所述给定对象的部分图像区域。

在有关上述本发明的物体检测方法中，优选，所述对象检测步骤，对所述给定对象所存在的三维空间中的位置坐标和所述图像中的坐标预先建立对应关系，通过参照该对应关系，采用所述标签信息，取得所述图像中的所述信息标签的位置信息。

在有关上述本发明的物体检测方法中，优选，上所述标签信息包含表示所述给定对象的属性的属性信息；所述对象检测步骤，利用由所述标签通信步骤所接收的标签信息中所包含的属性信息，进行检测。

在有关上述本发明的物体检测方法中，优选，所述标签信息包含所述给定对象的ID信息；该物体检测方法包括属性参照步骤，利用由所述标签通信步骤所接收的标签信息中所包含的ID信息，参照属性存储部所存储的ID信息和属性信息的对应关系，得到所述给定对象的属性信息；所述对象检测步骤利用由所述属性参照步骤得到的属性信息，进行检测。

在有关上述本发明的物体检测方法中，优选，所述标签通信步骤根据所述标签信息的接收状态推测所述信息标签的位置；所述图像分离步骤参照由所述标签通信步骤推测的位置进行检测。

在有关上述本发明的物体检测方法中，优选，所述标签信息包含所述给定对象的检测处理过程；所述对象检测步骤通过执行由所述标签通信步骤所接收的标签信息中所包含的所述检测处理过程进行检测。

在有关上述本发明的物体检测方法中，优选，当所述标签通信步骤的接收状态不佳时，所述对象检测步骤不利用所述标签信息，只通过图像处理进行检测。

本发明，作为一种物体检测装置，包括：摄像部，拍摄至少包含多个移动体的图像；标签通信部，接收标签信息，该标签信息从所述多个移动体中给定对象所附带的信息标签发送，至少包含所述信息标签的位置信息；和对象检测部，利用由所述标签通信部所接收的标签信息，取得所述图像中的所述信息标签的位置信息，参照所取得的位置信息，进行图像处理，由此在所述图像中，检测所述给定对象。所述对象检测部包括：图像分离部，采用所述标签信息，取得所述图像中的所述信息标签的位置信息，根据所取得的位置信息，决定有可能包含所述给定对象的第一候选区域，并且采用图像处理，决定有可能包含所述图像中的所述移动体的第二候选区域，参照所述第一候选区域和所述第二候选区域，决定在所述图像中有可能包含所述给定对象的部分图像区域；和图像识别部，在由所述图像分离部所决定的部分图像区域中，进行所述给定对象的检测。

本发明，作为一种物体检测服务器，接收由摄像部拍摄的至少包含多个移动体的图像、所述多个移动体中给定对象所附带的信息标签所发送的且至少包含所述信息标签的位置信息的标签信息，利用所述标签信息，取得所述图像中的所述信息标签的位置信息，参照所取得的位置信息，进行图像处理，由此在所述图像中，检测所述给定对象，在所述给定对象的检测中，采用所述标签信息，取得所述图像中的所述信息标签的位置信息，根据所取得的位置信息，决定有可能包含所述给定对象的第一候选区域，并且采用图像处理，决定有可能包含所述图像中的所述移动体的第二候选区域，参照所述第一候选区域和所述第二候选区域，决定在所述图像中有可能包含所述给定对象的部分图像区域，在所述所决定的部分图像区域中，进行所述给定对象的检测。

附图说明

图1是表示有关本发明第1实施方式的物体检测装置的构成框图。

图2是表示在本发明第1实施方式中信息标签的内部构成概念性框图。

图3是表示本发明的第1实施方式中物体检测的处理过程的流程图。

图4是表示图3的步骤S4中处理的一例的流程图。

图5是表示本发明的第1实施方式中进行物体检测的状况图。

图6是在图5的状况中摄像部拍摄的图像的例子。

图7是表示在图6的图像中图像分离部所求出的候选区域的图。

图8是表示在图6的图像中利用由信息标签获得的位置信息求出的候选区域的图。

图9是表示从图7以及图8所示的候选区域中所决定的区域的图。

图10是产生模板所采用的信息的一例。

图11是表示从图像所得到的移动轨迹的图。

图12是表示基于从信息标签得到的位置信息的移动轨迹的图。

图13是表示多个摄像机的配置的例子的图。

图14是表示通过摄像机校正求出将检测对象的空间位置坐标变换为图像坐标的坐标变换的方法的流程图。

图15是表示本发明的第2实施方式中进行物体检测的状况的图。

图16是图15的状况中摄像部拍摄的图像的例子。

图17是表示在图16的图像中图像分离部所求出的候选区域的图。

图18是表示在图16的图像中利用由信息标签获得的位置信息求出的候选区域的图。

图19是表示从图17以及图18所示的候选区域中所决定的区域的图。

图20是表示本发明的第3实施方式中进行物体检测的状况的图。

图21是表示图20中摄像机40的构成例子的框图。

图22是表示关于本发明的第3实施方式中处理过程的流程图。

图23是在图22的处理过程中得到的图像的例子。

图24是在图22的处理过程中使用的人型模板的一例。

图25是表示进行检测处理的转换过程的一例的流程图。

具体实施方式

以下，对于本发明的实施方式参照附图进行说明。另外对于多个附图共同的构成元件，采用同一符号，有时也省略其详细说明。

(第1实施方式)

图1是表示关有关本发明第1实施方式的物体检测装置的构成例子的框图。在图1的构成中，人P作为给定检测对象。在图1中，12是接收附带在人P上的信息标签11发送的标签信息的标签通信部，13是拍摄图像的摄像部，14是利用由标签通信部12接收的标签信息，在由摄像部13拍摄的图像中检测出人P的对象检测部。摄像部13设置在能够拍摄包含人P的图像的位置。

图2是表示信息标签11的内部构成概念性框图。在图2中，通信部110通过电波、声波或者光等作为介质与标签通信部12非接触地进行通信，发送给定标签信息。存储部111存储作为标签信息的，例如信息标签11所附属的人P的属性(身高、年龄、性别等)信息和ID信息等。位置检测部112根据例如GPS(全球定位***)等利用人造卫星的定位***检测信息标签11的位置，作为标签信息输出。信息标签11将从存储部111以及位置检测部112输出的标签信息通过通信部110发送。

信息标签11是在例如人P携带的手持电话机上安装的东西。另外，可以同时采用存储部111以及位置检测部112，也可以只采用其中的任何一个。作为为了得到位置信息的定位***，除了GPS，也可以利用例如手持电话机和以到PHS基站的距离测量为基准的***等。

另外在图1的构成中，包括：存储ID信息和属性信息的对应关系的属性存储部16，利用由标签通信部12接收的标签信息中所包含的ID信息，参照属性存储部16的存储内容，得到人P的属性信息的属性参照部15。

这里，所谓ID信息是指各对象和事先分别被相应标记的记号或者符号。ID信息可以赋予对象的每个个体，也可以赋予对象所属的每个类别。例如，象本实施方式这样对象为人时，可以对每个人赋予不同的ID信息，或者给每一世代赋予不同的ID信息，也可以给属于同一世代的人赋予共同的ID信息。另外对象为物，例如钢笔时，可以给每根钢笔赋予不同的ID信息，给每种颜色和形状赋予不同的ID信息，也可以给相同颜色和形状的钢笔赋予共同的ID信息。

对象检测部14利用由标签通信部12得到的标签信息、或者由属性参照部15得到的属性信息、或者这两种信息，从由摄像部13得到的图像中检测出人P。对象检测部14包括图像分离部141以及图像识别部142。

图像分离部141在根据摄像部13得到的图像中决定有可能包含人P的部分图像区域。这里如上所述在信息标签11的位置检测中使用GPS等时，虽然不容易产生较大的误差，但高精度的位置检测和姿势或者面部位置等详细信息的获得很困难。这是由于传感器的原理上的精度的界限、实际使用环境下的误差和外部干扰的影响以及能够使用的传感器数量实际上受到限制等原因。另一方面，图像处理时，在理想的条件下(照明不均和变化较少、只拍摄限定的物体等)能以比较高的精度决定部分图像区域，但是象室外影像那样，或者存在各种各样的物体，或者照明条件变化的情况下，容易产生误检测。

因此，图像分离部141通过综合利用标签信息和属性信息，能以更高的精度决定部分图像区域。另外，可以决定多个部分图像区域，当检测对象不存在时，也可能存在检测不到部分图像区域的情况。

图像识别部142对于根据图像分离部141决定的部分图像区域中，是否存在人P，以及存在时其位置和姿势、动作进行检测。如上所述，由信息标签11得到的位置信息，虽然较难产生大的误差，但由此得到高精度的信息和详细信息很困难。另一方面，只采用图像处理时，高精度地检测不特定的多个人是困难的。这里，图像识别部142通过利用作为标签信息或者属性信息例如人P的身高，提高图像识别处理的精度。例如作为识别方法采用模板匹配时，能根据人P的身高设定模板的大小。由此，提高检测精度的同时，因为限定了识别处理使用的模板，所以也能减少处理量。

如此，根据图1的构成，通过将由标签通信部12接收的标签信息和由属性参照部15得到的属性信息和图像综合使用，能够在抑制处理量的增加，同时高精度地在图像中检测作为给定对象的人P。

图3是表示关于本实施方式中物体检测的处理过程的流程图。这里，采用图像的处理(S2、S3、S4)和采用信息标签的信息取得处理(S5、S6、S7)并行地进行。图3中，首先，最初发出检测给定对象的指令(S1)。对象的指定可以由***的使用者指定，也可以由被检测者自身指定。另外，也可以按照时刻和场所自动地指定对象，还可以将能够从信息标签获得标签信息的对象全部指定。

接着，特定拍摄检测对象的摄像机(S2)。如后面所述，使用多台摄像机时，选择所有能够拍摄对象的摄像机。这里，可以事先指定有可能拍摄检测对象的摄像机，也可以利用在后述的步骤S7得到的信息标签的位置信息选择摄像机。之后，通过在步骤S2中特定的摄像机获取图像(S3)。

另一方面，特定指定的对象和对应的信息标签(S5)。其后从特定的信息标签中获得标签信息(S6)。然后从获取的标签信息中获取关于对象的信息(S7)。这里作为获取的信息例如有从属性存储部16中读取的身高、年龄、性别等的属性信息和标签信息所包含的位置信息等。最后，利用在步骤S7中所得到的给定信息，从步骤S3中取得的图像中特定对象位置等的详细信息(S4)。

图4是表示在步骤S4中处理的一例的流程图。首先，计算图像内的移动矢量(S41)。接着利用在步骤S41中求得的移动矢量，求出图像内向相同方向移动的图像区域的集合M(S42)。然后从图像区域集合M中选择整合了从信息标签中得到的对象的位置和移动的区域作为集合Ms(S43)。接着产生从信息标签中得到的身高、年龄、性别等的属性相对应的人形状的模板H(S44)。在图像区域集合Ms中，利用在步骤S44中产生的人形状模板H进行人形状的比对，最后将在步骤S45中形状比对中的一致度最高的位置作为对象的位置检测出(S46)。

参照附图5～图9具体说明本实施方式中的处理。

在图5中，标签通信部12设置在通信中心30内，对象检测部14、属性参照部15以及属性存储部16设置在监视中心31内。这里假定利用在屋外路边设置的摄像机(摄像部13)，检测出携带了信息标签11(设置在携带机器33上)的给定人Pa。信息标签11将人Pa的ID信息和通过GPS得到的大致的位置信息(误差10m左右)发送。通信中心30由标签通信部12接收信息标签11的发送信息。作为物体检测服务器的监视中心31通过通信网得到摄像机13的影像和在通信中心30接收到的标签信息。在属性存储部16中存储作为对应于ID信息的属性信息，身高、年龄以及性别。

现在，人Pa的附近存在人Pb和车C，人Pa向摄像部13靠近、人Pb以及车C向远离摄像部13的方向分别移动。此时，由摄像机13拍摄如图6那样的图像。在图6的图像中，拍摄了人Pa、Pb以及车C。

在这里首先对象检测部14的图像分离部141执行图4的步骤S41～S43，决定有可能包含人Pa的部分图像区域。

即计算图6的图像内的移动矢量，求出向相同方向移动的图像区域。图7表示在这里得到的区域。图7中，作为向相同方向移动的区域，在存在人Pa、人Pb以及车C的附近分别得到区域APa、APb、AC。

其后从图7所示区域中选择整合了从标签信息中得到的人Pa的位置和移动的区域。图8是表示只采用由信息标签11得到的位置信息时的候选区域。在图8中，将位置信息所表示的位置变换为摄像机图像上的位置，表示为区域A1。此处，因为在GPS的位置信息中包含了误差，所以候选区域A1也考虑了误差成为包含人Pa、Pb的大区域。从图7以及图8中，重叠区域即区域Apa、Apb成为候选区域。即能够从人Pa的位置信息中排除车C的区域AC。

进一步，通过参照位置信息的变化，得知对象的移动方向是向这边靠近的方向。因此通过和区域APa、APb移动矢量的方向整合，能够将候选区域限定为只有区域Apa。

接着对象检测部14的图像识别部142执行图4的步骤S44～S46，特定图像中人Pa的位置和姿势，即对于区域Apa进行模板匹配，检测出人Pa更加正确的位置和移动。

此时，如果徒劳使用过多的模板，错误地检测出和检测对象不同的人和物体的可能性增大的同时，匹配时必要的处理也相当巨大。因此，根据由属性参照部15得到的身高、性别、年龄等的属性信息，减少匹配时利用的模板。由此，能够提高检测精度也能够减少处理量。

对于减少模板的例子进行说明。图10是生成模板时所采用的信息的一例，表示了年龄段(儿童、成人、老人)和身高的范围、平均的体型以及平均的服装尺寸之间的关系。现在，从属性信息中得到人Pa的年龄为20岁。此时，因为年龄段能特定为成年，所以从图10的关系中能得到平均的身高和体型。然后通过将得到的身高和体型变换为摄像机图像上的大小和形状，能生成匹配时所使用的形状模板。

当然，身高的值有一定的范围时，也可以在其范围内生成大小不同的多个模板。作为属性信息，直接得到身高的值时，可以直接使用其值。当信息标签被安放在对象所穿着的衣服上，作为标签信息得到衣服的号码时，从图10的关系中也能得到身高，生成模板。

通过模板匹配，如果能检测出区域APa中人Pa的正确位置，进一步通过追踪其位置的时间变化，能得到人Pa正确的移动。通过使用对应于不同姿势的形状模板，可能检测出人Pa的姿势。另外匹配所使用的模板可以是表示形状的浓淡图像和黑白图像，也可以是包含色彩的彩色图像，或者是只表示轮廓的图像。

如果能够检测出图像中人Pa的正确位置，例如能够只将人Pa放大拍摄，或者也可以降低变焦的放大率，象通常一样拍摄人Pa的周围。由此，不只是监视人Pa的状态，监视人Pa和周围的人的接触的样子通常也成为可能，这对于犯罪搜查和行动调查等是有效的。

通过以上的本实施方式，在图像中检测给定对象Pa时，利用此对象Pa所附带的信息标签11发送的标签信息，将不能从图像中得到的信息或者从标签信息本身得到(例如从信息标签11发送的属性信息和位置信息)、或者基于标签信息进行参照(例如从属性存储部16中读取的属性信息)，能将这些在图像处理中活用。即不需要巨大的处理量，就能从图像中检测给定对象。

在本实施方式中，图像分离部141以及图像识别部142同时参照来自标签通信部12或者属性参照部15的信息，代之以只有图像分离部141以及图像识别部142之中任何一个参照标签通信部12或者属性参照部15的信息，另外一方只采用图像信息进行处理也是可行的。

在本实施方式中，信息标签11是设置在人Pa所有的手持电话机上的，代之以设置在PDA等其他的手持设备中也可以，或者设置在手杖和买的东西这样的可搬运物品上也可以。设置在和成为对象的人一起移动的轮椅和购物用小推车这样的物品上也可以，设置在衣服、眼镜和鞋这样的穿戴在身上的物品上也可以。进一步地，植入体内也没有关系。

在本实施方式中，信息标签11发送存储部111所存储的属性信息和ID信息以及位置检测部112检测的位置信息，但发送的信息不止限定于此，例如利用加速度传感器和方位磁铁、陀螺仪装置等发送关于检测对象的移动的信息，或者利用陀螺仪装置等发送检测对象的姿势的信息也可以。发送姿势信息时，因为图像识别部142将识别时所使用的模板限定为特定的姿势的形状模板，所以进一步的检测精度的提高和处理的减少是可能的。

信息标签11或者属性存储部16中所存储的属性信息也并非限定为本实施方式中所表示的。例如检测对象为人时，将肤色和发色作为属性信息进行存储也可以。由此，图像分离部141检测特定颜色的区域，图像识别部142通过采用和肤色以及发色相对应的模板，能有望获得检测精度的提高。

作为属性信息，将检测对象过去的信息，例如检测时刻和检测位置、移动速度、穿着服装等存储起来也可以。通过将这样的过去的信息和现在得到的信息相比较，能判断在检测结果中的异常的有无。

另外，检测的对象并非限定于人，例如也可以是宠物和汽车等。将宠物作为检测对象时，可以将信息标签设置在宠物的项圈等上。如果采用室内的摄像机拍摄，能在外出地掌握宠物的详细的图像和行动。此时，通过类似手持电话机等的小型的显示画面确认宠物的情况时，在大范围地拍摄了房子的图像中不能掌握宠物的情况。但是如果能象本发明这样正确地检测出图像内的宠物的位置，即使是小的显示图像因为能够只显示拍摄了宠物的图像区域，所以能够容易地掌握宠物的情况。

另外通过屋外的监视***等监视汽车时，通过事先将信息标签设置在汽车上，正确的检测在监视图像内的特定车的位置，驾驶员的图像的自动获取等很容易，能用于偷盗的对策等。

(移动轨迹的利用)

在上述的例子中，将由图像信息和信息标签得到的信息综合利用时，利用检测对象的位置和移动方向限定了候选区域，但本发明并非仅限于此，例如也可以利用移动轨迹。对于这一点进行说明。

现在，在图5所示的状况中，不存在车C，而且具有信息标签11的人Pa和没有信息标签的人Pb同时向着摄像机13行走。只是人Pa和人Pb步行的轨迹不同。

图11是此时的摄像机13的拍摄图像。在图11中，由图像得到的移动轨迹TPa、TPb以实线的箭头表示。只是，虽然在图像处理中得到了细微的移动轨迹，但人Pa和人Pb的判别困难。

另一方面，在图12的图像上表示了基于由信息标签11得到的位置信息的移动轨迹T11。因为位置信息的精度低，在图12中位置的误差范围以箭头的宽度表示。只是，虽然位置的精度低，但能得到移动轨迹的形状。

因此，将图12的移动轨迹T11和图11的轨迹Tpa、TPb相对比，判定类似度。这里，由于轨迹TPa和移动轨迹T11的类似度高，所以特定人Pa为检测对象，得到图像内的正确的位置。

这样通过利用移动轨迹的类似性，容易区别位置和移动方向比较相似的人和物。对移动轨迹的类似度的判定可以采用例如，轨迹重叠范围比例的比较、轨迹长度的比较、变换了方向的位置的比较或者移动矢量系列的比较等。

(多台摄像机的使用)

在上述的例子中，使用了1台摄像机，当然也可以使用多台摄像机。例如如图13所示，对视角较差的场所进行监视时，通过设置多台摄像机C1～C3，能消除死角。这里，在图13那样的弯折的通路上，人P只要向右侧稍微移动，摄像机C1就拍摄不到。这样即使配置了没有死角的摄像机，如果不能正确地得知人P的位置，适合拍摄的摄像机的选择和追踪轨迹都是困难的。因此，通过采用本发明，更大范围地监视视角较差的场所，在影像中特定人P的位置是可能的。

即基于从信息标签获得的位置信息，能特定能够拍摄人P的摄像机。另外，当在图13所示的位置上有人P时，从摄像机C1、C2的图像中，通过利用标签信息进行人P的检测，将最大地拍摄了人P的摄像机图像自动地显示是可能的。

(信息标签的位置信息和图像坐标的对应关系)

为了实现本发明，有必要事先确定表示信息标签11的位置信息的位置和摄像机图像上的坐标的对应关系。对于这一点进行简单的说明。

信息标签11的位置信息和图像坐标的对应关系是利用将检测对象所在的3维空间上的位置坐标(世界坐标)变换为拍摄图像内的坐标值的坐标变换T进行。通过事先求出坐标变换T，能获得信息标签的位置坐标和图像内的坐标的对应关系。

此坐标变换T一般利用摄像机的构成(镜头的焦距、镜头失真特性、摄像元件的大小和像素数)以及摄像机的设置条件(摄像机的设置位置、姿势)在理论上计算出，利用后述的摄像机校正的过程求出。当已知摄像机的构成以及设置条件的情况下，通过组合几何学变换等的计算，能求出坐标变换T。另一方面，当不知道摄像机的构成和摄像机的设置姿势的情况下，能通过摄像机校正求出坐标变换T。

参照图14的流程，说明通过摄像机校正求出坐标变换T的方法。这里，假设摄像机的位置和姿势、变焦是固定的。首先至少准备6组以上的将检测对象所在的3维空间中的位置坐标(世界坐标值)和与此对应的图像内的位置坐标(图像坐标值)的组(E11)。接着，利用最小二乘法决定满足在步骤E11中准备的坐标值的组的对应关系的线性变换(E12)。然后，保存算出的线性变换的参数(摄像机参数)(E13)。

其后，将信息标签的位置坐标变换为图像坐标时，利用保存的摄像机参数进行坐标变换即可。

摄像机的位置、姿势、变焦被变更时，通过再次校正产生对应于变更后的状态的坐标变换。或者当摄像机的位置、姿势、变焦比率(透镜的焦点距离)通过另外的传感器检测可能构成的情况下，通过计算能求出新的摄像机参数。象机器人和车等的移动物体上设置的摄像机那样，其位置和姿势频繁地变化的情况下，优选通过其他的传感器检测摄像机的位置和姿势，通过其每次计算，算出摄像机参数。

(第2实施方式)

在本发明的第2实施方式中，将具有摄像机的移动型机器人作为给定检测对象进行物体的检测。

图15是表示本实施方式的状况的图。图15中，在家庭内的地面FL上放置了可移动型的机器人40。作为物体检测设备的机器人40包括：成为摄像部的摄像机13；在第1实施方式中说明了的标签通信部12；对象检测部14以及属性参照部15。另外属性存储部16设置在和机器人40不同的场所，属性参照部15通过无线通信参照属性存储部16中所存储的属性信息。

在地面FL上有横倒的圆筒物体Oa以及球形的物体Ob。物体Oa和Ob都是红色的。在物体Oa和Ob中分别内置了信息标签11，作为标签信息分别发送ID信息。地面FL的4角上设置了天线43a～43d，从信息标签11发送的信息经由天线43a～43d通过机器人40的天线42由标签通信部12接收。属性参照部15基于标签通信部12所接收的ID信息，从属性存储部16中读出作为属性信息的该物体的形状以及颜色。标签通信部12从在4处设置的天线43a～43d的接收强度的比率推测信息标签11的大致位置。

这里机器人40移动，用手41将作为给定检测对象的物体Oa、Ob抓住，作为被移动的物体。为了用手41将物体抓住，机器人40需要正确地检测物体的位置和形状、方向。

图16是在图15的状况下，由摄像机13拍摄的图像。这里根据来自信息标签11的ID信息，识别出有2种物体的存在。从天线43a～43d的接收强度的比率推测各个信息标签11的大致位置。此时，作为来自信息标签11的信息，利用了ID信息和电波场强。

首先，2种物体之一，例如对于物体Oa，利用ID信息，参照属性参照部16的结果，得到其形状为圆筒型，颜色为红色这样的属性信息。此时，对象检测部14所具有的图像分离部141(在图15中未表示)基于作为检测对象的物体是红色这一属性信息，从图像中决定红色的候选区域。图17是表示其结果的图像，表示了红色的物体Oa、Ob分别对应的2个候选区域BOa、BOb。

另一方面，基于从接收强度推测的物体Oa的位置信息，得到图18所示的候选区域B1。通过整合图17的候选区域BOa、BOb和图18的候选区域B1，得到图19所示的区域B2。这里正确地得到了物体Oa的位置。

接着，对象检测部14所包括的图像识别部142(图15中未表示)基于圆筒型这样的属性信息，生成圆筒型物体应有的各种各样的朝向的形状模板图像。通过利用这样的图像模板进行和区域B2的图像的匹配，从和匹配比率最高的形状模板所对应的物体的朝向中，能正确地确定物体的朝向(姿势)。

通过对于另外一个物体Ob也进行同样的处理，能正确地检测位置和姿势。此结果，机器人40能获得用手41移动物体Oa、Ob所必要的信息。即作为属性信息得到颜色和形状，通过进行特化特定颜色和形状的图像分离和图像识别，高精度且高效地实现物体的检测。

这样通过有效地活用来自在物体上设置的信息标签11的信息和图像的信息，能高精度地检测物体的位置和姿势，而且也能抑制检测时必要的处理量为较低。由此，能够实现在家庭室内那样的复杂的环境下的机器人的工作所必要的物体检测。

机器人进行对象的检测时，因为期望正确而且实时的处理，所以象本发明这样能抑制处理量并且检测精度能得到提高的技术是有效的。例如救助活动和护理等所使用的机器人，处理时间的延误可能关系到人命和伤情。另外，如果想将机器人和许多人中特定的人联系，即使能正确地执行人的特定，如果占用过多的处理时间，很有可能出现成为对象的人在处理执行过程中已经经过机器人的面前离去了的情形。对于这样的情况也可以通过采用本发明能快速正确地从图像中检测出对象。

在上述的例子中，属性存储部16中存储了ID信息和属性信息的对应关系，也可以将属性关系和每个物体上分别安装的信息标签11直接存储。此时，能省略属性存储部和属性参照部，具有能简单地构成***的优点。另一方面，通过利用属性存储部16，即使检测中使用的信息量多，因为能够抑制信息标签11的存储容量，所以能将信息标签11小型化、低价格化的同时，还能够抑制信息标签11和标签通信部12之间的通信量。

在信息标签11中也可以记录检测处理过程自身。例如在上述的情况下，从物体Oa的信息标签发送“检测红色的物体”、“生成圆筒型的形状模板进行形状匹配”这样的检测处理过程的信息。或者在属性存储部16中存储和ID信息对应的检测处理过程的信息，也可以基于从信息标签11接收的ID信息，从属性存储部16中读出检测处理过程的信息。此时，因为对象检测部14只能按照接收的、或者从属性存储部16中读取的检测处理过程的顺序执行处理过程，所以能简化机器人自身的检测处理程序。另外即使对于追加不同种类的物体的情况，因为无需变更机器人具有的检测处理程序，所以能得到维护容易的效果。

(第3实施方式)

在本发明的第3实施方式中，通过可携带型的摄像机，作为给定检测对象，检测成为被拍摄物体的人。这里所说的可携带型的摄像机包含便携电影摄影机和数字摄像机、带摄像机的手持电话机和信息终端等。

图20是表示本实施方式的状况图。在图20中，在屋外利用带有摄像部13的可携带型的摄像机50对人Pd进行拍摄。人Pd具有信息标签11，信息标签11采用超音波发送作为标签信息的特定人Pd的ID信息。一般地利用测量距离所使用的超音波发送机时，能检测出距离摄像机20m左右的范围。当然检测范围根据超音波的强度而变化。

摄像机50包括：2个麦克风51a、51b；标签通信部12A以及对象检测部14A。麦克风51a、51b接收信息标签11发送的超音波。标签通信部12A从由麦克风51a、51b得到的超音波信息中，获取ID信息的同时，计算信息标签11相对于摄像机50的方向和距离。信息标签11的方向能从由2个麦克风51a、51b分别接收的超音波信号的时间差(相位差)或者强度比推测。至信息标签11为止的距离能从接收的超音波信号的衰减度(强度和波形的衰减方式)推测。

图21是表示作为物体检测装置的摄像机50的构成例框图。在图21中，由麦克风51a、51b、距离决定部52、时间差计算部53、方向决定部54以及ID提取部55构成标签通信部12A；由图像内坐标决定部56以及图像分离部142构成对象检测部14A。另外麦克风51a、51b被配置在水平方向上不同的位置。

距离决定部52利用由麦克风51a、51b接收的超音波的强度计算至信息标签11为止的距离。另一方面，时间差计算部53计算通过麦克风51a、51b分别接收的超音波信号的检测时间差，方向决定部54利用由时间差计算部53得到的检测时间差，计算从摄像机50看来的信息标签11的方向(在包含麦克风51a、51b的水平面内的方向)。检测时间差和方向的对应关系事先保存在方向决定部54中。

图像内坐标决定部56利用由方向决定部54得到的信息标签11的方向和从摄像机控制部57接收的摄像部13的镜头焦距(变焦比率)决定在图像内水平方向上的信息标签11的位置。此处的处理是和第1实施方式中所说明的将信息标签的位置信息与图像内的位置坐标建立对应关系的处理相同。

另一方面，ID提取部55从根据麦克风51a、51b所得到的超音波信号获取ID信息。属性参照部15利用ID信息参照属性存储部16读出作为检测对象的人Pd的身高。在图像分离部142中，模板生成部143，根据由距离决定部52得到的距离、由属性参照部15得到的人Pd的身高以及由摄像机控制部57得到的镜头焦距的信息，生成反映图像中人Pd的大小的形状模板。模板匹配部144利用由图像内坐标决定部56得到的、在图像内的信息标签11的位置附近的、由模板生成部143生成的模板进行匹配，检测出人Pd的位置。此处检测的人Pd的位置信息送给摄像机控制部57，摄像机控制部57利用此位置信息，对于拍摄部13进行更加正确的焦点调整、曝光调整、颜色校正、变焦调整等。

参照图22的流程图，以图20的状况作为例子说明本实施方式中处理的过程。

首先，被拍摄对象即检测对象的人Pd具有的信息标签11通过超音波信号发送ID信息(T1)。摄像机50通过麦克风51a、51b接收发送的超音波信号(T2)。接着计算通过麦克风51a、51b接收的超音波信号的接收时间的偏差(T3)，由此接收时间的偏差计算对于摄像机50的信息标签11的方向θ(T4)。

其另外一方面，由麦克风51a、51b接收的超音波信号的强度计算至信息标签11为止的距离D(T5)。这里，考虑摄像部13的变焦倍数，判断在图像内是否拍摄到了方向θ(T6)。如果判断为没有拍摄到时(在T6为“否”)，降低变焦倍数使能拍摄到方向θ，或者使摄像部13的朝向向着方向θ(摄像部13安放在可移动的三角架转台上时)，或者在摄像机的监视器上显示检测对象在范围外的意思，或者显示检测对象在图像的哪一侧等，催促拍摄者改变摄像机50的朝向(T7)。这里判断对象在范围外其间，也可以将录像自动地停止，当对象进入范围内时自动地开始录像。

另一方面，如果判断为在图像内拍摄到了方向θ时(在T6为“是”)，配合距离D进行摄像机的焦点调整(T8)。此时，能得到象图23那样的图像。接着采用变焦倍数和方向决定在图像内信息标签11的位置(区域)L1(T9)。但是，当利用超音波信号计算方向时，由于气温、风、周围物体的反射和噪音等的影响会产生误差，在步骤T9中，限定为特定单个人程度的区域很困难。在图23的图像例子中，在区域L1中除了检测对象人Pd之外还包含了人Pe。

因此，从超音波信号中获取ID信息(T10)，利用此ID信息获取对象的身高H(T11)。然后利用身高H、距离D以及变焦倍数，生成对应于对象在图像内应当拍摄的大小的形状模板T(T12)。图24是在此生成的模板T的一例。利用图24那样的模板进行在图像内的位置L1附近的匹配，将匹配率最高的位置作为对象的正确的位置L2检测出(T13)。此时，因为人Pd和人Pe在图像上的大小不同，所以只检测出人Pd。然后在图像内显示位置L2，使拍摄者根据需要容易调整摄像机的朝向等。根据位置L2附近区域的颜色、明亮度、图像质量进行摄像部13的缩小和曝光、颜色校正、焦点调整等(T14)。由此，即使是对于不擅长拍摄的人，也能够准确地拍摄作为被拍摄物体的人Pd。

另外，步骤T5可以在步骤T2之后到参照距离D位置之间的任何时刻执行。步骤T10也可以在步骤T2开始至步骤T11之间的任何时刻执行。

依据这样的本实施方式，通过将来自信息标签的ID信息和从超音波信号的接收状态推测的距离和方向的信息与图像处理相结合，能正确地识别在图像上大小相似的人(人Pd和人Pf)以及位置接近的人(人Pd和人Pe)。因此，即使对于存在多人的复杂的状况，也无需大幅度地增大处理量，能正确地检测对象的位置。另外通过利用超音波发送器等信息标签，具有由简单而且便宜的***就能算出方位和距离的优点。

在上述的例子中，采用了2个麦克风，麦克风的个数并非仅限定于这些，也可以使用3个以上。通过采用3个以上的麦克风，例如通过由2个麦克风的多个组合分别算出信息标签的方向，将其计算结果平均的这样的处理，能提高方向的计算精度。

对于来自摄像机的信息标签，也可以利用超音波、电波或者光等，施加用于发送超音波的触发。此时，测量从施加触发开始，到接收超音波信号为止的时间，根据该测量时间和音速能计算出到信息标签为止的距离。

也可以是只对于获得特定的ID信息，进行上述的检测处理。由此，对于存在多个信息标签的状况，能够只检测带有所期望的信息标签的对象。

所谓信息标签的信息和图像处理，通常无需同时使用，例如由于噪音等的影响一时无法接收来自信息标签的信号的情况下，判断接收状态不好，也可以自动地转换为只根据图像的检测处理。此时，例如模板可以采用刚才使用的模板即可。相反，图像中模板的检测由于日照变化的影响等一时无法成功时，判断检测不成功，也可以自动转换为根据信息标签只利用方向和距离的信息进行检测。这样当不能利用一方面的信息时，通过自动地只利用其他方面的信息，即使检测精度降低也不会完全看不到对象，能实现对于这样的状况变化具有强大功能的物体检测装置。

图25是表示进行处理转换过程的一例的流程图。在图25中，首先判断通过麦克风是否正常接收超音波信号(K1)，能正常接收时(在K1为“是”)，进行通过上述处理得到的、在图像内的信息标签的推测位置附近的模板匹配(K2)。然后判断匹配率的最大值是否在规定的阈值以上(K4)，在阈值以上时(“是”)，将匹配率最大的位置作为人的检测位置(K7)。另一方面，当比阈值小时(在K4为“否”)，采用由超音波信号推测的位置作为人的检测位置(K6)。此时，因为检测的可靠性低，也可以在监视器上显示检测精度降低以及通过图像的检测困难。

另一方面，在步骤K1中，当超音波信号的接收不能正常进行的情况下(在K1中“否”)，在图像的全体上进行模板匹配(K3)。或者此时，在前一帧的检测位置附近进行模板匹配也可以。然后判断匹配率的最大值是否在规定的阈值以上(K5)，在阈值以上时(“是”)，将匹配率最大的位置作为人的检测位置(K9)。此时因为检测的可靠性也低，也可以在监视器上显示检测精度降低以及通过超音波位置检测困难。另一方面，当比阈值小时(在K5为“否”)，判断不能进行位置检测，或者将其意思在显示器上显示，或者采用在前一帧求出的检测位置。

在此例中，不能利用一方面的信息时采取了切换检测过程的方法，但作为变更检测过程的方法，可以考虑以下所述的方法。

例如，当存在多种从信息标签得到的ID信息时，进行匹配的图像内的范围和只得到单独的ID信息时相比较，也可以设定为较宽。由此，由于多个发送源的存在，发生超音波信号的相互干涉和干扰，即使通过超音波信号进行位置检测的精度降低的情况下也能抑制检测失误的发生。

另外，当存在多个匹配率高的位置时，将从信息标签得到的人的位置作为检测位置这样的变更也可以。由此，当存在在图像上非常相似的人靠近的情况下，能够抑制错误地检测出其他的人，检测位置频繁地偏差这样的检测失误。

可以将本发明的物体检测装置进行检测处理的一部分或者全部通过专用的设备进行，也可以通过计算机内部的CPU执行处理程序。另外象图5中所示的监视中心31那样，采用物体检测服务器接收由摄像部拍摄的图像和给定对象附带的信息标签发送的标签信息，利用此标签信息，从图像中检测给定对象这样的构成也可以。

依据以上那样的本发明，通过将图像和从给定对象附带的信息标签发送的标签信息综合地利用，即使象屋外那样照明条件的变化剧烈的场所和存在多个人和物体的情况下，也能在图像中正确地检测出对象，能特定其姿势和移动。而且，因为能抑制处理量的增加，所以和只进行图像处理的情况相比，处理时间和成本非常小。

Claims (12)

1.一种物体检测方法，其特征在于，包括：

摄像步骤，拍摄至少包含多个移动体的图像；

标签通信步骤，接收标签信息，该标签信息从所述多个移动体中给定对象所附带的信息标签发送，至少包含所述信息标签的位置信息；和

对象检测步骤，利用在所述标签通信步骤所接收的标签信息，取得所述图像中的所述信息标签的位置信息，参照所取得的位置信息，进行图像处理，由此在所述图像中，检测所述给定对象；

所述对象检测步骤包括：

决定第一候选区域的步骤，采用所述标签信息，取得所述图像中的所述信息标签的位置信息，根据所取得的位置信息，决定有可能包含所述给定对象的第一候选区域；

决定第二候选区域的步骤，采用图像处理，决定有可能包含所述图像中的所述移动体的第二候选区域；

图像分离步骤，参照所述第一候选区域和所述第二候选区域，决定在所述图像中有可能包含所述给定对象的部分图像区域；和

图像识别步骤，在由所述图像分离步骤所决定的部分图像区域中，进行所述给定对象的检测。

2.根据权利要求1所述的物体检测方法，其特征在于，

所述图像分离步骤，根据所述第一候选区域和所述第二候选区域之间重叠的区域，决定在所述图像中有可能包含所述给定对象的部分图像区域。

3.根据权利要求1所述的物体检测方法，其特征在于，

所述对象检测步骤，对所述给定对象所存在的三维空间中的位置坐标和所述图像中的坐标预先建立对应关系，通过参照该对应关系，采用所述标签信息，取得所述图像中的所述信息标签的位置信息。

4.根据权利要求1所述的物体检测方法，其特征在于，

所述标签信息包含表示所述给定对象的属性的属性信息；

所述对象检测步骤，利用由所述标签通信步骤所接收的标签信息中所包含的属性信息，进行检测。

5.根据权利要求1所述的物体检测方法，其特征在于，

所述标签信息包含所述给定对象的ID信息；

该物体检测方法包括属性参照步骤，利用由所述标签通信步骤所接收的标签信息中所包含的ID信息，参照属性存储部所存储的ID信息和属性信息的对应关系，得到所述给定对象的属性信息；

所述对象检测步骤利用由所述属性参照步骤得到的属性信息，进行检测。

6.根据权利要求1所述的物体检测方法，其特征在于，

所述标签通信步骤根据所述标签信息的接收状态推测所述信息标签的位置；

所述图像分离步骤参照由所述标签通信步骤推测的位置进行检测。

7.根据权利要求1所述的物体检测方法，其特征在于，

所述标签信息包含所述给定对象的检测处理过程；

所述对象检测步骤通过执行由所述标签通信步骤所接收的标签信息中所包含的所述检测处理过程进行检测。

8.根据权利要求1所述的物体检测方法，其特征在于，

当所述标签通信步骤的接收状态不佳时，所述对象检测步骤不利用所述标签信息，只通过图像处理进行检测。

9.一种物体检测装置，其特征在于，包括：

摄像部，拍摄至少包含多个移动体的图像；

标签通信部，接收标签信息，该标签信息从所述多个移动体中给定对象所附带的信息标签发送，至少包含所述信息标签的位置信息；和

对象检测部，利用由所述标签通信部所接收的标签信息，取得所述图像中的所述信息标签的位置信息，参照所取得的位置信息，进行图像处理，由此在所述图像中，检测所述给定对象；

所述对象检测部包括：

图像分离部，采用所述标签信息，取得所述图像中的所述信息标签的位置信息，根据所取得的位置信息，决定有可能包含所述给定对象的第一候选区域，并且采用图像处理，决定有可能包含所述图像中的所述移动体的第二候选区域，参照所述第一候选区域和所述第二候选区域，决定在所述图像中有可能包含所述给定对象的部分图像区域；和

图像识别部，在由所述图像分离部所决定的部分图像区域中，进行所述给定对象的检测。

10.根据权利要求9所述的物体检测装置，其特征在于，

所述图像分离部，根据所述第一候选区域和所述第二候选区域之间重叠的区域，决定在所述图像中有可能包含所述给定对象的部分图像区域。

11.一种物体检测服务器，接收由摄像部拍摄的至少包含多个移动体的图像、所述多个移动体中给定对象所附带的信息标签所发送的且至少包含所述信息标签的位置信息的标签信息，

利用所述标签信息，取得所述图像中的所述信息标签的位置信息，参照所取得的位置信息，进行图像处理，由此在所述图像中，检测所述给定对象，

在所述给定对象的检测中，采用所述标签信息，取得所述图像中的所述信息标签的位置信息，根据所取得的位置信息，决定有可能包含所述给定对象的第一候选区域，并且采用图像处理，决定有可能包含所述图像中的所述移动体的第二候选区域，参照所述第一候选区域和所述第二候选区域，决定在所述图像中有可能包含所述给定对象的部分图像区域，

在所述所决定的部分图像区域中，进行所述给定对象的检测。

12.根据权利要求11所述的物体检测服务器，其特征在于，

根据所述第一候选区域和所述第二候选区域之间重叠的区域，决定在所述图像中有可能包含所述给定对象的部分图像区域。

Images