CN102257529B - 判断人的设备、方法 - Google Patents

Abstract

一种判断人的设备，包括：障碍物存储器，存储从基于来自外部摄像机的视频信号的图像提取的对障碍物的区域进行指示的信息，所述障碍物是从所述图像提取的；头部范围计算装置，当从所述图像提取的物体的一部分被所述障碍物所隐蔽时，假定所述物体与所述图像上的参考面接触处的接地点的潜在范围是存储在所述障碍物存储器中的所述障碍物的区域，以及，基于所假定的范围和之前所提供的人的高度与头部的大小和位置之间的相关性，通过假定所述物体离接地点最远的部分是人的头部来计算头部在图像上的潜在范围；以及头部检测装置，判断在头部范围计算装置所计算的头部的范围内，是否存在包括与头部相对应的形状的区域。

Description

判断人的设备、方法

技术领域

本发明涉及基于来自外部摄像机的视频信号判断图像中出现的物体是否是人的技术。 

背景技术

非专利文献1公开了使得能够判断图像中出现的物体是否是人的方法。在该判断方法中，对整个图像反复执行判断物体是否是脸的过程，以检测图像中的脸。通过将人类的身体而不是脸设置为检测目标，其可以判断图像中的物体是否是人。 

非专利文献2公开了使得能够判断图像中出现的物体是否是人的另一方法。在该判断方法中，使用对在特定时间拍摄的图像(背景图像)与当前图像之间的差异进行评估的过程，该过程使用了少量的处理。该方法基于该差异来快速检测很可能包含移动物体的部分区域，且仅在该部分区域中有图像的情况下，判断该图像是“人”，是“车辆”还是“另一物体”。也就是说，该方法通过快速将区域缩小到很可能包含有物体的部分区域，减少了执行判断图像包含“人”或“非人”的过程的次数。 

虽然非专利文献2中描述的判断方法通过使用从形状计算的特征数量或者从图像获得的特征数量来使用相对简单的判断过程，但是结合例如非专利文献3中描述的统计图像识别技术，其可以使用稍长的处理时间来提供更高的判断性能。 

非专利文献1中所描述的技术的特征在于快速，当与对模式识别过程进行重复的常规技术相比时，这是唯一的不同之处。当将非专利文献1中描述的技术与非专利文献2中描述的仅执行用于确定图像之间的差异的计算的技术相比，后一种执行用于确定差异的计算的技术看起来要求更少的处理量。 

很容易想到，基于人类的身体有头部这一假设，通过判断物体“有没 有头”，可以容易地确定物体是“人”或者“非人”。例如，由于脸是头的一部分，非专利文献3中描述的脸部搜索过程实质上能够判断物体是“人”或者“非人”。 

总体而言，如果头占据了图像相当大的一部分，与判断其是“人”还是“非人”的过程相比，用于判断其是“脸”还是“不是脸”的脸部判断过程具有更高的判断效率。此外，即使隐蔽人类的身体除了脸之外的部分，该脸部判断过程也能够提供精确的判断。如果将其与非专利文献1中所描述的作为预处理的快速检测很可能包含物体的部分区域的技术相结合，很容易期望可以将脸部判断过程加速到一定程度 

专利文献1描述了判断物体是“脸”还是“不是脸”的另一过程。根据专利文献1描述的方法，在激光雷达捕捉到物体的情况下，通过判断包含该物体的区域的图像是否包含了脸，确定该物体是“人”还是“非人”。 

专利文献2公开了使用摄像机拍摄的立体视觉来测量从摄像机到物体的距离的技术，并且基于该测量来缩小图像上潜在脸部的大小，而不是仅缩小搜索脸部的区域。根据该技术，可以减少需要用来搜索脸部的处理量。 

专利文献3描述了以下方法：提取与图像中人的脸相对应的脸部区域，参考摄像机参数来估计脸部区域到重心的底部(floor)的高度，以及根据估计结果提取图像中的轮椅区域。 

引用列表 

专利文献 

专利文献1 

JP2007-187618A 

专利文献2 

JP2007-156939A 

专利文献3 

WO2002/056251(再次公布) 

非专利文献 

非专利文献1 

Paul Viola，Michael Jones，″Rapid object detection using a boosted cascade of simple features″，Proceeding of Computer Vision and Pattern Recognition 2001 

非专利文献2 

Collins，Lipton，Kanade，Fujiyoshi，Duggins，Tsin，Tolliver，Enomoto，and Hasegawa，″A System for Video Surveillance and Monitoring：VSAM Final Report″，Technical report CMU-RI-TR-00-12，Robotics Institute，Carnegie Mellon University，May，2000 

非专利文献3 

Toshinori Hosoi，Eiki Ishidera，″An object classification method based on moving region′s appearance″，FIT2006 Lecture Notes，2006 

发明内容

根据非专利文献1中描述的方法，需要对图像中所有可能包含物体的所有部分区域执行对物体是否是脸的判断，这要求大量的处理，并因此减慢了处理速度。为此，该方法不能使用用于高速处理的低性能和低成本设备。 

如果障碍物隐蔽了包含人的大的区域，通过使用该方法，不一定能获得高的判断效率。因此，难以应用该方法以获得高的判断效率。 

根据非专利文献2中描述的方法，通过使用图像之间的差异可以实现处理量的减少，然而，如果障碍物隐蔽了人的大的区域，不一定能获得高的判断效率。因此，在非专利文献1的方法的情况下，难以将该方法应用于获得高判断效率的目的。 

根据将非专利文献2中描述的判断方法和非专利文献3中描述的统计图像识别技术相结合的技术，使用稍长的处理时间，可以改进判断性能，然而，如果障碍物隐蔽了人的大的区域，则难以执行该判断过程。因此，难以应用该技术来获得高的判断效率。 

专利文献1和专利文献3中描述的方法都仅在包含物体的图像的部 分区域中执行简单搜索脸部的过程，这要求大量的处理，并减慢了处理速度。 

如果障碍物隐蔽了物体的大的区域，不一定能获得高的判断效率。因此，与非专利文献1和2中所描述的相同，其难以应用专利文献1和3中描述的该两种方法，以获得高的判断效率。 

根据专利文献2中描述的技术，需要两个或更多的摄像机，这增加了***的设备成本。 

如果通过使用立体视觉方法来获得的距离的精确测量很低，便难以正确地缩小潜在的脸部的大小，为了获得对距离的精确测量，不得不严格地限制用于布置摄像机的位置和环境，以至于安装计算机的地点将受到限制。 

本发明的目标是提供解决上述问题的判断人的设备、方法和程序，即使障碍物隐蔽了物体的一部分，该设备、方法和程序也能够通过使用少量的处理来精确地判断物体是否是人。 

为了实现上述目标，根据本发明的判断人的设备包括： 

障碍物存储器，存储从基于来自外部摄像机的视频信号的图像提取的对障碍物的区域进行指示的信息，所述障碍物是从所述图像提取的； 

头部范围计算装置，当从所述图像中提取的物体的一部分被所述障碍物所隐蔽时，假定所述物体与所述图像上的参考面接触处的接地点的潜在范围是存储在所述障碍物存储器中的所述障碍物的区域，以及，基于所假定的范围和之前所提供的人的高度与头部的大小和位置之间的相关性，通过假定所述物体离接地点最远的部分是人的头部来计算头部在图像上的潜在范围；以及 

头部检测装置，判断在头部范围计算装置所计算的头部的范围内，是否存在包括与头部相对应的形状的区域。 

根据本发明的判断人的方法是基于来自外部摄像机的视频信号判断图像中出现的物体是否是人的判断人的方法，包括： 

参考障碍物存储器，其存储对障碍物在图像上的区域进行指示的信息； 

当从所述图像中提取的物体的一部分被所述障碍物所隐蔽时，假定 所述物体在图像上的参考面接触处的接地点的潜在区域是存储在所述障碍物存储器中的障碍物的区域； 

基于所假定的范围以及之前提供的人的高度与头部的大小和位置之间的相关性，通过假定物体离接地点最远的部分是人的头部，计算头部在图像上的潜在区域；以及 

判断在所计算的头部的范围中，是否存在包括与头部相对应的形状的区域。 

根据本发明的程序是在计算机中使用的程序，所述程序基于来自外部摄像机的视频信号判断出现在图像中的物体是否是人，所述程序使所述计算机执行以下过程： 

参考障碍物存储器，其存储对障碍物在图像上的区域进行指示的信息； 

当从图像中提取的物体的一部分被所述障碍物所隐蔽时，假定物体在图像上的参考面接触处的接地点的潜在区域是存储在所述障碍物存储器中的障碍物的区域； 

基于所假定的范围以及之前提供的人的高度与头部的大小和位置之间的相关性，通过假定物体离接地点最远的部分是人的头部，计算头部在图像上的潜在区域；以及 

判断在所计算的头部的范围中，是否存在包括与头部相对应的形状的区域。 

附图说明

图1是示出根据本发明的第一示例性实施例的判断人的设备的配置的框图。 

图2是用于描述图1中示出的判断人的设备的整个操作的流程图。 

图3是用于描述图像中物体的接地点和顶点以及接地点的潜在范围的示意图；以及 

图4是示出当从站立在地板上的人的顶点朝着其接地点的方向汇聚于一点的情况下的示意图。 

参考编号的描述 

100数据处理设备 

110隐蔽可能性判断装置 

120接地点范围计算装置 

130位置/大小估计装置 

140人类大小一致性判断装置 

150头部范围计算装置 

160头部检测装置 

170判断人的装置 

200存储设备 

210障碍物存储器 

220摄像机参数存储器 

230头部检测参数存储器 

具体实施方式

现在，将参考附图描述本发明的示例性实施例。 

(第一示例性实施例) 

图1是示出根据本发明的第一示例性实施例的判断人的设备的配置的框图。参考图1，判断人的设备用于在基于从外部摄像机提供的视频信号的图像包含除预设的障碍物之外的物体时，判断物体是否是人，该判断人的设备具有包括数据处理设备100和存储器设备200在内的主要部分。外部摄像机可以是例如监视摄像机。 

存储设备200包括障碍物存储器210、摄像机参数存储器220以及头部检测参数存储器230。 

障碍物存储器210基于从外部摄像机提供的视频信号来存储图像上的预设障碍物(可能隐蔽人或物体的障碍物)的区域。虽然以像素为单位在障碍物存储器210中保存对图像上的障碍物的形状进行表示的信息是优选的，然而，在障碍物存储器210中也可以将与障碍物区域有关的信息保存为矩形区域的组合。该“矩形区域的组合”指的是小的块的组合对障碍物的形状进行表示。 

摄像机参数存储器220存储用于图像坐标***(即，在基于来自外部摄像机的视频信号的图像上的坐标***)与真实世界坐标***(例如，地图上的坐标***)之间的双向变换的参数。提前计算该参数(在操作设备之前)。特别地，在引用文档1‘R.Y.Tsai，″A Versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses″，IEEE Journal of Robotics and Automation，Vol.RA-3，No.4，pp.323-344，1987’中描述的摄像机校准技术用于导出摄像机的内部参数和外部参数，并将所导出的参数存储在摄像机参数存储器220中。内部参数包括与摄像机的焦距等有关的信息。外部参数包括与摄像机的位置、姿态等等有关的信息。 

由于上述摄像机校准技术是众所周知的技术，在此将不进行详细描述。虽然实施例的判断人的设备不包括外部摄像机作为组件，然而，提前计算并存储在摄像机参数存储器220中的对摄像机镜头和所安装的摄像机的环境进行描述的参数使得判断人的设备可以执行图像坐标***中的点与地图上的坐标***中对应的点之间的双向变换。 

头部检测参数存储器230存储用于判断图像是否包含“头部”的参数。该实施例不限制用于判断“头部”是否存在的技术。可以重复执行用于识别“头部”是否存在的过程，以通过使用引用文档2‘Atsushi Sato，″Character Recognition using Generalized Learning Vector Quantization″，Technical Report of the Institute of Electronics，Information and Communication Engineers(IEICE)，PRMU95-219，1996’中描述的统计模式识别技术(例如，“广义学习矢量量化”)来搜索头部。在这种情况下，将被称为“参考矢量”的参数存储在头部检测参数存储器230中。 

根据以上的“广义学习矢量量化”，对属于两个类别“头”和“不是头”中每个类别的一个或多个参考矢量进行准备。计算输入数据和参考矢量之间的距离，以将输入数据分类到最接近的参考矢量所属于的类别中。直观上，参考矢量是包括表示“头”的矢量和表示“不是头”的矢量在内的矢量的集合。 

作为在程序的控制之下工作的计算机***的数据处理设备100包括 隐蔽可能性判断装置110、接地点范围计算装置120、位置/大小估计装置130、人类大小一致性判断装置140、头部范围计算装置150、头部检测装置160和判断人的装置170。 

数据处理设备110从外部摄像机接收视频信号，并基于该视频信号，判断在图像的图像坐标上，物体的区域是否接触到在障碍物存储器210中保存的障碍物的区域(基于物体是“人”还”非人”来判断)。当物体的区域接触到障碍物的区域时，隐蔽可能性判断装置110判断障碍物隐蔽了物体。当物体的区域没有接触到障碍物的区域时，隐蔽可能性判断装置110判断障碍物没有隐蔽物体。 

当显而易见地，即使物体和障碍物在图像上接触，障碍物没有隐蔽物体时(例如在从外部摄像机的视点看，物体站在障碍物之前的情况下)，隐蔽可能性判断装置110判断障碍物没有隐蔽物体。由于障碍物的区域已知，通过检测物体的区域隐蔽障碍物的区域的状态，可以检测到从外部摄像机的视点来看的物体站在障碍物前面的状态。 

可以使用任何方法来作为在图像上提取物体的技术。例如，如专利文献2所述，可以基于特定时间处的图像(背景图像)与的当前图像之间的差异来提取图像上的物体。 

接地点范围计算装置120计算接地点的潜在范围，在该接地点处，物体接触参考面(reference face)，例如，地板等(在此，将此假定为地面)，即，考虑到障碍物，当物体是人时，在图像坐标上与人的脚底相对应的点。接地点范围计算装置120还计算物体离接地点最远的点(部分)的潜在范围，即，考虑到障碍物，当物体是人时，在图像坐标上与头顶(在此称之为“顶点”)相对应的点。 

位置/大小估计装置130根据物体在图像坐标***上的“接地点”和“顶点”的这两个点集合来计算物体在真实世界坐标***上的潜在位置(即，物体在地图坐标***上的位置以及物体的大小)。由于接地点范围计算装置120计算物体的“接地点”和“顶点”两个点集合的潜在范围，位置/大小估计装置130所计算的结果是物体潜在的范围和大小。 

人类大小一致性判断装置140将物体在真实世界坐标***上的大小和人类在统计意义上的潜在大小相比较，以判断物体是否具有人的潜在 大小。由于位置/大小估计装置130所计算的结果是物体的潜在大小的范围，如果物体的潜在大小的范围与人统计意义上的潜在大小的范围相重叠，物体很可能是人。 

在此，假定物体的潜在大小的范围是从由引用文档1中所描述的Tsai的技术所计算的物体的大小(高度)的最小值到最大值，例如，从50cm到130cm。另一方面，假定人(例如，日本人(小学生))在统计意义上的潜在大小的范围是高度从110cm到180cm。从而，因为从110cm到130cm的范围进行了重叠，物体很可能是高度在该范围内的人。 

头部范围计算装置150计算物体区域在图像坐标上的潜在范围，头部在图像坐标上的潜在范围，该头部在图像坐标上的潜在范围是通过假定物体是“人”，基于人类身体和人类头部的位置和大小之间的关系以及人类头部的大小的潜在范围而获得的。 

物体区域在图像坐标上的潜在范围包括位置/大小估计装置130所计算的值，该值是物体的位置和大小与和该物体相邻的障碍物的区域相结合的潜在范围。基于物体区域，由物体的最小高度来计算物体的最大高度。另一方面，人类高度和人类头部大小之间的相关性(头部大小在高度上的比例以及头部和整个身体之间的物理关系)在医学上在特定的范围内。基于此，当已知人的高度时，可以计算头部位置的潜在范围。因此，通过假定物体的高度是人类的高度，可以将头的位置和大小的潜在范围缩小。 

由于头部的位置和大小的范围取决于人的姿态，可根据本发明的目的对人的姿态进行限制。如果将仅观察到人的行走动作或站立姿态的视频用作本实施例的判断人的设备的输入，则可以使用行走的人的整个身体和头部之间的位置和大小的关系以及站立的人的整个身体和头部之间的位置和大小的关系来作为限制。 

头部检测装置160判断图像中的特定区域(头部范围计算装置150所缩小的区域)是否包含“头部”。可以使用用于基于例如图像的亮度信息执行统计模式识别的模式识别技术，以在判断中检测该特定区域中的头部。由于本发明是用于判断物体是“人”还”非人”，可以使用不对头部的位置进行确认的技术。 

在头部检测装置160判断该特定区域(头部范围计算装置150所缩小的区域)不包含“头部”的情况下，判断人的装置170判断该区域中示出的物体是否是人。在做出该判断中，判断可这样进行：通过使用物体的该区域的纵横比来判断物体是否是人，或者通过基于例如图像的亮度信息来使用统计模式识别技术直接判断物体是否是人。 

现在，将要详细描述本实施例的判断人的设备的全部操作。 

在下面的描述中，假设基于来自外部摄像机的视频信号来缩小物体的区域(要被判断为“人”或“非人”的区域)，作为预处理。特别地，可以把将物体的区域指示为图像坐标上的区域的信息输入到隐蔽可能性判断装置110中，或者将从图像提取的与物体的区域有关的信息输入到隐蔽可能性判断装置110中。存在着所缩小的区域事实上不包含物体的可能性。在这种情况下，人类大小一致性判断装置140判断其不是“人”。因此，可以将对该区域有可能包含物体进行指示的信息输入到隐蔽可能性判断装置110，作为指示物体的区域的信息。 

图2是用于描述图1中示出的判断人的设备的整个操作的流程图。 

首先，隐蔽可能性判断装置110判断物体的区域是否接触图像上的障碍物的区域(步骤S110)。从而知道障碍物是否可能隐蔽了物体。 

然后，接地点范围计算装置120计算在物体接触地(接地点)处的接地点的潜在范围，以及物体与图像坐标***上的地相距最远的点(顶点)的潜在范围(S120)。在此，接地点范围计算装置120通过考虑到物体被障碍物所隐蔽来计算该两个点集合的潜在范围。如果在步骤S110中判断物体不接触障碍物(如果存在物体不被障碍物所隐蔽的可能性)，对物体的接地点和顶点进行简单计算。 

根据在步骤S120中计算的物体在图像坐标***上的接地点和顶点的对应范围，位置/大小估计装置130对物体在地图坐标上的位置的潜在范围和物体的大小的潜在范围进行估计(步骤S130)。基于摄像机参数存储器220中保存的值，执行从图像坐标***到真实世界坐标***的范围变换。 

人类大小一致性判断装置140判断在步骤S130中计算的物体在地图坐标上的大小的范围是否在人类大小的适当范围内(步骤S140)。如 果在步骤S130中计算的物体的大小的潜在范围的至少一部分在统计意义上人的大小的潜在范围内，那么该物体很可能是“人”；因此，在步骤S140中判断大小确实一致。另一方面，如果在步骤S130中计算的物体的大小的潜在范围与统计意义上人的大小的潜在范围没有重叠，那么该物体很可能不是“人”；因此，在步骤S140中判断大小不一致。如果判断大小确实一致，操作进行到下一步骤S150。如果判断大小不一致，操作结束。 

如果人类大小一致性判断装置140判断大小确实一致，头部范围计算装置150假定物体是人，并计算人的头部在图像坐标上的位置和大小的潜在范围(步骤S150)。 

参考存储在头部检测参数存储器230中的参数，头部检测装置160判断在步骤S150中计算的头部的位置和大小的潜在范围是否包含“头部”(步骤S160)。例如，可以使用上述统计模式识别技术判断是否存在“头部”。 

如果在步骤S160中判断存在头部，头部检测装置160输出物体是“人”的判断，然后结束操作。另一方面，如果在步骤S160中判断不存在“头部”(或者如果不能成功检测到头部)，判断人的装置170执行判断人的过程(步骤S170)。可以将用于判断物体是否是人的任何过程应用于该判断人的过程。例如，判断可这样进行：通过使用物体的该区域的纵横比来判断物体是否是人，或者通过基于例如图像的亮度信息来使用统计模式识别技术直接判断物体是否是人。 

根据上述实施例的判断人的设备，通过考虑到物体被障碍物所隐蔽的区域，计算物体在图像坐标***上的位置和大小的范围，将计算出的范围变换为地图坐标上的范围，并基于地图坐标上的范围，判断物体是否是人。由于仅在存在物体是人的可能性的情况下才执行用于确定是否存在“头部”的判断过程，可以减少处理量。 

通过考虑到物体被障碍物所隐蔽的区域，缩小了物体在图像坐标***上的位置和大小的范围，并且在该缩小的范围上执行用于确定是否存在“头部”的判断过程。这减少了处理量，并且可以高性能地判断是否存在“头部”。以这种方式，即使隐蔽了除头部之外的其他部分，实施例也可以低处理量和高性能地判断物体是“人”还是“非人”。

实施例 

现在，将以特定的环境来详细描述图1中示出的判断人的设备。 

在图像坐标***的向上方向是真实世界坐标***上的高度方向的情况下(即，在人站立在地板上的情况下)，将以头部出现在向上的方向上，脚出现在图像向下的方向上的情况来描述本实施例。 

将很可能屏蔽物体的障碍物假定为仅为例如桌子或放在地板上的盒型或板型的物体。根据该情况，存在着人的接地点和顶点都被障碍物所屏蔽的情况以及仅接地点被障碍物所屏蔽的情况。如果接地点和顶点都被屏蔽，原则上不能检测到图像上的物体的区域。因此事实上，接地点是应该被考虑到的唯一被屏蔽的部分。 

现在，将详细描述判断从图像检测到的物体是否是人的操作。 

输入到隐蔽可能性判断装置110的数据包括来自外部摄像机的图像数据和对物体的区域进行指示的直角坐标值。障碍物存储器210提前存储将图像上障碍物的区域表示为小的矩形集合的信息。当将关于障碍物的信息存储在障碍物存储器210中时，手动存储从外部摄像机获得的图像数据。如果用于捕捉图像的摄像机是固定的，可以使用所存储的障碍物信息作为也用于在另一时间捕捉的图像。在将障碍物的区域表示为小的矩形的集合的情况下的输入工作量要比在以像素为单位输入与障碍物区域有关的信息的情况下的输入工作量更小。 

将用于摄像机图像坐标***和真实世界坐标***之间的双向转换的参数存储在摄像机参数存储器220中。通过使用在上述引用文档1中描述的摄像机校准技术来提前计算该参数。 

下面将简要地描述摄像机校准技术的特定应用。 

摄像机镜头的恒定值(例如，焦距)已知。图像上的坐标值实际上由摄像机捕捉，并且关于真实世界坐标的参考面上的三点或更多点(例如，地)来手动计算真实世界地图上对应的坐标值(地图坐标)。然后，通过将这些值应用到上述引用文档1中描述的公式来计算摄像机参数。 

作为头部检测装置160判断是否存在“头部”的技术，在从要处理的区域剪切出的任何部分区域上，执行在上述引用文档2中所描述的“广义学习矢量量化”的对是“头部”还是“不是头部”的判断过程。为此，将“广义学习矢量量化”所学到的参考矢量计算为用于判断图像的部分区域是“头部”还是“不是头部”的参数，并提前将其存储在头部检测参数存储器230中。 

现在，下面将参考图1和图2详细描述判断人的操作。 

首先，执行对应于图2中步骤S110的操作。在步骤S110中，判断障碍物区域是否接触物体区域的矩形区域，以判断是否存在物体被隐蔽的可能性。 

在该实施例中，将图像坐标***的向上方向调节为真实世界坐标***的高度方向，并且将障碍物调节为仅屏蔽物体的两个点集合(如上所述，“接地点”和“顶点”)中的接地点。此外，在下一阶段的步骤S120中，不需要除了该两个点集合(例如与图像上物体的下端相对应的“物体的接地点”和与图像上物体的上端相对应的“顶点”)之外的点。因此，可以简化步骤S110中的过程。 

特别地，在步骤S110中，仅必须判断障碍物区域(矩形)的上端是否接触物体区域(矩形)的下端。当将对障碍物区域进行指示的各个小的矩形的上端与物体区域(矩形)的下端的坐标值相比时，以及如果物体的下端的坐标值接触图像上各个小的矩形的上端，障碍物很可能隐蔽了物体的一部分。 

然后，执行对应于图2中步骤S120的操作。 

如果在步骤S110中判断障碍物没有隐蔽物体，将物体下端的点判定为接地点，将物体上端的点判定为顶点。在图3示出的示例中，在步骤S110中将图像上的两个物体中在右边示出的物体判断为没有被障碍物所隐蔽。因此，针对该右手边的物体，将下端的点P1判定为接地点，将上端的点P2判定为顶点。 

另一方面，如果在步骤S110中判断障碍物隐蔽了物体，则存在物体的接地点在障碍物区域的上端和下端之间的可能性。因此，将障碍物区域的上端和下端之间的范围(图3中表示为H)估计为物体的接地点的潜在范围。将物体的上端的点估计为离地的最远点(顶点)。这些离地的 最远点与当在步骤S110中判断物体未被隐蔽时判定为顶点的点相同。 

然后，执行对应于图2中步骤S130的操作。 

如果在步骤S120中判断接地点和顶点各自都被判定为一个点，通过将图像坐标上的接地点变换为真实世界坐标上的点，获得物体在真实世界中的位置，即物体在地图坐标上的位置。同样地，针对物体的顶点，将这些点从图像坐标变换为地图坐标，并基于已变换的物体的顶点以及物体在地图坐标上的位置，获得物体的大小。 

可以使用上述引用文档1中所描述的计算技术作为使用上述坐标变换的计算技术。更具体地，可以使用在引用文档3中描述的用于获得物体在真实世界坐标中的高度的计算技术(Yuzo Ogawa，Hironobu Fujiyoshi，″Visual Tracking System by Master-Slaving″，The ninth Symposium on Sensing via Image Information，2003)作为计算技术(参见公式(8)和(9))。 

另一方面，如果接地点不是作为一点而是作为步骤S120中的潜在范围而获得，也需要将物体在地图坐标上与接地点相对应的位置来作为范围获得。使用以下示出的近似计算来计算范围。 

首先，分别计算物体的接地点的潜在范围中最上面的端点(即，被变换为地图坐标的接触障碍物的点(点A))，以及物体的接地点的潜在范围中最下面的端点(即，被变换为地图坐标的障碍物的下端的点(点B))。可以将点A和点B之间的范围估计为物体在地图坐标上的潜在范围。还需要计算物体在真实世界中的大小，虽然可以将该计算替换为对物体的大小的范围的估计，将通过假定物体的接地点是点A而计算出的物体大小与通过假定物体的接地点是点B而计算出的物体大小之间的范围作为估计出的范围。 

然后，执行对应于图2中步骤S140的操作。 

判断在步骤S130中计算的物体的实际大小的范围是否与人类的大小的潜在范围相重叠。具体地，可以将人类的身体的统计意义上的潜在高度的最大值和最小值判定为人的潜在范围。在本发明的实际应用中，如果可以将出现在图像中的人限定为日本籍的成人，则可以使用该类别的统计值。理所当然地，可以替代使用高度实际上的最大值和最小值，使用实际上基于高度的统计分布可以忽略的最大值和最小值。 

如果在步骤S140中判断物体很可能不是人类，将物体判断为“非人”，并结束操作。 

然后，执行与图2中的步骤S150相对应的操作，并估计头部在图像坐标上的潜在范围和头部大小的范围。通过将步骤S140中计算的物体的高度假定为人的高度，计算人的头部的潜在位置和头部大小的范围。特别地，如果将图像中的人限定为行走或站立的人，可以根据头部大小在人的高度中的分布来计算头部大小的范围。可以估计，头部在从顶点开始的头部大小范围内。 

然后，执行对应于图2中步骤S160的操作。 

针对步骤S150中估计的头部的潜在范围和头部大小的潜在范围来限制性地判断是否存在“头部”。执行通过使用“广义学习矢量量化”(一种统计模式识别方法)来判断是“头部”还是“不是头部”的过程，作为对可以从要处理的区域提取的各种部分区域的判断技术。针对是否存在“头部”，要判断的范围越窄，防止处理时间增加的潜力越大。 

如果在步骤S160的操作中判断存在“头部”，则判断物体是“人”，并结束操作。 

然后，执行对应于图2中步骤S170的操作。 

可以将用于判断物体是否是人的任何过程分配给步骤S170，并且在本实施例中，对判断进行分配，该判断使用了要被判断的物体的区域的纵横比。由于如果物体是行走或站立的人，其图像上的物体范围垂直地看起来很长，则判断物体是“人”，并结束操作。否则，判断物体”非人”，并结束操作。 

理所当然，如果在实践中用于判断物体是人的直到步骤S160的过程足够有效，便可以省略步骤S170。 

现在，将描述实施例的优势。 

由于实施例缩小了对是否存在“头部”进行判断的过程的范围，同时考虑到障碍物隐蔽物体的可能性，可以在不执行任何浪费的计算的情况下精确地判断是否存在“头部”。相应地，即使隐蔽了除头部以外的部分，实施例也可以使用少量的处理来精确地执行对象是“人”还是”非人”的判断过程。 

虽然在本实施例中将在真实世界坐标***中的高度方向调节为图像坐标***上向上的方向，然而，可以将该高度方向调节为除向上方向外的其他方向。在后者的情况下，可以将所输入的图像旋转该其他方向所产生的角度到向上的方向。通过将要输入的图像旋转到图像坐标***上向上的方向，本发明可以提供与以上判断障碍物是否隐蔽了物体的过程相同的优势。亦即，可以将物体和障碍物之间的隐蔽-被隐蔽的关系应用到在输入之前进行了旋转的图像，或者通过将图像坐标***的轴从物体的顶点调节到接地点来应用到图像。 

由于位置/大小估计装置130所使用的公式考虑到该旋转，该公式本身也是可用的。 

真实世界坐标***中的高度方向或者与高度方向相反的方向可以指向图像中的特定顶点，而不是指向图像坐标***中恒定的方向。更特别地，从站立在地板上的人的顶点到接地点的方向可以分别指向如图4所示的特定顶点。当摄像机几乎对准地面时可以观察到这种情况。在该情况下，物体的顶点方向和接地点方向根据物体在图像上的位置而改变。在这种情况下，可以将物体和障碍物之间的隐蔽-被隐蔽关系应用到通过假定物体的下端的方向和障碍物的下端的方向都指向图像上的点来进行的判断。 

如果图像由于镜头而极大地失真了，物体在图像中的高度方向便不是简单地指向点，在这种情况下，可以将物体在整个图像中向着与物体的位置相对应的上端和下端的方向与图像分开存储在存储器中，以使得可以根据方向来切换过程。 

可以对从外部摄像机提供的视频信号的每帧来执行图2中示出的一系列过程。备选地，可以对从在图像上提取的物体的每帧来执行图2中示出的一系列过程。 

根据本发明，即使物体被某个东西隐蔽到一定的程度，也可以使用少量的处理和低成本的装置来判断摄像机所捕捉到的移动图像或静止图像中包含的物体是“人”还是“非人”。对于该优势，可以针对诸如对房间中的人员进行监视的目的来应用本发明，在房间中，有很多障碍物，例如桌子和架子。 

虽然已经参考实施例描述了本发明，本发明不限于上述的实施例和示例。在不背离本发明的精神的情况下，可以对本发明的配置和操作进行本领域技术人员可以理解的各种修改。 

例如，在图1中示出的配置中，可以将装置部分集成在一起，以简化配置。例如，判断人的设备可以包括：障碍物存储器，存储基于来自外部摄像机的视频信号对图像上的障碍物的区域进行指示的信息，障碍物是从图像提取的；头部范围计算装置，当从图像提取的物体的一部分被障碍物所隐蔽时，假定物体与图像上的参考面接触处的接地点的潜在范围是在障碍物存储器中存储的障碍物的区域，以及，基于所假定的范围和之前所提供的人的高度与头部的大小和位置之间的相关性，通过假定物体离接地点最远的部分是人的头部来计算头部在图像上的潜在范围；以及头部检测装置，判断在头部范围计算装置所计算的头部的范围内，是否存在具有与头部相对应的形状的区域。 

根据上述配置，考虑到障碍物隐蔽物体的范围来估计物体的范围，将头部的潜在范围缩小到假定的范围内。因此，该设备可以减少头部的判断过程中的处理量，并将处理速度加速了所缩小的范围的量。 

由于设备不需要使用多个摄像机，其可以避免更高成本的问题和要求安装摄像机的环境所导致的限制。 

判断人的设备还可以包括：摄像机参数存储器，保存能够执行图像坐标上的点与真实世界坐标上的点之间的坐标变换的参数；位置/大小估计装置，参考摄像机参数存储器中保存的参数，将物体在图像坐标上的位置和大小的潜在范围变换为真实世界坐标上的位置和大小的范围，所述物体在图像坐标上的位置和大小的潜在范围由所假定的接地点的范围和该部分离参考面的高度所判定；以及人类大小一致性判断装置，基于人类大小和头的大小在真实世界坐标上的统计分布，判断由位置/大小估计装置所变换的物体在真实世界坐标上的位置和大小的范围是否是潜在的人类范围，其中，当所述人类大小一致性判断装置判断所述物体的位置和大小的范围是潜在的人类范围时，头部范围计算装置可以计算物体的范围中存在的头部的潜在范围。 

判断人的设备还可以包括：隐蔽可能性判断装置，判断物体的区域 在垂直于图像坐标上的参考面的方向上是否接触障碍物的区域的上端，以及如果所述区域接触所述上端，判断所述障碍物隐蔽了所述物体的一部分，其中，将障碍物在图像上的区域定义为矩形形状的区域。 

判断人的设备还可以包括：接地点范围计算装置，如果隐蔽可能性判断装置判断障碍物隐蔽了物体的一部分，假定在垂直于图像坐标上的参考面的方向上，从所述障碍物的区域的下端到上端的范围是接地点的范围，其中，所述头部范围计算装置可以基于接地点范围计算装置所假定的范围来计算头部的范围。 

此外，判断人的设备还可以包括：判断人的装置，如果所述头部检测装置没有检测到与头部相对应的形状，判断物体的区域的形状是否满足预定的对人在图像坐标上的形状进行指示的条件，以及如果满足所述条件，判断物体是人。 

在图1示出的配置中，可以使用个人计算机来作为处理设备100，可以使用半导体存储器作为存储设备200。在该情况下，可以将障碍物存储器210、摄像机参数存储器220和头部检测参数存储器230视为半导体存储器的一部分。可以由执行判断人的程序的个人计算机的CPU来提供隐蔽可能性存储装置110、接地点范围计算装置120、位置/大小估计装置130、人类大小一致性判断装置140、头部范围计算装置150、头部检测装置160和判断人的装置170。判断人的程序被用于使CPU执行图2中示出的一系列过程。 

上述实施例将物体在图像坐标上的位置和大小的潜在范围变换为在地图坐标上的范围，并基于在真实世界坐标上人类身体的大小和头的大小的统计分布，判断所变换的范围是否是人的潜在范围。备选地，可以将基于统计分布的在地图坐标上人类身体的大小和头的大小的范围变换为图像坐标上的范围，以使得可以基于所变换的范围判断所估计的物体在图像坐标上的大小是人的潜在范围。 

可以将本发明应用到监视摄像机的整个领域。 

本申请要求基于JP2008-325447的优先权(于2008年12月22日提交)，将此整体并入本文。 

Claims (6)

1.一种判断人的设备，包括：

障碍物存储器，存储从基于来自外部摄像机的视频信号的图像提取的对障碍物的区域进行指示的信息，所述障碍物是从所述图像提取的；

头部范围计算单元，当从所述图像提取的物体的一部分被所述障碍物所隐蔽时，假定所述物体与所述图像上的参考面接触处的接地点的潜在范围是存储在所述障碍物存储器中的所述障碍物的区域，以及，基于所假定的范围和之前所提供的人的高度与头部的大小和位置之间的相关性，通过假定所述物体离接地点最远的部分是人的头部来计算头部在图像上的潜在范围；以及

头部检测单元，判断在所述头部范围计算单元所计算的头部的范围内，是否存在包括与头部相对应的形状的区域。

2.根据权利要求1所述的判断人的设备，还包括：

摄像机参数存储器，保存能够执行在图像坐标上的点与真实世界坐标上的点之间的坐标变换的参数；

位置／大小估计单元，参考所述摄像机参数存储器中保存的参数，将物体在图像坐标上的位置和大小的潜在范围变换为真实世界坐标上的位置和大小的范围，所述物体在图像坐标上的位置和大小的潜在范围由所假定的接地点的范围和该部分离参考面的高度所判定；以及

人类大小一致性判断单元，基于人类大小和头的大小在真实世界坐标上的统计分布，判断由所述位置／大小估计单元所变换的物体在真实世界坐标上的位置和大小的范围是否是潜在的人类范围，其中

头部范围计算单元，当所述人类大小一致性判断单元判断所述物体的位置和大小的范围是潜在的人类范围时，计算在物体的范围中存在的头部的潜在范围。

3.根据权利要求1所述的判断人的设备，还包括：

隐蔽可能性判断单元，判断物体的区域在垂直于图像坐标上的参考面的方向上是否接触障碍物的区域的上端，以及如果所述区域接触所述上端，则判断所述障碍物隐蔽了所述物体的一部分，其中

将障碍物在图像上的区域定义为矩形形状的区域。

4.根据权利要求3所述的判断人的设备，还包括：

接地点范围计算单元，如果所述隐蔽可能性判断单元判断障碍物隐蔽了物体的一部分，假定在垂直于图像坐标上的参考面的方向上，从所述障碍物的区域的下端到上端的范围是接地点的范围，其中

所述头部范围计算单元基于所述接地点范围计算单元所假定的范围来计算头部的范围。

5.根据权利要求1所述的判断人的设备，还包括：

判断人的单元，如果所述头部检测单元没有检测到与头部相对应的形状，判断物体的区域的形状是否满足预定的对人在图像坐标上的形状进行指示的条件，以及如果满足所述条件，判断物体是人。

6.一种判断人的方法，用于基于来自外部摄像机的视频信号，判断出现在图像中的物体是否是人，所述方法包括：

参考障碍物存储器，所述障碍物存储器存储对障碍物在图像上的区域进行指示的信息；

当从图像提取的物体的一部分被所述障碍物所隐蔽时，假定物体与图像上的参考面接触处的接地点的潜在范围是存储在所述障碍物存储器中的障碍物的区域；

基于所假定的范围以及之前提供的人的高度与头部的大小和位置之间的相关性，通过假定物体离接地点最远的部分是人的头部，计算头部在图像上的潜在范围；以及

判断在所计算的头部的范围中，是否存在包括与头部相对应的形状的区域。

Images