CN101558415B - 行人检测装置和行人检测方法 - Google Patents

Abstract

应用行人检测装置的近红外夜视装置(1)包括近红外投射器(10)、近红外照相机(12)、显示器(14)和ECU(20)。通过执行程序，ECU(20)构成行人候选提取部(21)和判断部(22)。行人候选提取部(21)从近红外图像中提取行人候选区域。判断部(22)将行人候选提取部(21)提取的行人候选的尺寸和亮度标准化，然后计算标准化后的行人候选之间的相似程度。判断部(22)判断具有两个或更多个与其相似程度大于或等于预定值的其它行人候选的行人候选不是行人。

Description

行人检测装置和行人检测方法

技术领域

本发明涉及行人检测装置和行人检测方法。

背景技术

近年来，用于拍摄并显示车辆前方区域的近红外图像、从所拍摄的图像中检测行人、并呈现叠加在所述近红外图像上的检测结果的车辆夜视装置已经投入到实际应用中。作为在这种夜视装置中使用的行人检测技术，日本专利申请公开No.2005-352974(JP-A-2005-352974)描述了一种搜索检测对象中与该检测对象中的预定部位形状相同的部位是否连续存在的技术。如果在该检测对象中连续存在与所述预定部位形状相同的部位，则该技术判断该对象是人造物，排除该对象，并继续从剩余的检测对象中识别行人。

另一方面，在实际的道路环境中，相对频繁地出现例如护栏柱、电线杆等多个人造物并排存在的情况。在提取这样的多个人造物作为检测对象，即行人候选的情况下，在前述技术中需要关于每个行人候选搜索是否连续存在与预定部位形状相同的部位。为了关于所有行人候选判断行人候选是否为行人，该技术不可避免地需要长的处理时间，这是一个问题。因此，在如高速行驶的车辆中使用的***的需要处理的实时特性的***中尤其需要用于判断行人候选是否为行人的较快处理(较快的行人检测处理)。

发明内容

本发明提供一种行人检测装置，该行人检测装置能够在提取多个行人候选的情况下快速地执行关于每个行人候选判断行人候选是否为行人的处理。

根据本发明一方面的行人检测装置包括：行人候选提取装置，用于从拍摄的图像中提取行人候选；以及判断装置，用于如果所述行人候选提取装置提取了多个行人候选，则求出行人候选之间的相似程度，并将与另外的行人候选的相似程度大于或等于预定值的行人候选判断为不是行人，其中所述行人候选提取装置将所提取的行人候选的尺寸和/或亮度标准化，并且所述判断装置求出尺寸和/或亮度被行人候选提取装置标准化后的行人候选之间的相似程度。

例如，如护栏柱、电线杆等人造物关于每一类人造物具有基本相同的形状。另一方面，行人在服装和姿态等方面随个体而不同，并且几乎不可能将服装和姿态相同的行人同时拍摄为图像。利用该特征，如果行人候选提取装置提取了多个行人候选，则根据本发明该方面的行人检测装置求出行人候选之间的相似程度，然后该行人检测装置判断出与另外的行人候选的相似程度大于或等于预定值的行人候选不是行人而是人造物。因此，按照根据本发明该方面的行人检测装置，仅通过进行关于行人候选之间相似程度的判断就可以将彼此相似的行人候选排除为不是行人。结果，即使在提取了多个行人候选的情况下，也有可能关于所有行人候选快速地执行判断行人候选是否为行人的处理。

在根据本发明该方面的行人检测装置中，判断装置可以判断出具有两个或更多个与其相似程度大于或等于预定值的其它行人候选的行人候选不是行人。

在这种情况下，为了将行人候选判断为不是行人，需要至少有两个相似的行人候选。因此，有可能更准确地判断行人候选是否为行人。

在根据本发明该方面的行人检测装置中，所述行人候选提取装置可以将所提取的行人候选的尺寸和/或亮度标准化，并且所述判断装置可以求出由所述行人候选提取装置将尺寸和/或亮度标准化后的行人候选之间的相似程度。

从所拍摄的图像中提取的行人候选在尺寸和亮度上根据与图像拍摄装置的距离、车灯的照射情况等而变化。按照根据本发明该方面的行人检测装置，由于在求出行人候选之间的相似程度之前所提取的行人候选的尺寸和亮度被标准化，所以有可能提高相似程度的计算准确度。

根据本发明第二方面的行人检测方法包括：

从拍摄的图像中提取行人候选；以及

当通过所述行人候选提取的提取而提取了多个行人候选时，求出行人候选之间的相似程度，并将与另外的行人候选的相似程度大于或等于预定值的行人候选判断为不是行人，其中从拍摄的图像中提取行人候选包括将提取的所述行人候选的尺寸和/或亮度标准化，并且求出所述行人候选之间的相似程度包括求出尺寸和/或亮度被标准化后的行人候选之间的相似程度。

按照根据本发明第二方面的行人检测方法，仅通过进行关于行人候选之间相似程度的判断就可以将彼此相似的行人候选同时排除为不是行人。结果，即使在提取了多个行人候选的情况下，也有可能快速地执行关于所有行人候选判断行人候选是否为行人的处理。

根据本发明，由于判断与另外的行人候选相似的行人候选不是行人，所以有可能在提取了多个行人候选的情况下，快速地执行关于每个行人候选判断行人候选是否为行人的处理。

附图说明

从以下参照附图对典型实施例的描述，本发明的上述及其它特征和优点将是明显的，在附图中使用相同的附图标记来表示相同的元件，并且在附图中：

图1是示出应用根据一实施例的行人检测装置的近红外夜视装置的结构的图；

图2是示出应用根据该实施例的行人检测装置的近红外夜视装置的各种器具的设置的图；

图3是描述行人候选的提取方法的图；

图4是示出护栏柱被误认为是行人候选并因而被提取的例子的图；

图5是示出图4中所示的行人候选(护栏柱)的尺寸和亮度被标准化之前和之后的图像的图；

图6是示出由根据该实施例的行人检测装置进行的行人检测处理的处理过程的流程图；

图7是示出图5中所示的标准化后的行人候选之间的相似程度的例子的表；

图8是示出关于候选是否为行人的判断结果的例子的表；以及

图9是描述设定行人判断阈值的方法的图。

具体实施方式

下面参照附图描述本发明的优选实施例。在附图中，将相同的附图标记用于相同或相应的部分。首先，参照图1和图2描述根据本发明的实施例的行人检测装置的结构。另外，结合将根据本发明的行人检测装置应用于近红外夜视装置1的例子进行以下描述。图1是示出应用该行人检测装置的近红外夜视装置1的结构的图。图2是示出近红外夜视装置1的各种器具的设置的图。

近红外夜视装置1是显示由近红外照相机拍摄的车辆前方区域的近红外图像并从所拍摄的图像中检测行人，并将检测结果叠加在该近红外图像上而显示，以帮助驾驶员在夜间驾驶的装置。近红外夜视装置1包括近红外投射器10、近红外照相机12、显示器14和电子控制装置(electronic control device，以下称为“ECU”)20。

近红外投射器10被布置在车辆的前端，并且被安装成相对于车辆朝向前方。近红外投射器10从车辆向前方投射近红外辐射。来自近红外投射器10的近红外辐射的照射范围被设定为例如在车头灯的短焦距光照射范围的前面几十米。当近红外夜视装置1启动时，启动近红外投射器10，并且当停止近红外夜视装置1时，关闭近红外投射器10。

近红外照相机12布置在车辆的前侧(例如，在后视镜的后侧上)，并且被安装成相对于车辆朝向前方。近红外照相机12接收近红外辐射(来自近红外投射器10的近红外辐射的反射等)，并生成对应于近红外辐射的强度的光和影的近红外视频图。该近红外视频图由每隔固定时间(例如，1/30秒)产生的近红外图像的帧组成。近红外照相机12每隔固定的时间将一帧近红外图像信息作为图像信号发送到ECU 20。

显示器14将近红外图像和关于从近红外图像中检测到的行人的信息呈现给驾驶人员。例如，可以使用液晶显示器或平视显示器等。显示器14从ECU 20接收显示信号，并显示由该显示信号代表的图像。行人信息的显示图像的例子包括用围绕的矩形框强调在所拍摄的近红外图像中检测到的行人的图像。

ECU 20由CPU(中央处理单元)、ROM(只读存储器)、RAM(随机存取存储器)等组成。通过执行存储在ROM中的程序，ECU 20构成行人候选提取部21和判断部22。ECU 20每隔固定的时间接收来自近红外照相机12的图像信号，以从近红外图像中检测行人。然后，ECU 20将行人检测结果显示在显示器14上。顺便提及，在本实施例中，行人候选提取部21可以被看作是本发明中的行人候选提取装置，并且判断部22可以被看作是本发明中的判断装置。

行人候选提取部21从近红外图像中提取行人候选区域。用于该提取的方法不受特别限制，而是可以应用各种方法。提取方法的例子包括准备行人的模板并将该模板用于模式匹配的方法。具体来说，如图3中所示，从近红外图像顺序切出预定尺寸的矩形区域，并求出每个切出的矩形区域图像与模板图像的匹配程度。如果匹配程度大于或等于阈值，则将该矩形区域确定为行人候选区域。将如此提取的行人候选区域(在下文中称为“行人候选”)输出到判断部22。

在此需要指出，在通过使用行人模板的模式匹配中，有可能提取行人的同时将道路上或沿着道路设置的护栏柱、电线杆等错误地提取为行人候选。图4示出了将护栏柱错误地提取为行人候选的例子。

判断部22将行人候选提取部21提取的行人候选的尺寸和亮度标准化(normalize)，然后计算标准化后的行人候选之间的相似程度，并基于该相似程度辨别候选是行人还是人造物。以这种方式，判断部22检测行人。

下面描述行人候选的尺寸和亮度的标准化。近红外照相机12和行人候选之间的距离越大，由近红外照相机12拍摄的图像中的行人候选的尺寸越小，并且其亮度也越低。因此，通过调节行人候选的尺寸和亮度的差异来标准化行人候选的尺寸和亮度，从而提高在随后的处理中进行的相似程度计算的准确性。可以根据近红外照相机12和行人候选之间的距离进行尺寸的标准化。此外，例如通过将亮度分布扩展到可以由近红外照相机12表达的零到最大范围(0-255)，或者通过将亮度分布除以方差来进行亮度的标准化，从而获得正态分布。在此，图5中示出了图4中错误地提取的行人候选(护栏柱)的尺寸和亮度被标准化之前和之后的图像。

接下来，描述基于行人候选之间的相似程度来辨别行人候选是行人还是人造物的方法。例如，如护栏柱、电线杆的人造物关于每一类人造物基本上具有相同的形状。另一方面，行人在服装、姿态等上随个体而不同，并且服装和姿态相同的行人几乎不可能被同时拍摄成图像。利用这种特性，判断部22通过基于各个像素的亮度差计算行人候选之间的欧式距离(亮度差的平方和的平方根)来获取标准化后的行人候选之间的相似程度。如果存在两个或更多个相似的行人候选，则判断部22判断出该行人候选不是行人，换句话说，是人造物。将该判断结果作为显示信号发送到显示器14。

接下来，参照图6，解释应用于近红外夜视装置1的行人检测装置的操作。图6是示出由该行人检测装置进行的行人检测处理的处理过程的流程图。在从近红外夜视装置1的电源的接通到断开的时间段期间在预定的定时重复执行由ECU 20进行的行人检测。

当启动近红外夜视装置1时，近红外投射器10向车辆前方投射近红外辐射。近红外照相机12通过近红外辐射拍摄车辆前方区域的图像，并每固定的时间将包含拍摄的帧的图像信息的图像信号发送到ECU 20。ECU 20每固定的时间接收来自近红外照相机12的图像信号，并获取所拍摄的图像。

然后在步骤S100中，通过使用模板进行模式匹配，来从所拍摄的图像中提取行人候选。随后在步骤S102中，将每个行人候选的尺寸和亮度标准化。顺便提及，行人候选的提取方法和标准化方法完全如上所述，并在此省略其说明。

随后在步骤S104中，关于标准化后的行人候选的所有组合，基于各个像素的亮度差，计算欧式距离(亮度差的平方和的平方根)。以这种方式，求出行人候选之间的相似程度。在这种情况下，行人候选之间的欧式距离越小，相似程度被判断为越大。图7中示出了图5中所示的标准化后的行人候选之间的相似程度的计算结果的例子。顺便提及，图7的表中所示的每一个数值都是欧式距离，即行人候选之间亮度差的平方和的平方根。在图7中所示的例子中，行人候选1至4是被错误地提取为行人候选的护栏柱，因此在形状和亮度上彼此非常类似；结果，行人候选之间的相似程度高，并且欧式距离在值上相对地小。

接下来，在步骤S106中，关于每个行人候选，对欧式距离小于预定值800的，即相似程度相对高的其它行人候选的数量进行计数。图8中示出图7中所示的上述例子中的计数结果。如图8中所示，对于行人候选1，与行人候选2的欧式距离是300，与行人候选3的欧式距离是343，与行人候选4的欧式距离是679；因此，欧式距离小于800的行人候选的数量(在下文中，称为“相似候选的数量”)被计数为3。同样，对于行人候选2到4，相似候选的数量也被计数为3。

随后在步骤S108中，关于每个行人候选判断相似程度是否为高，也就是说，欧式距离小于800的其它行人候选的数量是否大于1(2或更多)。如果相似候选的数量小于或等于1(小于2)，则在步骤S110中判断出该行人候选是行人。之后，暂时退出该处理。另一方面，如果相似候选的数量大于1，则在步骤S112中判断出该行人候选不是行人而是人造物，并拒绝该行人候选。之后，暂时退出该处理。

顺便提及，由于关于上述行人候选1至4中的每一个，相似候选的数量是3，大于1，因此如图8中的表的右端的列中所示，它们中的每一个都被判断为不是行人而是人造物。在行人候选4不是护栏柱而是行人的提取结果并且其与其它行人候选1至3的欧式距离每一个都大于或等于800的情况下，相似候选的数量将小于或等于1，并且行人候选4将被判断为行人。

参照图9，描述用于判断行人候选是行人还是非行人(人造物)的行人判断阈值(相似程度和相似候选数量)的设定方法。图9是用于描述行人判断阈值的设定方法的图。在图9中，水平轴代表相似程度(欧式距离)，垂直轴代表相似候选的数量。行人判断阈值按如下来设定。即，从预先准备的多个样品图像创建相似程度-相似候选数量分布的图(图9)，并基于该相似程度-相似候选数量分布设定行人判断阈值，从而将行人(见图9中的空心白色正方形)与非行人(见图9中的实心黑色菱形)分离。在该实施例中，相似程度(欧式距离)的阈值被设定为800，相似候选的数量的阈值被设定为2或更大(大于1)。通过这种方式的设定，没有行人包含在其中行人候选被判断为非行人(人造物)的区域中，如相似程度(欧式距离)小于800并且相似候选的数量大于1，即图9中的左上区域；因此，行人和非行人(人造物)被精确地分开，并相互区别。

根据上述控制方式，仅通过判断行人候选之间的相似程度就可以判断行人候选是行人还是人造物。因此，即使在提取了多个行人候选的情况下，也可以快速地执行关于所有行人候选判断行人候选是否为行人的处理。

此外，根据该控制方式，为了判断出行人候选不是行人，必须存在至少两个相似的行人候选。因此，有可能准确地判断出行人候选是否为行人。

此外，根据该控制方式，在求出行人候选之间的相似程度之前将所提取的行人候选的尺寸和亮度标准化。因此，有可能提高相似程度的计算准确度。

在相关技术的行人判断方法中，关于行人候选的特征进行判断，因此难以将行人与类似于行人的对象相区分。因此，相关技术的行人判断方法发现难以减少错误的检测。然而，在本实施例中，可以在不进行关于行人候选特征的判断的情况下区分行人候选是否为行人。因此，有可能减少错误的行人检测。

尽管以上描述了本发明的实施例，但是本发明不局限于上述实施例，而是可以用各种其它方式进行修改。例如，尽管在上述实施例中，本发明应用于基于由近红外照相机拍摄的近红外图像的行人检测，但是本发明还可以应用于基于由近红外照相机以外的不可见光照相机拍摄的不可见光图像或者由可见光照相机拍摄的可见光图像的行人检测。

尽管在上述实施例中，本发明应用于安装在车辆中的近红外夜视装置，但是本发明不局限于安装在车辆上的装置，而是还可以应用于各种其它用途。

而且，用于区分行人与非行人(人造物)的行人判断阈值(相似程度和相似候选的数量)不受上述实施例的限制。例如，可以通过比较亮度的直方图来判断行人候选之间的相似程度。

Claims (5)

1.一种行人检测装置，其特征在于该行人检测装置包括：

行人候选提取装置(21)，用于从拍摄的图像中提取行人候选；以及

判断装置(22)，用于在所述行人候选提取装置提取了多个行人候选的情况下，求出所述行人候选之间的相似程度，并将与另外的行人候选的相似程度大于或等于预定值的行人候选判断为不是行人，其中

所述行人候选提取装置将所提取的行人候选的尺寸和/或亮度标准化，并且

所述判断装置求出尺寸和/或亮度被所述行人候选提取装置标准化后的行人候选之间的相似程度。

2.根据权利要求1所述的行人检测装置，其中

所述判断装置(22)判断如下行人候选不是行人：有两个或更多个其他的行人候选与该行人候选的相似程度大于或等于所述预定值。

3.根据权利要求1或2所述的行人检测装置，其中

所述判断装置(22)通过基于尺寸和/或亮度被标准化后的行人候选之间各个像素的亮度差，使用欧式距离求出行人候选之间的相似程度。

4.根据权利要求1或2所述的行人检测装置，其中

所述判断装置(22)通过使用行人候选的像素的亮度直方图来求出行人候选之间的相似程度。

5.一种行人检测方法，其特征在于该行人检测方法包括：

从拍摄的图像中提取行人候选；以及

当通过所述行人候选的提取而提取了多个行人候选时，求出所述行人候选之间的相似程度，并将与另外的行人候选的相似程度大于或等于预定值的行人候选判断为不是行人，其中

从拍摄的图像中提取行人候选包括将所提取的行人候选的尺寸和/或亮度标准化，并且

求出所述行人候选之间的相似程度包括求出尺寸和/或亮度被标准化后的行人候选之间的相似程度。

Images