CN102646343A

CN102646343A - 车辆检测装置

Info

Publication number: CN102646343A
Application number: CN2012100362573A
Authority: CN
Inventors: 齐藤彻
Original assignee: Fuji Heavy Industries Ltd
Current assignee: Subaru Corp
Priority date: 2011-02-16
Filing date: 2012-02-15
Publication date: 2012-08-22
Anticipated expiration: 2032-02-15
Also published as: DE102012101014A1; US8976999B2; JP2012168838A; CN102646343B; US20120207348A1; JP5693994B2

Abstract

本发明涉及一种车辆检测装置，能够将检测出的物体的位置数据准确地群组化，从而准确地检测出前行车辆等车辆。该车辆检测装置包括：在图像中，从由整合处理单元抽出图像中的像素而进行整合的各个像素区域中，将有可能对应于车辆的尾灯的像素区域作为灯候补而抽出的灯候补抽出单元；对于将由位置检测单元检测出的位置数据群组化而产生的各个组，将包含灯候补的所有组再分组之后，对于所有的组进行再分组的分组单元，并且在再分组处理中，对包含灯候补的所有组进行再分组进的阈值等被设置为相对于之后的对于全部的组进行再分组时的阈值更易于再分组的阈值。

Description

车辆检测装置

技术领域

本发明涉及车辆检测装置，尤其涉及基于通过位置检测单元获取的位置数据检测前行车辆等的车辆的车辆检测装置。

背景技术

近年来，通过对利用CCD(Charge Coupled Device)摄像头或CMOS(Complementary Metal Oxide Semiconductor)摄像头等拍摄单元拍摄的图像进行图像分析或者对从雷达装置发射的电磁波或激光束进行反射波分析，由此检测例如搭载这种拍摄单元或装置的车辆周围的车辆的车辆检测装置的开发正在推进中(例如，参照专利文献1)。

作为检测包含车辆的物体的检测方法，例如，对于通过一对摄像头等拍摄单元同时拍摄周围而得到的一对图像实施立体匹配处理等，通过计算每个像素的视差信息，由此计算离物体的距离，或者通过雷达装置照射电磁波，通过分析其反射波而检测离物体的距离，并基于所获得的距离信息等掌握实际空间上的物体的位置，从而能够检测实际空间上的物体。

例如，专利文献1中记载的方法中，例如拍摄到如图18所示的图像T的场景中，对于包含所拍摄的图像T的一对图像实施立体匹配处理时，虽然能够获得图像T的每个像素块的视差信息，但是将该视差信息或据此计算出的距离信息分配给每个像素块时，能够将视差或距离信息图像化为如图19所示。以下，对于图像化的该视差或距离的信息称为距离图像Tz。

而且，通过分析从雷达装置照射出的电磁波的反射波而检测距离，且在检测出该距离的方位中应用距离数据而实现图像化时，也能够得到与图19所示的距离图像Tz相同的图像状的数据。以下，所谓距离图像Tz还包括图像状排列的使用雷达装置检测出的距离数据。

而且，将如此获得的距离图像Tz分割为例如如图20所示地以预定的像素宽度沿纵向延伸的长条状的片段Dn，并对于每个片段Dn，制作图21所示的柱状图Hn，投射属于该片段Dn的视差dp或距离Z的信息。并且，例如各个柱状图Hn中众数(mode)所属的组的组值作为该片段Dn的物体的代表视差dpn或代表距离Zn。对于全部的片段Dn执行上述过程，从而计算出每个片段Dn的代表视差dpn或代表距离Zn。

在此，视差dp和距离Z的关系如下所述地形成对应。即，在使用一对摄像头等拍摄单元的图像分析中，将一对拍摄单元的中央的竖直下方的地面等基准面上的点作为原点，将距离方向，即朝拍摄单元正面的无线远点的方向作为Z轴，将左方向及上下方向分别作为X轴及Y轴时，基于三角测量的原理，通过如下所示的坐标变换，实际空间上的点(X，Y，Z)与所述视差dp、距离图像Tz上的像素的坐标(i，j)能够一对一地对应。

X＝CD/2+Z×PW×(i-IV)…(1)

Y＝CH+Z×PW×(j-JV)…(2)

Z＝CD/(PW×(dp-DP))…(3)

在此，所述各式中，CD表示一对拍摄单元的间隔，PW表示每一像素的视角、CH表示一对拍摄单元的安装高度、IV及JV表示正面无限远点的距离图像Tz上的坐标和j坐标，DP表示消失点视差。而且，代表视差dpn基于上述公式(3)与代表距离Zn一对一地对应。

如上所述地，将距离图像Tz分割为沿纵向延伸的长条状的片段Dn的方式，当转换到实示空间上时，如图22的俯视图所示，对应于将搭载于本车辆的拍摄单元A的实际空间上的拍摄区域R分割为沿上下方向延伸的多个空间片段Sn的方式。

而且，对于雷达装置而言也相同。即，将图22的装置A视为雷达装置，区域R视为雷达装置在实际空间上的电磁波照射区域时，将距离图像Tz分割为沿纵向延伸的长条状的片段Dn的方式对应于将雷达装置A的实际空间上的照射区域R分割为沿上下方向延伸的多个区分空间Sn的方式。

而且，在实际空间上的各个空间片段Sn上绘制对应于相关空间片段Sn的距离图像Tz的片段Dn上的代表距离Zn(与计算出的代表视差dpn一对一地对应的代表距离Zn)时，各代表距离Zn被绘制成如图23所示。即，实际上，对应于片段Dn的数量，超过图23所示的数量的多个点被微细地绘制。

而且，如图24所示，例如，对于被绘制的各代表距离Zn，基于相互之间的距离或方向性(即，是否沿左右方向(即，X轴方向)延伸，或者是否沿距离方向(即，Z轴方向延伸)，将相互邻近的各个点集合为各个组G1、G2、G3…而实现群组化，并如图25所示，将属于各个组的各个点分别大致连接为直线，由此能够检测出物体。

即，此时，当例如大致沿左右方向延伸的组O与大致沿距离方向延伸的组S具有共同的拐点C时，作为相同的物体，以此实施针对检测出的物体的整合、分离。

而且，例如，通过对由拍摄单元拍摄的图像进行图像分析而检测物体时，如图26所示，在通过拍摄单元拍摄的原图像T上利用各个矩形的框线包围如上所述地基于距离图像Tz检测出的各物体，由此能够将检测结果可视化于图像T上。如此，能够检测出包含车辆的各个物体。

而且，例如在专利文献2中，提出如下的方法。即，作为当两台车辆的位置比较接近时，不会将不同的车辆错误地检测为一台车辆的方法，没有采用如上所述的视差或距离信息，而是找出图像中的相当于方向指示灯、刹车灯的区域，并基于车辆后部的方向指示灯位置及刹车灯位置并不会遵循车辆而大致具有一定的间隔的原理，从其位置关系识别前方的车辆。

现有技术文献

专利文献

专利文献1：日本专利第3349060号公报

专利文献2：日本特开平8-241500号公报

但是，采用上述专利文献1中记载的方法(参照图18～图26)时，例如在拍摄到如图27所示的图像T的场景中，例如如图28的(A)所示，虽然仅希望单独检测出前行车辆Vah，但由于前行车辆Vah和绿化隔离带H相互邻近而被拍摄，因此如图的28(B)所示，会发生前行车辆Vah和绿化隔离带H被群组化而被检测成一个物体的情况。

而且，例如在拍摄到如图29所示的图像T的场景中，作为前行车辆Vah的、具有平板式的装货台的货车的装货台P的后挡板B部分的左右边缘部分(参照图中的虚线部分)、前壁F(前部结构、还可称为栏栅)、与驾驶室Ca的背面部分对应的部分(参照图中的虚线部分)，可容易地检测出有效的视差或距离的信息，但是对于平板状且结构(也可被称为构造)薄的装货台P的后挡板B的中央部所对应的部分来说，几乎无法检测到有效的视差和距离的信息。

因此，如上所述，将距离图像Tz分割为长条状的各个片段Dn，且对于每个片段Dn计算代表视差dpn或代表距离Zn并实施群组化时，如图30所示，会发生如下的情况，即，前行车辆Vah的装货台P的后挡板B的左侧边缘部分和右侧边缘部分不会被群组化，而是被检测为自本车辆分别具有距离Zb的单独的物体，且被检测为前壁F和驾驶室Ca的部分自本车辆具有距离Zf的又一个单独的物体。

而且，在拍摄到图27和图29合成的例如图31所示的图像T的场景中，如图31和图32所示，前行车辆Vah的装货台P的后挡板B的左侧边缘部分不仅不会与右侧边缘部分被群组化，还会与绿化隔离带H作为一体而被检测出来。

因此，即使在前行车辆Vah和绿化隔离带H被拍摄的场景中，也会发生绿化隔离带H、前壁F和驾驶室Ca、装货台P的后挡板B的右侧边缘部分被检测为单独的物体的情况。

另外，当采用专利文献2所记载的方法时，例如本车辆在单向具有多个车道的道路中行驶时，如在前行车辆Vah的右邻车道中行驶相同型号的车辆的情况下，虽然图中省略，但是前行车辆Vah的右侧的方向指示灯或刹车灯与在右邻的车道行驶的车辆的左侧的方向指示灯或刹车灯可能会被检测为一台车辆上的左右侧的方向指示灯或刹车灯，因此检测的可靠性方面存在问题。

如上所述，相同的物体被检测为不同的物体，或者不同的物体(或者原本不是物体的部分)被检测成一个物体时，存在基于错误的物体信息进行控制，由此对于原本应当有利于安全行驶等的车辆的自动控制，以而增大出现事故的危险性等问题。

在此，以下的说明中，将如上所述的基于通过一对摄像头等拍摄单元获得的图像或者通过雷达装置等获得的、包含离物体的距离的物体的位置信息称为位置数据。

发明内容

本发明是鉴于上述问题而提出的，其目的在于提供一种车辆检测装置，该车辆检测装置能够准确地群组化所检测出的物体的位置数据，从而能够准确地检测出前行车辆等车辆。

为了达到目的，第一发明的特征在于，在车辆检测装置中，包括：

位置检测单元，对于通过拍摄单元拍摄的图像中的各个像素检测出包含距离的位置数据；

整合处理单元，在所述图像中抽出具行预定亮度以上的像素，当所抽出的所述像素在所述图像上相邻时，将所有所述像素作为相同的像素区域进行整合；

灯候补抽出单元，从由所述整合处理单元整合的各个所述像素区域中，基于通过所述位置检测单元检测出的位置数据，将有可能对应于车辆的尾灯的所述像素区域作为灯候补而抽出；

分组单元，对通过所述位置检测单元检测出的所述位置数据进行群组化，对于群组化后所生成的各个组，判断能否对包含属于通过所述灯候补抽出单元抽出的所述灯候补的所述位置数据的所有的所述组进行再分组，并对被判定为能够再分组的所有所述组进行再分组之后，判断能否对所有的所述组进行再分组，并对被判定为能够再分组的所有的所述组进行再分组，

在通过所述分组单元的所述再分组处理中，与在对于包含属于所述灯候补的所述位置数据的所有所述组进行再分组时的所述位置数据有关的阈值，相比于与之后对于所有所述组进行再分组时的所述位置数据有关的阈值，被设置为更易于再分组的阈值。

第二发明的特征在于，在第一发明的车辆检测装置中，所述再分组的结果，所生成的所述组是包含属于通过所述灯候补抽出单元抽出的所述灯候补的所述位置数据的组时，所述分组单元将该组识别为对应于车辆背面部分的组。

第三发明的特征在于，在第一发明或第二发明的车辆检测装置中，还包括对灯候补抽出单元，用以从通过所述灯候补抽出单元抽出的各个所述灯候补中，基于通过所述位置检测单元检测出的所述位置数据，将有可能与包含车辆的左右侧尾灯的尾灯对应的灯候补的组合作为对灯候补而抽出，

将所述位置数据群组化而生成的所述组中，包含属于通过所述对灯候补抽出单元抽出的所述对灯候补的所述位置数据时，所述分组单元分离属于构成所述对灯候补的各个所述灯候补的所述位置数据和不属于各个所述灯候补的所述位置数据，并分别作为不同的组而进行所述再分组。

第四发明的特征在于，在第三发明的车辆检测装置中，所述对灯候补抽出单元从通过所述灯候补单元抽出的所述各个灯候补中选择任意两个所述灯候补，

在一侧的所述灯候补的像素数相对于另一侧的所述灯候补的像素数之比在预定范围之内，或者所述一侧的灯候补的所述图像上的纵向的像素数相对于所述另一侧的灯候补的所述图像上的纵向的像素数的差在预定的范围之内，或者所述一侧的灯候补的实际空间上的距离及高度分别相对于所述另一侧的灯候补的实际空间上的位置处于预定的范围之内，或者所述一侧的灯候补和所述另一侧的灯候补的实际空间上的左右方向上的间隔在相当于一台车辆的宽度以内时，将该两个灯候补的组合作为所述对灯候补而抽出，

所述抽出处理针对通过所述灯候补单元抽出的所有所述灯候补的全部的组合进行。

第五发明的特征在于，在第三发明或第四发明的车辆检测装置中，当在作为所述对灯候补抽出的左可侧的所述灯候补之间，且在所述左右侧的灯候补的所述图像中的上侧位置存在其他所述灯候补时，所述灯候补抽出单元将该其他灯候补作为高位刹车灯而加入到该对灯候补中。

第六发明的特征在于，在第五发明的车辆检测装置中，当作为所述高位刹车灯而加入的所述灯候补属于与其加入的所述对灯候补不同的所述对灯候补时，所述对灯候补抽出单元在将加入的所述灯候补从被加入的所述对灯候补中剔除的同时，对于被剔除加入的所述灯候补所属的该不同的对灯候补，解除其作为所述对灯候补的指定。

第七发明的特征在于，在第一发明至第六发明中的任一发明中，所述灯候补抽出单元从通过所述整合处理单元整合的各个所述像素区域中，将自路面的高度在预定范围之内的所述像素区域作为所述灯候补而抽出。

第八发明的特征在于，在第一发明至第七发明中的任一发明中还包括距离图像制作单元，用以将通过所述位置检测单元检测出的各个所述位置数据分配给通过所述拍摄单元拍摄的所述图像的对应的各个像素而制作距离图像，

所述分组单元将通过所述距离图像制作单元制作的所述距离图像分割为多个片段，并针对每个片段制作柱状图，

当所述片段内存在所述灯候补抽出单元抽出的所述灯候补时，将分配给所述灯候补中的各个像素的所述位置数据中的距离信息投射到所述柱状图，以计算该片段的代表距离，

当所述片段内不存在由所述灯候补抽出单元抽出的所述灯候补时，将分配给所述片段内的各个像素的所述位置数据中的距离信息投射到所述柱状图，以计算该片段的代表距离，

而且将包含计算出的各个所述代表距离的所述位置数据作为所述群组化对象。

第九发明的特征在于，在第八发明的车辆检测装置中，当所述片段内不存在所述灯候补抽出单元抽出的所述灯候补时，将分配给所述片段内的各个像素的所述位置数据中的距离信息投射到所述柱状图，以计算该片段的代表距离时，所述分组单元对于对应于计算出的所述代表距离的所述柱状图的组的频数未达到预定值的所述片段，无效掉计算出的所述代表距离，且对于该片段，作为没有所述代表距离的片段而进行所述群组化。

根据第一发明，除去不包含属于灯候补的位置数据的组，首先判断能否进行对应于车辆的方向指示灯和刹车灯等尾灯TL的所有灯候补的再分组，并利用易于再分组的阈值而进行再分组处理的基础上，判断能否与其他组进行再分组。因此，以车辆的左右侧尾灯TL所对应的组为基准，能够检测出车辆所对应的组，且通过对由位置检测单元检测出的位置数据进行准确地群组化，从而能够准确地检测出包含前行车辆的车辆。

根据第二发明，再分组的结果，当生成的组是包含属于车辆的尾灯TL所对应的灯候补的位置数据的组时，该组对应于设置有尾灯TL的车辆的可能性非常高。因此，通过将这种组识别为车辆的背面部分所对应的组，能够准确地检测出车辆，可更加准确地实现上述发明效果。

根据第三发明，当分组单元将位置数据群组化而生成组时，会发生所生成的一个组中包含属于对应于车辆的左右侧的尾灯TL等的对灯候补的位置数据和不属于对应于车辆的左右侧的尾灯TL等的对灯候补的位置数据的情况。在这种情况下，强制分离属于构成对灯候补的各个灯候补的位置数据和不属于各个灯候补的位置数据，将该组作为不同的组，暂时使其成所谓的分散形式。

而且，在这之后，由于再次执行再分组，因此准确地分离由属于对应于车辆的左右侧的尾灯TL等的对灯候补的位置数据构成的组和由不属于对灯候补的位置数据构成的组，并分别作为不同的组，从而能够判断能否与其他组再分组。

因此，例如图32所示，能够彻底防止绿化隔离带H和一辆车作为相同的组而被处理的状况，且在准确地分离由属于对应于车辆的左右侧的尾灯TL等的对灯候补的位置数据构成的组和由不属于对灯候补的位置数据构成的组的状态下，能够准确地检测出车辆，能够更有效地实现上述发明效果。

根据第四发明，在满足上述各条件中的任何一种条件的情况下，将灯候补作为对灯候补，从而将分别对应于车辆的左右侧的尾灯TL等的灯候补作为对灯候补而能够准确地抽出，能够更加准确地实现所述第三发明的效果。

根据第五发明，虽然近年来具有在车辆中除了左右侧的尾灯TL之外还配备有高位刹车灯的情况，但即使在这种境况下，也能够在所述对灯候补中准确地加入对应于高位刹车灯的灯候补，从而能够将分别对应于车辆左右侧的尾灯TL和高位刹车灯的灯候补作为对灯候补而准确地抽出。因此，能够准确地实现所述第三发明和第四发明的效果。

根据第六发明，如所述第五发明所示，暂时作为高位刹车灯而加入的灯候补属于与被加入的对灯候补不同的对灯候补时，在图像中会出现在对灯候补的上侧拍摄有另一个不同的对灯候补的异常状态。

因此，这种状况下，通过将作为高位刹车灯而加入的灯候补从被加入的对灯候补中剔除，从而能够彻底防止不对应于高位刹车灯的可能性高的灯候补被加入到对灯候补的现象，能够更加有效地实现所述第五发明的效果。

根据第七发明，例如在位于距离路面较高的位置的像素区域和位于与路面相同高度的像素区域有可能是对应于路灯的像素区域，也有可能是对应于被雨淋湿的路面的反射光的像素区域，不管哪一种都不能称为对应于车辆尾灯TL的像素区域。因此，基于位置数据的自路面的高度，通过根据位置数据的自路面的高度是否在预定范围而划分像素区域，能够将有可能对应于车辆的尾灯的像素区域准确地作为灯候补而抽出，能够更有效地实现前述各个发明的效果。

根据第八发明，对于在距离图像上检测出的全部的位置数据执行上述的各个处理时，数据点的数量庞大，处理需要较长的时间，有可能影响车辆检测的实时性。但是，通过将距离图像分割为多个片段Dn，并计算分割出的每个片段Dn的代表距离，且将包含计算出的各代表距离的位置数据作为群组化对象，从而能够减少成为处理对象的数据点的数量，在所述各个发明的效果的基础上，能够确保车辆检测的实时性。

而且，此时，当片段Dn内存在灯候补时，忽略片段Dn内的其他部分，仅将分配给灯候补中的各个像素的距离信息投射到柱状图而计算该片段Dn的代表距离，从而能够将仅依靠灯候补中的各个像素的距离信息计算出的代表距离作为该片段Dn的代表距离而优选算出。

因此，在片段Dn内存在灯候补的情况下，并不是将分配给存在于片段Dn内的灯候补以外的部分的像素的距离信息作为该片段Dn的代表距离，而是将对应于车辆的尾灯TL的灯候补的代表距离作为该片段Dn的代表距离而准确地抽出。

根据第九发明，当在片段D年内存在灯候补的情况下，对于对应于计算出的代表距离的柱状图的组的频数未达到预定值的片段Dn，无效掉计算出的代表距离，将该片段Dn处理为没有代表距离的片段Dn，因此可以彻底防止因采用可靠性低的代表距离而导致的车辆检测的可靠度下降的问题，并能够更准确地实现所述第八发明的效果。

附图说明

图1为示出根据本实施方式的车辆检测装置的组成的框图。

图2为用于说明基准图像上的水平线的图。

图3为示出整合处理单元的整合处理的处理顺序的流程图。

图4为示出整合处理单元的整合处理的处理顺序的流程图。

图5中的(A)为表示输入的关注像素及其左邻像素的图，(B)为用于说明左邻像素属于像素区域的例的图。

图6的(A)为表示输入的关注像素及其下邻的像素的图，(B)为用于说明下邻的像素属于像素区域的例的图。

图7中的(A)为用于说明左邻和下邻的像素分别从属的各个组的例的图，(B)为用于说明各个组整合为一个像素而构成一个组的例的图。

图8为表示对灯候补抽出单元的对灯候补抽出处理的处理顺序的流程图。

图9为用于说明在两个灯候补的实际空间上计算出左右方向的间隔的方法的例的图。

图10为表示位于作为被抽出的对灯候补的左右侧灯候补之间，且位于左右侧灯候补的上侧位置的其他灯候补的例的图。

图11为表示作为高位刹车灯加入的灯候补属于其他对灯候补的状态的例的图。

图12表示在图11中作为高位刹车灯加入的灯候补从原对灯候补中剔除的状态等的图。

图13为表示分组单元的群组化处理的处理顺序的流程图。

图14为表示分组单元的再分组处理的处理顺序的流程图。

图15为表示包含左侧的尾灯和绿化隔离带的一个组分离为包含左侧的尾灯的组和包含绿化隔离带的组G的状态的图。

图16为表示通过对于图15的状态执行再分组处理而使对应于左右侧尾灯的各个组变成新的一个组的状态的图。

图17为表示基于本车辆的行驶轨迹而特别指定前行车辆的状态的图。

图18为表示通过拍摄单元拍摄的图像的例的图。

图19表示基于图18的图像做成的距离图像的图。

图20为表示被分割为多个片段的距离图像的例的图。

图21为表示对于每个片段Dn都制作的柱状图的图。

图22为用于说明将分割距离图像的多个片段变换到实际空间上时对应于各个片段的多个片段空间的图。

图23为在实际空间上绘制每个片段的代表距离的图。

图24为用于说明图23的各个点的群组化的图。

图25为表示将属于图24的各个组的各个点近似为直线而得到的物体的图。

图26为将检测出的各个物体在基准图像上利用矩形的框线包围而示出的图。

图27为表示前行车辆和绿化隔离带相邻而被拍摄的图像的图。

图28中的(A)为用于说明仅检测出前行车辆的状态的图(B)为表示前行车辆和绿化隔离带作为一个物体被检测出的状态的图。

图29为表示作为前行车辆的具有平板式的装货台的货车被拍摄的图像的图。

图30为在图29的场景下，前行车辆的装货台后挡板报左右侧各个边缘部分没有被群组化，左右侧各边缘部分和前壁等部分分别作为不同的物体被检测出的状态的图。

图31为表示作为前行车辆的具有平板式的装货台的货车和绿化隔离带相邻而被拍摄的图像的图。

图32为用于说明在图31的场景中前行车辆装货台的后挡板的左侧边缘部分与绿化隔离带作为一体而被检测出的状态的图。

主要符号说明

1：车辆检测装置

2：拍摄单元

6：图像处理单元(距离图像制作单元)

9：位置检测单元

11：整合处理单元

12：灯候补抽出单元

13：对灯候补抽出单元

14：分组单元

Dn：片段

dp：视差(距离)

dpn：代表视差(代表距离)

G：组

g：像素区域

GL：包含属于灯候补的位置数据的组

gL：灯候补

Hn：柱状图

(i，j，dp)位置数据

P：像素

PgL：对灯候补

T：基准图像(图像)

TLl、TLr：左右侧尾灯

Tz：距离图像

Vah：前行车辆(车辆)

(X，Y，Z)位置数据

Y：实际空间上的高度

y：自路面的高度

Z：距离

Zn：代表距离

Δd p th、Δz th、Δx th：阈值

Δd p th^＊、Δz th^＊、Δx th^＊：阈值

ΔX：间隔

具体实施方式

以下，参照附图说明本发明提供的车辆检测装置的实施方式。

在此，本实施方式中，作为拍摄单元2而使用两台摄像头进行立体拍摄，但是拍摄单元也可以由单个摄像头或三台以上的摄像头构成。

如图1所示，本实施方式提供的车辆检测装置1主要包括：由拍摄单元2、转换单元3、图像处理单元6等构成的位置检测单元9；具备整合处理单元11和灯候补抽出单元12等的处理部10。

位置检测单元9具备拍摄本车辆周围的拍摄单元2，在拍摄本车辆周围的物体的同时还可以检测出与包含自本车辆至物体的距离和高度、左右方向的位置的物体的实际空间上的位置对应的位置数据。

本实施方式中，位置检测单元9基于本申请的申请人在先提出的上述专利文献1和日本特开平5-114099号公报、日本特开平5-265547号公报、日本特开平6-266828号公报、日本特开平10-283477号公报、日本特开2006-72495号公报等记载的车辆检测装置等而构成。以下，简单地进行说明。

如图1所示，位置检测单元9将通过拍摄单元2拍摄本车辆周围而得到的一对拍摄图像通过转换单元3所配备的模/数转换器3a、3b分别转换为数字图像之后，通过图像补偿部4执行去除间隙和噪声、亮度值补偿等的图像补偿，并存储到图像数据存储器5之中的同时发送给处理部10。其中，所述拍摄单元2具备在车宽方向(即，左右方向)相隔一定的距离配置的由CCD摄像头构成的一对摄像头(主摄像头2a及副摄像头2b)。

在此，例如在拍摄单元2的主摄像头2a中，拍摄有如前述图18所示的图像T(以下，称为基准图像)，在副摄像头2b中，拍摄有虽然是与基准图像T相同的图像，但拍摄位置是在自主摄像头2a在车宽方向相隔一定距离的位置的图像(未图示，以下，称为比较图像)。

而且，在本实施方式中，拍摄单元2的主摄像头2a和副摄像头2b构成为可分别获得单色的亮度D，但也可以使用拍摄以RGB值等表示的彩色图像数据的拍摄单元，在这种状况下也可以应用本发明。

进而，在本实施方式中，通过拍摄单元2的主摄像头2a和副摄像头2b拍摄基准图像T和比较图像时，如图2所示，从基准图像T等的各个水平线j的最左侧的像素开始拍摄之后顺序地向右侧方向扫描。而且，使扫描的水平线j从最下侧的线开始顺序地向上切换而进行拍摄，从而以拍摄每个像素的顺序，分别将基准图像T和比较图像Tc的各个像素的亮度D分别依次发送给转换单元3。

在图像补偿部4中进行图像补偿的一对拍摄图像还被发送到图像处理单元6。然后，在图像处理单元6的图像处理器7中，通过主摄像头2a拍摄的基准图像T被分割为多个像素块，对于各个像素块，通过立体匹配处理找出分别与通过副摄像头2b拍摄的比较图像对应的像素块，从而对于每个像素块计算出视差dp。

对于此视差dp的计算，上述各个公报中已经详细地描述。而且，该视差dp和像素块在基准图像T上的坐标(i，j)可能过所述公式(1)～(3)与实际空间上的点(X，Y，Z)一对一地对应，这与前述相同。而且，在本实施方式中，由该视差dp和坐标(i，j)所构成的数据视为位置数据(i，j，dp)，但也可以将例如通过将数据(i，j，dp)代入到上述公式(1)～(3)而计算出的实际空间上的位置(X，Y，Z)视为位置数据。

图像处理单元6将如上述的对于每个像素计算出的视差dp分配给对应于基准图像T的各个像素而制作前述的距离图像Tz(例如，参照图19)，并将制作的距离图像Tz存储到距离数据存储器8的同时将距离图像Tz发送给处理部10。

即，在本实施方式中，图像处理单元6相当于距离图像制作单元。即，距离图像Tz具有作为距离信息的视差dp，且距离图像Tz如图19所示地还包含坐标(i，j)的信息，因此距离图像Tz相当于将包含位置检测单元9检测出的视差dp的位置数据(i，j，dp)分配给基准图像T的图像。

在此，虽然图中没有表示，除了本实施方式之外，关于测量包含针对本车辆的各个车辆的距离Z(或者视差dp)的位置数据的测量，还可以由例如向本车辆的前方照射激光L或红外线等并基于其反射光的信息测量离物体的距离Z和物体的实际空间上的位置(X，Y，Z)等的雷达装置等构成，此时，雷达装置等将被称为距离检测单元9。如此，对于检测距离数据的距离检测单元9的组成并没有特别的限定。

但是，将雷达装置等作为距离检测单元9使用时，车辆检测装置1也配备拍摄单元2。而且，这时，拍摄单元2可以由单个的摄像头构成，此时作为距离图像制作单元的图像处理单元6将通过作为距离检测单元9的雷达装置检测出的位置数据分配给通过拍摄单元2拍摄的图像中的各个像素，从而制作前述的距离图像Tz。

在本实施方式中，处理部10包括将未图示的CPU、ROM、RAM、输入/输出接口等连接到总线上的计算机或专用电路。处理部10具备整合处理单元11、灯候补抽出单元12、对灯候补抽出单元13、分组单元14，本实施方式中还具备未图示的存储器。

在此，处理部10还可以构成为能够执行检测前行车辆等其他处理。而且，必要时，处理部10可以构成为接收来自车速传感器或偏航速率传感器、测量方向盘的舵角的舵角传感器等传感器类Q的测量值。

以下，对于处理部10的各单元的处理进行说明的同时对于本实施方式的车辆检测装置1的作用进行说明。

整合处理单元11从通过拍摄单元2的主摄像头2a拍摄的基准图像T中抽出具有相当于前行车辆Vah等车辆的方向指示灯或刹车灯等尾灯TL的明亮度的预定的亮度以上的亮度的像素，当抽出的像素在基准图像T上相邻时，将所有这些像素作为相同的像素区域进行整合。在此，该整合处理单元11的整合处理中，不会使用前述的比较图像。

以下，使用图3及图4所示的流程图等具体说明该整合处理单元11的整合处理。

在此，以下说明中，例如对于图2所示的基准图像T上的像素，使用将基准图像T的左下角的像素作为原点且将右侧作为i轴，上侧作为j轴时的像素的坐标(i，j)，表示为像素pi，j。而且，将像素pi，j的亮度D表示为亮度Di，j。

在整合处理单元11中，当通过拍摄单元2开始拍摄时(步骤S1)，将i值和j值分别设定为0(步骤S2)。如前所述，通过拍摄单元2拍摄的水平线0(即，由j坐标为0的各像素构成的水平线j)上的左端的像素p0，0(即，原点的像素)的亮度D0，0开始输入到处理部10时(步骤S3)，像素p1，0、p2，0、p3，0、...的亮度D1，0、D2，0、D3，0、...依次被输入到处理部10。

整合处理单元11中，若到水平线j的右端的像素为止没有完成处理(步骤S4：否)，则在每次反复处理时将i坐标增加1(步骤S5)，并将设定的关注像素pi，j移动到水平线j上的右邻的像素的同时(步骤S6)继续进行处理。

而且，至水平线j的右端的像素为止完成处理时(步骤S4：是)，若没有到基准图像T的最上端的水平线j为止完成处理(步骤S7：否)，将进行处理的水平线j移动到1行上方的水平线j+1中，并将关注像素的i坐标设定为0(步骤S8)，将像素p0，j+1作为关注像素(步骤S6)而进行处理，并将关注像素从像素p0，j+1顺序地向右移动的同时继续进行处理。

以下，关于将关注像素设定为像素pi，j(步骤S6)之后的整合处理单元11的处理(图4的步骤S9以后)进行说明。

整合处理单元11首先判断关注像素pi，j是否为具有预定的亮度Dth以上的亮度的像素(步骤S9)，当关注像素pi，j的亮度D达到预定亮度Dth以上(步骤S9：是)时，抽出关注像素pi，j。

在这种情况下，所述预定的亮度Dth段定为能够检测到前行车辆Vah等车辆的方向指示灯或刹车灯等尾灯TL的亮度。即，作为亮度D所采用的值的范围例如为0～255时，预定的亮度Dth例如设定为240。

在此，以下说明中，将如上所述地抽出的像素称为抽出像素。而且，若关注像素pi，j的亮度D没有达到预定的亮度Dth(步骤S9：否)时，进入图3的步骤S4的处理中。

在整合处理单元11中，若判断为关注像素pi，j的亮度D达到预定的亮度Dth以上而抽出关注像素pi，j(步骤S9：是)时，进入步骤S10的判断处理中。然后，判断在如图5的(A)所示地输入关注像素pi，j之前已输入并执行上述步骤S9的判断处理的、与关注像素pi，j左邻的像素pi-1，j是否为抽出像素(步骤S10)。

若与关注像素pi，j左邻的像素pi-1，j为抽出像素时(步骤S10：是)，整合处理单元11继续进入步骤S11的判断处理中，判断在如图6的(A)所示地输入关注像素pi，j之前已输入并执行上述步骤S9的判断处理的、与关注像素pi，j下邻的像素pi，j-1是否为抽出像素(步骤S11)。

然后，在整合处理单元11中，若与关注像素pi，j下邻的像素Pi，j-1不是抽出像素(步骤S11：否)，则由于在步骤S10中的判断处理中与关注像素pi，j左邻的像素pi-1，j被判断为抽出像素，因而将关注像素pi，j和其左邻像素pi-1，j整合为一个像素区域(步骤S12)。

此时，如图5的(A)所示，左邻的像素pi-1，j没有与其他的像素整合时，关注像素pi，j与左邻的像素pi-1，j整合，从而形成由左右相邻的两个像素构成的新的像素区域g。而且，例如如图5的(B)所示，当左邻的像素pi-1，j已属于像素区域g时，关注像素pi，j以加入到像素区域g的方式被整合，因此像素区域g扩大与关注像素pi，j一样的一个像素量。

而且，整合处理单元11在步骤S11的判断处理中，若关注像素pi，j下邻像素pi，j-1是抽出像素(步骤S11：是)，则由于在步骤S10中的判断处理中与关注像素Pi，j左邻的像素pi-1，j也被判断为是抽出像素，因而将关注像素pi，j和下邻像素pi，j-1以及左邻像素i-1，j进行整合(步骤S13)。

此时，若下邻像素pi，j和左邻像素pi-1，j没有与其他像素进行整合，则关注像素pi，j和下邻像素pi，j-1以及左邻像素pi-1，j被整合，从而形成由三个像素构成的新的像素区域g。

而且，例如如图7的(A)所示，当左邻像素pi-1，j属于像素区域g1，下邻像素pi，j-1属于另一像素区域g2时，若关注像素pi，j与下邻像素pi，j-1以及左邻像素pi-1，j进行整合时(步骤S13)，如图7的(B)所示，通过关注像素pi，j，像素区域g1和像素区域g2被整合为一个像素区域g。

另外，在上述步骤S10的判断处理中，关注像素pi，j的左邻像素pi-1，j不是抽出像素时(步骤S10：否)，整合处理单元11接着进入步骤S14的判断处理中，判断在如图6的(A)所示地输入关注像素pi，j之前已输入并执行上述步骤S9的判断处理的、与关注像素pi，j下邻的像素pi，j-1是否为抽出像素(步骤S14)。

然后，若关注像素Pi，j的下邻的像素pi，j-1为抽出像素(步骤S14：是)，则整合处理单元11将关注像素pi，j和其下邻的像素pi，j-1整合为一个像素区域g(步骤S15)。

此时，如图6的(A)所示，若下邻的像素pi，j-1没有与其他像素进行整合，则关注像素pi，j和下邻像素pi，j-1被整合而形成由上下相邻的两个像素构成的新的像素区域g。而且，例如如图6的(B)所示，若下邻像素pi，j-1已属于像素区域g，则关注像素pi，j以加入到像素区域g的方式被整合，因此像区域g扩大与关注像素pi，j一样的一个像素量。

而且，在步骤S14的判断处理中，若关注像素pi，j下邻的像素pi，j-1不是抽出像素(步骤S14：否)，则此次整合处理单元11将新抽出的关注像素pi，j作为新的像素区域g进行登记(步骤S16)。

在步骤S12、S13、S15的处理中将关注像素pi，j与相邻的像素p进行整合，或者在步骤S16的处理中将关注像素pi，j作为新的像素区域g进行登记时，整合处理单元11更新像素区域g的像素数量，且当像素区域g的左端g(left)、右端g(right)的像素的各个坐标或上端g(top)、下端g(bottom)的像素的各个坐标、中心的坐标(gi，gj)等发生变更时进行更新。

此时，像素区域g的中心的坐标(gi，gj)中，gi作为像素区域g的左端g(left)和右端g(right)的中间点的i坐标而计算出来，gj作为像素区域g的上端g(top)和下端g(bottom)的中间点的j坐标而计算出来。

而且，例如如图7的(B)所示，在多个像素区域g1、g2被整合为一个像素区域g时，对于被整合为一个的像素区域g的像素区域号，从成为整合对向的多个像素区域g1、g2的各个像素区域号中例如选择最小的号等，由此进行更新(步骤S17)。

而且，当结束步骤S17的处理时，整合处理单元11接着执行图3的步骤S4的判断处理之后的处理。然后，当以上的处理进行到基准图像T的最上端的水平线j时，完成整合处理。

灯候补抽出单元12(参照图1)基于位置检测单元9检测出的位置数据，即在本实施方式中由作为距离图像制作单元的图像处理单元6制作的距离图像Tz，从如上所述地由整合处理单元11整合的各个像素区域g中，将有可能对应于车辆的尾灯TL的像素区域g作为灯候补gL而抽出。

即，如上所述，整合处理单元11在基准图像T上整合的像素区域g，是将具有相当于前行车辆Vah等车辆的方向指示灯或刹车灯等尾灯TL的明亮度的预定亮度Dth以上的亮度D的像素抽出并整合而形成，例如有可能是位于自路面较高的位置的路灯所对应的像素区域g，或者也可能是例如被雨浇湿的路面的反射光所对应的像素区域g。

因此，本实施方式中，对于由整合处理单元11如上所述地整合的各个像素区域g，灯候补单元12判断各个像素区域g的自路面的高度y是否在车辆的尾灯TL所存在的高度y的范围之内。这个范围例如设定为自路面的10cm～3m范围。

像素区域g的自路面的高度y可作为例如将如上所述地更新的像素区域g的上端的坐标g(top)或下端的坐标g(bottom)、或者中心的j坐标gj(参照图4的步骤S17)、将从对应于基准图像T的距离图像Tz导出的视差dp代入上述公式(3)或公式(2)之中计算出的实际空间上的高度Y而算出。

而且，例如，也可以在处理部10内设置检测路面本身的高度的路面检测单元，并将从上述实际空间上的高度Y减除路面本身的高度的值作为像素区域g的自路面的高度y。

然后，灯候补单元12对于各个像素区域g执行上述的判断，若像素区域g的自路面的高度y在上述设定范围之内，则将该像素区域g作为灯候补gL抽出。由此，像素区域g分类为灯候补gL和除此之外的像素区域g。

在此，该灯候补抽出单元12的灯候补gL抽出处理可以如上所述地在整合处理单元11完成对全部像素区域g的整合之后进行，也可以在整合处理单元11进行整合处理的中间进行。即，灯候补抽出单元12可以在整合处理单元11每次将关注像素pi，j整合到像素区域g(参照图4的步骤S12、S13、S15)或作为新的像素区域g进行登记(参照步骤S16)时进行灯候补抽出处理。

对灯候补抽出单元13(参照图1)基于由位置检测单元9检测出的位置数据，即本实施方式中由作为距离图像制作单元的图像处理单元6制作的距离图像Tz，从如上所述地通过灯候补抽出单元12抽出的各个灯候补gL中，将有可能对应于车辆的左右侧的尾灯TL的灯候补gL的组合作为对灯候补PgL而抽出。

而且，近年来，在车辆的背面部分，设置方向指示灯和刹车灯等左右侧尾灯TL之外，还在尾灯的左右方向的中间部分上部设置高位刹车灯的车辆正逐渐增加，因此在设置有这种高位刹车灯时，对灯候补抽出单元13将对应于此高位刹车灯的灯候补gL也加入到作为对应于左右侧尾灯TL的灯候补gL的组合的对灯候补PgL中。

以下，结合图8所示的流程图对于本实施方式的对灯候补抽出单元13的对灯候补PgL的抽出处理进行说明。

对于全部的灯候补gL的组合若没有执行下述的判断处理(步骤S20：否)，则对灯候补抽出单元13从通过灯候补抽出单元12抽出的各个灯候补gL中选择任意的两个灯候补gL(步骤S21)。然后，判断所选择的两个灯候补gL是否满足作为车辆的左右侧尾灯TL的充分的条件(步骤S22)。

具体地，在步骤S22的判断处理中，对灯候补单元13判断所选择的两个灯候补gL之中的其中一个灯候补gL的像素数的相对于另一个灯候补gL的像素数之比是否在例如0.5倍～1.5倍等预定范围之内。

而且，对灯候补抽出单元13判断其中一个灯候补gL的基准图像T上的纵向的像素数(例如，作为该灯候补gL的像素区域g的前述的上端坐标g(top)与下端坐标g(bottom)的差)的相对于另一个灯候补gL的基准图像T上的纵向的像素数的差是否在例如10像素以内等预定范围之内。

灯候补gL的大小，即基准图像T上的各个像素数或纵向的大小过于不同时，无法将选择的两个灯候补gL作为对应于车辆的左右侧的尾灯TL的对灯候补。上述的两个条件是用于排除这种状况的条件。

而且，对灯候补抽出单元13判断其中一个灯候补gL与另一个灯候补gL在实际空间上的左右方向的间隔是否在相当于一台车辆的宽度(例如2.5m等的宽度)以内。对于其中一个灯候补gL与另一个灯候补gL在实际空间上的左右方向的间隔来说，例如如图9所示，作为对应于右侧灯候补gL的右端g(right)的像素的实际空间上的X坐标Xr与对应于左侧灯候补gL的左端g(left)的像素的实示空间上的X坐标X1的差ΔX而计算出来。

若所有灯候补gL的左右方向的间隔ΔX大于相当于一台车辆的宽度，则无法将选择出的两个灯候补gL作为对应于车辆的左右侧的尾灯TL的对灯候补，上述条件是用于排作这种状况的条件。

进而，对灯候补抽出单元13判断其中一个灯候补gL的实际空间上的距离Z(对应于视差dp)及高度Y是否分别在自另一个灯候补的实际空间上的位置预定的范围之内。例如，判断其中一个灯候补gL的实示空间上的距离Z和高度Y是否在另一个灯候补的实际空间上的距离Z和高度Y的0.8倍～1.2倍等范围之内。当距离Z和高度Y中的任何一个不在上述预定范围之内时，判断为不满足条件。

若所有灯候补gL的距离Z和高度Y的差过大，则无法将选择出的两个灯候补gL作为对应于车辆的左右侧尾灯TL的对灯候补。上述条件是用于排除这种状况的条件。

例如，如前所述，本车辆在单向具有多车道的道路上行驶，且前行车辆Vah的右邻车道上例如具有相同型号的车辆行驶时，在基准图像T上横向并排对应于车辆的方向指示灯和刹车灯等尾灯TL的四个灯候补gL，当采用现有的专利文献2所记载的方法时，有可能将前行车辆Vah的右侧的尾灯TL和在右邻车道上行驶的车辆的左侧的尾灯TL作为一台车辆的左右侧尾灯TL而检测出来。

但是，在本实施方式中，即使如此地在基准图像T上横向并排四个灯候补gL的情况下，也能够基于通过位置检测单元9检测出的位置数据，即在本实施方式中由作为距离图像制作单元的图像处理单元6制作的距离图像Tz，当前行车辆Vah的右侧的尾灯TL和右邻车辆的左侧尾灯TL的视差dp或实际空间上的距离Z具有显著不同的值时，对灯候补抽出单元13也不会作为对灯候补PgL抽出。

如上所述，本实施方式中，即使是上述的情况下，也能够降低将设置在不同车辆的背面部分的各个尾灯TL错误地检测为一台车辆的左右侧的尾灯TL的可能性。

本实施方式中，若所选择的两个灯候补gL满足上述各个条件中的任意一个条件(步骤S22：是)，则对灯候补抽出单元13将该两个灯候补gL的组合作为对灯候补PgL抽出(步骤S23)。而且，该对灯候补PgL的抽出处理是对于通过灯候补抽出单元12抽出的所有的灯候补gL的全部的组合进行的(步骤S20：否)。

而且，如前所述，根据车辆，存在设置有高位刹车灯的情况，因此在设置有高位刹车灯的情况下，对灯候补抽出单元13继续将对应于该高位刹车灯的灯候补gL也加入到作为对应于左右侧尾灯TL的灯候补gL的组合的对灯候补PgL中。

具体来说，对灯候补抽出单元13对于所有的灯候补gL的全部的组合执行上述的对灯候补PgL的抽出处理时(步骤S20：是)，对于所抽出的各个对灯候补PgL，如图10所示，继续判断作为被抽出的对灯候补PgL的左右侧灯候补gL之间，且左右侧灯候补gL的基准图像T上的上侧位置是否存在其他灯候补gL(步骤S24)。

然后，如图10所示，当上述位置存在其他灯候补gL时(步骤S24：是)，将该其他灯候补gL作为高位刹车灯，并加入到由左右的灯候补gL构成的该对灯候补PgL中(步骤S25)。

但是，如图11所示，作为高位刹车灯加入的灯候补gL属于与所加入的对灯候补PgL1不同的其他对灯候补PgL2时，在基准图像T中形成如下的异常的状态，即在加入该灯候补gL之前的对灯候补PgL0的上侧拍摄有其他对灯候补PgL2。

因此，本实施方式中，对灯候补抽出单元13判断如此地作为高位刹车灯加入的灯候补gL是否属于与加入有该灯候补gL的对灯候补PgL1不同的其他的对灯候补PgL2中(步骤S26)。

然后，当所加入的灯候补gL属于与加入该灯候补gL的对灯候补PgL1不同的对灯候补PgL2时(步骤S26：是)，如图12所示，将加入的灯候补gL从所加入到的原对灯候补PgL1中剔除(步骤S27)。此时，图11所示的对灯候补PgL1如图12所示，最终回归至原对灯候补PgL0。

然后，在本实施方式中，此时，对于被剔除的灯候补gL所属的该其他对灯候补PgL2(参照图11)，如图12所示，对灯候补抽出单元13进而解除作为对灯候补的指定。而且，对于被剔除的灯候补gL，也可以解除作为灯候补的指定。

对灯候补抽出单元13对于抽出的全部的对灯候补PgL执行上述步骤S24至步骤S27的处理(步骤S28)。

本实施方式中，如上所述，灯候补抽出单元12从由整合处理单元11如前所述地整合的各个像素区域g中抽出有可能对应于车辆的尾灯TL的像素区域g而作为灯候补gL，并且，对灯候补抽出单元13从灯候补抽出单元12抽出的各个灯候补gL中抽出有可能对应于车辆的左右的尾灯TL和高位刹车灯的灯候补gL的组合而作为对灯候补PgL。

在本实施方式中，分组单元14(参照图1)虽然基本上基于前述的图20～图26所示的专利文献1所记载的方法对于通过位置检测单元检测出的位置数据进行群组化，但是构成为利用上述的灯候补抽出单元12和对灯候补抽出单元13的处理结果，即灯候补和对灯候补的信息执行再分组，在这一点上执行不同的处理。

本实施方式中，分组单元14对于位置检测单元9检测出的位置数据进行群组化，并对于群组化而产生的包含位置数据的各个组G，判断包含属于通过灯候补抽出单元12抽出的灯候补gL的位置数据的所有组G能否进行再分组，并对被判断为能够再分组的所有组进行再分组。包含属于灯候补gL的位置数据的组G表示为GL。

接着，在此之后，判断能否对于具有包含不属于灯候补gL的位置数据的组G的全部的组G进行再分组，并对于被判断为能够进行再分组的所有组G进行再分组，从而执行包含位置数据的群组化处理以及组的再分组处理。

此时，该分组单元14的再分组处理中，在对于包含属于灯候补gL的位置数据的所有组GL进行再分组时的与位置数据有关的阈值被设置为相比其后对于全部的组G进行再分组时的阈值更易于执行再分组的阈值。

在此，群组化和分组原本是相同的意思，但在本发明中，对于位置检测单元9检测出的位置数据进行群组化的处理称为群组化处理，对于通过群组化处理产生的所有组进行再次群组化的处理称为再分组处理。

以下，参照图13及图14所示的流程图对于本实施方式的分组单元14的群组化处理及再分组处理进行说明。

本实施方式中，如前述图20所示，分组单元14首先将由作为距离图像制作单元的图像处理单元6(参照图1)制作的距离图像Tz分割为以预定的像素宽度纵向延伸的长条状的多个片段Dn(步骤S40)，并如图21所示，对每个片段Dn制作柱状图Hn(步骤S41)。

在现有的专利文献1所记载的方法中，在此，将分配给属于片段Dn的各个像素的视差dp和距离Z投射到对应于该片段Dn的柱状图Hn。但是，本实施方式中，分组单元14此时应用由灯候补抽出单元12(参照图1)所抽出的灯候补gL的信息。

具体来说，分组单元14对于每个片段Dn判断片段Dn内是否存在灯候补抽出单元12所抽出的灯候补gL(步骤S42)。然后，当片段Dn内存在灯候补gL时(步骤S42：是)，将分配给灯候补gL中的各个像素的位置数据(i，j，dp)中的距离信息(即，本实施方式中为视差dp)投射到柱状图Hn(步骤S43)。

此时，在该片段Dn内，若视差dp被分配到灯候补gL以外的像素，则该视差dp不会被投射到该柱状图Hn。然后，分组单元14例如将该柱状图Hn的众数所属的组的组值作为该片段Dn的代表距离，即本实施方式中的代表视差dpn而算出(步骤S44)。

而且，在片段Dn内不存在灯候补gL时(步骤S42：否)，分组单元14采用与专利文献1记载的方法相同的方法，将分配给该片段Dn内的各个像素的位置数据中的距离信息(即，视差dp)投射到柱状图Hn(步骤S45)，并例如将该柱状图Hn的众数所属的组的组值作为该片段Dn的代表视差dpn(代表距离)而算出(步骤S46)。

但是，此时，当计算出的代表视差dpn所对应的柱状图Hn的组的频数Fn(参照图21)为例如即使作为众数也是较小的频数Fn时，算出的代表视差dpn的可靠性将变低。

因此，本实施方式中，如上所述，分组单元14判断片段Dn内不存在灯候补gL时(步骤S42：否)计算出的该片段Dn的代表视差dpn所对应的柱状图Hn的组的频数Fn是否小于预先设定的预定值(步骤S47)。

然后，当对应于代表视差dpn的频数Fn小于预定值(步骤S47：是)时，对于该片段Dn无效掉代表视差dpn(步骤S48)。因此，分组单元14对于代表视差dpn被无效掉的片段Dn，视为没有代表视差dpn的片段Dn执行以下的群组化处理。

在此，在片段Dn内存在灯候补gL时(步骤S42：是)，不会执行基于该代表视差dpn所对应的频数Fn的是否无效代表视差dpn的判断处理(步骤S47)。因此，此时，即使在步骤S44的处理中计算出的代表视差dpn所对应的柱状图Hn的组的频数Fn是较小的频数Fn，代表视差dpn也不会被无效。

接着，若对全部的片段Dn没有执行步骤S42～S48的各种处理(步骤S49：否)，则分组单元14对各个片段Dn执行步骤S4～S4的各种处理，包括代表视差dpn被无效而不存在的情况，针对全部的片段Dn计算代表视差dpn。

如上构成时，在片段Dn内，即使在分配有与从分配于灯候补gL中的各个像素的视差dp计算出的代表视差dpn不同的视差dp的像素多于分配有灯候补gL中的代表视差dpn的各个像素(即，前者的频数Fn多于后者的频数Fn)的情况下，若片段Dn内存在灯候补gL，则从灯候补g1中的各个像素的视差dp计算出的代表视差dpn作为该片段Dn的代表视差dpn(代表距离)优先被计算出来。

因此，在片段Dn内存在灯候补gL时，不是将分配给存在于片段Dn内的灯候补gL以外的部分的像素的视差dp作为该片段Dn的代表视差dpn抽出，而是能够将对应于车辆尾灯TL的灯候补gL的代表视差dpn作为该发片段Dn的代表视差dpn而准确地抽出。

本实施方式中，分组单元14如上所述地计算出每个片段Dn的代表视差dpn(代表距离)时(步骤S44、S46、S48)，与专利文献1记载的方法相同，将包含代表视差dpn的各个片段Dn的位置数据作为分组目标而进行群组化处理(步骤S50)。

将对每个片段Dn计算出的代表视差dpn和例如长条状的各个片段Dn的横向(即，图20所示的距离图像Tz中的轴方向)的像素宽度的中间点的i坐标代入到上述公式(1)～(3)中，计算出每个片段Dn的代表视差dpn所对应的实际空间上的二维位置数据(X，Z)并绘制到实际空间平面上时，如图23所示，每个片段Dn的代表视差dpn所对应的实际空间上的各个点多少分散到本车辆前方的各个车辆所对应的部分而被绘制。

对于如此地绘制的各个点，分组单元14判断实际空间上的相邻的所有点的X轴方向(左右方向)的间隔是否在设定的阈值以内，且Z轴方向(距离方向)的间隔是否在设定的阈值以内，若X轴方向的间隔和Z轴方向的间隔均在各个阈值以内，则将这些相邻的点作为一个组G而进行群组化。

而且，若被群组化的一个组G内存在沿左右方向(即，X轴方向)延伸的各个点的部分和沿距离方向(即，Z轴方向)延伸的各个点的部分，则如图24所示，分组单元14将被群组化的一个组G依据其方向性分离为多个组G(步骤S51)。在此，对于这一点，请参照专利文献1中的详细的说明。

分组单元14继续对如上述地被群组化(步骤S50)及分离(步骤S51)而产生有各个组进行再分组处理。

具体来说，如图14的流程图所示，分组单元14首先判断所产生的组G中是否包含属于通过前述的对灯候补单元13抽出的对灯候补PgL的位置数据(步骤S52)。

然后，若组G中包含属于对灯候补PgL的位置数据(步骤S52：是)时，将该组中的构成对灯候补PgL的各个灯候补gL所属的位置数据(即，图24的各个点)与不属于各个灯候补gL的位置数据强制进行分离，从而分别作为不同的组G。即，将组G分离为由属于灯候补gL的位置数据构成的组GL和不包含属于灯候补gL的位置数据的组G。

如前所述，例如在图31所示的场景中，若根据现有的专利文献1所记载的方法，则如图32所示，作为前行车辆Vah的具有平板式的装货台的货车中，装货台P的后挡板B的左侧边缘部分不会与右侧边缘部分一起被群组化，而会与绿化隔离带H一体化而构成一个组。

但是，本实施方式中，在上述的群组化处理(图13的步骤S50)中，即使作为前行车辆Vah的具有平板式的装货台的货车的左侧尾灯TLl(参照图31)与绿化隔离带H被群组化为一个组，通过对灯候补单元13，左侧的尾灯TLl和右侧的尾灯TLr所对应的各个灯候补gL也会作为对灯候补PgL被抽出。

因此，由于执行图14的步骤S52的判断处理和步骤S53的分离处理，如图15所示，将包含左侧的尾灯TLl和绿化隔离带H的一个组分离为包含左侧的尾灯TLl的组GL和包含绿化隔离带H但不包含属于灯候补gL的位置数据的组G，从而可以明确地分离为分别不同的组GL、G。

在此，这种情况下，距离图像Tz的一个片段Dn(参照图20)内，可能会包含具有平板式的装货台的货车的前壁F和驾驶室Ca的背面部分以及左侧的尾灯TLl(对于右侧的尾灯TLr也相同)。

但是，如上所述，在这种片段Dn中，即使对于前壁F和驾驶室Ca的边缘部分所对应的各个像素计算出多个视差dp，从对应于左侧尾灯TLl的灯候补gL中的各个像素的视差dp计算出的代表视差dpn也会作为该片段Dn的代表视差dpn而优先被计算出来。

因此，能够准确地抽出对应于左侧的尾灯TLl的代表视差dpn或位置数据。而且，据此，如上所述，通过由分组单元14进行分离处理(步骤S52、S53)，从而对应于左侧的尾灯TLl的组GL和对应于绿化隔离带H的组G明确地被分离而成为不同的组。

分组单元14接着从各个组G中任意选择包含属于灯候补gL的位置数据的个组GL(步骤S54)，并判断对于该组GL和包含属于期他灯候补gL的位置数据的组GL的全部的组合能否进行再分组(步骤S55)。

在这种状况下，对于能否再分组的判断，例如可以构成为若同时满足以下的两个条件则判断为能够再分组。

即，作为用于判断能否再分组的第一个阈值Δd p th(或者Δz th)，在属于两个组GL的各个位置数据中，从各个组选出一个最为接近对方组的位置数据，并将所有该位置数据的代表视差dpn(或者代表距离Zn，以下相同)的差异Δd p(或者Δz)设置在10％以内，即将从其中一个组GL选出的位置数据的代表视差dpn与从另一个组GL中选出的位置数据的代表视差dpn之比设置在0.9倍～1.1倍的范围，从而判断是否在该范围之内。

而且，作为用于判断能否再分组的第二个阈值Δx th，对于从两个组GL中分别选择的上述两个位置数据，将这些数据的实际空间上的左右方向的位置(即，各X坐标)的间隔Δx设置在2m以内，从而判断是否在该范围之内。

接着，在本实施方式中，对于选择出的该组GL和其他组GL的组合，在同时满足上述两个条件时，分组单元14判断为可以再分组，从而对于被判断为能够再分组的该组GL和所有其他组GL进行再分组(步骤S55)。

接着，对于选择出的该组GL和其他组GL的全部的组合，执行上述的能否再分组的判断以及被判断为能够再分组时的再分组。

而且，若没有对全部的组GL执行上述的能否与其他组GL再分组的判断以及实施再分组(步骤S56：否)，则对于全部的组GL反复执行上述的能否与其他组GL进行再分组的判断以及再分组处理(步骤S54、S55)。

用于判断能否对包含属于该灯候补gL的位置数据的所有组GL再分组的阈值Δd p th(或者Δz th)、Δx th采用为相比于后述的对于之后的全部的组GL都执行再分组时的阈值Δd p th^＊(或者Δz th^＊)Δx th^＊更易于再分组的阈值。

而且，如上所述，由于剔除不包含属于灯候补gL的位置数据的组G，并首先对包含属于灯候补gL的位置数据的组GL使用易于再分组的阈值Δd p th(或者Δz th)、Δx th执行再分组处理，因此例如在前述的图31所示的场景中，能够对于如图15所示地被群组化的各个组G之中的包含属于灯候补gL的位置数据的尾灯TLl、TLr所对应的各组GL先判断能否再分组。

接着，对于左右侧的尾灯TLl、TLr所对应的各组GL，由于同时满足上述的两个条件，因此可以优先对左右侧的尾灯TLl、TLr所对应的各个组GL进行再分组，而且如图16所示，能够将左右侧的尾灯TLl、TLr所对应的各个组GL作为新的一个组GL。

对于包含属于灯候补gL的位置数据的全部的组GL执行上述处理(步骤S56：是)时，分组单元14接着判断对于包含被再分组的组GL和没有被再分组的组GL的全部的组G的组合能否再分组以及在被判断为能够再分组时实施再分组(步骤S57)。

此时，对于步骤S57的用于判断能否再分组的阈值来说，例如，作为上述第一个阈值Δd p th^＊(或者Δz th^＊)，将上述差异Δd p(或者Δz)设置在5％以内，而且作为第二个阈值Δx th^＊，将上述实际空间上的左右方向的间隔Δx设置在1m以内等，与用于判断上述包含属于灯候补gL的位置数据的所有组GL能否再分组的阈值Δd p th(或者Δz th)、Δx th相比，使用不易再分组的阈值。

实际上，虽然说步骤S57的用于判断能否再分组的阈值Δd pth^＊(或者Δz th^＊)、Δx th^＊使用不易再分组的阈值，但仍会设置成即使发生例如图31和图32所示的问题，在例如图18所示的通常的场景中，能够将包含车辆的各个特体适宜地划分而检测出来的阈值。

而且，在步骤S55的判断处理中使用的、用于判断包含属于灯候补gL的位置数据的所有组GL能否再分组的阈值Δd p th(或者Δz th)、Δx th设置为比此阈值所谓更宽松的阈值，以更容易进行再分组。

在以上的处理结束后，若随后产生的组G是包含属于灯候补gL的位置数据的组GL(步骤S58：是)，则分组单元14将该组G(即，组GL)作为对应于车辆背面部分的组而识别(步骤S59)，并将检测出的组G(即组GL)信息存储到存储器。

而且，即使是产生的组G不是包含属于灯候补gL的位置数据的组G(步骤S58：否)，若在该组G内的各个位置数据在实际空间上沿左右方向(即，X轴方向)延伸(步骤S60：是)，则也将该组G作为对应于车辆的背面部分的组而识别(步骤S59)，并将检测出的组G的信息存储到存储器。

在此，在这个阶段，对于作为对应于车辆的背面部分的组而识别的各组GL、G，也可以构成为计算例如表示该识别的准确性的概率。

此时，例如，当作为对应于车辆的背面部分的组而识别的各个组是包含属于灯候补gL的位置数据的组GL时，构成为分配高的概率；而且，当包含属于灯候补gL的位置数据的该组GL中包含构成通过对灯候补单元13抽出的一个对灯候补PgL的全部的灯候补gL(可能包含对应于高位刹车灯的灯候补gL的情况与前述相同)时，可构成为分配更高的概率。

而且，例如，作为对应于车辆的背面部分的组而识别的各个组是不包括属于灯候补gL的位置数据的组G时，可构成为分配更低的概率。

另外，当产生的组G不是包含属于灯候补gL的位置数据的组G(步骤S58：否)，且该组G内各个位置数据在实际空间上沿距离方向(即，Z轴方向)延伸时(步骤S60：否)，不会将该组G作为对应于车辆的背面部分的组而识别，而是作为如车辆的侧面部分或前述的绿化隔离带(参照图31)的沿本车辆的行进方向(即，Z轴方向)延伸的特体而识别。在此，可适宜地决定是否将该信息保存在存储器。

在此，对于作为对应于车辆的背面部分的组而识别的组GL、G或作为在车辆的行进方向(即，Z轴方向)延伸的物体而识别的组GL、G，可适应性地进行如下的处理，即，如图25所示，将属于各个组GL、G的各个位置数据分别近似化为直线，或者如图26所示，在基准图像T上分别利用矩形的框线包围对应于检测出的组GL、G的车辆等的物体而进行表示。

若没有对全部的组GL、G执行上述的处理(步骤S61：否)，则分组单元14反复执行上述步骤S58～S60的各个处理。而且，若对于全部的组GL、G执行了上述的处理(步骤S61：是)，则分组单元14从检测出的组GL、G中特别指定对应于前行车辆Vah的组Gah(步骤S62)，并结束处理。

而且，当分组单元14完成上述处理时，处理部10将所存储的必要信息发送给外部装置的同时，处于再次开始图3所示的步骤S1开始的一系列处理的状态。

在此，在图14的步骤S62的处理中，例如可构成为如下所述地特别指定前行车辆Vah。在此，后述的图17中，与图26所示的情况相同，位置数据沿左右方向延伸的组GL、G被标记为组O，位置数据沿距离方向延伸的组GL、G被标记为组S。

前行车辆Vah的特别指定处理中，如图17所示，基于本车辆的举动(即，车速或偏航率、方向盘的舵角等)，将本车辆随后会行进的轨迹作为行驶轨迹Lest而进行估计。

即，本车辆的行驶轨迹L est可通过基于本车辆的车速V和偏航率γ、方向盘的舵角δ等，利用下述公式(4)或(5)、(6)计算出的本车辆的旋转曲率Cua计算出来。在此，下述各个公式中的Re表示旋转半径、Asf表示车辆的稳定因数、Lwb表示轴距。

Cua＝γ/V...(4)

Re＝(1+Asf·V²)·(Lwb/δ)...(5)

Cua＝1/Re...(6)

而且，如图17所示，对应于前行车辆Vah的组Gah可以作为存在于本车辆的行驶轨迹Lest上的组GL或组G(即，组O)，或者作为行驶轨迹Lest的中心的与本车辆的车宽相当的范围内存在的组O而被检测出来。例如，图17中，组O3作为对应于前行车辆Vah的组Gah而被检测出来。

在此，通过计算出在前次的取样周期中检测出的对应于前行车辆Vah的组Gah和此次的取样周期中对应于前行车辆Vah的组Gah是对应于相同的车辆的组Gah的概率等，能够构成为确保一致性的同时跟踪前行车辆Vah。

如此构成时，能够准确地检测出发生如下情况的前行车辆Vah的交替等，即，所检测出的前行车辆Vah自本车辆的前方脱离，进而其前方的车辆成为新的前行车辆Vah，或本车辆与前行车辆Vah之间***其他车辆而该其他车辆成为新的前行车辆Vah。

综上所述，根据本实施方式提供的车辆检测装置1，分组单元14对通过位置检测单元9检测出的位置数据进行群组化而产生对应于包含车辆的各个物体的各个组G，这与前述的专利文献1记载的方法相同。

但是，在本实施方式中，分组单元14对于群组化而产生的各个组G进一步进行处理，判断包含属于由灯候补抽出单元12抽出的灯候补gL的位置数据的所有组GL能否再分组，并对于被判断为能够再分组的所有组GL进行再分组。接着，随后判断包含组GL的全部的组G能否再分组，并对于被判断为能够再分组的所有的组GL、G再分组。

而且，此时，与对于包含属于灯候补gL的位置数据的所有组GL进行再分组时的位置数据有关的阈值Δd p th(或者Δz th)、Δx th设置为相对于其后对于所有组GL、G进行再分组时的阈值Δd p th^＊(或者Δz th^＊)、Δx th^＊更易于再分组的阈值。

如此，剔除不包含属于灯候补gL的位置数据的组G，首先对包含属于灯候补gL的位置数据的组GL利用易于再分组的阈值Δd p th(或者Δz th)、Δx th进行再分组处理，因此例如在前述的如图31所述的场景中，对于在如图15所示的被群组化的各个组中的、包含属于灯候补gL的位置数据的对应于左右侧尾灯TLl、TLr的各个组GL，能够判断能否先进行再分组。

接着，能够对于与左右侧的尾灯TLl、TLr对应的各个组GL优先进行再分组，如图16所示，能够将与左右侧的尾灯TLl、TLr对应的各个组GL作为新的一个组GL。

如此，根据本实施方式提供的车辆检测装置1，首先判断能否对与车辆的方向指示灯和刹车灯等尾灯TL对应的所有灯候补gL进行再分组，由此进行再分组而将这些作为新的一个组，在这个基础上判断能否与其他组GL、G进行再分组，因此能够将与车辆的左右侧尾灯TL对应的组GL为基准，检测出对应于车辆的组G。

因此，能够将通过位置检测单元9检测出的位置数据准确地群组化，从而准确地检测出包含前行车辆Vah的车辆。

在此，本发明并不局限于上述实施方式，可进行适当地变更，这是毋庸置疑的。

Claims

1.一种车辆检测装置，其特征在于，包括：

整合处理单元，在所述图像中抽出具有预定亮度以上的像素，当所抽出的所述像素在所述图像上相邻时，将所有所述像素作为相同的像素区域进行整合；

2.根据权利要求1所述的车辆检测装置，其特征在于，所述再分组的结果，所生成的所述组是包含属于通过所述灯候补抽出单元抽出的所述灯候补的所述位置数据的组时，所述分组单元将该组识别为对应于车辆背面部分的组。

3.根据权利要求1或2所述的车辆检测装置，其特征在于，还包括对灯候补抽出单元，用以从通过所述灯候补抽出单元抽出的各个所述灯候补中，基于通过所述位置检测单元检测出的所述位置数据，将有可能与包含车辆的左右侧尾灯的尾灯对应的灯候补的组合作为对灯候补而抽出，

4.根据权利要求3所述的车辆检测装置，其特征在于，所述对灯候补抽出单元从通过所述灯候补单元抽出的所述各个灯候补中选择任意两个所述灯候补，

5.根据权利要求3所述的车辆检测装置，其特片在于，当在作为所述对灯候补抽出的左右侧的所述灯候补之间，且在所述左右侧的灯候补的所述图像中的上侧位置存在其他所述灯候补时，所述灯候补抽出单元将该其他灯候补作为高位刹车灯而加入到该对灯候补中。

6.根据权利要求5所述的车辆检测装置，其特征在于，当作为所述高位刹车灯而加入的所述灯候补属于与其另入的所述对灯候补不同的所述对灯候补时，所述对灯候补抽出单元在将加入的所述灯候补从被加入的所述对灯候补中剔除的同时，对于被剔除加入的所述灯候补所属的该不同的对灯候补，解除其作为所述对灯候补的指定。

7.根据权利要求1或2所述的车辆检测装置，其特片在于，所述灯候补抽出单元从通过所述整合处理单元整合的各个所述像素区域中，将自路面的高度在预定范围之内的所述像素区域作为所述灯候补而抽出。

8.根据权利要求1或2所述的车辆检测装置，其特征在于，还包括距离图像制作单元，用以将通过所述位置检测单元检测出的各个所述位置数据分配给通过所述拍摄单元拍摄的所述图像的对应的各个像素而制作距离图像，

当所述片段内存在由所述灯候补抽出单元抽出的所述灯候补时，将分配给所述灯候补中的各个像素的所述位置数据中的距离信息投射到所述柱状图，以计算该片段的代表距离，

并将包含计算出的各个所述代表距离的所述位置数据作为所述群组化的对象。

9.根据权利要求8所述的车辆检测装置，其特征在于，当所述片段内不存在所述灯候补抽出单元抽出的所述灯候补时，将分配给所述片段内的各个像素的所述位置数据中的距离信息投射到所述柱状图，以计算该片段的代表距离时，所述分组单元对于对应于计算出的所述代表距离的所述柱状图的组的频数未达到预定值的所述片段，无效掉计算出的所述代表距离，且对于该片段，作为没有所述代表距离的片段而进行所述群组化。