CN104732196B - 车辆检测方法及*** - Google Patents

Abstract

提供一种车辆检测方法和***。该方法包括使用由立体成像设备所拍摄的图像通过控制器创建视差图并且检测视差图上的道路区域。此外，控制器被配置为检测存在于道路区域中呈立体对象形状的车辆。

Description

车辆检测方法及***

相关申请的交叉引用

本申请基于并且要求于2013年12月24日提交给韩国知识产权局的韩国专利申请第10-2013-0162431号的优先权权益，其全部内容通过引用结合在此。

技术领域

本公开涉及一种车辆检测***及检测位于被驱使车辆的附近的其他车辆并且连续跟踪检测车辆的方法。

背景技术

已经研究出一种使用通过拍摄车辆附近所获得的图像来检测车辆附近障碍物的方法。平面图像或者立体图像可用于检测车辆附近的障碍物。当使用平面图像时，障碍物与背景之间的分离度非常低，因此，检测性能下降。因此，主要使用利用立体图像的检测方法。与使用平面图像相比较，当使用立体图像时，可以改进检测性能。然而，因为使用用于立体图像的深度值，所以数据吞吐量增大。

发明内容

本发明提供一种车辆检测***和方法，当使用立体图像检测车辆附近的障碍物时可降低数据吞吐量并且可准确当检测车辆的位置。此外，本发明提供一种车辆检测***和可更为准确跟踪检测车辆的方法。

根据本公开的示例性实施方式，车辆检测方法可包括：使用由立体成像设备(例如，照相机、录像机等)所拍摄的图像创建视差图(disparity map)；检测视差图上的道路区域；并且检测存在于道路区域中呈立体对象形状的车辆。检测道路区域可包括：使用视差图创建v-视差图；检测在v-视差图中具有大致直线形式的道路分量；并且使用道路分量检测视差图中的道路区域。此外，在检测道路分量时，在v-视差图中检测多个道路分量。

检测车辆可包括：在视差图上创建具有预定形状的虚拟三维结构；使三维结构变形以致使三维结构的底表面与道路区域吻合；并且检测存在于变形的三维结构中呈立体对象形状的车辆。检测存在于变形的三维结构中呈立体对象形状的车辆可包括：将视差图转换成俯视图图像；检测在俯视图图像中具有矩形形状的车辆区域；将俯视图图像转换成视差图；并且使用视差图检测车辆区域的高度。

在将视差图转换成俯视图图像时，包括在三维结构中的区域可被转换成俯视图图像。此外，在检测车辆区域时，俯视图图像中存在的障碍物中具有等于或者大于的预定高度的高度的障碍物可被检测为车辆区域。在检测车辆区域时，根据成像设备距车辆的距离，基于由车辆所占据的像素数目，可检测车辆区域。

车辆检测方法可进一步包括：创建对应于由立体成像设备所拍摄的图像中的车辆的虚拟立体对象；检测立体对象的区域中的特征点；通过比较特征点与在时间上连续于该图像的图像中所检测的特征点，创建运动矢量；并且基于运动矢量移动立体对象的位置。

附图说明

从下面结合附图进行的详细描述中，本公开的上述目标和其他目标、特性以及优点将变得更为显而易见。

图1是示出了根据本公开的示例性实施方式的车辆检测方法的示例图；

图2是示出了根据本公开的示例性实施方式的检测视差图上的道路区域的过程的示例性流程图；

图3的A和B是示出了根据本公开的示例性实施方式的创建v-视差图的过程的示例图；

图4A至图5B是示出了根据本公开的示例性实施方式的检测v-视差图中的道路分量的过程的示例图；

图6是示出了根据本公开的示例性实施方式所检测的道路区域的示例图；

图7是示出了根据本公开的示例性实施方式的检测存在于道路区域中呈立体对象形状的车辆的过程的示例性流程图；

图8A和图8B是示出了根据本公开的示例性实施方式所创建的三维结构的示例图；

图9A至图9E是示出了根据本公开的示例性实施方式的检测呈立体对象形状的车辆的过程的示例图；

图10是示出了根据本公开的示例性实施方式跟踪车辆的过程的示例性流程图；

图11是示出了根据本公开的示例性实施方式所创建的虚拟立体对象的图像的示例图；并且

图12是示出了根据本公开的示例性实施方式计算运动矢量的方法的示例图。

具体实施方式

应当理解的是，在此使用的术语“车辆”或者“车辆的”或者其他类似术语通常包括机动车辆，诸如包括运动型多用途车(SUV)的客车、公共汽车、卡车、各种商用车辆、包括各种船舶的船只、飞机等等，并且包括混合动力车辆、电动车辆、内燃机车辆、插电式混合电动车辆、氢动力车辆以及其他可替代燃料车辆(例如，源自不同于石油的资源的燃料)。

尽管在使用多个单元执行示例性过程时描述了示例性实施方式，然而，应当理解的是，示例性过程也可由一个或者多个模块执行。此外，应当理解的是，术语“控制器/控制单元”指包括存储器和处理器的硬件设备。存储器被配置为存储模块并且处理器具体被配置为执行所述模块以执行下面进一步所描述的一个或者多个过程。

此外，本发明的控制逻辑可实现为非易失性计算机可读介质，在该计算机可读介质上包含由处理器、控制器/控制单元等执行的可执行程序指令。计算机可读介质的实例包括但并不限于：ROM、RAM、光盘(CD)-ROM、磁带、软盘、闪存驱动、智能卡以及光学数据存储设备。计算机可读介质也可分布在耦接网络的计算机***中，从而以分布式方式例如由车载通信服务器(telematics server)或控制器局域网络(CAN)存储并且执行该计算机可读介质。

本文中所使用的措辞仅是为了描述特定实施方式而并不旨在对本发明进行限制。除非上下文另有明确说明，否则如本文中所使用的单数形式“一(a)”、“一(an)”及“该”也旨在包括复数形式。还应当理解，本说明书中所使用的术语“包括(comprises)”和/或“包含(comprising)”指定存在所述特性、整数、步骤、操作、元件及/或组件，但并不排除存在或附加一个或多个其它特性、整数、步骤、操作、元件、组件及/或其组合。如本文中所使用的，术语“和/或”包括一个或多个相关的所列项的任何及所有组合。

在下文中，将参考附图描述根据本公开。

图1是示出了根据本公开的示例性实施方式的车辆检测方法的示例图。根据本发明的示例性实施方式的车辆跟踪方法可由程序代码实现并且可由安装在车辆内的诸如微控制单元(MCU)、电子控制单元(ECU)等的处理器操作。参考图1，首先，可创建视差图(S110)。通过立体成像设备(例如，照相机、录像机等)可拍摄用于创建视差图的图像。立体成像设备可被配置为使用多个拍摄透镜同时拍摄(例如，捕捉)多个图像。由于拍摄透镜的观察点之间的差，通过立体成像设备所拍摄的多个立体图像可具有视差。

通过由立体成像设备所拍摄的多个图像之间的视差可以识别对象距所驱使车辆的距离。尽管存在创建视差图的若干种方法，然而，通过两个图像之间的视差，视差图可基于亮度总体显示距离信息。具体地，通过亮度值可以显示充分靠近的对象(例如，位于距所驱动车辆的预定距离内)，并且通过暗度值(例如，比亮度值更暗的值)可以显示充分远距离的对象(例如，在距所驱动车辆的预定距离之外)。当创建视差图时，可检测视差图上的道路区域(S120)。将参考图2至图5B详细描述检测视差图上的道路区域的过程。

图2是示出了根据本公开的示例性实施方式的检测视差图上的道路区域的过程的示例性流程图。参考图2，首先，使用视差图可创建v-视差图(S121)。通过累加视差图中具有视差的像素可创建v-视差图。将参考图3的A和图3的B对此进行描述。

图3的A和图3的B是示出了根据本公开的示例性实施方式创建v-视差图的过程的示例图。图3的A示出了在S110中所创建的视差图。此外，通过累加在图3的A中所示的视差图中具有视差的像素可创建如图3的B中所示的v-视差图。在图3的B中所示的v-视差图中，x轴指示距离信息，并且y轴指示通过累加对应于相应距离的值所获得的值。当创建v-视差图时，在v-视差图中可以检测道路分量(S122)。具体地，视差图中的道路区域可表现为v-视差图中的大致直线分量。因此，v-视差图中的大致直线分量可被检测为道路分量。将参考图4A至图5B对此进行描述。

图4A至图5B是示出了根据本公开的示例性实施方式的检测v-视差图中的道路分量的过程的示例图。参考图4A，v-视差图中包括大致直线分量。此外，如图4B所示，大致直线分量可被检测为道路分量。同时，在视差图中出现的道路是一个平面的假设下，v-视差图中的大致直线分量可被检测为道路分量。然而，当道路中存在上坡或者下坡时，当道路被检测为大致直线时，可能出现错误。因此，当检测v-视差图中的大致直线道路分量时，可以检测多个道路分量，从而减少错误。

图5A示出了v-视差图的局部区域的示例性放大或者细节图像。图5A中所示的v-视差图表示对应于道路分量的值。然而，在图5A中，道路分量并不表现为直线分量。因此，如图5B所示，当在v-视差图中检测道路分量时，可以检测多个道路分量。在v-视差图中可以检测多个道路分量，从而使得可以提高检测道路区域的准确度。当在v-视差图中检测道路分量时，可以在视差图中检测道路区域(S123)。所检测出的道路分量可被投影到视差图上，从而使得可以检测道路区域。

图6是示出了根据本公开的示例性实施方式所检测出的道路区域的示例图。参考图6，分别示出了对应于在图5B中所检测的两个道路分量的道路区域。从图6中可以看出，使用多个道路分量可以检测道路区域，以更为准确地检测实际道路。此外，在图6中，为便于理解示例性实施方式，在立体图像中而非在视差图中示出了所检测的道路区域。当检测道路区域时，可以检测存在于道路区域中呈立体对象形状的车辆(S130)。将参考图7至图9E对此进行描述。

图7是示出了根据本公开的示例性实施方式检测存在于道路区域中呈立体对象形状的车辆的过程的示例性流程图。参考图7，可以在视差图上创建虚拟三维结构(S131)。然后，使三维结构变形以致使其底表面与道路区域吻合(S132)。将参考图8A和图8B对此进行描述。

图8A和图8B是用于描述根据本公开的示例性实施方式所创建的三维结构的示例图。如图8A所示，当检测道路区域时，可以在视差图上创建具有预定形状的三维结构。无论所检测的道路如何，可以在预定位置以预定形状示出在图8A中示出三维结构。如图8B所示，当创建三维结构时，可以使三维结构变形，以使其底表面与道路区域吻合。同时，在图8中，为便于理解示例性实施方式，在立体图像中而非在视差图中示出了三维结构。

当使三维结构变形时，可以检测存在于三维结构中呈立体对象形状的车辆。检测存在于三维结构中呈立体对象形状的车辆的过程可对应于图7中的S133至S136。参考图7，视差图可被转换成俯视图图像(S133)，并且可以检测在俯视图图像中具有矩形形状的车辆区域(S134)。然后，俯视图图像可被转换成视差图(S135)并且使用视差图可检测车辆区域的高度。将参考图9A至图9E描述检测存在于三维结构中呈立体对象形状的车辆的过程。

图9A至图9E是示出了根据本公开的示例性实施方式的检测呈立体对象形状的车辆的过程的示例图。图9A示出了其中创建三维结构的示例性视差图。图9A中所示的视差图可被转换成如图9B中所示的俯视图图像(S133)。具体地，可以使用透视投影将视差图转换成俯视图图像。透视投影是基于成像设备观察点改变图像被投影表面的过程，并且其基本等式为下列等式1。

等式1

最初像素坐标

变换像素坐标

P:投影矩阵

参考等式1，被转换成俯视图图像的坐标X’可以表示为具体坐标X与矩阵P的乘积。此外，等式1可以由下列等式2表示。

等式2

x,y:最初像素坐标

x',y':变换像素坐标

a,.....,h:透视变换参数

此外，等式2中的矩阵等式可被布置为以下列等式3表示。

等式3

x′＝ax+by+c-gxx′-hx′y

y′＝dx+ey+f-gxy′-hyy′

当等式3中的变量被布置成矩阵形式时，可以获得以下列等式4所表示的矩阵等式。

等式4

参考等式4，当已知视差图中的四个坐标(x,y)和与其对应的俯视图图像中的四个坐标(x’,y’)时，可以获得矩阵P的八个变量a、b、…、h。图9A中所示的四个坐标可以图9B中所示的四个坐标表示。使用图9A和图9B中所示的四对坐标可以获得矩阵P。此外，如图9B所示，当获得矩阵P时，视差图可被转换成俯视图图像。具体地，因为车辆可整体存在于道路上，所以对应于三维结构中所包括的区域的部分(即，道路区域)可被转换成俯视图图像，以降低数据吞吐量。

如图9C所示，当视差图被转换成俯视图图像时，可以检测在俯视图图像中具有大致矩形形状的车辆区域。具体地，道路区域中存在的障碍物中具有距地面等于或者大于预定高度的高度的障碍物可被检测为车辆区域。当检测车辆区域时，可以识别车辆的宽度和长度。当检测俯视图图像中的车辆区域时，根据成像设备距车辆的距离，可基于由车辆所占据的像素数目检测车辆区域。因为随着成像设备与车辆的距离增加，车辆可以被显示为更小的尺寸，所以由车辆所占据的像素数目可以减少。因此，当检测车辆区域时，基于成像设备距车辆的距离和由车辆所占据的像素数目，可以排除被确定为不是车辆的障碍物。

如图9D所示，当检测车辆区域时，俯视图图像可再次被转换成视差图。具体地，使用矩阵P的逆矩阵P’，俯视图图像可被转换成视差图。然后，如图9E所示，可以在视差图中检测所检测的车辆区域的高度(S136)。车辆区域的高度可对应于关于所检测的车辆区域的相同深度信息所具有的高度。当在视差图中检测道路区域时，使用多个道路分量可以对其进行检测，从而使得可以更为准确地检测车辆的高度。参考图9E，可以认识到，在视差图中检测了呈立体对象形状的车辆。具体地，如图9E所示，可以检测呈矩形平行六面体形状的车辆。

当检测呈立体对象形状的车辆时，可以跟踪车辆(S140)。换言之，使用被检测为车辆的立体对象的形状可以持续跟踪车辆。作为跟踪车辆的方法，可以使用光流法。然而，可以使用利用视差图中的深度值作为立体图像中的z坐标以及x坐标和y坐标的三维光流法。将参考图10至图12对此进行详细描述。

图10是示出了根据本公开的示例性实施方式跟踪车辆的过程的示例性流程图。参考图10，当检测车辆时，可以在由立体成像设备拍摄的图像上创建对应于的车辆的虚拟立体对象(S141)。

图11是示出了根据本公开的示例性实施方式所创建的虚拟立体对象的图像的示例图。参考图11，在由立体成像设备所拍摄的图像上对应于车辆的区域被显示为具有大致矩形形状的立体对象。如图11所示，可以显示呈立体对象形状的车辆区域，从而相比较于车辆区域被显示为矩形形状使得可以更为准确地识别车辆位置。

当显示车辆区域时，可以检测立体对象的区域中的特征点(S142)。参考图11，可以显示呈立体对象形状的车辆区域，从而使得可以在检测特征点时减少除车辆之外的不必要区域。因此，可以防止车辆跟踪表现由于错误特征点检测而恶化。此外，通过比较在彼此在时间上连续图像中所检测的特征点可以计算运动矢量。具体地，在S142中所检测的特征点与在与其时间连续的图像中所检测的特征点之中的相同特征点可彼此匹配。此外，可以计算匹配特征点之间的位置差作为矢量。

所计算的矢量可具有x轴分量、y轴分量、以及z轴分量。z轴分量可对应于视差图中深度值之间的差。当创建多个矢量时，通过分析多个矢量的x轴、y轴、以及z轴的方向性并且然后计算x轴、y轴以及z轴的中心值可以计算最终运动矢量。换言之，运动矢量可以是指示连续图像之间的车辆的移动量的矢量。

图12是根据本公开的示例性实施方式的用于描述计算运动矢量的方法的示例图。参考图12，在笛卡尔坐标系中示出了多个矢量。此外，可以计算多个矢量的z轴分量、y轴分量、以及z轴分量的相应中心值。此外，可以计算由x轴分量的中心值、y轴分量的中心值、以及z轴分量的中心值所表示的矢量作为最终运动矢量。当检测多个车辆区域时，可以相对于多个车辆区域分别计算运动矢量。可以跟踪所检测的车辆，从而使得即使当前未能检测车辆时可以利用对过去所检测的车辆的跟踪来识别车辆的当前位置。

而且，当跟踪所检测车辆时，可不执行上述所述车辆检测过程，从而使得可以减少数据吞吐量。此外，可以在预定期限内(例如，20个帧的期限)执行车辆检测过程，从而使得可以矫正在无车辆检测过程情况下执行跟踪过程时发生的错误。根据本公开的各种示例性实施方式，当检测车辆附近的障碍物时，可以减少数据吞吐量，并且可以检测呈立体对象形状的车辆，从而使得可以更为准确地检测车辆的位置。此外，可以更为准确地跟踪所检测的车辆。

尽管出于示出性之目的公开了本公开的示例性实施方式，然而，本领域技术人员应当认识到，在不背离所附权利要求中所公开的本公开的范围和实质的情况下，可以做出各种变形、添加、以及替换。因此，这些变形、添加、以及替换也应被理解为落在本公开的范围内。

Claims (11)

1.一种车辆检测方法，包括：

使用由立体成像设备所拍摄的图像通过控制器创建视差图；

通过所述控制器检测所述视差图上的道路区域；并且

通过所述控制器检测存在于所述道路区域中呈立体对象的形状的车辆，

其中，检测所述车辆包括：

通过所述控制器创建在所述视差图上具有预定形状的虚拟三维结构；

通过所述控制器使所述三维结构变形以使所述三维结构的底表面与所述道路区域吻合；并且

通过所述控制器检测存在于变形后的三维结构中呈所述立体对象的所述形状的车辆，

其中，检测存在于所述变形后的三维结构中呈所述立体对象的所述形状的车辆包括：

通过所述控制器将所述视差图转换成俯视图图像；

通过所述控制器检测在所述俯视图图像中具有矩形形状的车辆区域；

通过所述控制器将所述俯视图图像转换成视差图；并且

使用所述视差图通过所述控制器检测所述车辆区域的高度。

2.根据权利要求1所述的车辆检测方法，其中，检测所述道路区域包括：

使用所述视差图通过所述控制器创建v-视差图；

通过所述控制器检测在所述v-视差图中具有直线形式的道路分量；并且

使用所述道路分量通过所述控制器检测所述视差图中的所述道路区域。

3.根据权利要求2所述的车辆检测方法，其中，在检测所述道路分量时，在所述v-视差图中检测多个道路分量。

4.根据权利要求1所述的车辆检测方法，其中，在将所述视差图转换成所述俯视图图像时，包括在所述三维结构中的区域被转换成所述俯视图图像。

5.根据权利要求1所述的车辆检测方法，其中，在检测所述车辆区域时，在所述俯视图图像中存在的障碍物中高度等于或者大于预定高度的障碍物被检测为所述车辆区域。

6.根据权利要求1所述的车辆检测方法，其中，在检测所述车辆区域时，基于所述成像设备距所述车辆的距离，考虑到由所述车辆占据的像素的数目来检测所述车辆区域。

7.根据权利要求1所述的车辆检测方法，进一步包括：

通过所述控制器创建与由所述立体成像设备所拍摄的图像中的所述车辆对应的虚拟立体对象；

通过所述控制器检测所述立体对象的区域中的特征点；

通过所述控制器比较所述特征点与在时间连续于所述图像的图像中检测出的特征点来创建运动矢量；并且

通过所述控制器基于所述运动矢量移动所述立体对象的位置。

8.一种车辆检测***，包括：

存储器，所述存储器被配置为存储程序指令；和

处理器，所述处理器被配置为执行所述程序指令，所述程序指令在被执行时被配置为：

使用由立体成像设备所拍摄的图像创建视差图；

检测所述视差图上的道路区域；并且

检测存在于所述道路区域中呈立体对象的形状的车辆，

其中，检测所述车辆包括：

创建在所述视差图上具有预定形状的虚拟三维结构；

使所述三维结构变形以使所述三维结构的底表面与所述道路区域吻合；并且

检测存在于变形后的三维结构中呈所述立体对象的所述形状的车辆，

其中，检测存在于所述变形后的三维结构中呈所述立体对象的所述形状的车辆包括：

将所述视差图转换成俯视图图像；

检测在所述俯视图图像中具有矩形形状的车辆区域；

将所述俯视图图像转换成视差图；并且

使用所述视差图检测所述车辆区域的高度。

9.根据权利要求8所述的车辆检测***，其中，所述程序指令在被执行时被进一步配置为：

使用所述视差图创建v-视差图；

检测在所述v-视差图中具有直线形式的道路分量；并且

使用所述道路分量检测所述视差图中的所述道路区域。

10.根据权利要求9所述的车辆检测***，其中，在检测所述道路分量时，在所述v-视差图中检测多个道路分量。

11.根据权利要求8所述的车辆检测***，其中，所述程序指令在被执行时被进一步配置为：

创建与由所述立体成像设备所拍摄的所述图像中的所述车辆对应的虚拟立体对象；

检测所述立体对象的区域中的特征点；

通过比较所述特征点与在时间上连续于所述图像的图像中检测出的特征点来创建运动矢量；并且

基于所述运动矢量移动所述立体对象的位置。