CN111414857B - 一种基于视觉的多特征融合的前方车辆检测方法 - Google Patents

Abstract

本发明公开一种基于视觉的多特征融合的前方车辆检测方法，包括步骤1：获取前方车辆尾灯对轮廓信息，并确定各个尾灯的质心，以质心之间的中心点为参考点，根据尾灯标记区域图像宽度、高度确定尾灯标记区域X_T；步骤2：获取车辆阴影区域灰度值，根据车辆阴影区域灰度值获得车辆底部阴影图像区域；获取阴影标记区域高度：以车辆底部阴影图像区域下边缘线中心点为参考点，根据阴影标记区域图像宽度、高度确定阴影标记区域X_S；步骤3：获取前方车辆的目标检测区域：X_w＝k_sX_S+k_TX_T；式中，X_w为前方车辆的目标检测区域，k_s、k_T为权重系数。基于尾灯对与阴影复合特征检测的前方车辆的存在区域，提高检测精度，解决了单一特征漏检或不能检测的缺陷。

Description

一种基于视觉的多特征融合的前方车辆检测方法

技术领域

本发明涉及汽车安全辅助驾驶控制领域，更具体的是，本发明涉及一种基于视觉的多特征融合的前方车辆检测方法。

背景技术

汽车安全辅助驾驶***(ADAS)被广泛用于改善驾驶安全性，比如：车道保持辅助***(LKAS)、前撞预警***(FCW)、自动紧急避撞***(AEB)及智能巡航***(IACC)等。无论是哪一种辅助驾驶***，其核心技术在于应用雷达或机器视觉快速且准确地提取***前方车辆或障碍物等信息，能够及时提醒驾驶员避免碰撞危险或自动控制车辆实现避撞。

伴随高性价比图像传感器的普及和图像处理技术的日益成熟，基于机器视觉的车辆检测与识别方法被广泛用于辅助驾驶***中。如利用车辆的线性几何特征信息、车辆的对称性，或者采用特殊的硬件，如彩色CCD和双目CCD的计算机视觉方法等。此外，还有基于光流的方法、模板匹配的方法、支持向量机方法、利用神经网络训练的方法以及多传感器信息融合的方法等。上述研究方法大都基于单一车辆特征，利用一些先验知识确定车辆存在的区域或判断是否有车辆存在。该方法对于外界环境的适应性较差，容易受到天气因素的制约而影响检测的精确度。

发明内容

本发明设计开发了一种基于视觉的多特征融合的前方车辆检测方法，基于尾灯对与阴影复合特征检测的前方车辆的存在区域，提高检测精度，解决了单一特征漏检或不能检测的缺陷。

本发明提供的技术方案为：

一种基于视觉的多特征融合的前方车辆检测方法，包括如下步骤：

步骤1：获取前方车辆尾灯对轮廓信息，并确定各个尾灯的质心，使其满足：

式中，

为图像中尾灯对间的宽度；W_min与W_min分别为尾灯对间宽度的最小像素值与最大像素值；

与

分别为图像中左右尾灯的高度；h_c左右尾灯的高度差阈值；

与

分别为图像中左右尾灯的面积；a_l与a_r分别为图像中左右尾灯对面积比的最小值与最大值。

获取尾灯标记区域高度：

式中，f_w1为尾灯标记区域图像宽度；f_h1为尾灯标记区域图像高度；V_w为车辆实际宽度；V_h为车辆实际高度，α₁为尾灯标记区域图像的比例系数；

以质心之间的中心点为参考点，根据尾灯标记区域图像宽度、高度确定尾灯标记区域X_T；

步骤2：获取车辆阴影区域灰度值：

S_TH＝G_μmin-k_σG_σmin；

式中，S_TH为车辆阴影区域灰度值；k_σ为方差比例系数，G_μmin为路面像素最小灰度值均值，G_σmin为最小灰度值均值对应的最小均方差，M、N为图像的长度与宽度；

根据车辆阴影区域灰度值获得车辆底部阴影图像区域；

获取阴影标记区域高度：

式中，f_w2为阴影标记区域图像宽度；f_h2为阴影标记区域图像高度；α₂为阴影标记区域图像的比例系数；

以车辆底部阴影图像区域下边缘线中心点为参考点，根据阴影标记区域图像宽度、高度确定阴影标记区域X_S；

步骤3：获取前方车辆的目标检测区域：

X_w＝k_sX_S+k_TX_T；

式中，X_w为前方车辆的目标检测区域，k_s、k_T为权重系数。

优选的是。还包括：

根据目标检测区域确定与前方车辆的纵向距离：

式中，Z为与前方车辆的纵向距离，f为视觉相机的有效焦距，f_ω为目标检测区域的宽度。

优选的是，在所述步骤1中，通过Canny边缘检测获取包含前方车辆尾灯对轮廓信息的检测图像，并通过形态学闭运算确定前方车辆尾灯对轮廓信息。

优选的是，在所述步骤2中，根据所述车辆阴影区域灰度值进行图像分割，获得二值化图像，并进行开与闭运算处理，获得车辆底部阴影图像区域。

优选的是，所述阴影标记区域图像宽度和所述尾灯标记区域图像宽度均为尾灯宽度。

优选的是，所述前方车辆尾灯对轮廓信息采用6×6的正方形结构元素进行形态学闭运算确定。

优选的是，所述车辆底部阴影图像区域由车辆在地面上的阴影、车辆左右后轮轮胎以及车辆的后保险杠组成。

本发明所述的有益效果：

本发明设计开发的基于视觉的多特征融合的前方车辆检测方法，基于尾灯对与阴影复合特征检测的前方车辆的存在区域，提高检测精度，解决了单一特征漏检或不能检测的缺陷。

附图说明

图1为前方车辆的后部尾灯对结构图。

图2为单目视觉测距几何模型图。

图3为基于像平面车辆宽度确定纵向距离示意图。

具体实施方式

下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。

本发明设计开发了一种基于视觉的多特征融合的前方车辆检测方法，包括如下步骤：

步骤1：车辆尾灯对信息获取

车辆区域通常存在许多明显的边缘特征，如后风窗玻璃、后保险杠、后尾灯对及车牌等边缘。这些边缘特征对于车辆区域的定位和作为判决依据是非常有用的。经过Canny边缘检测后，车辆尾灯轮廓信息就会包含在检测图像中，需要从中将尾灯对轮廓提取出来。采用6×6的正方形结构元素进行形态学闭运算，消除噪声点。

图1为前方车辆的后部尾灯对结构图。从图1中可以看出，尾灯对轮廓信息可以用以下约束条件进行提取：

根据公式(1)至公式(3)的约束条件就可以确定尾灯区域的质心，将质点连线并求其距离，进而确定图中车辆的左右边缘(即车宽)，这里取一个尾灯的宽度加上左右尾灯质心连线距离。

步骤2：车辆阴影区域获取

车辆阴影区域是由车辆在地面上的阴影、车辆左右后轮轮胎以及车辆的后保险杠等部分组成。通常，车辆阴影区域的灰度值在整个路面图像中处于最小值范围。对于待检测的图像，计算路面像素灰度值均值G_μ与均方差G_σ，如公式(4)与公式(5)所示。

式中：M、N为图像的长度与宽度。

最终选取的阈值由最小的灰度均值和对应的均方差确定，具体计算公式如下：

S_TH＝G_μmin-k_σG_σmin (6)

式中，S_TH为车辆阴影区域灰度值；k_σ为方差比例系数，G_μmin为路面像素最小灰度值均值，G_σmin为最小灰度值均值对应的最小均方差，M、N为图像的长度与宽度

根据所述车辆阴影区域灰度值进行图像分割，在分割后的车辆底部阴影区域二值化图像中，对于车辆底部阴影区域周围出现的连为一体的噪声或者车辆底部阴影区域有不连续的情况以及非车辆底部阴影区域，需要将分割后的底部阴影区域与背景噪声及非车辆底部阴影区域尽可能分离出来，对其进行了开与闭运算处理，得到车辆底部阴影图像区域。

步骤3：基于尾灯与阴影特征的车辆检测区域整合

基于阴影特征得到了目标车辆底部的阴影区域，根据该区域在图像中标定车辆存在区域的坐标点，这里以阴影区域下边缘线中心点为基础参考点，结合车辆尾灯宽度确定出标记框的宽度区域，再结合车辆的实际结构尺寸与图像尺寸间的比例关系(如公式7所示)，可以得到图中车辆高度坐标点，进而以车辆底部阴影图像区域下边缘线中心点为参考点，根据阴影标记区域图像宽度、高度获得目标车辆的矩形标记区域X_S(阴影标记区域)。

式中：f_w2为阴影标记区域图像宽度；f_h2为阴影标记区域图像高度；α₂为阴影标记区域图像的比例系数。V_w为车辆实际宽度；V_h为车辆实际高度。

基于尾灯对信息，可以得到尾灯的质心坐标，选取质心的中心点坐标为参考点，按照尾灯宽度确定标记框的宽度区域，再结合车辆的实际结构尺寸与图像尺寸间的比例关系(如公式8所示)，可以得到图中车辆高度坐标点，进一步得到基于尾灯特征所获取的目标车辆的矩形标记区域X_T(尾灯标记区域)。

式中，f_w1为尾灯标记区域图像宽度；f_h1为尾灯标记区域图像高度；V_w为车辆实际宽度；V_h为车辆实际高度，α₁为尾灯标记区域图像的比例系数。

步骤4、针对阴影特征和尾灯对特征，分别可以获得目标车辆的矩形标记区域(即阴影标记区域和尾灯标记区域)，对该标记区域可以结合实际情况对其进行整合处理，确定唯一的目标检测区域(如公式9所示)。

X_w＝k_sX_S+k_TX_T (9)

式中，X_w为前方车辆的目标检测区域，k_s、k_T为权重系数。

当然，也可根据实际需要分别进行确定。但基于阴影与尾灯对复合特征实施车辆检测，可以克服如单一尾灯对检测并行车辆时所造成的误检情况的发生。

步骤5、基于尾灯与阴影特征提取结果(即唯一的目标检测区域)确定与前方车辆的纵向距离。

众所周知，基于单目视觉的车辆检测方法虽然能够对ADAS***前方目标车辆进行有效检测，但不能获取前方目标车辆至本车的纵向距离以及目标车的车速等信息，这对于车辆的车距保持与避撞***来讲，还需要装备雷达等监测传感器，无疑会增加***成本及信息处理的复杂度。

基于单目视觉结合车辆阴影区域与尾灯对复合特征，可以准确获取车辆图像的宽度信息，利用车辆宽度参数，可以对前方目标车辆至本车的纵向距离进行滤波估计，解决单目视觉不能测距的问题。

由单目视觉测距几何模型(如图2所示)可以得知，前方道路上一点P与镜头中心的纵向距离Z可由公式(10)表示为：

式中：H为CCD相机的安装高度；f为CCD相机的有效焦距；y为目标点P在CCD像平面上的投影坐标在y轴方向上的分量(像平面坐标的像素值)；y₀为光轴与像平面的交点(通常y₀取0)。

从公式(10)可以得知，如果P点换为本车前方的目标车辆，则公式中的y值就代表目标车在图像平面中的车辆高度。由此可以得知，CCD相机前方的目标车辆在像平面中的宽度也符合公式(10)的比例关系，如图3所示，即：利用图像中车辆宽度与实际车宽同样可以确定前方目标车距离本车的纵向距离Z，该关系可用公式(11)表示为：

式中：f_w为目标车在像平面中的车辆宽度；V_w为车辆的实际宽度。

公式(11)中，参数f和V_w均可以通过实测得到，而f_ω已经由本发明中基于单目视觉结合车辆阴影区域与尾灯对复合特征得到的唯一的目标检测区域准确地检测出。所以，只要准确地得到像平面中车辆的宽度值，就可以判断出前方目标车距离本车的纵向距离。另外，如果需要获取前方目标车的纵向速度与加速度等参量，可以利用本发明中获得的观测距离参量，建立关于纵向距离、速度及加速度的卡尔曼滤波器，实现前方目标车辆的速度与加速度的估计，此项内容在本发明中不再一一赘述。

单独应用尾灯检测

导入程序图像尺寸大小：360*240，单位：像素；小轿车实际长宽高的尺寸大小：1925*1720(图像的尺寸及调整值单位均为：像素；小轿车实际尺寸单位：毫米。以下与此相同，不再重复说明)，单位：毫米；矩形框宽度范围是尾灯对之间的距离大小：20～120像素；矩形框高度是根据图像中车辆宽高度与实际车辆宽高度计算出来的(见公式8)；以尾灯对中心点为中心，向左扩(尾灯对之间距离大小+单独一个尾灯的宽度大小)/2；以尾灯对为对称轴，上下分别扩图像中高度的一半。矩形框的大小为：128.7×115。

单一使用阴影检测

导入程序的图像尺寸大小：360*240；小轿车实际尺寸：1925*1720；车辆底部的感兴趣区域矩形框宽度范围45～125；具***置：以车辆底部矩形框下边线中心点为中心，分别向左扩车辆底部的感兴趣矩形框宽度的一半，上扩由比例公式求得的图像中车辆的高度(见公式7)。矩形框的大小为：123×109.9。

采用复合特征检测

最后确定的结果只有一个矩形框，分别是以提取尾灯特征时得到的图像中车辆的宽度(尾灯对之间距离+单独一个尾灯的宽度)，按比例式求图像中车辆的高度，以尾灯对的中心点为中心，以车辆底部阴影区域下边线为基准点，将尾灯对中心点横坐标x向左平移图像中对应车辆宽度的一半，横坐标为x1，已知横、纵坐标x1,y，取点(x1,y)最后向上扩求得的图像中车辆的高度值。获得矩形框的大小为：128.7×115。

即有阴影存在，阴影区域下边线为基准点确定车辆底部，宽度由尾灯特征确定；无阴影存在，转化为尾灯特征确定矩形框。

雨雪及夜间，只单独使用了提取尾灯特征的检测方法，具体数值同单独采用尾灯检测时一致，根据如下判决函数确定，X_w＝k_sX_S+k_TX_T

其中：X_T—车辆尾灯特征；X_S—车辆阴影特征；k_s、k_T—为二者的权重系数(k_s+k_T＝1)。

正常日间行驶条件下，车辆尾灯及阴影均可检测，故设k_s＝k_T＝0.5；夜间及雨雪等恶劣天气条件下，阴影特征无法准确获取，故设k_T＝1，k_s＝0。

有以上数据可以，根据尾灯对约束条件特征提取的经过开闭运算以后能够可靠地检测出车辆后部的尾灯特征信息，能够根据尾灯对质心确定的车辆宽度，并确定车辆可能存在的感兴趣区域的矩形框范围。也能基于阴影灰度阈值限制条件可靠地检测出车辆底部的阴影特征，并确定车辆可能存在的感兴趣区域的矩形框范围。因此，根据阴影灰度值特征也能够准确地标记出候选车辆区域。而在利用尾灯对与阴影复合特征提取的检测结果来看，两者确定的候选车辆区域基本上是吻合的。并且在雪天及夜间行车环境下，由于车底部阴影缺失，所以基于尾灯对与阴影复合特征提取的车辆存在区域主要取决于车辆尾灯对信息作为最终结果。日间包含晴天与阴天环境下，只要存在阴影区域，两者均能获得车辆的检测区域。这也说明，基于多特征信息的车辆检测可以大大改进单一特征漏检或不能检测等不足之处。

本发明设计开发的基于视觉的多特征融合的前方车辆检测方法，基于尾灯对与阴影复合特征检测的前方车辆的存在区域，提高检测精度，解决了单一特征漏检或不能检测的缺陷。

尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims (7)

1.一种基于视觉的多特征融合的前方车辆检测方法，其特征在于，包括如下步骤：

步骤1：获取前方车辆尾灯对轮廓信息，并确定各个尾灯的质心，使其满足：

式中，

为图像中尾灯对间的宽度；W_min与W_min分别为尾灯对间宽度的最小像素值与最大像素值；

与

分别为图像中左右尾灯的高度；h_c左右尾灯的高度差阈值；

与

分别为图像中左右尾灯的面积；a_l与a_r分别为图像中左右尾灯对面积比的最小值与最大值；

获取尾灯标记区域高度：

式中，f_w1为尾灯标记区域图像宽度；f_h1为尾灯标记区域图像高度；V_w为车辆实际宽度；V_h为车辆实际高度，α₁为尾灯标记区域图像的比例系数；

以质心之间的中心点为参考点，根据尾灯标记区域图像宽度、高度确定尾灯标记区域X_T；

步骤2：获取车辆阴影区域灰度值：

S_TH＝G_μmin-k_σG_σmin；

式中，S_TH为车辆阴影区域灰度值；k_σ为方差比例系数，G_μmin为路面像素最小灰度值均值，G_σmin为最小灰度值均值对应的最小均方差，M、N为图像的长度与宽度；路面像素灰度值均值G_μ与路面像素灰度值均方差G_σ；

根据车辆阴影区域灰度值获得车辆底部阴影图像区域；

获取阴影标记区域高度：

式中，f_w2为阴影标记区域图像宽度；f_h2为阴影标记区域图像高度；α₂为阴影标记区域图像的比例系数；

以车辆底部阴影图像区域下边缘线中心点为参考点，根据阴影标记区域图像宽度、高度确定阴影标记区域X_S；

步骤3：获取前方车辆的目标检测区域：

X_w＝k_sX_S+k_TX_T；

式中，X_w为前方车辆的目标检测区域，k_s、k_T为权重系数。

2.如权利要求1所述的基于视觉的多特征融合的前方车辆检测方法，其特征在于，还包括：

根据目标检测区域确定与前方车辆的纵向距离：

式中，Z为与前方车辆的纵向距离，f为视觉相机的有效焦距，f_ω为目标检测区域的宽度。

3.如权利要求1或2所述的基于视觉的多特征融合的前方车辆检测方法，其特征在于，在所述步骤1中，通过Canny边缘检测获取包含前方车辆尾灯对轮廓信息的检测图像，并通过形态学闭运算确定前方车辆尾灯对轮廓信息。

4.如权利要求1或2所述的基于视觉的多特征融合的前方车辆检测方法，其特征在于，在所述步骤2中，根据所述车辆阴影区域灰度值进行图像分割，获得二值化图像，并进行开与闭运算处理，获得车辆底部阴影图像区域。

5.如权利要求1或2所述的基于视觉的多特征融合的前方车辆检测方法，其特征在于，所述阴影标记区域图像宽度和所述尾灯标记区域图像宽度均为尾灯宽度。

6.如权利要求3所述的基于视觉的多特征融合的前方车辆检测方法，其特征在于，所述前方车辆尾灯对轮廓信息采用6×6的正方形结构元素进行形态学闭运算确定。

7.如权利要求5所述的基于视觉的多特征融合的前方车辆检测方法，其特征在于，所述车辆底部阴影图像区域由车辆在地面上的阴影、车辆左右后轮轮胎以及车辆的后保险杠组成。

Images