CN109800693B - 一种基于颜色通道混合特征的夜间车辆检测方法 - Google Patents

Abstract

本发明公开了一种基于颜色通道混合特征的夜间车辆检测方法，属于辅助驾驶领域，涉及一种夜间检测车辆的方法，同时结合RGB颜色空间和HSV颜色空间，提取得到图像的颜色通道混合特征，大大减少了对图像样本库的依赖以及阈值主观性的影响，有利于增强算法的普适性，以适应于夜间道路出现的各种复杂情况；其次，本发明将颜色通道混合特征同OTSU法进行了结合，自适应的得到图像分割阈值，同时采用大面积区域分割算法去除明显不符合尾灯特征的区域，大大提高了算法的准确性；最后，本发明采用三大准则来逐一消除不可能的尾灯配对，具有较强的鲁棒性。在整体效果上，更适应于光照条件复杂的夜间背景下的应用。

Description

一种基于颜色通道混合特征的夜间车辆检测方法

【技术领域】

本发明属于辅助驾驶领域，涉及一种夜间检测车辆的方法，尤其是一种基于颜色通道混合特征的夜间车辆检测方法。

【背景技术】

近些年来，由于夜间光照不足而导致的交通安全事故越来越多，而国内外对于夜间车辆的检测却由于各种难点进展缓慢，没有得到很好的结果。针对夜间环境下的车辆检测，是高级驾驶辅助***中非常重要的一个环节。对于驾驶员来说，快速且准确的掌握车辆前方道路情况，已经成为了安全驾驶的迫切需求。

在白天光照条件良好的情况下，车辆对称性、车底部阴影、水平边缘等特征都是最为常用的几种车辆特征。然而到了夜晚，道路场景可视度低，缺乏图像细节，很难采用车底阴影，边缘特征等方法对车辆进行识别。与此同时，夜间车辆尾灯特征明显，比如颜色为红色，亮度很高，形状规则，对称性好。因此，在夜间车辆识别中，可借助于对车尾灯的检测来完成对车辆的定位。

夜间车辆检测的方法主要有以下三种：基于颜色空间通道阈值过滤的夜间车辆检测算法、基于亮度和车尾灯形态的夜间车辆检测算法、基于机器学习的夜间车辆检测算法。在基于颜色空间通道阈值过滤的夜间车辆检测算法中，又细分为RGB颜色空间和HSV颜色空间两类，这种方法计算量少，运算速度快，但阈值的选取都是基于对大量图像的统计分析而得到的，而图像样本库的选取则具有很大的主观性与片面性，使得阈值的选取范围波动较大，并不具有很强的普适性。基于亮度和车尾灯形态的夜间车辆检测算法在颜色上有较好的适应性，降低了对摄像头和环境的依赖，较为复杂但是更加明确的尾灯形态特征定义减少了误检率，但车尾灯形状不定，容易造成很多漏检，且很难保证实时性。基于机器学习的夜间车辆检测算法，准确率高，效果较好，但算法复杂，不能保证实时性，且行车场景复杂多变，车辆种类繁多，建立样本库也十分困难。

【发明内容】

本发明的目的在于克服上述现有技术的缺点，提供一种基于颜色通道混合特征的夜间车辆检测方法。将两种颜色空间进行结合，提取得到图像的颜色通道混合特征，排除了复杂道路背景下的绝大多数噪声光源干扰，大幅降低图像样本库、阈值选取主观性等方面的影响，同时还能保证算法的实时性，大大提高夜间车辆检测的准确性与实时性。

为达到上述目的，本发明采用以下技术方案予以实现：

一种基于颜色通道混合特征的夜间车辆检测方法，包括以下步骤：

步骤1，采集车辆尾部图像并进行预处理，划定感兴趣区域；

步骤2，提取感兴趣区域内的颜色通道混合特征，得到特征图；

步骤3，通过OTSU自适应阈值分割算法，对特征图进行阈值分割，得到夜间车尾灯候选图像；

步骤4，分割区域，去除不符合车尾灯特征的区域；

步骤5，进行尾灯配对，通过一对尾灯的宽高估算车辆的宽高，定位车辆位置。

本发明进一步的改进在于：

步骤1中进行预处理划定感兴趣区域具体为：结合视觉和行车视频，将车辆尾部图像垂直方向从上向下的下部三分之二区域，设定为感兴趣区域。

步骤2中提取感兴趣区域内的颜色通道混合特征，具体为：在感兴趣区域内的RGB颜色空间中提取R和G两个颜色通道，将感兴趣区域转换到HSV颜色空间中并提取V通道，对R、G和V三个通道做(R-G)×V的代数运算，得到颜色通道混合特征。

步骤3的具体步骤为：

步骤3-1，将特征图记为I(x,y)，定义T为前景和背景的分割阈值，图像大小为M×N；

步骤3-2，统计特征图中像素灰度值大于T的像素个数，记作N₀，像素灰度值小于T的像素个数记作N₁；

步骤3-3，前景像素点数占比记作ω₀，其平均灰度记作为μ₀；背景像素点数占比记作ω₁，其平均灰度记作μ₁：

步骤3-4，图像的总平均灰度记作μ，类间方差记作g：

μ＝ω₀×μ₀+ω₁×μ₁

g＝ω₀×(μ₀-μ)²+ω₁×(μ₁-μ)²

步骤3-5，将T从0到255依次遍历，找到使g最大的T，记为threshold；

步骤3-6，统计得到I(x,y)中灰度最大值Graymax，则特征图的分割阈值为L＝threshold×Gray_max；

步骤3-7，遍历特征图中各像素点I，如果I>L，则I＝255为前景，否则I＝0为背景。

步骤4中分割区域的具体方法如下：

步骤4-1，对夜间车尾灯候选图像进行连通域标定，并统计各连通域面积；

步骤4-2，遍历所有连通域，若连通域面积小于1500像素，则不做操作；若连通域面积大于1500像素，则计算该连通域平均灰度值，并以此二次分割该连通域。

步骤4去除不符合车尾灯特征的区域，具体为：对步骤4分割区域后的图像统计分析，将车尾灯区域面积不在85-1150像素范围内的区域去除。

对大于等于500张夜间车尾灯候选图像统计分析。

步骤5中进行尾灯配对，具体为：

步骤5-1，定义候选区域p、q之间的归一化面积差d_area：

其中，area_p和area_q分别是候选区域p、q的面积；

步骤5-2，定义候选区域p、q之间的归一化高度差d_height：

其中y_p和y_q分别是候选区域p、q中心点的纵坐标，x_p和x_q分别是候选区域p、q中心点的横坐标；

步骤5-3，定义尾灯对组合框高宽比d_pair：

其中w_p，h_p，w_q，h_q分别为包围候选区域p，q的矩形框的宽高；

步骤5-4，设定d_area、d_height的阈值和d_pair的阈值范围，若两个尾灯区域之间的面积和高度大于阈值，或组合框高宽比不在阈值范围内，则该两个尾灯不能进行尾灯配对，相反则进行尾灯配对。

d_area的阈值定为0.15，d_height的阈值定为0.1，d_pair的阈值范围为0.2-0.4。

步骤5中定位车辆位置具体为：将尾灯对组合框的高记作h，尾灯对间距记作d，以尾灯对为中心，车宽为1.2d，车高为3.2h的区域为车辆位置。

与现有技术相比，本发明具有以下有益效果：

本发明同时结合RGB颜色空间和HSV颜色空间，提取得到图像的颜色通道混合特征，大大减少了对图像样本库的依赖以及阈值主观性的影响，有利于增强算法的普适性，以适应于夜间道路出现的各种复杂情况；其次，本发明将颜色通道混合特征同OTSU法进行了结合，自适应的得到图像分割阈值，同时采用大面积区域分割算法去除明显不符合尾灯特征的区域，大大提高了算法的准确性；最后，本发明采用三大准则来逐一消除不可能的尾灯配对，具有较强的鲁棒性。在整体效果上，更适应于光照条件复杂的夜间背景下的应用。

【附图说明】

图1为本发明的流程图；

图2为本发明的感兴趣区域确定示意图；

图3为本发明的颜色通道混合特征图；

图4为本发明的大面积区域分割算法流程图；

图5为本发明通过尾灯对确定车辆位置示意图；

图6为本发明实拍道路图；

图7为本发明提取颜色通道混合特征得到的特征图；

图8为本发明自适应阈值过滤及去伪后得到图；

图9为本发明尾灯配对结果图；

图10为本发明车辆在原始图像上的定位图。

【具体实施方式】

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，不是全部的实施例，而并非要限制本发明公开的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要的混淆本发明公开的概念。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

在附图中示出了根据本发明公开实施例的各种结构示意图。这些图并非是按比例绘制的，其中为了清楚表达的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。

本发明公开的上下文中，当将一层/元件称作位于另一层/元件“上”时，该层/元件可以直接位于该另一层/元件上，或者它们之间可以存在居中层/元件。另外，如果在一种朝向中一层/元件位于另一层/元件“上”，那么当调转朝向时，该层/元件可以位于该另一层/元件“下”。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面结合附图对本发明做进一步详细描述：

本发明一种基于颜色通道混合特征的夜间车辆检测方法，如图1具体包括以下步骤：

1)感兴趣区域确定

根据人的视觉直观感知以及对行车视频的分析，将图像的天空区域，也即垂直方向从上往下的三分之一区域设定为非检测区域，剩下的三分之二区域为***检测的感兴趣区域，如图2所示。

2)提取颜色通道混合特征

提取图像的颜色通道混合特征，用以区分尾灯与其他噪声光源，如图3所示。

具体步骤如下：

第一步，在RGB颜色空间中，提取图像的R、G两个颜色通道；

第二步，将图像转换到HSV颜色空间中，提取图像的V通道；

第三步，对提取到的三个颜色通道做代数运算(R-G)×V，得到图像的颜色通道混合特征。

3)阈值过滤

结合OTSU法，使用基于(R-G)×V颜色通道混合特征的自适应阈值分割算法来分割图像，得到夜间车尾灯候选区域。具体步骤如下：

第一步，对提取得到的特征图像I(x,y)，记T为前景和背景的分割阈值，图像大小为M×N；

第二步，统计特征图中像素灰度值大于阈值T的像素个数，记作N₀，像素灰度值小于阈值T的像素个数，记作N₁；

第三步，计算前景像素点数占整幅图像的比例，记为ω₀，其平均灰度记为μ₀；计算背景像素点数占整幅图像的比例，记为ω₁，其平均灰度记为μ₁；

第四步，图像的总平均灰度记为μ，类间方差记为g；

μ＝ω₀×μ₀+ω₁×μ₁ (3)

g＝ω₀×(μ₀-μ)²+ω₁×(μ₁-μ)² (4)

第五步，T从0到255依次遍历，找到使类间方差g最大的阈值T，另记为threshold；

第六步，统计得到(R-G)×V特征图I(x,y)中灰度最大值Gray_max，则整幅图像的分割阈值为L＝threshold×Gray_max；

第七步，遍历(R-G)×V特征图中各像素点I，如果I>L，则I＝255为前景，否则，I＝0为背景。

4)去伪

经过对500张夜间车辆图像统计分析，车尾灯区域面积大小集中在85像素到1150像素范围内，对不在此阈值范围内、明显不符合尾灯特征的区域进行去除，排除虚假尾灯。

对于可能存在的尾灯黏连问题、或者是受环境光照的影响，用大面积区域分割算法，如图4，进行二次分割，将大块部分划分成若干子块，提高后续检测精度。具体步骤如下：

第一步，对分割后的特征图进行连通域标定，并统计各连通域面积；

第二步，遍历所有连通域，若连通域面积小于1500像素，则不做操作；若连通域面积大于1500像素，则计算该连通域平均灰度值，并以此为分割阈值二次分割该连通域。

5)尾灯配对与车辆定位

一对车尾灯可以确定一辆车，所以配对过程就是用来识别图像中的所有可能尾灯对，从而得到所有可能存在的车辆。利用尾灯配对三大准则来逐一消除不可能的尾灯配对，具体方法如下：

第一步，定义候选区域p，q之间的归一化面积差d_area。

其中，area_p和area_q分别是候选区域p，q的面积。若两个候选尾灯区域之间的面积差大于阈值d_area，则它们不构成一组尾灯对；

第二步，定义候选区域p，q之间的归一化高度差d_height。

其中，y_p和y_q分别是候选区域p，q中心点的纵坐标，x_p和x_q分别是候选区域p，q中心点的横坐标。如果两个候选尾灯区域之间的高度差大于阈值，则它们不构成一组尾灯对；

第三步，定义尾灯对组合框高宽比d_pair。

其中，(x_p，y_p)，(x_q，y_q)分别为候选区域p，q中心点的横纵坐标，(w_p，h_p)，(w_q，h_q)分别为包围候选区域p，q的矩形框的宽高。如果两个候选尾灯区域组成的尾灯对，其组合框高宽比不在阈值范围内，则它们不构成一组尾灯对。

如表1所示，通过对500张图像的分析统计，本文中d_are,、d_height、d_pair的阈值分别取为0.15、0.1、[0.2，0.4]。

表1尾灯配对阈值范围统计表

经过三大准则的排除，得到最终的尾灯对组合框。将尾灯对组合框的高记作h，尾灯对间距记作d，以尾灯对为中心，车宽为1.2d，车高为3.2h的区域为最终的车辆所在位置，如图5所示。

经过以上步骤，就得到了夜间车辆所在位置，实例如图6-10所示。实拍夜间道路场景图如图6所示；对原图提取颜色通道混合特征后得到其特征图，如图7所示；对特征图进行自适应阈值过滤及去伪后，得到尾灯候选区域，如图8所示；经过三大准则排除后得到尾灯配对结果图，如图9所示；最终由尾灯配对结果确定车辆在原始图像上的位置，如图10所示。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (9)

1.一种基于颜色通道混合特征的夜间车辆检测方法，其特征在于，包括以下步骤：

步骤1，采集车辆尾部图像并进行预处理，划定感兴趣区域；

步骤2，提取感兴趣区域内的颜色通道混合特征，得到特征图；具体方法如下：

在感兴趣区域内的RGB颜色空间中提取R和G两个颜色通道，将感兴趣区域转换到HSV颜色空间中并提取V通道，对R、G和V三个通道做(R-G)×V的代数运算，得到颜色通道混合特征；

步骤3，通过OTSU自适应阈值分割算法，对特征图进行阈值分割，得到夜间车尾灯候选图像；

步骤4，分割区域，去除不符合车尾灯特征的区域；

步骤5，进行尾灯配对，通过一对尾灯的宽高估算车辆的宽高，定位车辆位置。

2.如权利要求1所述基于颜色通道混合特征的夜间车辆检测方法，其特征在于，步骤1中进行预处理划定感兴趣区域具体为：结合视觉和行车视频，将车辆尾部图像垂直方向从上向下的下部三分之二区域，设定为感兴趣区域。

3.如权利要求1所述基于颜色通道混合特征的夜间车辆检测方法，其特征在于，步骤3的具体步骤为：

步骤3-1，将特征图记为I(x,y)，定义T为前景和背景的分割阈值，图像大小为M×N；

步骤3-2，统计特征图中像素灰度值大于T的像素个数，记作N₀，像素灰度值小于T的像素个数记作N₁；

步骤3-3，前景像素点数占比记作ω₀，其平均灰度记作为μ₀；背景像素点数占比记作ω₁，其平均灰度记作μ₁：

步骤3-4，图像的总平均灰度记作μ，类间方差记作g：

μ＝ω₀×μ₀+ω₁×μ₁

g＝ω₀×(μ₀-μ)²+ω₁×(μ₁-μ)²

步骤3-5，将T从0到255依次遍历，找到使g最大的T，记为threshold；

步骤3-6，统计得到I(x,y)中灰度最大值Gray_max，则特征图的分割阈值为L＝threshold×Gray_max；

步骤3-7，遍历特征图中各像素点I，如果I>L，则I＝255为前景，否则I＝0为背景。

4.如权利要求1所述基于颜色通道混合特征的夜间车辆检测方法，其特征在于，步骤4中分割区域的具体方法如下：

步骤4-1，对夜间车尾灯候选图像进行连通域标定，并统计各连通域面积；

步骤4-2，遍历所有连通域，若连通域面积小于1500像素，则不做操作；若连通域面积大于1500像素，则计算该连通域平均灰度值，并以此二次分割该连通域。

5.如权利要求1或4所述基于颜色通道混合特征的夜间车辆检测方法，其特征在于，步骤4去除不符合车尾灯特征的区域，具体为：对步骤4分割区域后的图像统计分析，将车尾灯区域面积不在85-1150像素范围内的区域去除。

6.如权利要求5所述基于颜色通道混合特征的夜间车辆检测方法，其特征在于，对大于等于500张夜间车尾灯候选图像统计分析。

7.如权利要求1所述基于颜色通道混合特征的夜间车辆检测方法，其特征在于，步骤5中进行尾灯配对，具体为：

步骤5-1，定义候选区域p、q之间的归一化面积差d_area：

其中，area_p和area_q分别是候选区域p、q的面积；

步骤5-2，定义候选区域p、q之间的归一化高度差d_height：

其中y_p和y_q分别是候选区域p、q中心点的纵坐标，x_p和x_q分别是候选区域p、q中心点的横坐标；

步骤5-3，定义尾灯对组合框高宽比d_pair：

其中w_p，h_p，w_q，h_q分别为包围候选区域p，q的矩形框的宽高；

步骤5-4，设定d_area、d_height的阈值和d_pair的阈值范围，若两个尾灯区域之间的面积和高度大于阈值，或组合框高宽比不在阈值范围内，则该两个尾灯不能进行尾灯配对，相反则进行尾灯配对。

8.如权利要求7所述基于颜色通道混合特征的夜间车辆检测方法，其特征在于，d_area的阈值定为0.15，d_height的阈值定为0.1，d_pair的阈值范围为0.2-0.4。

9.如权利要求7所述基于颜色通道混合特征的夜间车辆检测方法，其特征在于，步骤5中定位车辆位置具体为：将尾灯对组合框的高记作h，尾灯对间距记作d，以尾灯对为中心，车宽为1.2d，车高为3.2h的区域为车辆位置。

Images