CN107067401A - 夜间行驶车辆的前照大灯精细分割方法 - Google Patents

Abstract

本发明公开了一种夜间行驶车辆的前照大灯精细分割方法，包括如下步骤实施：S1、车辆的左右侧车灯距离的置信区间的估计；S11、对各个车灯连通域用其外接矩形坐标进行描述；S12、计算发光体的特征参数；S13、建立车辆左右侧车灯距离的透射模型；S14、求出车辆左右侧车灯距离的透射关系中轴线；S15、求出车辆左右侧车灯距离的大致透射范围；S16车辆左右侧车灯距离的置信区间计算；S2、车灯候选区域的提取；S3、同一车辆归属车灯的识别；S4、对车辆区域进行精细分割；S41、去除非远近光灯区域的干扰；S42、远近光灯区域的精确分割。本发明的分割精度较好，效率较高。

Description

夜间行驶车辆的前照大灯精细分割方法

技术领域

本发明涉及一种夜间行驶车辆的前照大灯精细分割方法，属于智能交通监控***的视频处理技术领域。

背景技术

夜间行车中，滥用远光灯导致的夜间交通事故的危害性是最大的，因此，远光灯自动识别，成为智能交通监控***的重要组成部分。为此，前照大灯检测是识别行驶车辆是否具有违章开启观光灯的关键环节之一。在夜间的监控画面中，车灯因主动发光，呈高光区域，很容易从背景中提取出来，然而，车辆除了前照大灯之外，还有其他的车灯，同时，当下雨天地面湿滑时，地面反射容易出现相似的投影目标干扰，容易导致车与车之间的灯匹配错误。对于相似目标物的识别，大多可使用颜色、纹理和形状等特征进行分类识别，但不同车型的前照灯车灯数量和形态不同，且无具有差异度的颜色、纹理和形状特征可利用，为此，本发明提出了一种前照大灯的检测方法。

发明内容

本发明的目的就是为了解决上述问题，提供一种分割效果较佳的夜间行驶车辆的前照大灯精细分割方法。

为了实现上述目的，本发明采用如下技术方案：一种夜间行驶车辆的前照大灯精细分割方法，其特征在于，包括如下步骤：

S1、车辆的左右侧车灯距离的置信区间的估计

为了估计三维透视变换下，不同车辆从远及近的车辆左右侧车灯间的距离，选择具有代表性的小型轿车、面包车、商务车、以及大型的巴士、货车进行标定，并对提出的属于同一车辆的发光体进行建模；

S11、对各个车灯连通域用其外接矩形坐标进行描述

假设用于标定的视频帧图像中，有N_d个车辆，统计每个车辆的前照灯最左侧的发光体和最右侧发光体的坐标位置，因为属于同一车辆的发光体在同一水平线上，为此，只要发光体的连通域符合这一条件，便认定为同一车辆的左右两个发光体；

设这N_d个车辆的前照灯区域的最左侧发光体连通域的外接矩形框的左上角顶点，以及右下角顶点坐标位置集合为，最右侧发光体连通域的外接矩形框的左上角顶点，以及右下角顶点坐标位置集合为

S12、计算发光体的特征参数

发光体的特征参数由左侧发光体的中心点的行坐标t_i,i＝1,2,...,N_d，以及左右发光体的距离f_i,i＝1,2,...,N_d构成，将其表示为集合{(t_i,f_i),i＝1,2,…,N_d}，(t_i,f_i),i＝1,2,...,N_d的计算公式如下：

S13、建立车辆左右侧车灯距离的透射模型

利用最小二乘法拟合直线，找到(t_i,f_i),i＝1,2,...,N_d之间的关系：

f_i＝k·t_i+b,i＝1,2,…,N_d (3)

方程组(3)等价于：

F＝P·w (4)

其中，w＝[k,b]^T，

则车宽的透射关系模型系数为：

w＝(P^T·P)^-1·P^T·F (5)

S14、求出车辆左右侧车灯距离的透射关系中轴线

根据公式(5)得到的参数w＝[k,b]^T，按照公式：

y_c＝k·x_c+b (6)

其中，y_c为车辆的左右侧车灯的距离，x_c为距离相机的远近，以图像的行序号表示；

S15、求出车辆左右侧车灯距离的大致透射范围

假设大型车辆与小型车辆的透射变换是一致的，通过中轴线的向上平移和向下平移，便可给出最小车辆的左右侧车灯距离与最大车辆的左右侧车灯距离的透射变换范围；然而，边界线附近有稀疏的点，导致了给定的车宽范围过大，会产生比较大的误判；为此，需要对其进行修正；

S16、车辆左右侧车灯距离的置信区间计算

以中轴线为界，将样本点分为两个数据集合Ω₁和Ω₂，其中，Ω₁为中轴线以上的数据点，Ω₂为中轴线以下的数据点，分别对两个数据集合，按照公式(6)计算得到两条直线；之后，分别对Ω₁的中轴线上方的点，按照公式(6)继续迭代计算，直至该直线的上方不存在数据点为止；同样地对Ω₂的中轴线下方的点，按照公式(6)继续迭代计算，直至该直线的下方不存在数据点为止；将迭代修正后的车宽置信上下界与置信区间上下界进行叠加对比，显然，对于远端的车宽置信区间的估计有非常显著的提升；

对数据点，第一次最小二乘法获得的中轴线为y＝0.2845x+65.4773，最终，迭代获得的车宽上界直线为y_up＝0.4281x+113.3177，车宽下界直线为y_down＝0.1817x+46.5666；车宽透射变换的置信区间上下界直线的斜率不同，表明了大型车和小型车的车辆的左右侧车灯距离的透射变换的不同；

S2、车灯候选区域的提取

对于夜间行驶车辆，车灯区域呈现为高光区，用简单的阈值方法可以实现对其提取，只需要消除因下雨天地面反射光造成的伪车灯区域即可；

S3、同一车辆归属车灯的识别

根据S1标定时，获得的车辆左右侧车灯距离的透射变换的上下界直线方程，可计算得到车辆由远及近的所有位置上的车辆左右侧车灯距离的范围，设为[L_min(k),L_max(k)],k＝1,2,…,m；其中，m为图像的行数；

以此，对前面所给出的所有车灯候补区域进行同一车辆车灯匹配，如果车灯候补区域的外接矩形的中心点所在行的宽度L_k∈[L_min(k),L_max(k)]，则表明其属于同一车辆，否则为不同车辆；

S4、对车辆区域进行精细分割

经过上述夜间行驶的车辆车灯发光体配对完成后，得到了一个辆车的全部前照大灯发光体区域,之后，尚需对车辆的远近光灯区域进行精确分割；

S41、去除非远近光灯区域的干扰

在配对车灯发光体，得到包含一辆完整车辆全部前照大灯的区域，对该车灯区域进行投影，在车灯区域出现多个峰值，因为远近光灯处于车辆外侧，因此选择投影曲线的最左、最右两个波峰位置即为远近光灯区域的初分割结果；

S42、远近光灯区域的精确分割

按照确定的阈值得到的远近光灯区域的初分割结果可以看到，因车灯区域周围被照亮，导致了车灯区域周围被当作车灯区域分割出来，而这部分区域的存在，将对后续的远近光灯的判别带来比较大的影响，为此，对初分割所提取的远近光灯区域结果，采用大津算法进行再一次的局部阈值二值化处理；

处理结果对其进行形态学处理，并消除小面积噪声之后，可得远近光灯区域精确分割掩模，由该掩模进行处理后，便可得到远近光灯区域的精确分割结果。

与现有技术相比，本发明具有如下有益效果：

1、本发明中的方法适用于监控相机拍摄到的视频中存在环境噪声的情况，对于夜间环境光产生的噪声有很强的抵抗能力。

2、本发明中的方法适用于车辆由远及近，画面中目标由小到大的精确检测，对于前照大灯目标物的检测有很低的漏检率和误检率。

3、本发明中的方法适用于市面上的绝大部分车辆的精确检测，对于车灯间距不同、车灯形状不同、车灯数量不同等各种复杂情况都有很高的鲁棒性。

附图说明

图1a为透射变换线性模型的车宽范围拟合结果中的车宽透视变换直线图。

图1b为透射变换线性模型的车宽范围拟合结果中的中轴线平移的范围图。

图2a为车宽透射变换的上下界求解结果中逐次迭代求上下界图。

图2b为车宽透射变换的上下界求解结果中上下界求解效果比较图。

图3为车灯候选区域的提取图。

图4为同一车辆归属车灯的识别图。

图5a为远近光灯区域的初分割中同一车辆车灯归属标记图。

图5b为远近光灯区域的初分割中对车灯区域进行投影图。

图5c为远近光灯区域的初分割中远近光灯图。

图6a为远近光灯精确分割示例中的原图。

图6b为图6a所有车辆的远近光灯初分割结果图。

图6c为图6b的局部阙值二值化结果图。

图6d为图6c的去噪结果图。

图6e为图6a的远近光灯的精确分割结果图。

具体实施方式

参见附图，本发明的夜间行驶车辆的前照大灯精细分割方法，具体按照以下步骤：

S1、车辆的左右侧车灯距离的置信区间的估计

为了估计三维透视变换下，不同车辆从远及近的车辆左右侧车灯间的距离，这里首先选择了具有代表性的小型轿车、面包车、商务车、以及大型的巴士、货车进行标定，并对提出的属于同一车辆的发光体进行建模。

S11、对各个车灯连通域用其外接矩形坐标进行描述

假设用于标定的视频帧图像中，有N_d个车辆，统计每个车辆的前照灯最左侧的发光体和最右侧发光体的坐标位置。因为属于同一车辆的发光体在同一水平线上，为此，只要发光体的连通域符合这一条件，便认定为同一车辆的左右两个发光体。

设这N_d个车辆的前照灯区域的最左侧发光体连通域的外接矩形框的左上角顶点，以及右下角顶点坐标位置集合为，最右侧发光体连通域的外接矩形框的左上角顶点，以及右下角顶点坐标位置集合为

S12、计算发光体的特征参数

发光体的特征参数由左侧发光体的中心点的行坐标t_i,i＝1,2,...,N_d，以及左右发光体的距离f_i,i＝1,2,...,N_d构成，将其表示为集合{(t_i,f_i),i＝1,2,…,N_d}，(t_i,f_i),i＝1,2,...,N_d的计算公式如下：

S13、建立车辆左右侧车灯距离的透射模型

利用最小二乘法拟合直线，找到(t_i,f_i),i＝1,2,...,N_d之间的关系：

f_i＝k·t_i+b,i＝1,2,…,N_d (3)

方程组(3)等价于：

F＝P·w (4)

其中，w＝[k,b]^T，

则车宽的透射关系模型系数为：

w＝(P^T·P)^-1·P^T·F (5)

S14、求出车辆左右侧车灯距离的透射关系中轴线

根据公式(5)得到的参数w＝[k,b]^T，按照公式：

y_c＝k·x_c+b (6)

其中，y_c为车辆的左右侧车灯的距离，x_c为距离相机的远近，以图像的行序号表示。

如图1a所示，图中的点为标定的不同车辆在不同远近的车宽，横坐标表示距离相机的远近，以图像的行序号表示，行序号越大，表明距离相机越近。纵坐标表示车宽，单位是像素数。其中，图中的线为按照公式(6)得到的直线。根据最小二乘的原理知，该直线表示了车宽的大致趋势，但是，大型车和小型车的车宽差异很大，于是，该直线成为车宽大小的中轴线。

S15、求出车辆左右侧车灯距离的大致透射范围

假设大型车辆与小型车辆的透射变换是一致的，那么如图1b所示，通过中轴线的向上平移和向下平移，便可给出最小车辆的左右侧车灯距离与最大车辆的左右侧车灯距离的透射变换范围。然而，从图中可以看到，边界线附近有稀疏的点，导致了给定的车宽范围过大，会产生比较大的误判。为此，需要对其进行修正。

S16、车辆左右侧车灯距离的置信区间计算

对图1a中，以中轴线为界，将样本点分为两个数据集合Ω₁和Ω₂，其中，Ω₁为中轴线以上的数据点，Ω₂为中轴线以下的数据点。分别对两个数据集合，按照公式(6)计算得到两条直线，如图2a所示，距离中轴线(直线A0)最近的两条直线(直线A11和直线A12)。之后，分别对Ω₁的中轴线上方的点，按照公式(6)继续迭代计算，直至该直线的上方不存在数据点为止；同样地对Ω₂的中轴线下方的点，按照公式(6)继续迭代计算，直至该直线的下方不存在数据点为止。如图2a所示，直线对一(直线A11和直线A12)、直线对二(直线A21和直线A22)、直线对三(直线A31和直线A32)、直线对四(直线A41和直线A42)、直线对五(直线A51和直线A52，需要说明的是，直线A42和直线A52大致重叠)分别为逐次迭代得到的车宽透射变换的上下界，最终的得到的结果为图2a中的直线对五。将迭代修正后的车宽置信上下界与图1b得到的置信区间上下界进行叠加对比，如图2b所示，显然，对于远端的车宽置信区间的估计有非常显著的提升。

对如图2a所示的数据点，第一次最小二乘法获得的中轴线为y＝0.2845x+65.4773，最终，迭代获得的车宽上界直线为y_up＝0.4281x+113.3177，车宽下界直线为y_down＝0.1817x+46.5666。车宽透射变换的置信区间上下界直线的斜率不同，表明了大型车和小型车的车辆的左右侧车灯距离的透射变换的不同。

S2、车灯候选区域的提取

对于夜间行驶车辆，车灯区域呈现为高光区，用简单的阈值方法可以实现对其提取，只需要消除因下雨天地面反射光造成的伪车灯区域即可。如图3所示，是采用大津法得到的高光区域，进行形态学滤波后，滤除小的噪声区域，之后根据车灯的宽高比，去除地面反射的高光部分。

S3、同一车辆归属车灯的识别

根据步骤1标定时，获得的车辆左右侧车灯距离的透射变换的上下界直线方程，可计算得到车辆由远及近的所有位置上的车辆左右侧车灯距离的范围，设为[L_min(k),L_max(k)],k＝1,2,…,m。其中，m为图像的行数。

以此，对前面所给出的所有车灯候补区域进行同一车辆车灯匹配，如果车灯候补区域的外接矩形的中心点所在行的宽度L_k∈[L_min(k),L_max(k)]，则表明其属于同一车辆，否则为不同车辆。

如图4所示，是进行这样的处理后，得到的车灯属于同一车辆的匹配结果，可以看到，无论车辆有几个车灯，均可被正确匹配为同一车辆。

S4、对车辆区域进行精细分割

经过上述夜间行驶的车辆车灯发光体配对完成后，得到了一个辆车的全部前照大灯发光体区域。之后，尚需对车辆的远近光灯区域进行精确分割。

S41、去除非远近光灯区域的干扰

在配对车灯发光体，得到包含一辆完整车辆全部前照大灯的区域，对该车灯区域进行投影，如图5b所示，在车灯区域出现多个峰值，因为远近光灯处于车辆外侧，因此选择投影曲线的最左、最右两个波峰位置即为远近光灯区域的初分割结果。

S42、远近光灯区域的精确分割

从图6a按照确定的阈值得到的远近光灯区域的初分割结果(图6b)可以看到，因车灯区域周围被照亮，导致了车灯区域周围被当作车灯区域分割出来，而这部分区域的存在，将对后续的远近光灯的判别带来比较大的影响，为此，本文对初分割所提取的远近光灯区域结果，采用大津算法进行再一次的局部阈值二值化处理。

处理结果如图6c所示，对其进行形态学处理，并消除小面积噪声之后，可得如图6d所示的远近光灯区域精确分割掩模，由该掩模对图6b进行处理后，便可得到如图6e所示的远近光灯区域的精确分割结果。

至此，便完成了夜间行驶车辆的远近光灯区域的精细分割。

以上所述仅为本发明的优选实施方式，本发明的保护范围并不仅限于上述实施方式，凡是属于本发明原理的技术方案均属于本发明的保护范围。对于本领域的技术人员而言，在不脱离本发明的原理的前提下进行的若干改进，这些改进也应视为本发明的保护范围。

Claims (1)

1.一种夜间行驶车辆的前照大灯精细分割方法，其特征在于，包括如下步骤：

S1、车辆的左右侧车灯距离的置信区间的估计

为了估计三维透视变换下，不同车辆从远及近的车辆左右侧车灯间的距离，选择具有代表性的小型轿车、面包车、商务车、以及大型的巴士、货车进行标定，并对提出的属于同一车辆的发光体进行建模；

S11、对各个车灯连通域用其外接矩形坐标进行描述

假设用于标定的视频帧图像中，有N_d个车辆，统计每个车辆的前照灯最左侧的发光体和最右侧发光体的坐标位置，因为属于同一车辆的发光体在同一水平线上，为此，只要发光体的连通域符合这一条件，便认定为同一车辆的左右两个发光体；

设这N_d个车辆的前照灯区域的最左侧发光体连通域的外接矩形框的左上角顶点，以及右下角顶点坐标位置集合为，最右侧发光体连通域的外接矩形框的左上角顶点，以及右下角顶点坐标位置集合为

S12、计算发光体的特征参数

发光体的特征参数由左侧发光体的中心点的行坐标t_i,i＝1,2,...,N_d，以及左右发光体的距离f_i,i＝1,2,...,N_d构成，将其表示为集合{(t_i,f_i),i＝1,2,…,N_d}，(t_i,f_i),i＝1,2,...,N_d的计算公式如下：

<mrow> <msub> <mi>t</mi> <mi>i</mi> </msub> <mo>=</mo> <mrow> <mo>(</mo> <msubsup> <mi>y</mi> <msub> <mi>R</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </msubsup> <mo>+</mo> <msubsup> <mi>y</mi> <msub> <mi>L</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </msubsup> <mo>)</mo> </mrow> <mo>/</mo> <mn>2</mn> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>

<mrow> <msub> <mi>f</mi> <mi>i</mi> </msub> <mo>=</mo> <mrow> <mo>(</mo> <msubsup> <mi>x</mi> <msub> <mi>L</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </msubsup> <mo>+</mo> <msubsup> <mi>x</mi> <msub> <mi>R</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </msubsup> <mo>-</mo> <msubsup> <mi>x</mi> <msub> <mi>L</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </msubsup> <mo>-</mo> <msubsup> <mi>x</mi> <msub> <mi>R</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </msubsup> <mo>)</mo> </mrow> <mo>/</mo> <mn>2</mn> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>

S13、建立车辆左右侧车灯距离的透射模型

利用最小二乘法拟合直线，找到(t_i,f_i),i＝1,2,...,N_d之间的关系：

f_i＝k·t_i+b,i＝1,2,…,N_d (3)

方程组(3)等价于：

F＝P·w (4)

其中，w＝[k,b]^T，

则车宽的透射关系模型系数为：

w＝(P^T·P)^-1·P^T·F (5)

S14、求出车辆左右侧车灯距离的透射关系中轴线

根据公式(5)得到的参数w＝[k,b]^T，按照公式：

y_c＝k·x_c+b (6)

其中，y_c为车辆的左右侧车灯的距离，x_c为距离相机的远近，以图像的行序号表示；

S15、求出车辆左右侧车灯距离的大致透射范围

假设大型车辆与小型车辆的透射变换是一致的，通过中轴线的向上平移和向下平移，便可给出最小车辆的左右侧车灯距离与最大车辆的左右侧车灯距离的透射变换范围；然而，边界线附近有稀疏的点，导致了给定的车宽范围过大，会产生比较大的误判；为此，需要对其进行修正；

S16、车辆左右侧车灯距离的置信区间计算

以中轴线为界，将样本点分为两个数据集合Ω₁和Ω₂，其中，Ω₁为中轴线以上的数据点，Ω₂为中轴线以下的数据点，分别对两个数据集合，按照公式(6)计算得到两条直线；之后，分别对Ω₁的中轴线上方的点，按照公式(6)继续迭代计算，直至该直线的上方不存在数据点为止；同样地对Ω₂的中轴线下方的点，按照公式(6)继续迭代计算，直至该直线的下方不存在数据点为止；将迭代修正后的车宽置信上下界与置信区间上下界进行叠加对比，显然，对于远端的车宽置信区间的估计有非常显著的提升；

对数据点，第一次最小二乘法获得的中轴线为y＝0.2845x+65.4773，最终，迭代获得的车宽上界直线为y_up＝0.4281x+113.3177，车宽下界直线为y_down＝0.1817x+46.5666；车宽透射变换的置信区间上下界直线的斜率不同，表明了大型车和小型车的车辆的左右侧车灯距离的透射变换的不同；

S2、车灯候选区域的提取

对于夜间行驶车辆，车灯区域呈现为高光区，用阈值方法可以实现对其提取，只需要消除因下雨天地面反射光造成的伪车灯区域即可；

S3、同一车辆归属车灯的识别

根据S1标定时，获得的车辆左右侧车灯距离的透射变换的上下界直线方程，可计算得到车辆由远及近的所有位置上的车辆左右侧车灯距离的范围，设为[L_min(k),L_max(k)],k＝1,2,…,m；其中，m为图像的行数；

以此，对前面所给出的所有车灯候补区域进行同一车辆车灯匹配，如果车灯候补区域的外接矩形的中心点所在行的宽度L_k∈[L_min(k),L_max(k)]，则表明其属于同一车辆，否则为不同车辆；

S4、对车辆区域进行精细分割

经过上述夜间行驶的车辆车灯发光体配对完成后，得到了一个辆车的全部前照大灯发光体区域；之后，尚需对车辆的远近光灯区域进行精确分割；

S41、去除非远近光灯区域的干扰

在配对车灯发光体，得到包含一辆完整车辆全部前照大灯的区域，对该车灯区域进行投影，在车灯区域出现多个峰值，因为远近光灯处于车辆外侧，因此选择投影曲线的最左、最右两个波峰位置即为远近光灯区域的初分割结果；

S42、远近光灯区域的精确分割

按照确定的阈值得到的远近光灯区域的初分割结果可以看到，因车灯区域周围被照亮，导致了车灯区域周围被当作车灯区域分割出来，而这部分区域的存在，将对后续的远近光灯的判别带来比较大的影响，为此，对初分割所提取的远近光灯区域结果，采用大津算法进行再一次的局部阈值二值化处理；

处理结果对其进行形态学处理，并消除小面积噪声之后，可得远近光灯区域精确分割掩模，由该掩模进行处理后，便可得到远近光灯区域的精确分割结果。