CN102201167B - 基于视频的汽车车道自动识别方法 - Google Patents

Abstract

一种基于视频的汽车车道自动识别方法，涉及一种累积帧差技术的道路识别方法，主要引入神经网络作为分类器，利用神经网络和帧差技术相结合进行车道位置识别和车辆检测。相比于传统的道路识别方法存在过程复杂，易受干扰，识别效果不够理想等问题，利用神经网络的学习、联想和容错性排除帧差图像中的干扰，提高了车道位置识别的准确率，为接下来的车辆检测自动标记检测线位置提供了基础。

Description

基于视频的汽车车道自动识别方法

技术领域

本发明涉及交通智能***领域，尤其是用于对道路的交通流、路况信息等实时进行监视的车道识别方法，具体地说是一种基于视频的汽车车道自动识别方法，该方法能及时提取交通流信息(车流量、车道占有率、车速等)，在交通拥挤未发生时，及时采取措施、疏导交通、防止交通拥挤发生。在交通拥挤发生时，可以及时发布信息，通知后续车辆及时调整行驶路线，使已拥挤的交通尽早缓解。

背景技术

交通信息的实时采集和处理是智能交通***ITS的关键技术之一。先进的交通信息采集***不仅可以把握当前交通运行状况和预测未来的交通状况，而且可以大大提高交通效率，实现交通运输的集约式发展。传统的交通数据采集方法是在路面下埋设感应线圈进行数据采集，检测范围小，施工维护麻烦，故障率高，尤其对高等级路面的破坏性大。

而随着计算机软硬件技术的发展，采用交通流的视频信息车流量数据的视频检测方法，具有无比的优越性和高性价比。目前道路识别的主要方法是使用边缘检测技术在图像中检测道路的各条标志线，但是由于各种干扰(如通过的车辆，道路两旁的建筑，树木，以及建筑，树木在光照下留于道路上的阴影等)的影响，使得检测效果不够理想。例如，由于下雨路面积水，造成反光严重，反光处标志线难于分辨，同时由于车辆遮挡，道路边界线也难于有效提取。

发明内容

本发明的目的是针对目前道路识别中所存在的检测效果不理想、道路边界线也难于有效提取的问题，提出一种基于视频的汽车车道自动识别方法，该方法能及时提取交通流信息(车流量、车道占有率、车速等)，在交通拥挤未发生时，及时采取措施、疏导交通、防止交通拥挤发生。在交通拥挤发生时，可以及时发布信息，通知后续车辆及时调整行驶路线，使已拥挤的交通尽早缓解。

本发明的技术方案是：

一种基于视频的汽车车道自动识别方法，它包括以下步骤：

(a).输入用于识别道路的视频序列，采用帧差法对视频序列中的每两个相邻帧图像之间进行处理获得相邻帧的帧差图像，对该帧差图像进行平滑处理和阈值分割得到相邻帧差图像的二值化图像，其中白色像素区域表示车辆区域，黑色像素区域表示背景区域；

(b).对二值化图像通过从左向右和从右向左扫描定位左右旋转点，再分别以左右旋转点为中心通过旋转扫描获得道路左右边界线，同时在左右边界线的交叉位置标定起始点用于接下来的旋转扫描；

(c).以起始点为旋转点，道路左右边界线为开始和终止位置，以每次旋转一定度数为步长，扫描整个道路区域，根据该道路的车道数把扫描线区域平分成对应的N个区段，在各区段内从视场由远到近的方向即图像距离摄像头位置由远到近的方向把扫描线平分成M个区域，根据各区域的大小设定相应的连续性阈值，统计每个区域连续度大于阈值的白线段数，统计的数据作为BP神经网络的学习样本时，各区段内M个区域的连续度大于阈值的白线段数均作为网络输入值，人工判定当前扫描位置是否为车道作为网络目标输出值；

(d).建立BP神经网络并用学习样本数据进行训练，网络收敛之后可以作为判定当前位置是否为车道的分类器；

(e).实际识别道路时，输入统计当前扫描位置的白色像素点数和连续的白色像素点段数归一化后的数据，网络输出值就是当前扫描位置是否为车道的判决结果。

本发明的步骤(b)之后，对于得到的二值化图像，根据图像距离摄像头位置的远近设定相应的阈值，进行去孤立点的操作。

本发明的步骤(c)中以起始点为旋转点，道路左右边界线分别绕起始点旋转外扩0-5度为开始和终止位置。

一种基于视频的汽车车道自动识别方法，它包括以下步骤：

(a).输入用于识别车道的视频序列，采用帧差法对视频序列中的每两个相邻帧图像之间进行处理获得相邻帧的帧差图像，对该帧差图像进行平滑处理和阈值分割得到相邻帧差图像的二值化图像，其中白色像素区域表示车辆区域，黑色像素区域表示背景区域；

(b).对二值化图像定位左右旋转点：首先，采用扫描线从左向右扫描碰到第一个白色像素点为左旋转点；同样，采用扫描线从右向左扫描碰到第一个白色像素点为右旋转点；

分别以左右旋转点为中心，两扫描线进行旋转扫描，直至左右扫描线相交于一点即起始点；起始点与左旋转点的连接线为道路左边界线，起始点与右旋转点的连接线为道路右边界线；

(c).根据待识别道路的车道数把扫描线区域横向平分成对应的N个区段，在各区段内从视场由远到近的方向把各区段的分界线平分成M个区域，以起始点为旋转点，道路左、右边界线为开始和终止位置，以每次旋转一定度数为步长，扫描整个二值化图像的道路区域；

在M×N个区域中，根据视场由远到近的方向设定相应的连续性阈值，统计每个区域连续度大于阈值的白线段数即连续的白色像素点大于阈值的白线段数，统计的数据作为BP神经网络的学习样本时，将各区段内M个区域的连续度大于阈值的白线段数均作为网络输入值，人工判定当前扫描位置是否为车道作为网络目标输出值；

(d).建立BP神经网络并用学习样本数据进行训练，网络收敛之后作为判定当前位置是否为车道的分类器；

(e).实际识别道路时，将统计的当前扫描位置的白色像素点数和连续的白色像素点线段数或者将归一化后的数据输入分类器，分类器的网络输出值就是当前扫描位置是否为车道的判决结果。

本发明在步骤(b)之后，对于得到的二值化图像，根据图像距离摄像头位置的远近设定相应的阈值，进行去孤立点的操作。

本发明在步骤(c)中以起始点为旋转点，道路左右边界线分别绕起始点旋转外扩0-5度为开始和终止位置。

本发明在步骤(c)中以起始点为旋转点，道路左右边界线分别绕起始点旋转外扩3度为开始和终止位置。

本发明在步骤(c)中N个区段的区段数为：10-16。.

本发明在步骤(c)中M个区域的区域数按照车道长度进行相应划分，为5-6个。

本发明的有益效果：

本发明在理论方面，从计算机视觉的角度研究运动物体的检测、道路识别的方法，对基于视频的智能交通研究具有理论意义。另一方面，方法通过研究中介数学理论、图像处理、模式识别等，为其在智能交通中的推广提供了理论基础。在实际应用方面，对于智能交通***，计算机视觉检测技术实现信息实时采集，正得到广泛的应用。本项目所研究的基于视频的道路识别和运动车辆检测具有很好的效果，有效去除帧差图像中的干扰，识别准确率高，不需要大量的输入图像，具有较好的实时性。在保证实时性条件下会提高检测出目标信息的完备性，为实际交通***中车流量、车速等参数的获得奠定了基础。

本发明还具有以下优点：

第一，传统方法首先需要获得整幅画面都没有车辆的图像，新方法则不需要；

第二，传统方法会受到建筑物和树木的边缘，以及建筑和树木在光照下留于道路上的阴影的边缘的影响，而新方法只检测运动物体，因此不会受到这些静态因素的影响；

第三，新方法采用了累积帧差技术，可以去除掉图像中大部分偶然出现的干扰点的影响。

附图说明

图1是本发明的流程图。

图2是本发明的步骤(b)的扫描道路区域示意图。

图3是本发明的实验过程及结果图。

其中，图3-a是识别道路的视频图像；图3-b是帧差二值化图像，

图3-c是神经网络识别后的车道线图；图3-d是相邻右车道线和左车道线取中值。

具体实施方式

下面结合附图和实施例对本发明作进一步的说明。

本发明考虑到在一个较长的时期内，道路的每一条车道都会有足够多的车辆通过，而有车辆通过的地方也必为道路，据此，提出通过识别运动物体达到识别静态物体的思想，并设计出应用累积帧差技术的道路识别方法。

在此基础之上，通过引入神经网络作为分类器，利用神经网络的特性排除帧差图像中的干扰，提出一种基于神经网络和帧差技术识别道路位置方法。实验结果表明方法效果比较理想，可以满足实际应用的需要。

采用神经网络和帧差的方法，具体方法步骤如下：

(1)设置变量和参量：

设输入的用于识别道路的视频序列每帧图像的大小为W×H(W和H分别为每帧图像的宽度和高度)，第n帧图像g_n的像素点(x，y)的灰度值为g_n(x，y)。当n≥2时，第n帧图像与第n-1帧图像的帧差图像d_n的像素点(x，y)的灰度值为d_n(x，y)。dt_n(x，y)为帧差图像d_n(x，y)处理过程中使用的临时变量。

分割车辆和背景的阈值为T1。

整张图像从上到下分为R段，设定去孤立点阈值TG[R]，并根据图像距离摄像头位置的由远到近的方向设定由小到大的阈值。

当前扫描线长度为DL，扫描线平分M个区段，数组LC[M]用于记录每个区段符合条件的连续白线段数。

设扫描线线起始点位置处表示车辆的白线段占有长度约y₁个像素，白线段中点到起始点距离为x₁，扫描线终止点位置处表示车辆的白线段占有长度约y₂个像素，白线段中点到起始点距离为x₂。由此可以计算中心点到起始点距离为x的车辆占有长度y为：

$y=f\left(x\right)=\frac{y_2-y_1}{x_2-x_1}x---(3-7)$

则中心点到起始点距离为x的白线段是否符合条件的阈值为TL＝ky。k为比例系数(k＜＝1)。

(2)初始化一个M维输入1维输出的BP神经网络，用筛选出的学习样本进行训练。

(3)初始化，n＝2。

(4)求第n帧图像与第n-1帧图像的帧差图像d_n，

d_n(x，y)＝|g_n(x，y)-g_n-1(x，y)|，(x＝0，1，...，W-1；y＝0，1，...，H-1)。    (3-8)

(5)采用Gauss滤波处理的方式平滑帧差图像d_n，尽量的排除噪声干扰。

Gauss模板为

帧差图像d_n经Gauss滤波为 ${\mathrm{dt}}_n(x,y)=\underset{i=-1}{\overset{1}{\mathrm{\Σ}}}\underset{j=-1}{\overset{1}{\mathrm{\Σ}}}\left[G\right[i+1\left]\right[j+1\left]d_n(x+i,y+j)\right],$ (x＝0，1，...，W-1；y＝0，1，...，H-1)(3-9)

d_n(x，y)＝dt_n(x，y)。(x＝0，1，...，W-1；y＝0，1，...，H-1)。    (3-10)

(6)使用迭代法求得最佳阈值T1，帧差图像d_n中像素点的灰度值大于T1的判断为属于车辆的像素，灰度值小于T1的判断为属于背景的像素。使用阈值T1分割帧差图像d_n将其二值化，灰度值低于T1的像素赋值为0，而高于T1的像素赋值为255，

$d_n(x,y)=\left\{\begin{array}{cc}0& d_n(x,y)<T1\\ 255& d_n(x,y)\&GreaterEqual;T1\end{array}\right.,$ (x＝0，1，...，W-1；y＝0，1，...，H-1)。    (3-11)

(7)根据孤立点阈值TG[R]，去除二值化图像中每段的孤立点，每段图像中白色像素联通区域面积小于TG[R]的去除。

(8)从左向右和从右向左扫描定位左右旋转点，再通过旋转扫描获得道路左右边界线，同时在旋转扫描线的交叉位置标定起始点。过程如图3-3(a)所示。

(9)以起始点为旋转点，道路左右边界线分别绕起始点旋转外扩3度为开始和终止位置，以每次旋转1度为步长，扫描整个道路区域。过程如图3-3(b)所示。

平分当前扫描线为M区段，从起始点开始查找白色像素段，找到白色像素段计算中心点到起始点距离x，像素段长度LCount，如果像素段中心点位于第i个区段中，且LCount＞TL，则白线段数LC(i)++。

将当前的LC[M]输入学习好的BP网络，获取BP网络的输出结果。当BP网络的输出前一条扫描线结果为非道路而从本次开始连续3次变为是道路时，记录当前扫描线的位置为车道左边界线。当BP网络的输出前一条扫描线结果为是道路而从本次开始连续三次变为非道路时，记录当前扫描线的位置为车道右边界线。过程如图所示。

(10)如果扫描完毕，识别出的车道线为4对左右边界线；从左向右依次取相邻的右边界线和左边界线的中间位置为相邻两车道的分界线，结束；

否则，n++，转(4)。

实施例一：

根据以上介绍的道路识别方法，识别道路的视频以352×288的灰度图像为例，即W＝352，H＝288，图像的采样频率为10帧/秒。考虑目前城市道路中最常见的双向四车道的情况。

根据方法思想人工从10张帧差图像中筛选出200个学习样本对作为神经网路的学习样本。分割车辆和背景的阈值T1在程序运行时由迭代法自动求出。图像分段R＝6，TG[R]＝{1*1，2*2，3*3，4*4，5*5，6*6}。扫描线分区段M＝8。y1＝4，y2＝80，x1＝2，x2＝180，比例系数k＝0.5。

由实验的最终结果可以比较直观的看出，实验提取出的车道线与实际道路车道线基本吻合，精度比较高，而且实验只使用了2帧图像，效率提高明显。其中神经网络的学习时间约5min，识别时间约200ms，由于神经网络一次学习可以多次使用，所以***长期运行时每次识别道路的时间开销就是约200ms，实验的效果比较理想。

本发明未涉及部分均与现有技术相同或可采用现有技术加以实现。

Claims (9)

1.一种基于视频的汽车车道自动识别方法，其特征是它包括以下步骤：

（a）.输入用于识别道路的视频序列，采用帧差法对视频序列中的每两个相邻帧图像之间进行处理获得相邻帧的帧差图像，对该帧差图像进行平滑处理和阈值分割得到相邻帧差图像的二值化图像，其中白色像素区域表示车辆区域，黑色像素区域表示背景区域；

（b）.对二值化图像通过从左向右和从右向左扫描定位左右旋转点，再分别以左右旋转点为中心通过旋转扫描获得道路左右边界线，同时在左右边界线的交叉位置标定起始点用于接下来的旋转扫描；

（c）.以起始点为旋转点，道路左右边界线为开始和终止位置，以每次旋转一定度数为步长，扫描整个道路区域，根据该道路的车道数把扫描线区域平分成对应的N个区段，在各区段内从视场由远到近的方向即图像距离摄像头位置由远到近的方向把扫描线平分成M个区域，根据各区域的大小设定相应的连续性阈值，统计每个区域白色像素点个数大于阈值的白色像素点段数，统计的数据作为BP神经网络的学习样本时，各区段内M个区域的连续度大于阈值的白线段数均作为网络输入值，人工判定当前扫描位置是否为车道作为网络目标输出值； 

（d）.建立BP神经网络并用学习样本数据进行训练，网络收敛之后可以作为判定当前位置是否为车道的分类器；

（e）.实际识别道路时，输入统计当前扫描位置的白色像素点数和连续的白色像素点段数归一化后的数据，网络输出值就是当前扫描位置是否为车道的判决结果。

2.根据权利要求1所述的基于视频的汽车车道自动识别方法，其特征是在步骤（b）之后，对于得到的二值化图像，根据图像距离摄像头位置的远近设定相应的阈值，进行去孤立点的操作。

3.根据权利要求1所述的基于视频的汽车车道自动识别方法，其特征是在步骤（c）中以起始点为旋转点，道路左右边界线分别绕起始点旋转外扩0-5度为开始和终止位置。

4.一种基于视频的汽车车道自动识别方法，其特征是它包括以下步骤：

（a）.输入用于识别车道的视频序列，采用帧差法对视频序列中的每两个相邻帧图像之间进行处理获得相邻帧的帧差图像，对该帧差图像进行平滑处理和阈值分割得到相邻帧差图像的二值化图像，其中白色像素区域表示车辆区域，黑色像素区域表示背景区域；

（b）.对二值化图像定位左右旋转点：首先，采用扫描线从左向右扫描碰到第一个白色像素点为左旋转点；同样，采用扫描线从右向左扫描碰到第一个白色像素点为右旋转点；

分别以左右旋转点为中心，两扫描线进行旋转扫描，直至左右扫描线相交于一点即起始点；起始点与左旋转点的连接线为道路左边界线，起始点与右旋转点的连接线为道路右边界线；

（c）.根据待识别道路的车道数把扫描线区域横向平分成对应的N个区段，在各区段内从视场由远到近的方向把各区段的分界线平分成M个区域，以起始点为旋转点，道路左、右边界线为开始和终止位置，以每次旋转一定度数为步长，扫描整个二值化图像的道路区域；

在M×N个区域中，根据视场由远到近的方向设定相应的连续性阈值，统计每个区域白色像素点个数大于阈值的白色像素点段数，统计的数据作为BP神经网络的学习样本时，将各区段内M个区域的连续度大于阈值的白线段数均作为网络输入值，人工判定当前扫描位置是否为车道作为网络目标输出值； 

（d）.建立BP神经网络并用学习样本数据进行训练，网络收敛之后作为判定当前位置是否为车道的分类器；

（e）.实际识别道路时，将统计的当前扫描位置的白色像素点数和连续的白色像素点线段数或者将归一化后的数据输入分类器，分类器的网络输出值就是当前扫描位置是否为车道的判决结果。

5.根据权利要求4所述的基于视频的汽车车道自动识别方法，其特征是在步骤（b）之后，对于得到的二值化图像，根据图像距离摄像头位置的远近设定相应的阈值，进行去孤立点的操作。

6.根据权利要求4所述的基于视频的汽车车道自动识别方法，其特征是在步骤（c）中以起始点为旋转点，道路左右边界线分别绕起始点旋转外扩0-5度为开始和终止位置。

7.根据权利要求4所述的基于视频的汽车车道自动识别方法，其特征是在步骤（c）中以起始点为旋转点，道路左右边界线分别绕起始点旋转外扩3度为开始和终止位置。

8.根据权利要求4所述的基于视频的汽车车道自动识别方法，其特征是在步骤（c）中N个区段的区段数为：10-16。

9.根据权利要求4所述的基于视频的汽车车道自动识别方法，其特征是在步骤（c）中M个区域的区域数按照车道长度进行相应划分，为5-6个。

Images