CN107315998B - 基于车道线的车辆种类划分方法和*** - Google Patents

Abstract

本发明公开了一种基于车道线的车辆种类划分方法和***，方法包括：基于霍夫变换从道路监测视频图像中提取道路两侧的左右两车道线；基于Vibe背景差分算法获取视频图像中的前景目标并对前景目标进行孔洞移除和平滑处理；以车道线为参考系计算目标的实际宽度，将目标的实际宽度导入以车辆宽度作为分类标准的车辆分类器中，得到目标的车辆类型；对分类结果进行误差修正，排除行驶轨迹不为直线的目标的分类结果。与现有技术相比，本发明方法没有复杂的数学计算，基于平面几何学，实时性与准确度良好，可以十分方便的应用到基于视频的交通研究中。

Description

基于车道线的车辆种类划分方法和***

技术领域

本发明涉及一种基于车道线的车辆种类划分方法和***，属于图像处理技术领域。

背景技术

随着城市经济迅速发展以及电动自行车等轻量代步工具的出现，城市电动自行车规模迅速增长，相关部门难以管理，产生了极大的交通安全隐患。随着城市视频设备数量、覆盖率的迅速增长，以及计算机图像处理水平的提升，将视频图像处理技术用于城市智能交通***进行计算机自动检测已成为一种趋势。通常希望对一类事物进行单独研究，所以对车辆类型合理进行划分对于智能交通检测***的研究十分重要，各种各样的分类算法被提出。

目前几乎所有的车辆分类算法都采用分类器对样本进行训练学习实现。如申瑛等提出了基于活动轮廓与模糊型支持向量机的车辆分类算法，利用活动轮廓模型，并采用模糊型支持向量机方法对车辆进行分类。张伟等基于邻接传感器网络和BP神经网络提出一个有效的车辆分类算法，文学志等提出一种基于类haar特征和改进AdaBoost分类器的车辆图像识别算法。孙锐等针对车辆识别中的两类监督分类问题，提出一种基于核K-SVD字典训练结合稀疏表示的分类方法，张鹏等针对实际应用中因图像清晰度低等因素导致的车型识别误差过大的问题，提出了一种基于稀疏尺度不变转换特征的车型识别算法，陈湘军等提出了车辆图像稀疏特征表示方法,并实现了基于稀疏特征的车辆图像支持向量机线性分类器,构建了基于稀疏特征和背景建模的监控车辆分类识别应用框架。王海等针对已有分类器在结构形式和训练方法的不足,构建了一个以二维深度置信网络为架构的弱监督分层深度学习车辆识别算法。董恩增等针对车型识别的过程中存在处理的信息量大,提取特征维数高,识别实时性较差等问题,设计了一种融入PCA的LBP特征降维车型识别算法。上述现有的利用分类器算法进行车辆种类划分时，速度比较慢，且识别效率依赖于训练的样本量，应用到基于视频的交通研究***中时，实时性较差，分类效率低。

发明内容

发明目的：针对现有技术中存在的问题，本发明目的在于提供一种基于车道线的车辆种类划分方法和***，解决电动车与其他目标难以区分的问题，并能提高车辆分类的准确性与实时性。

技术方案：为实现上述发明目的，本发明提供一种基于车道线的车辆种类划分方法，包括如下步骤：

(1)基于霍夫变换从道路监测视频图像中提取道路左右两侧的车道线；

(2)基于Vibe背景差分算法获取视频图像中的前景目标并对前景目标进行孔洞移除和平滑处理；

(3)以车道线为参考系计算目标的实际宽度，将目标的实际宽度导入以车辆宽度作为分类标准的车辆分类器中，得到目标的车辆类型；

(4)对分类结果进行误差修正，排除行驶轨迹不为直线的目标的分类结果。

作为优选，所述步骤(4)的误差修正还包括基于从视频的多帧图像中获取的同一目标实际宽度的平均值进行车辆类型分类。

作为优选，所述步骤(1)中，将利用霍夫变换从视频首帧图像中获取的直线分为斜率大于0和斜率小于0两组，并分别从这两组直线中选出最长的一条分别作为左车道线和右车道线。

作为优选，所述步骤(3)中目标的实际宽度w_s1＝(w_s2/w₁)w₂，其中w_s2为目标的外接矩形框在视频图像中的像素宽度，w₁为目标的外接矩形框的中心点在水平方向上的延长线与左右两车道线的两交点的距离，w₂为道路的实际宽度。

作为优选，所述步骤(3)中车辆分类器表示为：

其中，w_s为车辆的实际宽度，a₁,a₂,…,a_n分别表示n种车辆类型，(w_(1)min,w_(2)max)(w_(2)min,w_(2)max)，…，(w_(n)min,w_(n)max)分别表示相应车辆类型的宽度范围，每种车辆类型的宽度范围都与其他类型的宽度范围不相交。

作为优选，所述步骤(4)中判断目标行驶轨迹是否为直线的方法是：首先从目标行驶轨迹中选取若干个点作为分析样本；然后从样本中随机选取两个点构成直线，并计算其余点到该直线的距离，若距离在阈值范围内的点数占总点数的95％以上，则认为目标的行驶轨迹为直线，否则不为直线。

本发明还提供一种采用上述的基于车道线的车辆种类划分方法的基于车道线的车辆种类划分***，包括：车道线检测模块，用于基于霍夫变换从道路监测视频图像中提取道路左右两侧的车道线；前景处理模块，用于基于Vibe背景差分算法获取视频图像中的前景目标并对前景目标进行孔洞移除和平滑处理；目标宽度计算模块，用于以车道线为参考系计算目标的实际宽度；车辆分类器模块，用于根据输入的目标的实际宽度对目标的车辆类型进行划分；以及，误差修正模块，用于对分类结果进行误差修正，排除行驶轨迹不为直线的目标的分类结果。

有益效果：针对城市道路监控视频中电动自行车目标多、难以与其他目标进行区分的特点，本发明提出的一种基于车道线的车辆种类划分方法，首先对视频中的车道线进行检测，然后利用Vibe算法提取前景目标并对前景进行处理，再以车道线作为参照，根据目标的大小规模进行种类划分，从而实现汽车与电动自行车以及其他车辆类型的划分。大量的实验结果表明，本发明方法能有效的对车辆进行种类划分，误差很低，能够十分方便的应用到各种交通事件检测***中，具有较好的实时性与鲁棒性。

附图说明

图1为本发明实施例的方法流程图。

图2为利用霍夫变换检测的直线结果集示意图。

图3为直线约束范围示意图。

图4为Vibe算法中2-D欧式空间中像素分类示意图。

图5为基于Vibe算法获取的前景图像示图。

图6为孔洞移除后的前景图像示图。

图7为平滑处理后的前景图像示图。

图8为车辆类型差异示意图。

图9为车辆与车道线参照示意图。

图10为目标像素宽度示意图。

图11为分类效果图。其中(a)、(b)为小汽车的分类结果示意图，(c)、(d)为电动自行车的分类结果示意图。

图12为本发明实施例的***结构示意图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

本发明实施例公开的一种基于车道线的车辆种类划分方法，首先提出了一种车道线检测方法用于提取车道线，其次采用了当前在交通跟踪方面识别速度最快的Vibe背景差分算法用于获取前景目标并对前景目标进行处理，再以车道线作为参照系，计算目标的实际宽度，对目标种类进行划分后，得出目标的类型。整个算法没有复杂的数学计算以及利用目标宽度总在一定范围内的特性，提高了车辆分类的准确性与实时性，算法流程图如图1所示。详细步骤如下：

步骤(1)车道线检测：基于霍夫变换从道路监测视频图像中提取道路左右两侧的车道线。

利用霍夫变换提取出的直线集合含有大量干扰直线，而车道线在道路监控视频中的几何特性十分特殊，本发明利用车道线的几何特性从视频画面中识别出车道线。包括：

(1.1)霍夫变换提取直线

霍夫变换(Hough Transform)是图像处理中从图像中识别几何形状的基本方法之一，应用很广泛，也有很多改进算法。主要用来从图像中分离出具有某种相同特征的几何形状(如直线，圆等)。最基本的霍夫变换是从黑白图像中检测直线。

车道线在视频画面中呈现为直线的形式，利用霍夫变换可从视频首帧中获取直线的结果集：

Z＝{z₁,z₂,…,z_n} (1)

其中Z为利用霍夫变换提取出的直线集合，z₁～z_n为集合中的元素，待提取车道线，如图2所示。

(1.2)筛选直线

通常情况下左右两车道线分布在视频图像左右两边，且倾斜程度在一定范围内。

设两车道线的斜率分别为k₁、k₂，通过对大量图像样本进行计算分析得出左、右车道线的斜率约束范围：k_min<|k₁∣<k_max，k_min<∣k₂∣<k_max，其中k_min为范围下限，k_max为范围上限，如图3所示。

(1.3)提取车道线

左右两车道线(道路的实线边界)贯穿整个视频画面，通常为视频画面中长度最长的两条直线，设左右两车道线分别为l₁与l₂，可得提取两车道线的公式：

其中max为取直线结果集合中长度最大值函数，Z⁺为Z中斜率大于0的直线集合,Z^-为Z中斜率小于0的直线集合。

步骤(2)前景处理：基于Vibe背景差分算法获取视频图像中的前景目标并对前景目标进行孔洞移除和平滑处理。

Vibe是一种像素级视频背景建模或前景检测的算法，效果优于所熟知的几种算法，对硬件内存占用也少。Vibe是一种像素级的背景建模、前景检测算法，该算法主要不同之处是背景模型的更新策略，随机选择需要替换的像素的样本，随机选择邻域像素进行更新。在无法确定像素变化的模型时，随机的更新策略，在一定程度上可以模拟像素变化的不确定性。

背景模型定义：背景模型中的每一个像素由n个背景样本组成(此处，n取值为20)，记v(x)表示在给定的欧式颜色空间中图像在x处的像素值，v_i表示索引为i的背景样本值。背景模型M定义如式(3)所示：

M(x)＝{v₁,v₂,…,v_n-1,v_n} (3)

背景初始化：初始化背景的过程也是选取v(x)的过程，Vibe算法从x的8领域N_G(x)中随机选取20个样本值用于初始化背景模型，如式(4)所示：

M⁰(x)＝{v⁰(y|y∈N_G(x))} (4)

其中M⁰(x)为初始化的背景模型。

随机选择策略：Vibe算法采用2-D空间中的欧式距离对像素进行分类，记S_R(v(x))表示以v(x)为中心，半径为R的2-D欧式空间(见图4)，若S_R(v(x))与M(x)的交集满足一定的基数(H{}表示交集不小于2)，则认为v(x)是背景像素，如式(5)所示：

H{S_R(v(x))∩{v₁,v₂,…,v_n}} (5)

背景模型更新策略：如果像素p(x)是背景像素，则随机地从M(x)中选取一个值采用p(x)代替，这种统一分布的随机选取法保证了样本集合中每一个样本的生命周期成指数递减，避免了像素长期保留在背景模型中影响模型的精确性。前景图像如图5所示。

信息传播机制：为了保持像素领域空间的一致性，Vibe算法对v(x)的样本进行更新的同时，采用同样的更新方法来更新领域N_G(x)中像素的样本，例如：采用v(x)替换样本模型M(x)中的一个样本，同时采用v(x)更新N_G(v(x))中某一个像素的样本。

通过Vibe算法获取的前景图像并不规则，因此需要对前景图进行孔洞移除与平滑处理。其中，孔洞移除是对前景图的连通域进行遍历，将面积小的连通域的所有像素点的像素值进行反转，平滑处理是对前景图进行领域平均值平滑处理，再进行二值化。孔洞移除和平滑处理后的前景图像分别如图6、图7所示。

由Vibe算法的核心描述可以看出，背景模型的定义、初始化、更新以及像素的分类都比较简单，整个算法中没有复杂的计算，从而保证了算法的实时性。

步骤(3)目标分类：基于目标的实际宽度，进行车辆的类型划分。

在基于视频的交通事件研究中，往往希望对一类目标进行研究，合理的分类算法能让研究事半功倍。传统的分类算法采用SVM分类器对样本进行训练，该方法效率低、耗时长，实时性差，依赖于样本数量。而在交通研究中，一类车辆类型与其他车辆类型的差异主要在于车辆的大小，本发明依照目标的大小对目标进行种类划分，进而成功对检测出的目标进行分类。

●建立车辆分类器

不同种车辆类型因为生产规格的不同而在宽度存在差异，甚至电动自行车的宽度不及小汽车的一半，如图8所示(图中处于同一水平位置的小汽车实体e₁的宽度为电动自行车实体e₂的3.5倍)。根据各种车型的生产尺寸标准，不同的车辆类型的宽度限定在一定范围内，例如小汽车生产规格如表1,所以可利用此特性建立车辆分类器。

表1小汽车尺寸规格表

根据数据，就可确定小汽车宽度范围在1.5-2.0范围内。设存在n种类型的车辆，每种车辆类型的宽度范围都与其他类型的宽度范围不相交，设这n种车辆类型分别为a₁,a₂,…,a_n，a₁的宽度范围为(w_(1)min,w_(2)max)，a₂的宽度范围为(w_(2)min,w_(2)max)，…，a_n的宽度范围为(w_(n)min,w_(n)max)，依下式建立n种类型的车辆分类器category(s)：

其中w_s为车辆s的宽度。

●参照系选定

在交通视频中，画面中的所有目标都会产生透视(近大远小)的效果，同样大小的物体，在远离摄像头的位置在画面中的规模小，在临近摄像头的位置在画面中的规模大。物体在视频中的大小不固定，十分不利于对物体的行为研究，所以需要建立一个参照系方便获取待研究目标的实际宽度。

选取合适的参照系可以方便对目标的研究，选取实际大小不会发生变化且在画面中静止的车道作为参照系。

记目标s所在位置的路面像素宽度为w₁，道路的实际宽度为w₂，如图9所示。

●计算实际宽度

在视频画面中，不能直接获取目标的实际宽度，可利用参照系，间接得出目标的宽度。

记目标s的实际宽度为w_s1，代表s的外接矩形框在视频中的像素宽度为w_s2，如图10所示。

p＝w_s2/w₁，其中p为目标宽度所占道路宽度的比例，w₁为代表目标s的外接矩形框的中心点在水平方向上的延长线与左右两车道线的两交点的距离。目标宽度所占道路宽度比例与道路实际宽度的乘积即为目标的实际宽度，计算公式为：

w_s1＝pw₂＝(w_s2/w₁)w₂ (7)

●种类划分

将得到的宽度导入分类器比对，获取车辆类型：

a＝category(s) (8)

其中a为目标s的类型。

可见，整个分类过程没有复杂的数学计算，即时应用性良好，计算速度快，不会给视频播放***带来很大的负担。

步骤(4)误差修正：通过对多帧图像进行统计和分析对目标分类结果进行误差修正。

在道路中，通常情况下不会仅仅存在车辆，还会存在行人、杂物、动物等其他非行驶车辆，且单帧分类获取的分类结果很容易产生误差，所以需要一种合理的决策方法来消除误差。对于进入画面的目标，应当对其进行全程跟踪，跟踪采用前后两帧目标的距离来判断，若前后两帧的两个目标的中心距离小于阈值dt,则认为是同一目标。本发明的误差修正主要涉及如下两个方面：

(1)轨迹分析，正常行驶的车辆的行驶轨迹应当接近一条直线，从车辆行驶轨迹(同一目标的外接矩形框的中心点的集合)中选取n_p个点作为样本，对样本进行分析，设样本集为：

P＝{p₁,p₂,…,p_n} (9)

①随机的从P中选取两个点构成直线l_p，并将其移除P中。

②从P中选取一个未标记的点p，计算p到l_p的距离，判断是否在threshold范围内。

③对P中所有点执行②中操作，计算到l_p的距离在threshold范围内的点的个数c，若c/n_p>0.95则认为轨迹为直线。

对于轨迹不为直线的目标，认为是非行驶车辆的其他运动物体，应当对其进行误差修正，将其移除已分类的列表。

(2)多帧统计，对于获取的车辆宽度计算多帧的结果取平均值操作避免某一帧提取的车辆前景不准确的情况。由于背景差分法获取的前景并不是绝对准确，在某一帧时，提取的前景目标大小可能跟实际的目标大小相差甚远，以取平均值的方式即可极大程度上避免这种情况的发生。

如图12所示，本发明实施例公开的基于车道线的车辆种类划分***，包括：车道线检测模块，用于基于霍夫变换从道路监测视频图像中提取道路左右两侧的车道线；前景处理模块，用于基于Vibe背景差分算法获取视频图像中的前景目标并对前景目标进行孔洞移除和平滑处理；目标宽度计算模块，用于以车道线为参考系计算目标的实际宽度；车辆分类器模块，用于根据输入的目标的实际宽度对目标的车辆类型进行划分；以及，误差修正模块，用于对分类结果进行误差修正，基于目标宽度的均值进行分类，并排除行驶轨迹不为直线的目标的分类结果。

下面通过如下实验来验证本发明方法的有效性和优势。

本发明实验环境为Intel(R)Core(TM)i5-2410M CPU，8G内存的PC机。实验数据由网络下载和自行拍摄的城市交通道路视频，图像大小为600×400。采用了路面存在电动自行车、小汽车与大型车的视频进行实验，并分别采用正常光线环境，暗光环境，道路目标复杂的环境进行测试。

本发明采用分类准确率与识别速率两个参数对测试结果进行评价，通过对本发明算法与陈湘军等的基于稀疏特征的车辆图像支持向量机线性分类器(SVM)对比测试，测试结果如下表：

表2本发明算法分类结果(正常环境)

表3SVM分类结果(正常环境)

表4本发明算法分类结果(暗光环境)

表5SVM分类结果(暗光环境)

表6本发明算法分类结果(复杂环境)

表7SVM分类结果(复杂环境)

由表2-表7可以看出，由于本发明基于车道线获取车辆宽度，依照实际宽度对种类进行划分，没有复杂的数学运算，而SVM分类器依赖于样本数量，所以在本实验环境下效率较SVM分类器效率高，速度更快，实时性良好。从表中数据可以看出，在暗光环境与复杂环境下，分类的准确率有所下降，这是由于测试视频的清晰度不够以及光线不充足的原因所致。

本发明方法首先利用霍夫变换及约束条件提取车道线，再采用Vibe背景差分法提取前景图像，并对前景图像进行优化处理，然后根据车辆宽度范围建立车辆分类器，再利用车道线作为参照获取车辆实际宽度，导入车辆分类器比对得出车辆类型，最后对车辆轨迹分析以及多帧统计对车辆进行误差分析，从而获取最终分类。整个算法没有复杂的数学计算，基于平面几何学，实时性与准确度良好，可以十分方便的应用到基于视频的交通研究中。

Claims (6)

1.基于车道线的车辆种类划分方法，其特征在于，包括如下步骤：

(1)基于霍夫变换从道路监测视频图像中提取道路左右两侧的车道线；

(2)基于Vibe背景差分算法获取视频图像中的前景目标并对前景目标进行孔洞移除和平滑处理；

(3)以车道线为参考系计算目标的实际宽度，将目标的实际宽度导入以车辆宽度作为分类标准的车辆分类器中，得到目标的车辆类型；所述步骤(3)中目标的实际宽度w_s1＝(w_s2/w₁)w₂，其中w_s2为目标的外接矩形框在视频图像中的像素宽度，w₁为目标的外接矩形框的中心点在水平方向上的延长线与左右两车道线的两交点的距离，w₂为道路的实际宽度；

(4)对分类结果进行误差修正，排除目标行驶轨迹不为直线的目标的分类结果。

2.根据权利要求1所述的基于车道线的车辆种类划分方法，其特征在于，所述步骤(4)的误差修正还包括基于从视频的多帧图像中获取的同一目标实际宽度的平均值进行车辆类型分类。

3.根据权利要求1所述的基于车道线的车辆种类划分方法，其特征在于，所述步骤(1)中，基于霍夫变换从道路监测视频图像中提取道路左右两侧的车道线的方法为：将利用霍夫变换从视频首帧图像中获取的直线分为斜率大于0和斜率小于0两组，并分别从这两组直线中选出最长的一条分别作为左车道线和右车道线。

4.根据权利要求1所述的基于车道线的车辆种类划分方法，其特征在于，所述步骤(3)中车辆分类器表示为：

其中，w_s为车辆的实际宽度，a₁，_a2，…，a_n分别表示n种车辆类型，(w(_1)min，w_(2)max)(w_(2)min，w(₂)_max)，…，(wx_n)min，w(_n)_max)分别表示相应车辆类型的宽度范围，每种车辆类型的宽度范围都与其他类型的宽度范围不相交。

5.根据权利要求1所述的基于车道线的车辆种类划分方法，其特征在于，所述步骤(4)中判断目标行驶轨迹是否为直线的方法是：首先从目标行驶轨迹中选取若干个点作为分析样本；然后从样本中随机选取两个点构成直线，并计算其余点到该直线的距离，若距离在阈值范围内的点数占总点数的95％以上，则认为目标的行驶轨迹为直线，否则不为直线。

6.采用如权利要求1-5任一项所述的基于车道线的车辆种类划分方法的基于车道线的车辆种类划分***，其特征在于，包括：

车道线检测模块，用于基于霍夫变换从道路监测视频图像中提取道路左右两侧的车道线；

前景处理模块，用于基于Vibe背景差分算法获取视频图像中的前景目标并对前景目标进行孔洞移除和平滑处理；

目标宽度计算模块，用于以车道线为参考系计算目标的实际宽度；

车辆分类器模块，用于根据输入的目标的实际宽度对目标的车辆类型进行划分；

以及，误差修正模块，用于对分类结果进行误差修正，排除行驶轨迹不为直线的目标的分类结果。