CN106781513A

CN106781513A - 一种基于特征融合的城市交通场景中车辆行为的识别方法

Info

Publication number: CN106781513A
Application number: CN201611068388.4A
Authority: CN
Inventors: 赵池航; 赵敏慧; 齐行知
Original assignee: Southeast University
Current assignee: Southeast University
Priority date: 2016-11-28
Filing date: 2016-11-28
Publication date: 2017-05-31

Abstract

本发明公开了一种基于特征融合的城市交通场景中车辆行为的识别方法，通过将HOG特征与LBP特征首尾串联组成联合特征作为车辆行为融合特征，采用支持向量机SVM分类器，对车辆行为进行分类识别。本发明基于特征融合的城市交通场景中车辆行为的识别方法来识别车辆异常行为，为自动交通事件检测***奠定了前沿基础，对于提高车辆驾驶的安全性，避免道路交通事故发生具有重要的作用。

Description

一种基于特征融合的城市交通场景中车辆行为的识别方法

技术领域

本发明专利涉及交通事件检测领域，尤其是车辆违章行为的检测和研究。

背景技术

全球交通事故年度统计报告表明道路交通事故多数是由车辆异常导致，例如闯红灯、车辆压线、超速等。车辆行为检测对于保障交通安全、提高车辆驾驶的安全性，避免车祸的发生具有重要的作用。

车辆行为识别是自动交通事件检测***的首要步骤和重要组成部分。传统的车辆行为检测技术如环形检测、微波检测由于需要挖掘路面，影响交通，往往成本巨大，现已逐渐被淘汰。而图像处理检测技术是利用计算机视觉技术对周围情景进行感知，对环境几乎没有影响。利用计算机视觉进行车辆检测的有很多，Klubsuwan等基于车辆在感兴趣区域和均方位移法，并结合多车辆行为的评估对车辆闯红灯和变道进行检测，检测结果具有较高的检测精度。但在复杂交通场景下，效果不明显。因此进行车辆行为检测技术研究的关键在于检测结果的高度精确以及其广泛适用性。而其他研究大多是针对一种车辆行为特征的提取和分类，目前，尚未有出现有融合车辆特征对车辆行为的识别方法。

发明内容

本发明专利所要解决的问题是有效地提取车辆行为特征，以用于以车辆和道路标线为中心的城市交通场景下车辆行为的识别。为解决上述技术问题，本发明专利采用如下技术方案：

一种基于特征融合的城市交通场景中车辆行为的识别方法，包括步骤：

1)采用中值滤波对城市交通场景图像进行去噪，并采用光线补偿对城市交通场景图像进行预处理；

2)计算图像水平方向的一阶差分并对图像进行阈值处理，以此确定车牌的各个边界、位置和尺寸，提取车辆的车牌特征，并根据车牌与车身的比例关系得到车辆区域；

3)在步骤2)得到的车辆区域的基础上，以车辆区域中心点为中心，长宽各增加一倍，扩大车辆定位区域，得到车辆与道路标线的位置关系，并据此构建车辆行为数据库；

4)分别提取步骤3)中车辆行为图像的HOG特征和LBP特征，并将HOG特征与LBP特征首尾串联组成联合特征作为车辆行为融合特征；

5)基于提取的车辆行为融合特征，采用支持向量机SVM分类器，并选取线性核函数为参数，对车辆行为进行分类识别。

所述步骤1)中的城市交通场景图像来自于道路交叉口电子警察***记录。

所述步骤1)中的光线补偿具体为：首先，对光线补偿后的城市交通场景图像进行灰度化处理，并对整幅灰度图像进行直方图统计；其次，将图像中所有像素的亮度由高到低排列，并取前15％的亮度最大的像素，将这些像素的平均亮度线性放大为255，此时该亮度的临界值定为亮度参考点；最后，增强图像中部分像素的RGB值以把整幅图像的亮度线性放大，即

其中，I_R、I_G和I_B分别为原图像R、G、B三个分量表示，I_gray是图像中相应的灰度值。

所述步骤2)具体为：采用下式计算图像水平方向的一阶差分得到车牌区域；

f(i,j)＝f(i,j+1)-f(i,j)

采用下式对图像进行阈值处理，阈值由列列相减后自身的灰度分布决定，所述阈值的表达式为：

其中，f(x,y)为相减后的图像，m为列数；

根据阈值对边缘图像的灰度投影进行统计；从下向上搜索行目标像素，当行目标像素个数大于阈值T时，此行作为车牌的下边界；从左至右搜索列目标像素，当列目标像素个数大于阈值T时，此列作为车牌的左边界；根据车牌的高度和宽度估计车牌上边界和右边界。

所述步骤3)中，所述车辆行为图像中车辆与道路标线包含有四种位置关系：(a)在车道线内，车辆轮廓线未与车道线及斑马线相交；(b)车辆前轮越过停止线，并与行人斑马线平行相交；(c)车辆轮廓线与车道分界线相交压线；(d)车辆转弯，轴线方向偏转，并与车道线或斑马线相交。

所述步骤4)中，所述HOG特征的提取具体为：首先输入图像并归一化图像，然后计算细胞内梯度，对每一个细胞块对梯度直方图进行规定权重的投影，并对每一个重叠block块内的细胞进行对比度归一化，最后将所有block内的直方图向量组成一个大的HOG特征向量；

所述LBP特征公式为：

其中，(x_C,y_C)表示3×3邻域内的中心元素，它的像素值为i_C，i_P表示邻域内其他像素的值，P表示邻域集内的采样点数；s(x)是符号函数，即：

所述步骤5)中采用线性核函数的支持向量机进行车辆行为分类具体如下，样本集{(x_i,y_i)}应满足：

y_i[(w·x_i)+b]-1+ξ_i≥0,i＝1,2,3,...n

其中，x是特征向量，y是结果标签，i表示第i个样本，w,b分别为d维空间的最佳分类超平面g(x)＝w·x+b＝0的斜率和截距；

引入松弛项ξ_i≥0，将分类问题归结为如下二次规划问题：

其中，C是一个常数，它控制对分错样本惩罚的程度；根据泛函的相关理论，只要一种核函数K(x_i,y_i)满足Mercer条件，它就对应某一空间变换的内积，因此，在最优分类面中采用合适的核函数K(x_i,y_i)就能实现某一非线性变换后的线性分类；线性核函数表达式为：

k(x,x_i)＝(x·x_i)

其中，k(x,x_i)为核函数。

与现有技术相比，本发明以一种基于特征融合的城市交通场景中车辆行为的识别方法来识别车辆异常行为，为自动交通事件检测***奠定了前沿基础，对于提高车辆驾驶的安全性，避免道路交通事故发生具有重要的作用。

附图说明

图1为HOG特征提取步骤流程。

具体实施方式

下面结合具体实施方式对本技术方案作进一步说明：

第一步：采用中值滤波对道路交叉口电子警察***记录的交通场景图像进行预处理，以消除图像含有的噪声。而后采用光线补偿操作以消除光照不稳定或阴暗天气下对图像造成的影响。

第一步中，采用中值滤波对城市交通场景图像进行去噪，并采用光线补偿对城市交通场景图像进行预处理。根据不同的图像特性，选择不同的滤波函数，本专利中采用中值滤波作为滤波器函数，以保存图像的细节部分。采用公式(1)对图像进行中值滤波处理。

A为滤波窗口，X_ij，Y_ij分别为原始图像和处理后图像。对滤波后的图像，本专利采用光线补偿以消除阴暗天气下对图像造成的影响。首先对图像进行灰度化处理，并对整幅灰度图像的直方图进行统计；其次，将图像中所有像素的亮度由高到低排列；再次，取前15％的亮度最大的像素，将这些像素的平均亮度线性放大为255，此时该亮度的临界值就称为亮度参考点；最后，根据求得的系数再把整幅图像的亮度线性放大，即

第二步：提取车辆的车牌特征，确定车牌的位置和尺寸，并根据车牌与车身的比例关系得到车辆区域。现有技术中，车辆检测方法有基于车牌的车辆检测方法、基于Gabor特征及SVM分类器的车辆检测方法和基于Haar-like特征及AdaBoost分类器的车辆检测方法，本技术方案中采用基于车牌特征的车辆检测方法。

提取车辆的车牌特征，由于车辆牌照区域的灰度投影变化较为剧烈，根据这一特点，采用公式(3)通过减法即图像的列与列相减以凸显车牌区域，即计算图像水平方向的一阶差分。

f(i,j)＝f(i,j+1)-f(i,j) (3)

采用公式(4)对图像进行阈值处理，阈值由列列相减后自身的灰度分布决定，阈值的表达式为：

其中，f(x,y)为相减后的图像，m为列数。确定好阈值T后，对边缘图像的灰度投影进行统计。确定车牌的下边界及右边界后根据车牌的高度和宽度估计车牌上边界和右边界。本专利中令车牌的宽度和高度分别为w和h，则对应的车辆区域的宽度和高度分别为3.8w和17h，最终根据车牌位置和尺寸得到车辆区域。

第三步：在车辆区域定位的基础上，以车辆区域中心点为中心，长宽各增加一倍，扩大车辆定位区域，以得到车辆与道路标线的位置关系，并据此构建车辆行为数据库。所得车辆行为图像中车辆与道路标线包含有四种位置关系：(a)在车道线内，车辆轮廓线未与车道线及斑马线相交；(b)车辆前轮越过停止线，并与行人斑马线平行相交；(c)车辆轮廓线与车道分界线相交压线；(d)车辆转弯，轴线方向偏转，并与车道线或斑马线相交。

第四步：分别提取车辆行为图像的HOG特征和LBP特征，并基于串联规则提取车辆行为融合特征。目前常用表征的车辆特征有HOG特征、EOH特征、LBP特征和Counterlet变换。本发明中分别提取车辆行为图像的HOG特征和LBP特征，HOG特征和LBP特征维数分别为324维和256维。HOG特征的提取过程如图1所示。首先输入图像并归一化图像，然后计算细胞内梯度，对每一个细胞块对梯度直方图进行规定权重的投影，并对每一个重叠block块内的细胞进行对比度归一化，最后将所有block内的直方图向量组成一个大的HOG特征向量。

其中，LBP特征公式为：

其中，(x_C,y_C)表示3×3邻域内的中心元素，它的像素值为i_C，i_P表示邻域内其他像素的值，P表示邻域集内的采样点数。s(x)是符号函数，即：

采用特征串联规则对车辆行为融合特征进行提取，其具体步骤为：首先，分别对同一张车辆行为样本图片的HOG特征和LBP特征进行特征提取；其次，将第i个样本的HOG特征和LBP特征首尾串联形成该样本的联合特征f_i，(1＜i＜N，N为训练样本数)，则f_i是一个324+256＝580维的特征向量。

第五步：基于提取的车辆行为融合特征，采用支持向量机SVM分类器，并选取线性核函数为参数，对车辆行为进行分类识别。采用线性核函数的支持向量机进行车辆行为分类：样本集{(x_i,y_i)}应满足：

y_i[(w·x_i)+b]-1+ξ_i≥0,i＝1,2,3,...n

其中，x是特征向量，y是结果标签，i表示第i个样本，w,b分别为d维空间的最佳分类超平面g(x)＝w·x+b＝0的斜率和截距，引入松弛项ξ_i≥0，所以分类问题归结为如下二次规划问题：

其中，C是一个常数，它控制对分错样本惩罚的程度。根据泛函的相关理论，只要一种核函数K(x_i,y_i)满足Mercer条件，它就对应某一空间变换的内积，因此，在最优分类面中采用合适的核函数K(x_i,y_i)就能实现某一非线性变换后的线性分类。线性核函数表达式为：

k(x,x_i)＝(x·x_i)

其中，k(x,x_i)为核函数。

上述实施例仅例示性地说明了本发明的基本原理、组件结构、工作过程及功效，而非用于限制本发明的应用。任何熟练掌握该技术的人员皆可在不违背本发明的原理下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的原理与技术思想下所完成的一切等效修饰或改变，仍应视为本发明的保护范围且由本发明的权利要求所涵盖。

Claims

1.一种基于特征融合的城市交通场景中车辆行为的识别方法，其特征在于，包括步骤：

1)采用中值滤波对城市交通场景图像进行去噪，并采用光线补偿对城市交通场景图像进行处理；

5)基于步骤4)得到的车辆行为融合特征，采用支持向量机SVM分类器，并选取线性核函数为参数，对车辆行为进行分类识别。

2.根据权利要求1所述的识别方法，其特征在于，所述步骤1)中的城市交通场景图像来自于道路交叉口电子警察***记录。

3.根据权利要求1所述的识别方法，其特征在于，所述步骤1)中的光线补偿具体为：首先，对光线补偿后的城市交通场景图像进行灰度化处理，并对整幅灰度图像进行直方图统计；其次，将图像中所有像素的亮度由高到低排列，并取前15％的亮度最大的像素，将这些像素的平均亮度线性放大为255，此时该亮度的临界值定为亮度参考点；最后，增强图像中部分像素的RGB值以把整幅图像的亮度线性放大，即

4.根据权利要求1所述的识别方法，其特征在于，所述步骤2)具体为：采用下式计算图像水平方向的一阶差分得到车牌区域；

f(i,j)＝f(i,j+1)-f(i,j)

T = \frac{1}{2 m} Σ_{i = 1}^{m} \max f (x_{i}, y)

其中，f(x,y)为相减后的图像，m为列数；

5.根据权利要求1所述的识别方法，其特征在于，所述步骤3)中，所述车辆行为图像中车辆与道路标线包含有四种位置关系：(a)在车道线内，车辆轮廓线未与车道线及斑马线相交；(b)车辆前轮越过停止线，并与行人斑马线平行相交；(c)车辆轮廓线与车道分界线相交压线；(d)车辆转弯，轴线方向偏转，并与车道线或斑马线相交。

6.根据权利要求1所述的识别方法，其特征在于，所述步骤4)中，所述HOG特征的提取具体为：首先输入图像并归一化图像，然后计算细胞内梯度，对每一个细胞块对梯度直方图进行规定权重的投影，并对每一个重叠block块内的细胞进行对比度归一化，最后将所有block内的直方图向量组成一个大的HOG特征向量；

所述LBP特征公式为：

s (x) = \{\begin{matrix} 1 & i f x &GreaterEqual; 0 \\ 0 & e l s e \end{matrix} .

7.根据权利要求1所述的识别方法，其特征在于，所述步骤5)中采用线性核函数的支持向量机进行车辆行为分类具体如下，样本集{(x_i,y_i)}应满足：

y_i[(w·x_i)+b]-1+ξ_i≥0,i＝1,2,3,...n

引入松弛项ξ_i≥0，将分类问题归结为如下二次规划问题：

m i n {\frac{1}{2} | | w | |^{2} + C (Σ_{i = 1}^{n} ξ_{i})}

其中，C是一个常数，它控制对分错样本惩罚的程度；根据泛函的相关理论计算得到线性核函数：

k(x,x_i)＝(x·x_i)。