CN104820831A - 基于AdaBoost车牌定位的前车脸识别方法 - Google Patents

Abstract

本发明涉及一种基于AdaBoost车牌定位的前车脸识别方法，包括以下步骤：利用HSV三通道彩色图像信息组成一幅新的灰度图像，用于车牌离线训练和在线定位；利用车牌字符垂直边缘点的主成分分析方向确定车牌的水平及垂直方向的倾斜角度，并进行单帧图像的倾斜角度校正；以进行倾斜角度校正后的车牌位置为基准按比例截取前车脸图像；对前车脸图像进行LBP特征提取；对上述进行LBP特征提取后得到的特征进行两级非线性支持向量机离线训练与在线识别，输出前车脸识别结果。本发明方法可以实现对各类车型进行精确分类，对前车脸图像进行准确地定位截取，识别率高，分类器设计简单实用，最终实现1046种车型的识别。

Description

基于AdaBoost车牌定位的前车脸识别方法

技术领域

本发明涉及一种智能交通技术领域的车辆识别技术，具体的说是一种基于AdaBoost车牌定位的前车脸识别方法。

背景技术

智能交通***(Intelligent Transportation System,ITS)起步于20世纪60～70年代的交通管理计算机化，是一项以信息、通信等技术将人、车、路三者紧密协调而形成的一种大范围、全方位发挥作用的综合运输管理***。

基于AdaBoost车牌定位的前车脸识别方法是模式识别技术在智能交通领域中的应用。目前主流的的车型分类有以下三种方法：

(1)根据车牌颜色和车牌识别结果进行车型分类

我国大型车辆用的是黄底黑字车牌，普通小型车辆用的是蓝底白字车牌，涉外车辆用的是黑底白色车牌，军队、警察及武警用的是白底黑字车牌。可根据车牌颜色和识别结果初步地将车辆分类成大型车，中小型车和军警车辆。这种方法只能区分大小型车辆，无法作进一步分类。

(2)根据车标识别结果进行车型分类

车标就是一种品牌车辆的标志，一般安装在车辆的前部。该方法通过在图像中搜索定位车标所在区域，再通过图像模式识别的方法对车型进行分类。该方法可对常见品牌的车辆进行分类，但对同品牌不同款的车辆缺乏精确分类的能力。

(3)根据车辆前部图像(前车脸)纹理特征进行车型分类

不同品牌的车辆，以及同品牌不同款的车辆的前部图像(前车脸)的散热片和车灯的布局和形状都存在差异。该方法可以对车辆进行更精确的分类，但存在三个技术难题，一是前车脸图像难以准确地定位截取，二是车脸图像的几何畸变对识别率有一定的影响，三是待分类的类别比较多，分类器设计相对复杂。

发明内容

针对现有技术中车辆图像的识别难以准确地定位截取、分类器设计相对复杂等不足，本发明要解决的技术问题是提供一种相对简单、可实现对各类车型进行精确分类的基于AdaBoost车牌定位的前车脸识别方法。

为解决上述技术问题，本发明采用的技术方案是：

本发明基于AdaBoost车牌定位的前车脸识别方法包括以下步骤：

利用HSV三通道彩色图像信息组成一幅新的灰度图像，用于车牌离线训练和在线定位；

利用车牌字符垂直边缘点的主成分分析方向确定车牌的水平及垂直方向的倾斜角度，并进行单帧图像的倾斜角度校正；

以进行倾斜角度校正后的车牌位置为基准按比例截取前车脸图像；

对前车脸图像进行LBP特征提取；

对上述进行LBP特征提取后得到的特征进行两级非线性支持向量机离线训练与在线识别，输出前车脸识别结果。

所述车牌离线训练和在线定位是利用国产车牌特定的颜色组合，在与人眼感知更接近的HSV空间，将原始图像从YUV颜色空间或RGB颜色空间转换到HSV颜色空间，在高宽比为1:3的检测窗口内，将HSV三通道彩色图像垂直方向拼接，形成高宽比为1:1的灰度图像，用于AdaBoost车牌离线训练和车牌在线定位。

所述利用车牌字符垂直边缘点的主成分分析方向确定车牌的水平及垂直方向的倾斜角度，并进行单帧图像的倾斜角度校正是利用车牌字符垂直投影间距最大的原则确定车牌的垂直倾斜角度，车牌字符的垂直和水平倾斜角度与单帧图像的倾斜角度一致，然后利用双线性插值算法对单帧图像进行倾斜校正。

对前车脸图像进行LBP特征提取为：对车脸图像高宽归一化到256×768像素，然后对前车脸的灰度图像、边缘图像、高斯差分图像，分别提取局部二值模式特征形成LBP特征矢量，然后采用线性判别分析进行特征融合。

对上述进行LBP特征提取后得到的特征进行两级非线性支持向量机离线训练与在线识别为：针对不同品牌的车辆建立1个一级非线性支持向量机分类器，再针对每个品牌不同款车辆建立相应数据的二级非线性支持向量机分类器；分类器采用LBP特征，分别离线训练以上各个非线性支持向量机分类器，在线识别时，由一级分类器的分类结果选择进入相应的二级分类器，最终实现多种车型的识别。

本发明具有以下有益效果及优点：

1.本发明方法可以实现对各类车型进行精确分类，对前车脸图像进行准确地定位截取，识别率高，分类器设计简单实用。

2.本发明能够针对不同品牌的车辆建立1个一级非线性支持向量机(Support Vector Machine,SVM)分类器，一级分类器涉及46个品牌，再针对每个品牌不同款车辆建立46个二级非线性支持向量机(Support VectorMachine,SVM)分类器。分类器采用步骤4所述的LBP特征，分别离线训练以上47个非线性支持向量机(Support Vector Machine,SVM)分类器，在线识别时，由一级分类器的分类结果选择进入相应的二级分类器，最终实现1046种车型的识别。

附图说明

图1为基于AdaBoost车牌定位的前车脸识别方法框图；

图2为HSV彩色图像AdaBoost车牌离线训练和在线定位框图。

具体实施方式

下面结合说明书附图对本发明作进一步阐述。

如图1所示，本发明基于AdaBoost车牌定位的前车脸识别方法包括以下步骤：

利用HSV三通道彩色图像信息组成一幅新的灰度图像，用于车牌离线训练和在线定位；

利用车牌字符垂直边缘点的主成分分析(Principal Component Analysis,PCA)方向确定车牌的水平及垂直方向的倾斜角度，并进行单帧图像的倾斜角度校正；

以进行倾斜角度校正后的车牌位置为基准按比例截取前车脸图像；

对前车脸图像进行LBP特征提取；

对上述进行LBP特征提取后得到的特征进行两级非线性支持向量机(Support Vector Machine，SVM)离线训练与在线识别，输出前车脸识别结果。

1.利用HSV三通道彩色图像信息组成一幅新的灰度图像，用于车牌离线训练和在线定位

国产车牌具有特定的颜色组合，基于传统灰度图像AdaBoost目标检测的车牌定位效果有很大提升空间。本发明在与人眼感知更接近的HSV空间进行AdaBoost车牌离线训练和在线定位。如图1所示，本步骤包括以下过程：将原始图像从YUV颜色空间(视频流来自于硬件)或RGB颜色空间(视频流来自于软件)转换到HSV颜色空间。在高宽比为1:3的检测窗口内，将HSV三通道彩色图像垂直方向连接，形成高宽比为1:1的灰度图像，用于AdaBoost车牌离线训练和车牌在线定位，并将该定位信息输出至下一步骤进行处理。

2.利用车牌字符垂直边缘点的主成分分析方向确定车牌的水平及垂直方向的倾斜角度，并进行单帧图像的倾斜角度校正

利用车牌字符垂直边缘点的主成分分析(Principal Component Analysis,PCA)方向确定车牌的水平倾斜角度。算法如下：

设车牌图像经过垂直边缘检测后垂直边缘点的坐标为(x_i,y_i),(i＝1,2,…,n)基中n为垂直边缘点数，存在一条经过点(x₀,y₀)且斜率为β的直线y-y₀＝tan(β)*(x-x₀)，使得边缘点到直线的垂直距离均方和最小。经主成分分析(Principal Component Analysis,PCA)推导可得，

       $\mathrm{\β}=\frac{1}{2}\arctan \left(\frac{{2\mathrm{\μ}}_{11}}{{\mathrm{\μ}}_{20}-{\mathrm{\μ}}_{02}}\right),$

其中 ${\mathrm{\μ}}_{20}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x_i}^2-{m_x}^2,{\mathrm{\μ}}_{02}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{y_i}^2-{m_y}^2,{\mathrm{\μ}}_{11}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i{y}_i-m_x{m}_y,m_x=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i,$ $m_y=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{y}_i,$ 其中μ₂₀、μ₀₂、μ₁₁为中间变量，m_x为边缘点在x方向的重心，m_y为边缘点在y方向的重心，β为水平方向倾斜角度，n为边缘点数。

利用车牌字符垂直投影间距最大的原则确定车牌的垂直倾斜角度，车牌字符的垂直和水平倾斜角度与单帧图像的倾斜角度一致，然后利用双线性插值算法对单帧图像进行倾斜校正。

3.以进行倾斜角度校正后的车牌位置为基准按比例截取前车脸图像

本步骤中以进行倾斜角度校正后的车牌中心为基准，车牌中心左右4倍车牌宽度的区域；以车牌上边沿为基准，上边沿以上4倍车牌高度的区域；截取以上两个区域的交集即为前车脸图像，该图像的高宽比为1:3。

4.对前车脸图像进行LBP特征提取；

前车脸图像包括前车脸的灰度图像、边缘图像以及高斯差分图像，本实施例采用局部二值模式(Local Binary Pattern,LBP)特征形成与线性判别分析(Linear Discriminant Analysis,LDA)特征融合。

对车脸图像高宽归一化到256×768像素，再对前车脸的灰度图像、边缘图像、高斯差分图像，依次提取局部二值模式(Local Binary Pattern,LBP)特征。

图像的LBP特征计算过程如下：

(1)先将检测窗口划分为16×48的子区域，对于每个子区域中的每个像素，将相邻的8个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0。这样，3*3邻域内的8个点经比较可产生8位二进制数，即得到该窗口中心像素点的LBP值，其计算过程如下：

       ${\mathrm{LBP}}_{N,R}(x_c,y_c)=\underset{p=0}{\overset{N-1}{\mathrm{\Σ}}}s(g_p-g_c)\·2^p$

式中g_c为当前像素(x_c,y_c)的灰度值，N是半径为R的领域内的像素个数，g_p为领域点p的灰度值，函数s(·)为阶跃响应函数，表达式如下：

       $s\left(x\right)=\left\{\begin{array}{cc}1& x\&GreaterEqual;0\\ 0& x<0\end{array}\right.$

(请将公试中涉及的每个字母的含义写清楚)，已经写清楚了。

(2)然后计算每个子区域的直方图，再对该直方图进行归一化处理。

(3)最后将得到的每个子区域的统计直方图连接成为一个LBP纹理特征向量。

将灰度图像、边缘图像、高斯差分图像的LBP纹理特征连接在一起，采用经典的线性判别分析(Linear Discriminant Analysis,LDA)降维算法，将特征矢量长度降到60维，即可得到前车脸图像的特征描述。

5.两级非线性支持向量机(Support Vector Machine,SVM)离线训练与在线识别。

由于分类目标涉及不同品牌的车辆，以及同品牌不同款车辆的识别，待分类的类别比较多，分类器设计相对复杂。

本发明针对不同品牌的车辆建立1个一级非线性支持向量机(SupportVector Machine,SVM)分类器，一级分类器涉及46个品牌(包括：大众、雪佛兰、丰田、本田、尼桑、奔驰、宝马、现代、沃尔沃、中华、马自达、奥迪、别克、比亚迪、奇瑞、三菱、福特、起亚、雪铁龙、海马、五菱、金杯、标志、猎豹、长城、江淮、凯迪拉克、雷克萨斯、长安商用、铃木、路虎、夏利、纳智捷、荣威、斯巴鲁、一汽、依维柯、东风、斯柯达、吉利、哈弗、吉普、哈飞、红旗、帝豪、英菲尼迪)，再针对每个品牌不同款车辆建立46个二级非线性支持向量机(Support Vector Machine,SVM)分类器。分类器采用步骤4所述的LBP特征，分别离线训练以上47个非线性支持向量机(Support Vector Machine,SVM)分类器，在线识别时，由一级分类器的分类结果选择进入相应的二级分类器，最终实现1046种车型的识别。

Claims (5)

1.一种基于AdaBoost车牌定位的前车脸识别方法，其特征在于包括以下步骤：

利用HSV三通道彩色图像信息组成一幅新的灰度图像，用于车牌离线训练和在线定位；

利用车牌字符垂直边缘点的主成分分析方向确定车牌的水平及垂直方向的倾斜角度，并进行单帧图像的倾斜角度校正；

以进行倾斜角度校正后的车牌位置为基准按比例截取前车脸图像；

对前车脸图像进行LBP特征提取；

对上述进行LBP特征提取后得到的特征进行两级非线性支持向量机离线训练与在线识别，输出前车脸识别结果。

2.按权利要求1所述的基于AdaBoost车牌定位的前车脸识别方法，其特征在于：

所述车牌离线训练和在线定位是利用国产车牌特定的颜色组合，在与人眼感知更接近的HSV空间，将原始图像从YUV颜色空间或RGB颜色空间转换到HSV颜色空间，在高宽比为1:3的检测窗口内，将HSV三通道彩色图像垂直方向拼接，形成高宽比为1:1的灰度图像，用于AdaBoost车牌离线训练和车牌在线定位。

3.按权利要求1所述的基于AdaBoost车牌定位的前车脸识别方法，其特征在于：所述利用车牌字符垂直边缘点的主成分分析方向确定车牌的水平及垂直方向的倾斜角度，并进行单帧图像的倾斜角度校正是利用车牌字符垂直投影间距最大的原则确定车牌的垂直倾斜角度，车牌字符的垂直和水平倾斜角度与单帧图像的倾斜角度一致，然后利用双线性插值算法对单帧图像进行倾斜校正。

4.按权利要求1所述的基于AdaBoost车牌定位的前车脸识别方法，其特征在于：对前车脸图像进行LBP特征提取为：对车脸图像高宽归一化到256×768像素，然后对前车脸的灰度图像、边缘图像、高斯差分图像，分别提取局部二值模式特征形成LBP特征矢量，然后采用线性判别分析进行特征融合。

5.按权利要求1所述的基于AdaBoost车牌定位的前车脸识别方法，其特征在于：对上述进行LBP特征提取后得到的特征进行两级非线性支持向量机离线训练与在线识别为：针对不同品牌的车辆建立1个一级非线性支持向量机分类器，再针对每个品牌不同款车辆建立相应数据的二级非线性支持向量机分类器；分类器采用LBP特征，分别离线训练以上各个非线性支持向量机分类器，在线识别时，由一级分类器的分类结果选择进入相应的二级分类器，最终实现多种车型的识别。