CN105354572A - 一种基于简化卷积神经网络的车牌自动识别*** - Google Patents

Abstract

本发明公开了一种基于简化卷积神经网络的车牌自动识别***，所述卷积神经网络包括输入层、卷积层、池化层、隐层和分类输出层，解决了日常背景下车牌识别问题。车牌识别的步骤包括：定位、分割和识别。本发明提出了利用彩色边缘信息和彩色信息提取彩色边缘的定位方法。由于其中的参数是基于色彩特征设置的，因而可以有效抑制日常背景中的噪声，能够对不同尺寸的输入图像进行车牌的提取。本发明去除了传统深度卷积神经网络的前置卷积层，仅保留一层卷积层和一层隐层。作为对缺失卷积层的补充和对输入特征的强化，使用Sobel算子得到的灰度边缘图像替代彩色图像作为输入，即使用人工提取的粗粒度特征替代传统卷积神经网络的多卷积层提取的特征。

Description

一种基于简化卷积神经网络的车牌自动识别***

技术领域

本发明涉及车牌识别领域，特别涉及一种基于简化卷积神经网络的车牌自动识别***，解决日常背景下的车牌定位与自动识别两方面技术问题。

背景技术

科技在不断更新和发展，深刻影响了人们的日常生活，在车辆智能化管理领域也不例外。智能交通***概念19世纪就开始提出，已成为当今世界道路交通的发展趋势。车牌识别技术以计算机技术、图像处理技术、模式识别为基础，建立车辆的特征模型，如号牌、车型、颜色等，并实现自动识别。车位引导技术通过多种有效方式把车辆准确无误的引导到空余车位位置，给业主停车及物业的管理带来极大便利。

现有的车牌识别***大多是针对特定场合下的车牌识别。在这些特定的场合下，车辆的背景都非常单一，且拍摄到的车牌的大小和位置都比较固定，因此容易定位和识别。但是，在日常背景下，拍摄到的车辆图像可能含有更加复杂的背景，甚至一个图像中会出现多辆车的情况，同时周围的大树、楼房和路牌)，以及阳光照射角度都会对车牌的定位和识别产生影响，带来更大的难度。这就导致了现有的这些方法并不能有效地解决日常背景下车牌的自动识别，主要存在两方面的缺陷。

定位方面：边缘和色彩作为车牌特征中最为有效的两个，得到了广泛应用。车牌区域包含有大量的边缘信息，日常场景中也充斥着很多类似的边缘。只有适当处理这些边缘信息，才能准确定位到车牌区域。基于普通边缘的方法在背景复杂度较大情况下会引入大量的噪声。同时，边缘的方法往往受限于输入图像的尺寸，从而限制了定位方法的应用领域。对于背景复杂度中等的日常背景中的车牌定位任务，普通边缘和普通彩色方法由于抗噪性能不强，错误检测率较高，同时由于噪声的干扰，定位成功率会有不同程度的下降。

识别方面：卷积神经网络由于其结构的优越性，避免了主观的特征提取，从而在光学字符识别领域取得了广泛的应用。在车牌字符识别任务中，由于车牌字符字形规整，变化不如手写字体复杂，而传统深度卷积神经网络结构复杂，参数众多，不仅降低了训练速度，而且神经网络的训练难以收敛到令人满意的结果，容易发生欠拟合的情况，识别效果不佳。

发明内容

本发明目的是：提供一种基于简化卷积神经网络的车牌自动识别***，解决背景技术中所述的车牌定位与自动识别两方面的技术问题，提高车牌识别效率和准确率。

本发明的技术方案是：

一种基于简化卷积神经网络的车牌自动识别***，所述卷积神经网络包括输入层、卷积层、池化层、隐层和分类输出层，车牌识别的步骤包括：

S1、定位车牌的彩色边缘；

S2、分割车牌字符；

S3、基于简化卷积神经网络的车牌字符的自动识别。

优选的，步骤S1所述定位车牌的彩色边缘方法包括：

S1-1、首先将彩色输入图像在RGB色彩空间中按通道分离为R、G和B分量图，使用Sobel算子对R、G和B分量图分别求取它们的边缘图，记作E_R、E_G和E_B；

S1-2、求出上述边缘图后，使用大小为13×25的均值矩阵进行卷积，得到密度图矩阵D；

S1-3、之后使用大津二值法对得到的矩阵D进行二值化，并使用连通分量提取方法提取出所有的连通分量；

S1-4、在得到连通分量后，计算这些连通分量的宽高比Ratio和面积Area，最后仅保留满足以下条件的连通分量：

$\frac{Area}{Imagesize}>\mathrm{\θ}$

Ratio<γ_max

Ratio>γ_min

其中，θ为车牌面积占图像区域面积Imagesize的最小比例，γ_max和γ_min分别为车牌宽高比的上下阈值，θ取0.001～0.006，γ_max取4.0～4.5，γ_min取2.0～2.5。

如果经过滤除后没有可用的连通分量，则放大步骤S1-1中彩色边缘点的判决边界，并重复步骤S1-1～S1-4。若仍无法定位出车牌，则说明输入图像中可能不存在车牌区域，返回定位失败信息。

优选的，步骤S2所述分割车牌字符的方法包括：

首先对彩色车牌图像使用下式进行灰度化处理，保留原始彩色车牌图像备用，并使用大津二值法对灰度化处理的图像进行二值化，之后采用连通分量提取和灰度投影的方法对原始彩色车牌图像进行字符分割。基于中国车牌的先验知识，即字符数和字符间距，结合之前保留的彩色车牌，得到待识别的7个彩色输入字符。

I(i,j)＝(0.7R(i,j)+0.2G(i,j)+0.1B(i,j))

×f(R(i,j),G(i,j),B(i,j))

f(x,y,z)＝e^{-std(x,y,z)/150}

其中std()为标准差，(i,j)为像素点坐标，i∈[0,H)，j∈[0,W)，H为图像高度，W为图像宽度。

优选的，步骤S3所述的基于简化卷积神经网络的车牌字符的自动识别的方法包括：

在5层卷积神经网络，即输入层、卷积层、池化层、隐层和分类输出层，每层根据一定的规则产生输出特征矩阵或向量。

在输入层，所有的输入彩色图像大小为48×24，格式为BMP。首先使用灰度转换算法将其转换为灰度图像，再使用Sobel算子进行边缘提取并将图像矩阵的元素归一化到[0,1]区间内，得到网络的输入。

在卷积层，使用90个独立的卷积核对输入图像分别进行卷积，得到90个特征图，卷积核的大小为7×7，卷积核的移动模式为Valid模式，即卷积核的中心在输入图像范围内移动，且需要保证核的每个元素的投影都在输入图像内，因此卷积层的输出为90个大小为42×18的特征图。

在池化层，池的大小为6×6，池化操作将输入分割为互不重叠的多个池块，以每个池中的最大值作为整个池的特征值输出，因此池化层的输出为90个大小为7×3的特征图。

在隐层，依次将池化层输出的特征图按行拉伸为长度为1890的1维的输入向量，将此输入向量作为隐层的输入，隐层有200个神经元，对输入特征向量进行空间变换，从而提取更有效的特征。

在分类层，对隐层提取的特征向量进行分类输出。根据不同应用，个数设置不同，中文字符应用为31个，英文数字字符应用为34个。

优选的，所述池化层的池化操作分为2步：

(1)将输入矩阵M_H×W切割成个尺寸为ps×ps的互不重叠的小矩阵；

(2)将每个小矩阵中的最大值作为该矩阵的特征值输出到对应位置，得到池化输出矩阵。

优选的，所述车牌识别还包括卷积神经网络的训练过程，所述训练过程的训练误差采用交叉熵定义，使用误差反向传递算法进行权值更新，并使用提前停止算法控制训练流程。

具体的，对采用Softmax模型的分类层，设input为一维输入列向量，d为期望输出标号，中文的d取值为0～30，英文数字混合的d取值为0～33，神经元j的输出o_j定义如下：

$o_j=\frac{e^{x_j}}{\underset{k}{\&Sigma;}{e}^{x_k}}$

其中o是一维输出列向量，每项的值代表输入input划分为该项标号类的概率。如对于一个4类划分问题，o＝[0.1,0.2,0.4,0.3]^T表示input被分为第0、1、2和3类的概率分别为10％、20％、40％和30％。x_j为神经元j的输入，由下式得到：

$x_j=\underset{i}{\&Sigma;}{W}_{ji}\&times;y_i+b$

其中y_i为前一层神经元i的输出，W_ji为连接前一层神经元i和Softmax层神经元j的权值，b为偏置。

根据交叉熵定义，可得误差表达式为：

E＝-ln(o_d)

其中d为期望标号，o_d为o的第d项。比如o＝[0.1,0.2,0.4,0.3]^T时，若期望标号d为0，则误差E＝-ln(0.1)＝2.3026。若期望标号d为2，则误差E＝-ln(0.4)＝0.9163。可以看到，期望标号对应的概率越大，则网络误差越小，符合误差函数的定义。

网络误差对权值的偏导表达式为：

$\frac{\&part;E}{\&part;W_{ji}}=\frac{\&part;E}{\&part;x_j}\frac{\&part;x_j}{\&part;W_{ji}}$

其中，右式两项分别可由下式求得：

$\frac{\&part;E}{\&part;x_j}=\left\{\begin{array}{c}{o}_j,j\&NotEqual;d\\ (o_j-1),j=d\end{array}\right.$

$\frac{\&part;x_j}{\&part;W_{ji}}=y_i$

因此，误差对权值的偏导如下式所示：

$\frac{\&part;E}{\&part;W_{ji}}=\left\{\begin{array}{c}{o}_j\&times;y_i,j\&NotEqual;d\\ (o_j-1)\&times;y_i,j=d\end{array}\right.$

而后每层的偏导都可以通过误差反向传递算法进行计算，权值更新法则如下：

$\mathrm{\&Delta;}W=-\mathrm{\&eta;}\frac{\&part;E}{\&part;W}$

其中η是学习速率。

所有输入样本被分为1:1的训练和测试集合，学习速率η初始值为0.02，训练每迭代4次，η减小2％，直到减小为原来的10％(即0.002)后终止训练。

优选的，使用L₂正则惩罚项来抑制网络过拟合。L₂正则惩罚项数学表达式如下：

$L_2(W,b)=\mathrm{\&lambda;}(\underset{i}{\&Sigma;}\underset{j}{\&Sigma;}{W_{ji}}^2+b^2)$

其中λ为正则惩罚项系数，取0.00025。

本发明的优点是：

1.本发明针对中国车牌的颜色特点，提出了一种利用彩色边缘信息和彩色信息提取彩色边缘的定位方法，可以有效地实现日常背景(非特定的停车场合)下车牌的定位。由于其中的参数是基于色彩特征进行设置的，因而可以有效地抑制日常背景中的噪声，并能够对不同大小尺寸的输入图像进行车牌的提取。

2.本发明基于传统深度卷积神经网络提出了一种简化的卷积神经网络，去除了其中的前置卷积层，仅保留一层卷积层和一层隐层。作为对缺失卷积层的补充和对输入特征的强化，卷积神经网络使用Sobel算子提取出的灰度边缘图像替代彩色图像作为输入，即使用人工提取的粗粒度的特征(边缘特征)替代传统卷积神经网络的多卷积层提取的特征。

3.在训练中，本发明引入了L₂正则惩罚项，有效抑制了网络的过拟合情况，增加了网络的抗噪性能。实验证明，在同等硬件和软件条件下，基于该简化结构的车牌自动识别方法可以获得比传统复杂结构更好的识别结果。

附图说明

下面结合附图及实施例对本发明作进一步描述：

图1为本发明所述的简化卷积神经网络结构示意图；

图2为本发明所述的车牌识别流程图；

图3为本发明所述的定位流程图；

图4为本发明实施例中卷积操作的Valid模式示意图；

图5为本发明实施例中池化操作的示意图；

图6为本发明实施例中卷积和池化过程的流程图。

具体实施方式

下面结合附图和实施例，详细阐述本发明提出的彩色边缘方法和简化卷积神经网络结构，更加清楚地说明其特点及优势。

本发明所揭示的基于简化卷积神经网络的车牌自动识别***。如图1所示，所述简化卷积神经网络包括输入层、卷积层、池化层、隐层和分类输出层；如图2所示，车牌识别的步骤包括：S1、定位车牌的彩色边缘；S2、分割车牌字符；S3、基于简化卷积神经网络的车牌字符的自动识别。

下面对上述流程分别做详细介绍。

一、彩色边缘定位方法

本发明中使用的彩色边缘方法不同于普通边缘方法。除使用边缘提取算子提取基本边缘信息外，还利用了输入图像中的颜色信息。

如图3所示，首先将彩色输入图像RGB色彩空间中按通道分离为R、G和B分量图，使用Sobel算子对R、G和B分量图分别求取它们的边缘图，记作E_R、E_G和E_B。这三张边缘图即为对应分量的梯度分布图。边缘的提取方式中最为常见的为垂直和水平Sobel算子，其形式如下：

$\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]$ 和 $\left[\begin{array}{ccc}1& 2& 1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right]$

使用它们可以从图像中分别提取出垂直和水平边缘信息。

将这两个算子和输入图像矩阵作相关操作，即可得到图像边缘信息，相关操作定义如下：

$O(i,j)=\underset{r=0}{\overset{2}{\&Sigma;}}\underset{c=0}{\overset{2}{\&Sigma;}}I(i+r,j+c)\&times;Sobel(r,c)$

i∈[0,H),j∈[0,W)

由上述所得分量和梯度图信息，根据处理的车牌颜色搭配，可分为蓝白车牌和黄黑车牌：对于蓝白车牌，按照下式构造蓝白边缘图E_CE：

$E_{CE}=\left\{\begin{array}{cc}\max \left(E_R\right(i,j),E_G(i,j\left)\right),& isValid(i,j)=true\\ 0,& isValid(i,j)=false\end{array}\right.$

其中(i,j)为像素点坐标，i∈[0,H)，j∈[0,W)，H为图像高度，W为图像宽度；isValid(i,j)为彩色边缘点的判决条件，当且仅当下列不等式均满足时才为真：

E_B(i,j)<α×E_R(i,j)

E_B(i,j)<α×E_G(i,j)

B(i,j)>β×G(i,j)

B(i,j)>β×R(i,j)

其中α∈[0.90,1.00)是彩色边缘阈值，β∈(1.00,1.20)是彩色阈值。

对于黄黑车牌，则按照下式构造彩色边缘图E_CE：

$E_{CE}=\left\{\begin{array}{cc}{E}_R(i,j),& isValid(i,j)=true\\ 0,& isValid(i,j)=false\end{array}\right.$

其中(i,j)为像素点坐标，i∈[0,H)，j∈[0,W)，H为图像高度，W为图像宽度；isValid(i,j)为彩色边缘点的判决条件，当且仅当下列不等式均满足时才为真：

E_R(i,j)>α×E_G(i,j)

E_G(i,j)>α×E_B(i,j)

R(i,j)>β×G(i,j)

R(i,j)>β×B(i,j)

B(i,j)<60

其中α∈[0.80,1.00)是彩色边缘阈值，β∈(1.00,1.20)是彩色阈值。

求取出上述边缘图后，可以运用卷积方法求取边缘图的密度图，定义密度图D如下：

$D(i,j)=\underset{r=0}{\overset{13}{\&Sigma;}}\underset{c=0}{\overset{25}{\&Sigma;}}K(r,c)\&times;E_{CE}(i+r,j+c)$

其中K(r,c)是尺寸为13×25的均值矩阵，形式如下：

$\frac{1}{13\&times;25}\&times;\left[\begin{array}{ccccc}1& 1& .& .& 1\\ 1& 1& .& .& 1\\ .& .& .& .& .\\ .& .& .& .& .\\ 1& 1& .& .& 1\end{array}\right]$

之后使用大津二值法(N.Otsu,Athresholdselectionmethodfromgray-levelhistograms,IEEETrans.onSystems,Man,Cybernetics,62–66,1979.)对得到的矩阵D进行二值化，并使用连通分量提取方法提取出所有的连通分量。连通分量定义为矩阵中相邻的有效点集合，其提取方法如下：

1.设图像矩阵和访问记录矩阵为I_H×W和V_H×W，其中H为图像高度，W为图像宽度。I_H×W矩阵中值为1的点表示该点为有效点，值为0则表示该点无效；V_H×W矩阵中值为1的点表示该点已被访问过，已被划分到某连通分量中，值为0则表示该点未访问，需要进行连通分量划分。

2.按照先行后列的顺序遍历I_H×W中的所有未访问(通过查询V_H×W矩阵)的有效点，以该点为起点使用广度优先算法(Lee,C.Y.,AnAlgorithmforPathConnectionsandItsApplications,IRETransactionsonElectronicComputers,346–365,1961)进行探索，得到图像中的所有连通分量。

在得到连通分量后，计算这些连通分量的宽高比Ratio和面积Area，最后仅保留满足以下条件的连通分量：

$\frac{Area}{Imagesize}>\mathrm{\&theta;}$

Ratio<γ_max

Ratio>γ_min

其中，θ为车牌面积占图像区域面积Imagesize的最小比例，γ_max和γ_min分别为车牌宽高比的上下阈值，θ取0.001～0.006，γ_max取4.0～4.5，γ_min取2.0～2.5。

如果经过滤除后没有可用的连通分量，则放大彩色边缘点的判决边界，并重复步骤S1-1～S1-4。若仍无法定位出车牌，则说明图片中可能不存在车牌区域，本发明返回定位失败信息。

基于2189张日常背景下的车牌图像的测试表明，本发明可成功定位出2166张，定位成功率为98.95％。

二、车牌分割字符过程

首先对车牌使用下式进行灰度化处理(但保留原始彩色车牌备用)，并使用大津二值法进行二值化，之后采用连通分量提取和灰度投影的方法对原始彩色车牌进行字符分割。基于中国车牌的先验知识(字符数和字符间距)，结合之前保留的彩色车牌，得到待识别的7个彩色输入字符。

I(i,j)＝(0.7R(i,j)+0.2G(i,j)+0.1B(i,j))

×f(R(i,j),G(i,j),B(i,j))

f(x,y,z)＝e^{-std(x,y，z)/150}

其中std()为标准差，(i,j)为像素点坐标，i∈[0,H)，j∈[0,W)，H为图像高度，W为图像宽度。

基于定位出的2166张车牌图像进行测试，共成功分割出2092张车牌，分割成功率为96.58％。

三、基于简化卷积神经网络的字符识别方法

本发明中采用的简化卷积神经网络具有5层，每层根据一定的规则产生输出特征矩阵或向量，其中第一层和最后一层为输入和输出层。

所有的输入图像大小为48×24，格式为BMP。首先使用灰度转换算法将其转换为灰度图像，再使用Sobel算子进行边缘提取并将图像矩阵的元素归一化到[0,1]区间内，得到网络的输入。网络的第二层为卷积层C2，使用90个独立的卷积核对输入图像分别进行卷积，可以得到90个卷积输出图，再对这90个卷积输出图使用双曲正切(tanh())激励函数进行非线性变换，得到90个特征图。本例中卷积核的大小为7×7，卷积核的移动模式为Valid模式，即卷积核的中心在输入图像范围内移动，且需要保证核的每个元素的投影都在输入图像内，因此C2层的输出为90个大小为42×18的特征图(具体原因见第四节)。网络的第三层为池化层P3，池的大小为6×6，池化操作将输入分割为互不重叠的多个池块，以每个池中的最大值作为整个池的特征值输出，因此P3的输出为90个大小为7×3的特征图。依次按行将这些特征图拉伸为长度为1890的1维输入向量，将此输入向量作为第四层H4的输入，H4层有200个神经元，可对输入特征向量进行空间变换，从而提取更有效的特征。网络最后一层，即第五层为Softmax分类层SM5，可对H4层提取的特征向量进行分类。根据不同应用，个数设置不同，中文字符应用为31个，英文数字字符应用为34个(除‘O’和‘I’以外的24个英文字母和10个数字)。除池化层和输出层外，所有层的激励函数均为双曲正切(tanh())函数。将偏置考虑进来，该简化卷积神经网络每层的参数个数如表1(池化层无参数，未列出)所示：

表1卷积神经网络每层的参数个数

四、卷积实现

具体到图像处理中，卷积操作指的是使用一个卷积核W在输入图像X上平移、加权求和以得到输出矩阵Y的一种数学运算。二维卷积操作的数学定义如下：

$Y(i,j)=\underset{r=0}{\overset{R}{\&Sigma;}}\underset{c=0}{\overset{C}{\&Sigma;}}X(i+r,j+c)\&times;W(r,c)$

其中(i,j)为像素点坐标，i∈[0,H)，j∈[0,W)，H为图像高度，W为图像宽度。当点X(i+r,j+c)不在输入X内时，根据不同的卷积模式，取值有所不同。常使用的模式有3种：复制边界区域、补0和限制核中心(Valid)。采用Valid模式时，由于i,j的取值受限，Y的尺寸会相应变化。如图4所示，设输入X(白色和灰色部分)的尺寸为8×8，卷积核的大小为3×3，则采用Valid模式卷积后，输出Y(灰色部分)的尺寸为(8-3+1)×(8-3+1)＝6×6。在本例中，输入为48×24，卷积核大小为7×7，因此输出尺寸为(48-7+1)×(24-7+1)＝42×18。

五、池化实现

如果直接使用卷积输出作为特征图，网络对于图像中出现的平移和扭曲等形变的鲁棒性就会降低。使用合适大小的池对图像进行池化处理，有利于提取图像中对于形变能够保持不变的特征。同时，在维度上，由于池化操作的不重叠性，能够大大降低输入到分类器的特征维数，从而优化后端分类器的性能。池化的数学定义如下：

PoolOut_k(i,j)＝Max({ConvOut_k(m,n)})

i∈[0,H/ps),j∈[0,W/ps)

m∈[i×ps,(i+1)×ps)

n∈[j×ps,(j+1)×ps)

其中{ConvOut_k(m,n)}是第k个卷积输出的池化覆盖点集合(具体覆盖细节见池化操作说明)，共有ps×ps个点，H和W是卷积输出ConvOut_k的高度和宽度，ps是池的大小，i和j是池化输出的像素坐标。本发明中H和W取值为42和18，ps为6，因此i和j取值范围为[0,7)和[0,3)。

池化操作可分为2步：

1.将输入矩阵M_H×W切割成个尺寸为ps×ps的互不重叠的小矩阵；

2.将每个小矩阵中的最大值作为该矩阵的特征值输出到对应位置，得到池化输出矩阵。

本发明中，输入的尺寸为42×18，池大小为6×6，则池化输出的尺寸为(42/6)×(18/6)＝7×3，通过池化，输入特征的总大小从756缩小为21，减小为原来的大幅减小了特征维数。如图5所示，为说明池化过程的一个简单例子，输入尺寸为6×4，池大小ps为2×2，通过将输入分割为3×2个2×2的小矩阵(黑色方框)，并将每个小矩阵中的最大值(粗体)作为其特征值输出，从而得到尺寸为3×2的池化输出。

将非线性变换考虑进来，如图6所示，为本例中卷积、非线性变换和池化的整体流程，共分为3步：

1.使用卷积核C₁～C_N对输入图像x进行卷积，得到卷积输出convout₁～convout_N，本例中，N取90；

2.使用双曲正切函数(tanh())对第1步得到的卷积输出进行非线性变换，得到特征图feature₁～feature_N；

3.使用大小为6×6的最大池对特征图进行池化，得到池化输出图poolout₁～poolout_N。

六、训练过程

训练误差采用交叉熵定义，使用误差反向传递(DavidE.Rumelhnrt,GeoffreyErHinton,andRonaldJ.Williams,Learningrepresentationsbyback-propagatingerrors,NATUREvol.323,9,1986)算法进行权值更新，并使用提前停止算法(YuanYao,LorenzoRosasco,andAndreaCaponnetto,OnEarlyStoppinginGradientDescentLearning,ConstructiveApproximation,vol.26,2,289–315,2007)控制训练流程。

对采用Softmax模型的分类层，设input为一维输入列向量，d为期望输出标号，本发明中d取值为0～30(中文)和0～33(英文数字混合)，神经元j的输出o_j定义如下：

$o_j=\frac{e^{x_j}}{\underset{k}{\&Sigma;}{e}^{x_k}}$

其中o是一维输出列向量，每项的值代表输入input划分为该项标号类的概率。如对于一个4类划分问题，o＝[0.1,0.2,0.4,0.3]^T表示input被分为第0、1、2和3类的概率分别为10％、20％、40％和30％。x_j为神经元j的输入，由下式得到：

$x_j=\underset{i}{\&Sigma;}{W}_{ji}\&times;y_i+b$

其中y_i为前一层神经元i的输出，W_ji为连接前一层神经元i和Softmax层神经元j的权值，b为偏置。

根据交叉熵定义，可得误差表达式为：

E＝-ln(o_d)

其中d为期望标号，o_d为o的第d项。比如o＝[0.1,0.2,0.4,0.3]^T时，若期望标号d为0，则误差E＝-ln(0.1)＝2.3026。若期望标号d为2，则误差E＝-ln(0.4)＝0.9163。可以看到，期望标号对应的概率越大，则网络误差越小，符合误差函数的定义。

网络误差对权值的偏导表达式为：

$\frac{\&part;E}{\&part;W_{ji}}=\frac{\&part;E}{\&part;x_j}\frac{\&part;x_j}{\&part;W_{ji}}$

其中，右式两项分别可由下式求得：

$\frac{\&part;E}{\&part;x_j}=\left\{\begin{array}{c}{o}_j,j\&NotEqual;d\\ (o_j-1),j=d\end{array}\right.$

$\frac{\&part;x_j}{\&part;W_{ji}}=y_i$

因此，误差对权值的偏导如下式所示：

$\frac{\&part;E}{\&part;W_{ji}}=\left\{\begin{array}{c}{o}_j\&times;y_i,j\&NotEqual;d\\ (o_j-1)\&times;y_i,j=d\end{array}\right.$

而后每层的偏导都可以通过误差反向传递算法进行计算，权值更新法则如下：

$\mathrm{\&Delta;}W=-\mathrm{\&eta;}\frac{\&part;E}{\&part;W}$

其中η是学习速率。

本发明使用L₂正则惩罚项来抑制网络过拟合。L₂正则惩罚项数学表达式如下：

$L_2(W,b)=\mathrm{\&lambda;}(\underset{i}{\&Sigma;}\underset{j}{\&Sigma;}{W_{ji}}^2+b^2)$

其中λ为正则惩罚项系数，本发明中取0.00025。

所有输入样本被分为1:1的训练和测试集合，学习速率η初始值为0.02，训练每迭代4次，η减小2％，直到减小为原来的10％(即0.002)后终止训练(如果此时训练仍在进行)。网络权值的初始化值由表2确定。

表2网络权值的初始化值表

与使用灰度图像作为输入的双卷积层模型(未使用L₂正则惩罚项，卷积核分别为20和40，池化尺寸为5×5)相比，本发明中使用的模型和方法，拥有更高的单字符准确率，具体数据见表3：

表3本发明中使用的模型和方法的字符准确率

基于分割出的2092个车牌，共成功识别出2052个车牌，识别率为98.08％，整个***的识别正确率为93.74％。

上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明主要技术方案的精神实质所做的修饰，都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种基于简化卷积神经网络的车牌自动识别***，其特征在于，所述的卷积神经网络包括输入层、卷积层、池化层、隐层和分类输出层；车牌识别的步骤包括：

S1、定位车牌的彩色边缘；

S2、分割车牌字符；

S3、基于简化卷积神经网络的车牌字符的自动识别。

2.根据权利要求1所述的基于简化卷积神经网络的车牌自动识别***，其特征在于，步骤S1所述定位车牌的彩色边缘方法包括：

S1-1、首先将彩色输入图像在RGB色彩空间中按通道分离为R、G和B分量图，使用Sobel算子对R、G和B分量图分别求取它们的边缘图，记作E_R、E_G和E_B；

S1-2、求出上述边缘图后，使用大小为13×25的均值矩阵进行卷积，得到密度图矩阵D；

S1-3、之后使用大津二值法对得到的矩阵D进行二值化，并使用连通分量提取方法提取出所有的连通分量；

S1-4、在得到连通分量后，计算这些连通分量的宽高比Ratio和面积Area，最后仅保留满足以下条件的连通分量：

$\frac{Area}{Imagesize}>\mathrm{\&theta;}$

Ratio<γ_max

Ratio>γ_min

其中，θ为车牌面积占图像区域面积Imagesize的最小比例，γ_max和γ_min分别为车牌宽高比的上、下阈值，θ取0.001～0.006，γ_max取4.0～4.5，γ_min取2.0～2.5；

如果经过滤除后没有可用的连通分量，则放大步骤S1-1中彩色边缘点的判决边界，并重复步骤S1-1～S1-4；若仍无法定位出车牌，则说明输入图像中可能不存在车牌区域，返回定位失败信息。

3.根据权利要求2所述的基于简化卷积神经网络的车牌自动识别***，其特征在于，步骤S2所述分割车牌字符的方法包括：

首先对彩色车牌图像使用下式进行灰度化处理，保留原始彩色车牌图像备用，并使用大津二值法对灰度化处理的图像进行二值化，之后采用连通分量提取和灰度投影的方法对原始彩色车牌图像进行字符分割；基于中国车牌的先验知识，即字符数和字符间距，结合之前保留的彩色车牌，得到待识别的7个彩色输入字符：

I(i,j)＝(0.7R(i,j)+0.2G(i,j)+0.1B(i,j))

×f(R(i,j),G(i,j),B(i,j))

f(x,y,z)＝e^{-std(x,y,z)/150}

其中std()为标准差，(i,j)为像素点坐标，i∈[0,H)，j∈[0,W)，H为图像高度，W为图像宽度。

4.根据权利要求3所述的基于简化卷积神经网络的车牌自动识别***，其特征在于，步骤S3所述的基于简化卷积神经网络的车牌字符的自动识别的方法包括：

在5层卷积神经网络，即输入层、卷积层、池化层、隐层和分类输出层，每层根据一定的规则产生输出特征矩阵或向量；

在输入层，所有的输入彩色图像大小为48×24，格式为BMP，首先使用灰度转换算法将其转换为灰度图像，再使用Sobel算子进行边缘提取并将图像矩阵的元素归一化到[0,1]区间内，得到网络的输入；

在卷积层，使用90个独立的卷积核对输入图像分别进行卷积，得到90个特征图，卷积核的大小为7×7，卷积核的移动模式为Valid模式，即卷积核的中心在输入图像范围内移动，且需要保证核的每个元素的投影都在输入图像内，因此卷积层的输出为90个大小为42×18的特征图；

在池化层，池的大小为6×6，池化操作将输入分割为互不重叠的多个池块，以每个池中的最大值作为整个池的特征值输出，因此池化层的输出为90个大小为7×3的特征图；

在隐层，依次将池化层输出的特征图按行拉伸为长度为1890的1维的输入向量，将此输入向量作为隐层的输入，隐层有200个神经元，对输入特征向量进行空间变换，从而提取更有效的特征；

在分类层，对隐层提取的特征向量进行分类输出；根据不同应用，字符个数设置不同，中文字符应用为31个，英文数字字符应用为34个。

5.根据权利要求4所述的基于简化卷积神经网络的车牌自动识别***，其特征在于，所述池化层的池化操作分为2步：

(1)将输入矩阵M_H×W切割成个尺寸为ps×ps的互不重叠的小矩阵；

(2)将每个小矩阵中的最大值作为该矩阵的特征值输出到对应位置，得到池化输出矩阵。

6.根据权利要求1-5任意一项所述的基于简化卷积神经网络的车牌自动识别***，其特征在于，所述车牌识别还包括简化卷积神经网络的训练过程，所述训练过程的训练误差采用交叉熵定义，使用误差反向传递算法进行权值更新，并使用提前停止算法控制训练流程。

7.根据权利要求6所述的基于简化卷积神经网络的车牌自动识别***，其特征在于，对采用Softmax模型的分类层，设input为一维输入列向量，d为期望输出标号，中文的d取值为0～30，英文数字混合的d取值为0～33，神经元j的输出o_j定义如下：

$o_j=\frac{e^{x_j}}{\underset{k}{\&Sigma;}{e}^{x_k}}$

其中o是一维输出列向量，每项的值代表输入input划分为该项标号类的概率；如对于一个4类划分问题，o＝[0.1,0.2,0.4,0.3]^T表示input被分为第0、1、2和3类的概率分别为10％、20％、40％和30％；x_j为神经元j的输入，由下式得到：

$x_j=\underset{i}{\&Sigma;}{W}_{ji}\&times;y_i+b$

其中y_i为前一层神经元i的输出，W_ji为连接前一层神经元i和Softmax层神经元j的权值，b为偏置；

根据交叉熵定义，可得误差表达式为：

E＝-ln(o_d)

其中d为期望标号，o_d为o的第d项；比如o＝[0.1,0.2,0.4,0.3]^T时，若期望标号d为0，则误差E＝-ln(0.1)＝2.3026；若期望标号d为2，则误差E＝-ln(0.4)＝0.9163；期望标号对应的概率越大，则网络误差越小，符合误差函数的定义；

网络误差对权值的偏导表达式为：

$\frac{\&part;E}{\&part;W_{ji}}=\frac{\&part;E}{\&part;x_j}\frac{\&part;x_j}{\&part;W_{ji}}$

其中，右式两项分别可由下式求得：

$\frac{\&part;E}{\&part;x_j}=\left\{\begin{array}{c}{o}_j,j\&NotEqual;d\\ (o_j-1),j=d\end{array}\right.$

$\frac{\&part;x_j}{\&part;W_{ji}}=y_i$

因此，误差对权值的偏导如下式所示：

$\frac{\&part;E}{\&part;W_{ji}}=\left\{\begin{array}{c}{o}_j\&times;y_i,j\&NotEqual;d\\ (o_j-1)\&times;y_i,j=d\end{array}\right.$

而后每层的偏导都可以通过误差反向传递算法进行计算，权值更新法则如下：

$\mathrm{\&Delta;}W=-\mathrm{\&eta;}\frac{\&part;E}{\&part;W}$

其中η是学习速率；

所有输入样本被分为1:1的训练和测试集合，学习速率η初始值为0.02，训练每迭代4次，η减小2％，直到减小为原来的10％，即0.002后终止训练。

8.根据权利要求7所述的基于简化卷积神经网络的车牌自动识别***，其特征在于，使用L₂正则惩罚项来抑制网络过拟合，L₂正则惩罚项数学表达式如下：

$L_2(W,b)=\mathrm{\&lambda;}(\underset{i}{\&Sigma;}\underset{j}{\&Sigma;}{W_{ji}}^2+b^2)$

其中λ为正则惩罚项系数，取0.00025。