CN108416348A - 基于支持向量机和卷积神经网络的车牌定位识别方法 - Google Patents

Abstract

本发明公开了一种基于支持向量机和卷积神经网络的车牌定位识别方法，包括以下步骤：使用加权灰度化算法对原始彩色车牌图像进行灰度化处理、直方图均衡化得到均衡后灰度图；对均衡后灰度图进行边缘检测，得到边缘图像；对边缘图像进行二值化；使用形态学运算操作车牌图像进行处理，得到车牌候选区域图像；使用SVM判别模型进行分类，得到车牌精确定位图像；使用垂直和水平投影相结合的方法进行图像分割，得到单个字符图像；使用归一化函数将每个车牌字符归一化处理；使用卷积神经网络模型车牌字符识别模型进行识别，将识别结果输出显示。本发明有效提高了车牌字符识别算法的鲁棒性，具备很高的识别率，适用于复杂背景下的车牌定位和识别。

Description

基于支持向量机和卷积神经网络的车牌定位识别方法

技术领域

本发明属于图像处理和机器学习领域，尤其涉及一种复杂环境下基于支持向量机和卷积神经网络的车牌定位识别方法。

背景技术

国家工业化以及汽车的普及极大的方便了人们的日常生活，但交通问题也日益严峻，智能交通应运而生。车牌识别技术是智能交通***中一项重要研究课题，决定着智能交通***的发展速度和技术水平，在车辆监控、违章收费等领域都得到了广泛应用。

近年来，车牌定位识别算法得到了研究者的广泛关注，马爽等人提出了边缘检测和BP神经网络相结合的车牌识别算法，但是BP神经网络的容易陷入局部最优，导致***识别率低。董峻妃等人提出了基于卷积神经网络的车牌字符识别算法，很大程度上抑制了过拟合问题，提高了识别率。但是该算法只针对车牌字符识别部分，并未考虑到车牌定位对于整个识别***的影响，在***的完备性方面有所欠缺。

现有车牌识别***在良好的拍摄情况下，定位和识别率较高。但现实条件下，车牌图像的质量往往容易受到光照条件、多车牌、角度倾斜和车牌污损等情形的干扰，无法精确定位，从而影响了车牌识别的准确率。因此复杂环境下的车牌精确定位和识别成为车牌识别***的发展瓶颈。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种能有效排除复杂背景的干扰，精确实现车牌定位，排除伪车牌区域的干扰，运用卷积神经网络有效提高了车牌识别***的准确率和鲁棒性，而且该算法复杂度不高，适用于实时识别的基于支持向量机和卷积神经网络的车牌定位识别方法。本发明的技术方案如下：

一种基于支持向量机和卷积神经网络的车牌定位识别方法，其包括以下步骤：

1)、获取原始彩色车牌图像，并采用包括灰度化处理、直方图均衡化在内的预处理步骤对原始彩色车牌图像进行预处理；

2)、使用改进的Isotropic Sobel边缘检测算子对均衡后灰度图进行边缘检测，得到边缘图像；改进的Isotropic Sobel边缘检测算子改进主要体现在：Isotropic Sobel边缘检测算子只对图像的水平和垂直两个方向的边缘敏感，改进之后，使其对车牌图像的水平、垂直和对角线四个方向的边缘敏感，更好的检测到图像边缘；

使用自适应阈值算法对边缘图像进行二值化，得到二值化后的车牌图像；使用形态学运算操作对二值化后的车牌图像进行处理，得到车牌候选区域图像；

3)、使用SVM判别模型对车牌候选区域进行分类，得到车牌精确定位图像；

4)、使用垂直和水平投影相结合的方法对车牌精确定位图像进行图像分割，得到单个字符图像；使用归一化函数将每个车牌字符归一化处理；

5)、使用卷积神经网络的LeNet-5车牌字符识别模型进行识别，将识别结果输出显示。

进一步的，所述步骤1)采用包括灰度化处理、直方图均衡化、边缘检测在内的预处理步骤对原始彩色车牌图像进行预处理具体为：

使用加权灰度化算法对原始彩色车牌图像进行灰度化处理，得到灰度图像；使用直方图均衡化对灰度图像进行处理，得到均衡后灰度图。

进一步的，所述步骤3)的SVM判别模型包括：

对所获得的车牌候选区域图像进行人工分类，分为车牌区域图像和非车牌区域图像；

将分类后的两种车牌图像聚集到设定的数量后，放入SVM模型进行训练，得到所述SVM车牌判别模型；

用所获得的SVM车牌判别模型对车牌候选区域进行判别，实现车牌精确定位图像，排除伪车牌区域。

进一步的，所述步骤4)使用垂直和水平投影相结合的方法对车牌精确定位图像进行图像分割，得到单个字符图像；使用归一化函数将每个车牌字符归一化处理，具体包括：

对所获得车牌精确定位图像进行垂直投影，计算字符宽度，确定字符中间位置，并计算相邻两个字符间距，取其最大值定为第二个字符和第三个字符之间的距离，以此为分界线，分别向前、后两个方向进行切分，从而定位出每个字符的左右边界；

对切分后的字符进行水平投影，确定字符具体的上下边界；

对确定上下左右边界的车牌字符进行归一化处理，得到像素大小为20×32大小的字符。

进一步的，所述步骤5)卷积神经网络识别模型结构包括：

2层卷积层、2层池化层、全连接层、Dropout层、softmax层，卷积层和池化层之间采用ReLU激活函数；

所述卷积层用于特征提取，所述池化层用于降纬和特征整合，所述激活函数用于增加网络泛化能力和收敛速度，所述全连接层用于线性变换，所述Dropout层用于缩减网络臃肿结构，提高收敛速度，所述softmax层用于分类，。

进一步的，所述步骤5)的卷积神经网络的训练过程包括：

LeNet-5网络模型前向传播：将训练样本集的中样本输入到卷积神经网络中进行前向传播，经过逐层的映射变换，与每层的权值矩阵点乘运算，得到输出结果，传送到输出层。

LeNet-5网络模型反向传播：通过计算实际输出和理想输出的差值，以数据极小化误差为原则，将误差反向传播到网络的每个节点上，并优化对应的卷积核的权值，通过网络迭代训练，直至达到实验精度，并保存网路模型参数，得到所述的卷积神经网络车牌字符识别模型。

进一步的，所述改进的Isotropic Sobel边缘检测算子如下所示：

进一步的，所述步骤5)LeNet-5识别模型测试包括：选取复杂背景下车牌图像1800张作为测试样本，选取测试的平均识别率作为该***的识别率。

本发明的优点及有益效果如下：

本发明提供一种基于支持向量机和卷积神经网络的车牌定位识别方法，该方法不仅能有效排除复杂背景的干扰，精确实现车牌定位，排除伪车牌区域的干扰，运用卷积神经网络有效提高了车牌识别***的准确率和鲁棒性，而且该算法复杂度不高，适用于实时识别。

创新点1：步骤2中，对传统Isotropic Sobel边缘检测算子进行改进，不但对水平和垂直边缘敏感，而且对于对角线方向的边缘信息也可以良好感知，更好的实现边缘检测。

创新点2：步骤5中，对传统LeNet-5网络模型进行参数改进，Conv1层和Conv2层均采用3×3的卷积核尺寸大小，从而获得更好局部感受野；将Fc3层的神经元个数设为1000，增加网络的学习能力，更好的识别结构复杂的汉字，克服了传统LeNet-5网络识别汉字时，损失函数较大，识别率低的问题。

附图说明

图1是本发明提供优选实施例提供的一种基于支持向量机和卷积神经网络的车牌定位识别方法流程图；

图2是改进的Isotropic Sobel边缘检测算子示意图：

图3示意本发明一实施案例的卷积神经网络的车牌字符识别模型结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

参见附图一，本发明提供一种基于支持向量机和卷积神经网络的车牌定位识别方法，该方法包括：

获取待处理车牌原始图像。

对所述待处理车牌原始图像进行预处理操作，得到预处理后的车牌图像。

在本实施例中，上述运动目标检测可以理解为：

采用加权灰度化算法对原始彩色图像进行灰度化处理，得到灰度图像，随后采用直方图均衡化处理，得到均衡后灰度图。

对所述均衡后的灰度图采用边缘检测和形态学处理操作，得到车牌候选区域图像。

在本实施例中，上述边缘检测和形态学处理可以理解为：

对均衡后的灰度图像，采用改进的Isotropic Sobel边缘检测算子进行边缘检测，得到边缘图像，改进的Isotropic Sobel边缘检测算子如图2所示：

图2Isotropic Sobel边缘检测算子

对所获得的边缘图像使用自适应阈值算法进行二值化，得到二值化后的车牌图像；

对二值化后的车牌图像进行使用形态学运算操作，得到车牌候选区域图像。

对所述车牌候选区域图像利用SVM判别模型实现精确定位，车牌精确定位图像。

在本实施例中，上述SVM判别模型可以理解为：

首先对SVM判别模型进行训练。对所获得的车牌候选区域图像进行人工分类，分为车牌区域图像和非车牌区域图像；选取训练样本的水平和垂直直方图作为SVM分类器的特征向量；

将分类后的两种车牌图像聚集到设定的数量后，放入SVM模型进行训练，得到所述SVM车牌判别模型，实现车牌图像的精确定位。

对所获得精确定位车牌图像，利用垂直和水平投影进行字符分割方法，得到单个车牌字符，并归一化。

在本实施例中，上述垂直和水平投影进行字符分割方法可以理解为：对车牌精确定位图像进行垂直投影，计算字符宽度，确定字符中间位置，并计算相邻两个字符间距，取其最大值定为第二个字符和第三个字符之间的距离。以此为分界线，分别向前、后两个方向进行切分，从而定位出每个字符的左右边界；

对垂直投影后的字符进行水平投影，确定字符具体的上下边界；

对确定上下左右边界的车牌字符进行归一化处理，得到像素大小为20×32大小的字符。

对分割后归一化的字符，使用卷积神经网络LeNet-5字符识别模型进行识别，输出识别结果。

在本实施例中，上述卷积神经网络LeNet-5字符识别模型包括模型构成、模型训练和模型测试三个方面：

LeNet-5识别模型构成包括：输入层、2层卷积层、2层池化层、2层全连接层、输出层，模型结果如图3所示。

Conv1层：输入数据的维数为20×32。filters：10，kernel size：3，Stride：1；激活函数为ReLU，去除网络线性化；边界处理padding：SAME。

Pool1层：Max pooling，kernel size：2，stride：2，边界处理padding：SAME。

Conv2层：filters：20，kernel size：3，Stride：1；激活函数为ReLU，去除网络线性化；边界处理padding：SAME。

Pool2层：Max pooling，kernel size：2，stride：2；边界处理padding：SAME。

Fc3层：num output：1000；dropout ratio：0.5；

Fc4层：num output：65。

LeNet-5识别模型训练包括：首先对网络进行初始化，然后将训练样本集输入到卷积神经网络LeNet-5模型进行前向传播，经过逐层的映射变换，与每层的权值矩阵点乘运算，得到输出结果，传送到输出层。采用交叉熵损失函数计算输出样本和标签之间的差距，以数据极小化误差为原则，将误差反向传播到网络的每个节点上，并优化对应的卷积核的权值。初始学习率设置为0.01，通过网络迭代训练，直至达到实验精度，并保存网路模型参数，得到所述卷积神经网络的车牌字符识别模型。

LeNet-5识别模型测试包括：选取复杂背景下车牌图像1800张作为测试样本，选取测试的平均识别率作为该***的识别率，经测试本算法识别率为97.5％。

本发明提供一种基于支持向量机和卷积神经网络的车牌定位识别方法，该方法不仅能有效排除复杂背景的干扰，精确实现车牌定位，排除伪车牌区域的干扰，运用卷积神经网络有效提高了车牌识别***的准确率和鲁棒性，而且该算法复杂度不高，适用于实时识别，具有很好的使用价值和推广前景。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (9)

1.一种基于支持向量机和卷积神经网络的车牌定位识别方法，其特征在于，包括以下步骤：

1)、获取原始彩色车牌图像，并采用包括灰度化处理、直方图均衡化在内的预处理步骤对原始彩色车牌图像进行预处理；

2)、使用改进的Isotropic Sobel边缘检测算子对均衡后灰度图进行边缘检测，得到边缘图像；改进的Isotropic Sobel边缘检测算子改进主要体现在：Isotropic Sobel边缘检测算子只对图像的水平和垂直两个方向的边缘敏感，改进之后，使其对车牌图像的水平、垂直和对角线四个方向的边缘敏感，更好的检测到图像边缘；使用自适应阈值算法对边缘图像进行二值化，得到二值化后的车牌图像；使用形态学运算操作对二值化后的车牌图像进行处理，得到车牌候选区域图像；

3)、使用SVM判别模型对车牌候选区域进行分类，得到车牌精确定位图像；

4)、使用垂直和水平投影相结合的方法对车牌精确定位图像进行图像分割，得到单个字符图像；使用归一化函数将每个车牌字符归一化处理；

5)、使用卷积神经网络的LeNet-5车牌字符识别模型进行识别，将识别结果输出显示。

2.根据权利要求1所述的一种基于支持向量机和卷积神经网络的车牌定位识别方法，其特征在于，所述步骤1)采用包括灰度化处理、直方图均衡化、边缘检测在内的预处理步骤对原始彩色车牌图像进行预处理具体为：

使用加权灰度化算法对原始彩色车牌图像进行灰度化处理，得到灰度图像；使用直方图均衡化对灰度图像进行处理，得到均衡后灰度图。

3.根据权利要求1所述的一种基于支持向量机和卷积神经网络的车牌定位识别方法，其特征在于，所述步骤2)采用包括边缘检测、形态学滤波、自适应阈值二值化在内的处理步骤对车牌粗定位具体为：

使用改进的Isotropic Sobel边缘检测算子对均衡后灰度图进行边缘检测，得到边缘图像；使用自适应阈值算法对边缘图像进行二值化，得到二值化后的车牌图像；使用形态学运算操作对二值化后的车牌图像进行处理，得到车牌候选区域图像。

4.根据权利要求1所述的一种基于支持向量机和卷积神经网络的车牌定位识别方法，其特征在于，所述步骤3)的SVM判别模型包括：

对所获得的车牌候选区域图像进行人工分类，分为车牌区域图像和非车牌区域图像；

将分类后的两种车牌图像聚集到设定的数量后，放入SVM模型进行训练，得到所述SVM车牌判别模型；

用所获得的SVM车牌判别模型对车牌候选区域进行判别，实现车牌精确定位图像，排除伪车牌区域。

5.根据权利要求4所述的一种基于支持向量机和卷积神经网络的车牌定位识别方法，其特征在于，所述步骤4)使用垂直和水平投影相结合的方法对车牌精确定位图像进行图像分割，得到单个字符图像；使用归一化函数将每个车牌字符归一化处理，具体包括：

对所获得车牌精确定位图像进行垂直投影，计算字符宽度，确定字符中间位置，并计算相邻两个字符间距，取其最大值定为第二个字符和第三个字符之间的距离，以此为分界线，分别向前、后两个方向进行切分，从而定位出每个字符的左右边界；

对切分后的字符进行水平投影，确定字符具体的上下边界；

对确定上下左右边界的车牌字符进行归一化处理，得到像素大小为20×32大小的字符。

6.根据权利要求5所述的一种基于支持向量机和卷积神经网络的车牌定位识别方法，其特征在于，所述步骤5)卷积神经网络识别模型结构包括：

2层卷积层、2层池化层、全连接层、Dropout层、softmax层，卷积层和池化层之间采用ReLU激活函数；

所述卷积层用于特征提取，所述池化层用于降纬和特征整合，所述激活函数用于增加网络泛化能力和收敛速度，所述全连接层用于线性变换，所述Dropout层用于缩减网络臃肿结构，提高收敛速度，所述softmax层用于分类。

7.根据权利要求6所述的一种基于支持向量机和卷积神经网络的车牌定位识别方法，其特征在于，所述步骤5)的卷积神经网络的训练过程包括：

LeNet-5网络模型前向传播：将训练样本集的中样本输入到卷积神经网络中进行前向传播，经过逐层的映射变换，与每层的权值矩阵点乘运算，得到输出结果，传送到输出层。

LeNet-5网络模型反向传播：通过计算实际输出和理想输出的差值，以数据极小化误差为原则，将误差反向传播到网络的每个节点上，并优化对应的卷积核的权值，通过网络迭代训练，直至达到实验精度，并保存网路模型参数，得到所述的卷积神经网络车牌字符识别模型。

8.根据权利要求2所述的一种基于支持向量机和卷积神经网络的车牌定位识别方法，其特征在于，所述改进的Isotropic Sobel边缘检测算子如下所示：

9.根据权利要求7所述的一种基于支持向量机和卷积神经网络的车牌定位识别方法，其特征在于，所述步骤5)LeNet-5识别模型测试包括：选取复杂背景下车牌图像1800张作为测试样本，选取测试的平均识别率作为该***的识别率。